본 프로젝트에서는 차량 디자인에 따른 풍절음 예측 모델을 고도화하여, 기존 모델을 신규 차종에 적용하는 프레임워크 구축을 최종 목표로 하였다.

세부 목표는 ① 데이터에 적합한 Augmentation 적용 및 중요 Grid 탐색  ② Self-Supervised Learning 방법론을 이용한 신규 차량 데이터 두 가지이다.

1. Augmentation 및 중요 Grid 탐색

강건한 모델 학습을 위해 Resize, RandomCrop, ColorJitter 등 다양한 Augmentation 기법들을 적용하여 최적의 조합을 탐색하였다. 또한 입력 이미지들에 대해, 여러 Grid로 나누어 학습한 후, 각각의 Attention score를 이용하여 모델에 중요하게 작용하지 않은 부분들을 제거하였다.

2. Self-Supervised Learning 적용

신규 차종의 경우 실험 데이터가 거의 없기 때문에, 새로운 모델을 학습시키기에는 부적절하다. 따라서 기존 차종들로 학습된 모델에 소량의 신규 차종 데이터로 미세조정을 할 수 있는 2-Stage 방법론을 적용하였다. 1-Stage에서는 다량의 기존 차량 데이터를 이용하여 딥러닝 모델을 학습하였다. 이 과정에서 Augmentation과 Metric Learning을 사용하여 보다 일반적인 모델을 구축하였다.  2-Stage에서는 소량의 신차 데이터를 이용하여 미세조정하였다. 이러한 과정을 통해 기존의 모델을 효율적으로 신차 데이터에 맞게 수정할 수 있는 프레임워크를 제안하였다.