본 프로젝트에서는 차량 디자인에 따른 풍절음 예측 모델을 고도화하여, 기존 모델을 신규 차종에 적용하는 프레임워크 구축을 최종 목표로 하였다.세부 목표는 ① 데이터에 적합한 Augmentation 적용 및 중요 Grid 탐색  ② Self-Supervised Learning 방법론을 이용한 신규 차량 데이터 두 가지이다.1. Augmentation 및 중요 Grid 탐색강건한 모델 학습을 위해 Resize, RandomCrop, ColorJitter 등 다양한 Augmentation 기법들을 적용하여 최적의 조합을 탐색하였다. 또한 입력 이미지들에 대해, 여러 Grid로 나누어 학습한 후, 각각의 Attention score를 이용하여 모델에 중요하게 작용하지 않은 부분들을 제거하였다.2. Self-Supervised Learning 적용신규 차종의 경우 실험 데이터가 거의 없기 때문에, 새로운 모델을 학습시키기에는 부적절하다. 따라서 기존 차종들로 학습된 모델에 소량의 신규 차종 데이터로 미세조정을 할 수 있는 2-Stage 방법론을 적용하였다. 1-Stage에서는 다량의 기존 차량 데이터를 이용하여 딥러닝 모델을 학습하였다. 이 과정에서 Augmentation과 Metric Learning을 사용하여 보다 일반적인 모델을 구축하였다.  2-Stage에서는 소량의 신차 데이터를 이용하여 미세조정하였다. 이러한 과정을 통해 기존의 모델을 효율적으로 신차 데이터에 맞게 수정할 수 있는 프레임워크를 제안하였다.

본 프로젝트에서는 차량의 디자인에 따라 주행 시 발생하는 상세 풍절음들을 예측하고, 이를 바탕으로 중요한 디자인적 요소를 찾아주는 것을 최종 목표로 하였다.세부 목표는 ① 3가지 대역의 풍절음 예측, ② 풍절음에 중요하게 작용하는 디자인 요소 탐색으로 총 두 가지이다. 1.  풍절음 예측디자인에 따른 풍절음을 예측하기 위해, 자동차의 특징적인 부분을 반영할 수 있는 여러 이미지들을 입력 값으로 사용하였고, CNN기반의 특징 추출기를 이용하여 특징 벡터를 추출하였다. 또한 추출된 특징 벡터들 중 예측값에 가장 중요하게 반영되는 가중치를 연산하는 Self-Attention 모듈과 이를 이용하여 3가지의 주파수 대역을 예측하는 Linear Layer를 이용하여 3가지 대역의 풍절음을 예측하였다.2. 디자인 요소 탐색디자인 요소 탐색을 위해서는 가장 중요하게 사용된 이미지 종류와, 그 이미지 안에서도 어떤 부분이 중요했는지에 대한 정보가 필요하다. 이를 위해 Attention Score와 Grad-CAM을 사용하였다. 우선 Attention Score를 이용한 중요 이미지 탐색은 아래 표와 같으며, 주로 사이드 미러의 형태가 풍절음에 중요하다는 것을 알 수 있다. 또한 오른쪽 그림은 중요하게 작용했던 7가지 이미지에 대해 Grad-CAM을 이용하여 각 이미지 내에서 중요한 부분을 탐색한 결과이다.