[학회 후기] 

2022 대한산업공학회 춘계학술대회는 제주도에서 오프라인으로 진행되었다. 코로나 시국으로 매번 온라인으로만 발표를 하다가 입학하고 처음으로 오프라인 발표를 하는 것이다 보니 설레기도 하고 평소와 다르게 많이 떨리기도 했다. 발표 직전에는 긴장감이 설레임을 잠시 추월했지만, 발표를 시작하고는 생각보다 더 많은 사람들이 내가 지금까지 해온 연구를 관심 가지고 들어주는 것을 보면서 내가 한 연구가 누군가에게 새로운 인사이트를 줄 수 있을 것이라는 기대감에 즐거운 마음으로 마무리할 수 있었다. 학술대회가 이렇게 내가 한 연구도 공유하고, 다른 사람들이 해온 연구들도 들어보면서 서로의 생각을 자유롭게 나누는 과정을 통해 새로운 연구 방향도 모색하고, 더 넓고 깊게 사고할 수 있는 힘을 기르게 해주는 좋은 원동력이 된다는 것을 깨닫는 시간이었다. 더 나아가서 연구실 동료들과 연구실이 아닌 밖에서 만날 기회가 많지 않았는데 바다가 펼쳐진 제주도에서 함께 2박 3일을 보낸 것이 새롭고 즐거운 기억으로 오래 오래 기억될 것 같다. 

[발표 후기] 

발표는 '다중 센서 멀티모달 자기지도학습 모델을 이용한 실차 소음 수준 예측'이라는 주제로 진행하였다. 자기지도학습은 unlabeled 데이터를 충분히 활용하여 입력데이터의 특징을 사전학습한 후 이를 실제 문제를 푸는 데에 활용하여, labeled data의 양이 얼마 없는 상황에서도 풀고자하는 문제를 해결할 수 있도록 하는 방법론이다. 본 연구에서는 자기지도학습 방법론 중에서도 Pretext task 방법론을 활용하여 소량의 실차 소음 데이터만을 가지고도 유의미한 성능을 내는 실차 소음 예측 모델을 구축하는 과정을 설명한다. 또한 더 나아가서 자기지도학습 과정에서 파형 형태의 가속도 데이터와 이를 스펙트로그램으로 변환한 데이터를 모두 활용하여 입력데이터의 특징을 더 잘 추출할 수 있도록 하였는데, 이렇게 2개 이상의 modality로 부터 얻은 데이터를 자기지도학습에 활용하는 모델을 멀티모달 자기지도학습 모델이라고 한다.  구체적인 제안방법론을 요약하면, 본 연구는  하나의 관측치에서 얻은 여섯개 축의 파형 형태 가속도 데이터와 이를 스펙트로그램 형태로 변환한 데이터를 입력 데이터로 사용한다. 먼저 사전 학습 단계에서는 스펙트로그램의 순서를 임의로 섞고, 섞인 스펙트로그램의 순서 순열을 레이블로 가지는 분류 모델을 학습한다. 이 후에는 사전 학습된 모델의 특징 추출기를 실차 소음 수준 예측 모델을 학습하는데 활용한다. 구축한 실차 소음 예측 모델은 레이블이 있는 데이터의 수를 줄일수록 지도 학습 모델 보다 좋은 성능을 보인다. 따라서 본 연구는 다중 센서 데이터에 활용 가능한 자기 지도 학습 방법론을 제안함으로써 소량의 레이블이 있는 데이터만으로도 성능이 좋은 실차 소음 예측 모델을 구축하여 실차 소음 데이터 수집에 필요한 자원을 절약한다는 점에서 의미가 있다. 발표를 하면서 내가 지금까지 한 연구를 다시 한번 정리할 수 있는 기회가 되었고, 내가 한 연구가 가진 기여점과 한계점에 대해서도 조금 더 생각해볼 수 있는 시간을 가졌다. 한 사람 당 발표시간이 12분 정도로 제한되어 있어서 더 자세히 설명하고 싶은 부분들을 그렇게 설명하지 못했던 점이 아쉬움으로 남는다. 

질문 1 : 멀티모달이 6개 축의 가속도 데이터를 사용하기 때문에 멀티모달이라고 하는 것인가? 아니면 가속도 데이터와 스펙트로그램 데이터를 모두 사용하기 때문인가?

답변 : 후자가 맞습니다. 멀티모달이라는 것은 두개 이상의 모달리티로 부터 얻은  데이터를 활용하는 것을 의미하며, 모달리티는 데이터를 인코딩 하는 특정 양식을 의미합니다. 따라서 파형 형태 데이터와 이미지 형태의 스펙트로그램 데이터를 모두 모델 구축에 활용하였기 때문에 본 연구에서 멀티모달 자기지도학습 방식을 활용하였다고 하였습니다. 

질문 2 : audio를 스펙트로그램으로 변환하여 모델 구축에 활용하는 것이 이전의 연구에서도 많이 활용되어 온 방식인가요? 아님 새롭게 제안한 방식인가요?

답변 : audio를 스펙트로그램으로 변환하는 방식은 이전의 audio 데이터 분석 연구에서 많이 사용되고 있는 방식이고 높은 성능을 내는 것으로 알려져있습니다. 저는 이를 본 연구에 적용하였습니다. 

[청취 후기] 

4차 산업혁명 2에서 '오토인코더 기반 다변량 펌프 데이터 비지도 이상 탐지'라는 주제로 진행된 발표가 기억에 남는다. 이번 학기에 이상치 탐지와 관련한 수업을 들으면서 이상치 탐지에 대해 관심을 가지게 되면서 더 주의 깊게 듣게 되었습니다. 본 연구에서는 모델 학습에 정상 데이터만을 활용하여 비정상 데이터에 대해서는 재구성에 실패하도록 하는 방식으로 이상치 탐지를 수행하는 AutoEncoder-based 방법론이 시뮬레이션 데이터와 달리 실제 데이터는 복잡한 패턴을 가지기 때문에 대칭적 encoder-decoder 구조로 실제 데이터의 재구성 성능을 보장할 수 없다는 문제점이 있다고 지적하고 새로운 framework를 제안하였다. 제안하는 방법론에서는 autoencoder의 decoder를 깊게 쌓은 비대칭 autoencoder를 통해 데이터의 재구성 성능을 높이고 이상 탐지 성능을 향상시키고자 하였다. 학습 과정에서는 정상 데이터에 sliding window를 적용하여 window 단위로 Fast Fourier transform을 사용하여 autoencoder기반 이상 탐지 모델을 훈련시키고, 재구성 오차를 통해 threshold를 계산하도록 하였다. 또한 실험 부분에서는 제안 방법론을 기존 방법론과 비교하여 정성적으로 더 좋은 성능을 보이고 있는 것을 확인시켜주었다. 결과와 관련해서 정말 제안하는 방법론이 더 좋은 성능을 보인다고 볼 수 있는 지에 대해 의문을 품고 질문을 하시는 분들이 많이 있었다. 아직 이상치 탐지에 대해서는 모르는 부분이 많은 저로서는 이에 대한 의견을 가지기가 어려웠는데, 이 분야에 대해 더 공부해보고 제안하는 방법론이 실제로 좋은 방법론인지에 대해 스스로 판단을 내려보고 싶다는 생각을 하게 되었다. 활발한 토론을 지켜보면서 연구에 대한 많은 사람들의 열정에 자극 받았고, 더 열정적인 마음가짐으로 연구에 임하고 싶다는 생각을 했다.