[학회 후기]

코로나로 인한 거리두기가 끝나 마침내 오프라인으로 참여할 수 있게 된 첫 학회였다. 말로만 듣던 학회 현장 분위기를 직접 경험해보니, 기대했던 것보다 훨씬 재밌고 열정적인 분위기였다. 학회 세션마다 플로어가 꽉 찰 정도로 사람이 많았고 질문들 수준도 높았다. 여러 발표를 통해 연구 추세도 알 수 있었는데, 확실히 이상 탐지 분야와 시계열 데이터 관련 연구가 핫하고 니즈도 많다고 느꼈다. 연구에 자극이 많이 되는 경험이었다. 그리고 무엇보다도 졸업 전 마지막으로 교수님, 연구실 친구들과 뜻깊은 시간을 보낼 수 있어서 감사했다. 모두에게 좋은 시간으로 기억 됐으면 좋겠다.

[발표 후기]

이번 학회에서는 ‘수직 형태의 한글 합성 이미지를 활용한 도메인 적응 기반의 문자 탐지 모델’을 주제로 발표했다. 지난 연구에서 문자 검출 모델 부분을 보완하고 싶어서 진행한 후속 연구였다. scene text 분야에서 다양한 배열 형태의 문자열을 정확히 검출하는 것은 중요한 과제다. 특히 한글이나 일본어, 중국어의 경우 수직(vertical) 배열의 단어들을 어렵지 않게 볼 수 있는데 이를 학습하기 위한 데이터셋은 많지 않아 검출 성능이 낮다. 따라서 주로 수평 형태 문자열로 제작하는 기존의 합성 이미지에, 수직 문자열 합성 이미지를 추가 생성해 모델 학습에 사용하고자 했다. 이때 합성 이미지와 현실 이미지 간 도메인 갭을 고려해 적대적 학습 기반의 도메인 적응 기법을 시도했다. 도메인 적응 기법을 사용할 경우 레이블이 있는 합성 이미지와 레이블이 없는 현실 이미지를 동시에 학습하면서도 현실 이미지에 보다 적합하게끔 이미지 특징을 추출할 수 있다. 실험을 통해 도메인 적응 기법, 그리고 수직 합성 이미지를 이용하는 것이 검출 성능 향상에 효율적이라는 것을 확인할 수 있었다. 다만 이번 연구에서 사용한 anchor-free 방식의 문자 검출 모델의 경우 false positive를 줄이기 위한 추가 알고리즘 설계가 필요한데 해당 부분은 시간적 한계로 진행하지 못해 조금 아쉬웠다. 후속 연구로 이 부분도 보완한다면 더욱 만족할 만한 성능을 얻을 것이라 기대한다.

질문 1. 합성 이미지를 생성할 때 사용한 한글 단어들은 어떻게 수집한 것인지? 아무 의미 없는 단어들도 많아 보이는데 학습용으로 적절한 것인지?

답. 해당 단어들은 특정 기간 뉴스 기사에 등장한 한글 및 영어 단어들로 이뤄진 News Group 데이터셋에 있는 단어들이다.  데이터셋으로부터 랜덤하게 선택된 단어가 이미지에 합성됐다. 때문에 사람 이름이나 고유명사 등 의미 없어 보이는 경우도 있는데 모두 실제 사용된 단어들이다. 또한 사용 빈도가 낮은 단어라 하더라도 검출 모델 학습 시에 단어의 의미는 크게 중요하지 않기 때문에 학습 이미지로 사용하기엔 문제가 없을 것이라 판단했다. 

[청취 후기]

1. CIS Image Test를 위한 패치 레벨 Semi Supervised Anomaly Detection - 성진우(SK하이닉스)

CIS(CMOS Image Sensor)는 카메라 렌즈로 들어온 영상 정보를 감지하고 이를 디지털 신호로 변환하는 장치다. CIS 불량 테스트에서는 기존에 발견되지 않은 새로운 불량 유형이 계속 등장하기 때문에 불량 판정뿐 아니라 불량에 대한 설명력을 제공하는 모델이 필요하다. 이를 위해 연구에서는 CIS 테스트에서 나오는 이미지의 불량 영역을 분할 검출하는 딥러닝 기반 방법론을 제안했다. 모델로는 Deep SVDD를 발전시킨 Deep SAD(Ruff et al., 2019)를 적용했다. 해당 모델은 정상 데이터와 unlabeled 데이터는 초구의 중심에 가깝도록, 불량 데이터는 중심에서 멀어지도록 임베딩한뒤 중심으로부터의 거리로 불량을 판정한다. 기존 Deep SAD는 이미지 전체를 사용해서 학습하다 보니 정보 손실이 있었는데, 이 연구에서는 이미지를 224*224 크기의 패치로 쪼개 patch labeling을 진행하여 확보한 패치 이미지를 사용했다. 이때 high variance를 가진 불량은 어차피 중심에서 멀어지기 때문에 라벨링 없이 학습하고, 적은 variance의 불량에 라벨링을 부여함으로써 강제로 중심에서 멀어지게끔 학습했다. 패치를 사용한 메커니즘이 흥미로웠고, 수업 과제에서 리뷰한 적 있었던 Deep SVDD가 실제 현업에서 사용되는 과정을 볼 수 있어 유익했다.