체코 흐라데츠크랄로베에서 개최되었던 IEA/AIE 학회에 참여하였습니다. 7월 10부터 7월 12일까지 총 3일 동안 개최되었고, 11일 목요일에는 세션 뿐 아니라 Conference trip도 함께 참여하여 학회 발표자들과 네트워킹을 할 수 있는 시간을 가질 수 있었습니다.

본 학회에서는 우리 연구실에서 진행하고 있는 Machine Learning 및 Neural Networks 분야에 대한 연구와 더불어 Optimization, e-applications 그리고 cyber security 등 다양한 분야의 연구가 소개되었습니다. 주로 청취하였던 세션은 Neural Netoworks에 대한 연구들이었는데, 많은 연구들에서 모델의 신뢰성과 모델의 해석 가능성에 초점을 맞추고 있다는 것을 확인할 수 있었습니다. 비단 NNs 세션 뿐 아니라 다른 연구에서도 비슷한 흐름을 볼 수 있었는데, 가용 가능한 데이터가 많아짐에 따라 컴퓨팅 자원만 든든하다면 모델의 예측 성능이 극대화 될 수 있는 이 시점에서 어떤 분야의 딥러닝 연구가 주목을 받을까? 고민해본다면 당연한 방향이라는 생각이 들었습니다.

[발표 후기]

학회 발표는 10일 오전에 진행되었습니다. 연습한 만큼 좋은 발표를 할 수 있었고, 특히나 외국에서 영어 발표를 할 수 있는 기회를 얻었다는 점이 참 소중했습니다. 한국어로 발표할 때에는 누구보다 잘 할 수 있다는 자신감을 가지고 있지만, 영어 발표는 연습한 만큼, 혹은 그보다도 더 실력 발휘를 못할 수도 있다는 점을 감안할 때 앞으로 더 많은 학회에 참여하여 발표를 해보고 싶다는 욕심이 생겨났습니다. 질의응답에 관해서도 잘 대답한 것 같아 뿌듯했고, 더욱 연습하여 규모가 큰 발표에서도 자신감을 잃지 않고 더 성장해야겠다는 마음이 들었습니다. 또한 이번 학회에서는 발표 뿐 아니라 여러 다른 연구에 대한 발표를 들으며 질문을 던지는 연습도 해볼 수 있었기에 여러모로 한 단계 더 성장할 수 있는 계기가 되어주었습니다.

[청취 후기]

(1) Formal Verification of Neural Networks: A "Step Zero" Approach for Vehicle Detection

- 본 연구는 vehicle detection을 위해 제안된 연구로서, 자동차 물체 감지 시스템의 신뢰성을 강화하는 데 목적을 두고 있습니다. 주목할 만한 부분은 전체 물체 감지를 수행하는 대신에, 이미지에 차량이 있는지 없는지를 선행 분류하는 'step zero' 과정을 도입하여 모델의 예측 신뢰성을 높이는 데 주안점을 두었다는 것입니다. 즉, detector를 서포트하는 auxiliary classifier를 둠으로써 vehicle 여부를 사전 판단하는 단계를 거쳐 예측력을 강화하였습니다. 또한 해당 연구에서는 모델의 'reliability' 극대화를 위하여 adversarial permutation에 대한 강건성에 대한 실험도 추가하여 제안하였는데, 해당 실험에서는 adversarial permutation을 직접적으로 완화할 수 있는 방식은 명시적으로 제안하지 않았습니다. 해당 부분은 저자들이 future works로 남기겠다고 언급하였고 관련한 전략을 잘 개발하여 자동차 물체 감지 시스템 분야에서 좋은 응용 연구가 되었으면 합니다.

(2) Deep Residual Networks for Pigmented Skin Lesions Diagnosis

- 해당 연구는 색소성 피부병에 대한 진단을 위한 이미지 분류 task에 관한 것이었습니다. 주요 motivation은 이미지 내에 noise나 complex lesion regions와 같은 artifacts가 있는 경우를 효과적으로 처리하고자 하는 것이었는데, 이에 대한 직접적인 솔루션으로서는 다양한 딥러닝 backbone을 사용하여 노이즈에도 불구하고 이미지 분류에 도움이되는 discriminative features를 잘 추출해내는 것이었습니다. 개인적으로는 매우 나이브한 방법론이었고, noise가 있는 경우를 다루기 위해 이미지를 augmentation 하는 기법을 도입했다고 언급하였으나 그 방식이 대부분 geometric (e.g., flipping or rotating) type에 관한 것이어서 이미지 증강이 노이즈를 완화할 수 있는 효과적인 솔루션이 될 수 없다는 판단이 들었습니다. 이러한 부분을 직접 저자에게 질문하였고 관련하여 검토하겠다는 답변을 받았습니다.

(3) Explainable Machine Learning for Intrusion Detection

- 사이버 보안, 즉, Intrusion detection systems (IDS) framework의 신뢰성을 높이고자 하는 연구였습니다. 주요 motivation은 해석 가능한 알고리즘을 이용하여 어떤 특징들로 인하여 모델이 intrusion 여부를 분류하였는지를 알아내고자 하는 것이었고, 이를 위해서는 LIME과 SHAP 알고리즘을 이용하였습니다. 재미있는 부분은 전체 데이터셋에 대한 global interpretation뿐 아니라, 인스턴스 별로 하나하나 해석을 해내는 local interpretation에 대한 결과도 해석했다는 것이었습니다. 개인적으로는 local interpretation이 global interpretation에 매우 의존적일 것이라는 우려가 있었고, 두 해석 결과가 일치하지 않는 inconsistency를 어떻게 다룰 수 있을 지, 그것이 의미하는 바가 무엇인지가 궁금하여 질문하였습니다. 저자들은 이에 대해서 좀 더 고민할 여지가 있으나, 다만 예측 결과가 실제와 불일치하는 경우가 많을 경우 local interpretation을 적극 활용할 수 있는 장점을 언급하였고, 이로써 global interpretation의 예측 성능에 의존적이지 않은 해석 가능 방식을 제안한 점을 강조해주었습니다.

(4) Enhancing False-Sentence Pairs of BERT-Pair for Low-Frequency Aspect Category Detection

-  리뷰 문장에서 고객이 필요로 하는 정보가 무엇인지를 자동으로 추출하는 task를 'aspect category detection (ACD)'라고 하며, 이때 카테고리의 빈도가 매우 불균형한 경우를 다루고자 하는 연구였습니다. 이를 위해서 각 카테고리 별로 특정 카테고리에 속하는지 아닌지를 분류하는 one verses all binary classifier를 구축하고 (BERT-pair), 추가적으로 저빈도 카테고리 문장에 대해서는 rephrase를 통해 데이터 증강을 수행합니다. 매우 흥미로운 연구였으나 rephrase 방식으로서 LLM을 택했다는 점은 주의할 필요가 있어보였는데, 어떤 프롬프트로 paraphrasing을 하느냐에 따라서 결과의 질이 크게 차이날 수 있다는 점에서, paraphrasing 방식에 대한 검토가 필요해보였습니다. 이와 관해서는 세션의 좌장이 직접 질문을 주었고, 저자들은 future works로 본 문제점을 다루겠다고 답하였습니다.

(5) Super-Resolution Methods for Wafer Transmission Electron Microscopy Images

- 김성수 연구원이 발표한 연구였으며, wafer TEM 이미지에서의 적절한 super resolution 방법론이 무엇인지를 탐색하는 연구였습니다. 일반적인 이미지와는 다르게, TEM 이미지는 해당 도메인에서의 고유 노이즈를 잘 학습하는 것이 중요한데, 이와 관련하여서 (1) Image matching; (1)-1. human labeling, (1)-2. template matching, (2) Image degradation; (2)-1. bicubic degradation, and (2)-2. complex degradation, 총 4가지의 기존 방법론 중 어느 것이 적절한 지를 탐색하였습니다. 실험 결과 Image matching보다는 Image degradation 방식이 wafer TEM 이미지에서는 효과적이며, 그 중에서도 complex degradation이 가장 적절하다는 것을 실험적으로 증명하였는데, SK하이닉스에서 제공된 실제 이미지를 기반으로 효과적인 방법론을 검증했다는 측면에서 매우 실용적인 연구였습니다. 이때 교수님께서 wafer TEM 이미지에서는 degradation 방식이 효과적이지만, Image matching의 효과는 어느 도메인에서 나타나느냐는 질문을 주셨습니다. image matching은 저해상도 이미지의 패치(patch)와 유사한 고해상도 패치를 찾아 매칭함으로써 세부 정보를 복원하는 기법입니다. 이러한 방식은 반복적인 패턴이나 구조가 있는 이미지에 특히 효과적이기 때문에 건축물, 텍스처, 자연 풍경 등 반복적 패턴이 있는 이미지나 비디오 프레임 등 시간적 연속성이 있는 경우에 효과적임을 알 수 있었습니다. 김성수 연구원의 발표가 끝난 뒤에는 좌장이 직접 관련한 질문을 하며 따로 질의응답을 진행했는데, 학회에서 유관 분야의 연구자와 토의를 할 수 있는 경험을 할 수 있다는 점이 매우 유의미했습니다.

(6) Boundary-Focused Semantic Segmentation for Limited Wafer Transmission Electron Microscope Images

- 조용원 연구원이 발표를 진행하였으며, wafer TEM 이미지에서의 semantic segmentation 성능을 극대화 하기 위해 (1) pre-training 단계를 추가하고, (2) boundary 부분에는 1 이상의 가중치를 주어 효과적으로 학습을 수행하게끔 하였습니다. 이에 대해서는 다음과 같은 질문이 있었는데, (1) 사전학습 방식으로 auto encoder-based methods (vanilla auto encoder, denosing AE and context AE)만을 실험하였는데, 이외에도 다양한 사전학습 방식 (e.g., Generative models-based, transformer-based)을 택하여 연구를 더 확장할 수 있지 않을까?, (2) 경계 픽셀에 더 높은 가중치를 부여하여 손실 함수를 구성하는 방식에 대해서는, '가중치로서 1 이상의 값을 사용했다'고 하였는데, 이외에도 다양한 방식을 이용하여 실험할 수 있지 않을까? 하는 것이었습니다. 이를 테면 주요 segmentation task와 함께 경계 감지를 부가적인 task로 학습하는 multi-task learning으로 reformulation 해볼 수 있을 것 같았습니다. 더불어 가중치로서 어떤 값이 적절한 지에 대한 ablation 실험 결과가 궁금하였고, semantic segmentation  분야 내에서 경계 정보를 명시적으로 모델링하는 다른 방법론들이 실제로 무엇이 더 있는지도 궁금하였습니다. 다양한 질문을 이끌어낼 수 있는 좋은 연구였습니다.