[학회 후기]

2025년 7월 1일부터 4일까지 일본의 기타큐슈 지역에서 진행된 IEA/AIE 2025 (2025 The 38th International Conference on Industrial, Engineering & Other Applications of Applied Intelligent Systems (IEA/AIE)) 학회를 다녀왔다. 내 인생 첫 일본 여행이자, 첫 해외 학회 방문인만큼 설렘이 가득했다. 일본은 항상 우리나라와 가까운 나라이면서도 먹거리, 볼거리가 많은 나라로 유명해서 한번쯤은 가보고 싶었는데, 이러한 학회를 기회 삼아 방문할 수 있어서 좋았다. 더욱이, 함께 학회에 참여하는 인원이 나와 근기수인 정인, 진용, 시후, 정민 연구원이어서 더욱 재밌었던 학회 여정이었던 것 같다. 뿐만 아니라, 대학원 생활을 하면서 항상 한글로만 발표를 진행했었는데, 난생 처음 영어로 발표를 해보는 것도 준비 과정이나, 발표하는 순간이나 유익한 경험이었던 것 같다.

IEA/AIE 학회는 1988년부터 시작된 전통 있는 국제 학회로 굉장히 역사가 깊은 학회였다. 전반적으로 AI 기술을 실제 산업·공학·의료 등 다양한 응용 분야에 어떻게 적용할 수 있는지에 중점을 둔 성격을 가진 학회였다. 실용적인 문제 해결에 기반한 논문을 중심으로 구성되어 있어, 이론 연구뿐 아니라 산업계에서의 실제 적용 가능성을 높이는 다양한 연구들이 소개되곤 했다. 그리고 대만, 중국, 일본, 뉴질랜드, 이란 등 정말 다양한 국적의 연구원들의 발표를 청취할 수 있어 국경을 넘은 다양한 연구를 접할 수 있어 정말 매력적인 학회였던 것 같다.

[발표 후기 - Guided by Entropy: Semi-supervised Domain Adaptation with Curriculum and Contrastive Learning]

이번 학회에서는 내가 개인 연구로 현재 마무리 단계에 있는 순환 학습과 대조 학습을 기반의 엔트로피를 활용한 준지도 도메인 적응 방법론 연구에 대해 발표했다. 간략히 설명하면, 준지도 도메인 적응 방법론에서 아주 큰 문제인, 레이블이 없는 타겟 도메인 데이터 내 차이가 발생하는 intra-domain discrepancy 문제를 순환 학습 및 대조 학습으로 해결하는 연구이다. 이러한 unlabeled target domain data에 대해 예측 엔트로피를 기반으로 학습 난이도를 규명하고, 순환 학습을 위해 학습이 확실한 데이터부터 불확실한 데이터까지 점진적으로 학습에 참여시킨다. 그리고 참여된 unlabeled target data와 소량의 labeled source/target data간의 대조 학습을 진행하는데, labeled data 중 예측 엔트로피가 가장 낮은(다시 말하면 가장 학습이 확실한) 데이터와 positive/negative pair를 형성해 대조 학습을 진행하는, entropy-wise contrastive learning을 진행하였다.

질문 1: 실제로 학습 iteration마다 selection되는 unlabeled target data가 서로 상이한가?

답변 1: 그렇다. 학습이 진행됨에 따라 weight이 업데이트 되고, 이에 따라 threshold에 맞게 selection 되는 unlabeled target data 샘플이 매 iteration마다 약간의 차이가 있는 것을 확인할 수 있었다.

질문 2: 순환 학습와 대조 학습을 통합하여 사용하는 것에 대한 기여점은 무엇이라고 생각하는가?

답변 2: 우선, 두 학습 모두 "예측 엔트로피"라는 정보만을 활용하여 진행된다. 순환 학습은 엄선된 데이터만을 선정하여 학습을 돕고, 이 엄선된 데이터에 대해서는 강력한 특징 학습인 대조 학습을 진행함으로써 둘의 협력 관계가 있다고 판단하여 통합된 프레임워크를 제안하였다.

[청취 후기 1 - Domain Generalization through Domain-Expert Risk Assessment]

우리 연구실 소속인 진용 연구원의 발표였지만, 내가 가장 흥미로워 하는 Domain Adaptation/Generalization 분야라 그것과는 무관하게 꼭 청취하고 싶었다. 각 도메인의 리스크 수준이 얼마나 다른지를 정량화하고, 이를 통해 domain-invariant한 feature representation을 학습할 수 있도록 설계된 loss function을 제안한다. 예를 들어 리스크가 높은 도메인일수록 모델이 더 robust하게 학습되도록 weight를 부여하고, 반대로 리스크가 낮은 도메인에서는 overfitting을 방지하기 위한 제약을 둔다. 실험은 여러 개의 synthetic domain과 실제 의료 도메인 데이터셋(예: 병원 간 편차가 존재하는 이미지)에서 수행되었고, 기존 domain generalization 기법 대비 성능 향상이 있었음을 보여주었다. 발표를 들으면서 가장 신기했던 부분은 ‘전문가의 리스크 판단’이라는 주관적 정보를 얼마나 정량화된 학습 요소로 해석할 수 있느냐는 점이었다. 이는 기계학습의 자동화 흐름과는 어쩌면 역방향이기도 한데, 인간의 지식을 다시 시스템 안으로 끌어들이는 방향성 자체가 도메인 일반화의 현실적 문제에 꽤 잘 맞닿아 있다는 인상을 받았다.

[청취 후기 2 - A‑REACT: Adaptive Resampling and Active Classification for Thresholded Anomalies]

Threshold 기반의 이진 이상 탐지 문제에서, 경계 부근의 샘플을 중심으로 성능을 향상시키기 위해 adaptive resampling과 active classification을 결합한 구조를 제안한다. 발표를 준비하며 가장 눈에 띄었던 점은, 전체 데이터를 무작정 사용하는 것이 아니라 모델의 불확실성에 기반해 ‘어디에 집중적으로 학습해야 하는지’를 능동적으로 결정한다는 점이었다. 단순히 rare class에 oversampling을 적용하는 기존 방식과 달리, decision boundary 근처의 애매한 샘플을 반복적으로 학습하는 방식이 효율적이라는 인상을 받았다.