- 2025년 7월 10일 오후 7:18
- 조회수: 17

[학회 후기]
기타큐슈에서의 4일간이 벌써 지나갔다. 2025 IEA/AIE 학회에 시후, 정인, 순혁, 정민과 함께 다녀온 지 며칠이 지났는데도 아직 여운이 남아있다.
학회에 참가하면서 가장 놀라웠던 건 학회 운영 방식이었다. 보통 좌장은 세션을 진행하고 질의 응답을 관리하는 역할인데, 이 학회에서는 좌장들이 직접 발표까지 했다. 해당 세션 분야의 베테랑들이 자신의 연구를 직접 소개하니까 세션 전체의 퀄리티가 한층 높아지는 느낌이었다.
동행한 연구원들과 처음 해외 학회를 함께 가는 것이었는데, 생각보다 서로 다른 관점에서 발표를 바라보는 게 재밌었다. 같은 세션 발표들을 듣고도 각자 다른 포인트에 집중하고, 저녁에 그 얘기를 나누는 시간들이 흥미로웠다. 학회에서 만난 해외 연구자들과의 대화도 기억에 남는다. 영어가 서툴러서 아쉬웠지만, 그래도 서로의 연구에 대해 진지하게 이야기할 수 있어서 좋았다.
기타큐슈 자체도 생각보다 매력적인 도시였다. 학회장 주변을 돌아다니면서 일본의 지방 도시 분위기를 느낄 수 있었고, 무엇보다 현지 사람들이 정말 친절했다.
돌아와서 생각해보니, 이번 학회는 단순히 논문을 발표하고 듣는 것 이상의 의미가 있었던 것 같다. 연구의 실용성에 대해 다시 한번 생각해보게 됐고, 앞으로 어떤 방향으로 연구를 진행해야 할지에 대한 힌트도 얻었다. 그리고 무엇보다, 연구실의 친한 연구원들과 함께 이런 경험을 공유할 수 있어서 더욱 의미 있었다.
[발표 후기] - Domain Generalization through Domain-Expert Risk Assessment
본 연구에서는 딥러닝에서 모델이 학습 과정에서 보지 못한 새로운 도메인에 효과적으로 일반화 해야 하는 도메인 일반화 문제를 다룬다. 도메인 일반화를 위한 많은 접근 방식이 있는데, 본 연구를 진행하는데 있어서 distributionally robust optimization (DRO) 개념을 사용하였다. 기존 DRO 접근법은 단일 관점의 위험도 평가에 의존하여 복잡한 도메인 간 상호작용을 충분히 포착하지 못한다는 한계가 있다. 이를 해결하기 위해 본 연구에서는 도메인별 전문가 모듈을 통합한 새로운 DRO 프레임워크를 제안한다. 제안 방법은 모든 도메인에 걸쳐 위험도를 평가할 수 있는 도메인별 전문가들을 활용하여 최악의 시나리오 공간을 확장함으로써 보다 포괄적인 위험도 평가를 가능하게 한다. 구체적으로 다양한 도메인에서 공유되는 특징 추출기와 도메인별 분류기를 구축하여 다양한 도메인에서 강건한 학습을 보장한다. 도메인 일반화 벤치마크 데이터셋에 비교 실험을 수행하였으며, 기존 DRO 방법론들 대비하여 향상된 도메인 일반화 성능을 확인할 수 있었다.
질문 1. 제안하는 손실함수는 2개 term이 있는데, 두 term의 계수를 1로 고정하여 사용하는 이유가 있나요?
답변 1. 데이터셋마다 최적의 계수가 따로 존재할 것입니다. 그러나, 본 연구에서는 도메인 간 위험도를 평가할 수 있는 구조가 일반화 성능 향상에 영향을 줄 수 있는지 확인하는 것을 목표로 합니다. 따라서 최적의 계수를 찾는다기보다 고정된 계수를 사용하여 일반화 성능을 확인하였습니다. 또한, 고정된 계수를 사용하여도 벤치마크 데이터셋들에서 비교 방법론들보다 향상된 성능을 확인할 수 있었습니다.
질문 2. 데이터셋 분포 변화는 도메인 간 분포 변화만 있는 것이 아닐텐데요. 다른 대표적인 분포 변화는 또 무엇이 있나요?
답변 2. 또 다른 대표적인 분포 변화로는 하위 집단 간 분포 변화, 즉 subpopulation shift라는 분포 변화가 있습니다. 이러한 분포 변화에 대응하기 위해서 수행된 연구들이 상당 수 있습니다. 제가 제안하는 방법론에서 사용한 DRO 개념이 이러한 변화에도 강건할 수 있다는 연구도 있습니다. 따라서, 향후에 이러한 분포 변화에 대해서도 연구를 진행해 볼 계획입니다.
[청취 후기]
1. Guided by Entropy: Semi-supervised Domain Adaptation with Curriculum and Contrastive Learning
이 발표는 같은 연구실 소속인 황순혁 연구원이 발표를 해주었다. 연구를 진행하고 있는 domain generalization과 밀접한 연구 분야인 domain adaptation 분야라 굉장히 흥미롭게 들었다. Semi-supervised domain adaptation (SSDA)에서 커리큘럼 학습과 대조 학습을 결합한 C2SDA 방법론을 제안한 연구였다. SSDA 자체가 label이 제한적인 상황에서 domain adaptation을 다루는 까다로운 문제인데, 여기에 intra-domain discrepancy까지 고려한다는 접근이 흥미로웠다. 이 발표에서 제안하는 핵심은 예측 엔트로피를 학습 난이도 기준으로 사용하는 커리큘럼 학습과 cross-domain 및 cross-class 에 대해서 representation learning을 가능하게 하는 대조 학습을 결합하는 것이다. 이때 기존 복잡한 adversarial training 또는 휴리스틱 기반 pseudo-labeling 방식들과는 다르게 쉬운 샘플부터 점진적으로 학습에 포함시키면서, 대조 학습을 통해 특징 일관성을 확보한다는 설계가 매우 체계적으로 느껴졌다. 특히 inter-domain과 intra-domain discrepancy를 동시에 해결하려는 통합적 접근이 인상적이었다.
2. CAMI: A missing value imputation method based on causal discovery and self-attention
이 발표에서는 고차원 tabular 데이터에서 결측값 imputation을 위해 causal discovery와 self-attention을 결합한 방법론을 제안하였다. 결측값 처리라는 전통적인 데이터 전처리 문제에 causal discovery이라는 기법을 적용한다는 접근이 색다르게 느껴졌다. 그러나, 발표를 듣다 보니 기존 방법들이 변수 간 복잡한 관계, 잠재적 인과 구조를 제대로 활용하지 못한다는 문제 인식이 점점 설득력 있게 다가왔다. 특히, 단순한 통계적 관계가 아닌 인과적 관계를 통해 더 의미 있는 결측값 imputation이 가능하다는 아이디어가 흥미로웠다. 핵심은 causal discovery를 통해 생성된 causal graph가 attention allocation을 가이드하도록 하고, 이를 multi-head self attention과 결합해서 변수 간 관계를 동적으로 포착하는 것이다. 이러한 방식을 통해서 인과 구조를 명시적으로 모델링할 수 있게 되고, 해석 가능한 결측값 추정이 가능하다는 것이 특징이다. 높은 결측 비율에서도 안정적이고 강건한 성능을 보인다는 실험 결과가 방법론의 실용성을 잘 보여주는 것 같았다. 변수 간 인과관계가 중요한 도메인에서, 단순히 정확도만 높이는 것이 아니라 왜 그런 값으로 대체되었는지 설명할 수 있다는 해석 가능성까지 제공한다는 점에서 큰 의미가 있을 것으로 생각한다.