[학회 후기]

이번 하계학술대회에 포스터 발표자로 참여할 수 있는 기회를 갖게 되었다. 학회 현장에서는 많은 연구자들이 다양한 주제로 발표를 진행하였고, 이를 통해 연구적 시야를 확장하고 새로운 인사이트를 얻을 수 있었다. 또한, 내가 진행하고 있는 연구를 소개하고 여러 연구자들과 의견을 나누면서 연구를 다시 한 번 점검해보는 계기가 되었다. 이번 학회를 준비하고 고생해주신 교수님과 연구실 동료들에게 감사의 마음을 전한다. 앞으로도 이번 경험을 바탕으로 더욱 발전된 연구를 이어가고자 한다.

[발표 후기]

주제: Distributionally Robust Self-Supervised Learning for Domain Generalization

현재 진행하고 있는 연구에서는 심층 학습 모델이 실제 배포 환경에서 마주하게 되는 도메인 분포 차이 문제를 다루고 있다. 특히 레이블이 제한적인 상황에서 이러한 분포 변화에 대응하는 것은 매우 중요한 과제이며, 본 연구에서는 이를 해결하기 위해 unsupervised domain generalization (UDG) 문제에 집중하였다. 기존 자기지도학습(self-supervised learning) 기반 UDG 방법들은 모든 소스 도메인을 동등하게 취급하여 평균적인 성능 향상에 초점을 두었으나, 이로 인해 특정 도메인에서는 성능이 저하되는 한계가 존재하였다. 이러한 문제를 극복하기 위해 distributionally robust optimization (DRO) 원리를 UDG 프레임워크에 통합하는 방식을 제안하였다. 제안된 방법은 각 도메인 손실을 개별적으로 평가하고, 최악의 경우 성능을 보이는 도메인에 우선적으로 집중함으로써 모든 도메인에서 균형 잡힌 성능을 달성하도록 설계되었다. 실험 결과, 도메인 일반화 벤치마크 데이터셋에서 제안 방법이 기존 자기지도학습 기반 접근법보다 우수한 성능을 보임을 확인하였다. 이번 포스터 발표를 통해 평균 성능뿐 아니라 도메인 간 성능 격차를 줄이는 방향의 연구 필요성을 발표해볼 수 있었으며, 이를 통해 안정적이고 예측 가능한 모델 성능을 보장하는 것이 중요함을 다시 한 번 느끼게 되었다.

- 질문 1: Unlabeled dataset을 활용한다고 하셨는데, unlabeled dataset에도 domain index가 있는 것인가요? 실제로 그러한 가정이 있어도 괜찮을까요?

- 답변 1: 네, domain index가 있습니다. Unlabeled dataset이 수집되는 환경 자체를 하나의 domain으로 정의할 수 있기 때문에 타당한 가정이라고 생각합니다. 실제로도 UDG 관련 기존 연구들에서 이러한 가정을 두고 문제 설정을 하고 있고, 따라서 이 연구도 이러한 설정으로 진행하였습니다.

- 질문 2: Domain variance penalty를 사용한다고 하셨는데, 이게 domain-invariance 학습과 어떤 연관이 있는 것인가요?

- 답변 2: 이 penalty term은 각 도메인별 손실의 분산을 줄이도록 하는 제약입니다. 도메인 간 손실 차이가 줄어든다는 것은 모델이 특정 도메인에만 의존하지 않고, 모든 도메인에서 공통적으로 잘 작동하는 표현, 즉 domain-invariant representation을 학습한다는 의미입니다.

[청취 후기]

멀티 에이전트 기반 대형 언어모델을 활용한 해석 가능한 시계열 이상탐지 연구 (강형원 - 고려대학교, 김정섭 - HD 한국조선해양, 박진우, 강필성 -서울대학교)

해당 연구에서는 거대 언어모델을 활용해 zero-shot 방식으로 시계열 이상치를 탐지하는 접근을 제안하였다. Seasonal 에이전트, Trend 에이전트 등 여러 LLM 에이전트가 각기 다른 정보를 분석하고 이를 종합하여, 해석 가능한 형태로 이상치를 검출한다. 아직 정량적인 실험 결과는 없었지만, 학습 없이 LLM의 추론 능력으로만 기존 성능을 능가할 수 있다는 점에서 매우 흥미로웠다.

Efficient Zero-shot Neural Architecture Search for SAM-Adapter Architecture (장유나 - 광운대학교)

해당 연구에서는 SAM (Segment Anything) 모델을 학습 없이 특수 도메인에 최적화하는 방법을 제안하였다. 의료와 같은 도메인에서는 기본 SAM의 성능이 제한적이므로, Neural Architecture Search를 활용해 주어진 데이터에 가장 적합한 Adapter 구조를 자동으로 탐색한다. ZICO score를 이용해 activation과 bottleneck 차원을 조정하며, 최소한의 학습만으로도 효율적인 성능 개선이 가능함을 보여주었다. 학습 부담을 줄이면서 Foundation 모델을 활용할 수 있는 실용적인 접근이라는 점에서 흥미로웠다.