[학회 후기]

11월 6일(목)부터 7일(금)까지 대전 KAIST에서 열린 2025 대한산업공학회 추계학술대회에 참석했다. 새내기 시절 제주도에서 개최된 대한산업공학회 춘계학술대회 이후로 다시 찾은 대한산업공학회 학술대회라 감회가 새로웠다. 그리고 말로만 듣던 KAIST 캠퍼스를 직접 방문하니 신기했고, 캠퍼스 한가운데 자리한 큰 호수가 인상적이었다. 가을이 한창이라 낙엽이 물들어 있었고, 발표장으로 가는 길에 보이는 풍경이 참 아름다웠다. 일본 IEA/AIE 2025 학회 이후 약 4개월만에 대중들 앞에서 발표를 갖는 시간을 가질 수 있어서 뜻깊었다.

[발표 후기]

주제: 엔트로피 기반 커리큘럼 및 대조 학습을 활용한 준지도 도메인 적응 방법론

내용: 본 연구는 라벨이 일부만 존재하는 소스 도메인과 라벨이 없는 타깃 도메인 간의 분포 차이를 줄이기 위해, pseudo-label에만 의존하는 기존 방식보다 샘플의 학습 난이도와 불확실성을 중심에 두는 SSDA 프레임워크를 제안한 것이다. 예측 불확실도가 낮은 샘플부터 학습을 시작하는 entropy-guided curriculum learning, 도메인 간과 도메인 내 구조를 동시에 정렬하는 contrastive learning, 그리고 샘플 신뢰도에 따라 학습 기여도를 조절하는 entropy-weighted contrastive loss를 결합해 noisy하거나 어려운 샘플을 단순히 배제하지 않고 학습 준비도에 따라 점진적으로 활용하도록 설계했다. 이번 학회 발표를 하면서, 내가 고민해온 "어떤 샘플을 언제 학습에, 어떻게 포함시킬 것인가?"라는 관점이 SSDA에서 얼마나 중요한지 다시 확인할 수 있었고, 여러 연구자들과의 논의를 통해 프레임워크의 확장 가능성도 체감할 수 있었다.

질문1: 커리큘럼 러닝의 효과를 입증하기 위한 실험 세팅이 잘 이해가 가지 않는다.

답변1: 일반적으로 학습된 모델을 Test할 때, 무작위로 섞은 Test 데이터들에 대해서 성능을 평가한다. 하지만 본 모델에서 사용된 커리큘럼 러닝의 가설이 "학습(예측)이 어려운 데이터에 효과적인 학습 방식"이므로, Test 데이터셋을 엔트로피 기준 하에 sorting하고, 그 중 엔트로피가 높은 30%(학습이 어려운 상위 30%)의 데이터에 대해서만 성능을 기재한 실험이다.

질문2: 그렇다면, 그 실험에서 사용된 알고리즘이 각각 판단하는 학습이 어려운 샘플은 각자 다르고, 대신 테스트 샘플 수만 맞춰줬다고 할 수 있는가?

답변2: 정확하다. 물론 테스트하는 샘플이 다르긴 하지만, 어찌 되었든 모델이 "학습(예측)을 어려워" 한다는 점에서 공통점이 있고, 샘플 수도 맞춰주었기에 큰 문제는 아니라고 생각했다.

질문3: 제안한 방법은 커리큘럼 러닝과 대조 학습의 조합인데, 기존에 SSDA 방식은 어떻게 진행되는가? 

답변3: 기존에는, 커리큘럼 러닝, 대조 학습, 일관성 정규화, 데이터 증강 등 다양한 방식을 각자의 방식으로 제안한 모델이 있다. 다만, 제안하는 모델은 커리큘럼 러닝과 대조 학습을 통합했을 때 시너지 효과가 날 수 있도록 제안한 방법론으로 의의가 있다고 생각한다.

[청취 후기]

1.  클래스 불균형 하 노이즈 레이블 데이터셋에서의 준비도 인식 기반 샘플 선택 방법 (최치현/동국대학교)

본 연구는 노이즈 레이블과 클래스 불균형을 동시에 다루는 연구라서, 나도 샘플 셀렉션 연구를 하고 있는 입장에서 더 몰입해서 들었다. 특히 클래스별로 학습 준비도를 먼저 판단하고, 준비된 클래스에만 샘플 선택을 적용한다는 아이디어가 기존 small-loss 방식의 한계를 정확히 짚어줘서 공감이 많이 갔다. 나도 실험하다 보면 학습이 덜 된 클래스에서 이상한 샘플이 클린으로 선택되는 문제가 자주 생겨서, 이런 접근이 실제로 효과적일 것 같다는 생각이 들었다. 위험도가 낮은 클래스의 클린 샘플만 골라 negative learning을 적용한 부분도 모델 혼란을 줄이는 데 꽤 현실적인 방법처럼 느껴졌다. CIFAR와 실제 노이즈 데이터셋에서 성능이 꾸준히 잘 나온 걸 보니 구조 자체가 꽤 안정적이었다. 그리고, 준지도 학습과 일반 지도 학습 모두에서의 adaptive하게 사용할 수 있는 장점과, 그에 대한 실험을 진행하여 성능을 기재한 부분도 인상적이었다.

2.  클래스 불균형 반지도 학습을 위한 클래스별 평균 학습 손실 기반 로짓 조정 (이혁/KAIST)

본 연구는 Learnable Logit Adjustment 와 관련된 내용으로, 클래스 불균형과 라벨·언라벨 분포 불일치 문제를 다루는 방식이 인상적이었다고 느꼈다. 기존 LA가 가진 한계를 짚고, 이를 학습 가능한 형태로 확장한 접근이 실제 성능 향상으로 이어졌다는 점이 설득력 있게 전달됐다. 특히 unlabeled set의 분포를 직접 추정하지 않고도 class-averaged loss를 통해 균형을 맞추는 아이디어가 참신하게 다가왔다. 발표자는 feature space 내 소수 클래스의 밀집도를 높이기 위한 EFCC 개념도 함께 설명했는데, t-SNE 시각화를 통해 효과가 잘 드러나 이해가 쉬웠다. 실험 결과 역시 다양한 세팅에서 일관된 우수성을 보여 신뢰가 갔다. 내 연구 역시 샘플 선택과 pseudo-label 품질 개선이 핵심이라, 발표 내용을 들으며 공감되는 부분이 많았다. 전체적으로 논리 흐름이 명확하고 실제적 문제를 잘 짚은 발표였다고 느꼈다.