[학회 후기]

재작년 제주도 춘계학술대회에 이어 오랜만에 대한산업공학회 추계학술대회를 참가했다. 이번 학회는 대전 카이스트에서 진행되었는데, 생각보다 큰 규모와 여러가지 세션으로 구성되어서 다채로운 학회였다. 기억에 남았던 연사 발표 중에는 김창욱 교수님이 발표해 주셨던 양자 컴퓨팅 입문 튜토리얼이 기억에 남는다. 어려운 개념이라 전부 이해한 건 아니지만, 큐비트에 대해 이해한 것 만으로도 남는 것이 있다고 느꼈다. 그리고 대산공은 포스터 세션이 조금 적었는데, 나와 관련 분야가 없어서 그 부분은 조금 아쉬움이 있었다. 하지만, 장소도 좋고 특히 점심 먹고 오리연못을 걸었는데 날씨가 따사롭고 꽃 내음이 향기로워서 마음이 평온해지는 학회였다. 교수님 및 학생들과 대전에서 좋은 추억도 쌓고 세션도 열심이 들어서 뿌듯해지는 학회였다.

[발표 후기]

주제: 디퓨전 기반 회귀를 위한 원샷 준지도 연합학습

내용: 연합학습의 레이블 부족 문제는 주로 분류에 집중되었으며, 회귀는 주목받지 못했다. 기존 준지도 연합학습 방법론은 여러번의 통신이 필요하고, Diffusion 모델을 사용하여 한 번 통신하는 방법론이 기존에 제안되었지만 클라이언트 데이터의 요약된 특징을 서버로 공유하는 프라이버시 위험이 존재한다. 본 연구는 서버의 레이블 데이터에서 추출한 특징만을 활용해 클라이언트별로 합성 학습 데이터를 생성하는 방법을 제안한다. UTKFace 데이터셋 실험 결과 프라이버시를 완벽히 보장하면서도 비교 방법론 대비 우수한 성능을 달성하였으며, 이는 최초의 준지도 회귀 프레임워크이다.

질문1: 해당 문제 상황은 연합학습에서 크로스 사일로 or 디바이스 중에 어디에 해당된다고 보면 될지?

답변1: 클라이언트 개수가 10개이기에 굳이 정한다면 사일로 상황으로 가정할 수 있을 것 같다.

질문2: 가지고 있는 레이블데이터로 이미지를 생성하여 학습하는게 자가 학습 같은 느낌인데 맞는가?

답변2: 서버의 특징을 요약해서 이미지를 생성하지만, 생성되는 이미지를 보면 사전 학습된 CLIP의 능력으로 해당 나이대에 맞는 좋은 이미지들이 생성되는 걸 볼 수 있었다. 파운데이션 모델의 능력이라고 보는게 맞는거 같다.

질문3: 서버에서만 이미지를 생성해서 학습시키는 결과는 어떤지?

답변3: 실제 실행을 해본 결과 지도 학습보다는 성능이 올랐지만, 제안 방법론보다 성능이 적었다. 그 이유는 클라이언트별 도메인을 잘 반영하지 못했기 때문으로 예상된다.

질문4: 생성된 이미지에 대한 품질을 어떻게 평가하는지?

답변4: 이전 연구들을 보면 생성된 이미지에 대해서는 정성적인 평가를 하지 별도로 정량적인 평가는 하지 않아서 저도 정성적인 평가만 하였는데, 추후에는 생성된 이미지에 대한 성능도 같이 구해서 넣으면 좋을 것 같다.

질문5: 왜 해당 문제 상황을 회귀 특화라고 보는지?

답변5: 클라이언트별로 극단적인 y(label) range를 셋팅한 것, MLP layer를 통해 수도레이블을 구할 수 있는 점, 클라이언트 집계 가중치에 대해 회귀에 필수인 지표들을 활용한 점이라고 볼 수 있다.

[청취 후기]

1.     Toward Safer Seas: A Transformer–Diffusion Approach for Fishing Vessel Trajectory Prediction (이다인/경북대학교)

어선은 일반 선박과 달리 불규칙한 움직임을 보이며 해양 사고 위험이 높아, 기존 모델로는 예측이 어려운 한계가 있었다. 해당 연구는 AIS 항적 데이터, 어업 특성, 그리고 해수면 온도와 같은 해양 환경 데이터를 모두 통합한 딥러닝 모델을 제안하여 어선의 복잡한 시공간적 패턴을 포착하고 충돌 위험을 조기에 식별함으로써 해양 안전을 향상시키는 것을 목표로 한다.

어선 경로 추적이란 주제가 매우 흥미로웠으며, 기존 시계열 모델 대비 경량화 한 것이 눈에 띄었다. 다만 어선이라는 특징을 반영하기 위해 기존 시계열 대비 무엇을 발전시켰는지에 대해 의문이 해소되지 않았다.

질문: 비교방법론과 timestep이 일치하지 않는 것 같은데 실험 셋팅이 달라도 되는건지?

답변: 비교방법론들도 각자의 timestep을 다르게 두고 진행한 것을 기여로 두고 있기 때문에 본 연구도 그렇게 진행하였다.

2.     Normalizing Flow 기반 분포 추정을 통한 오픈셋 상황의 미지 클래스 분리 가능성 탐구 (이상재/고려대학교)

오픈 셋 도메인 적응(OSDA)은 소스 도메인에 없는 'unknown class'가 타겟 도메인에 존재하여, 도메인 정렬을 방해하고 성능을 저하시키는 복잡한 문제이다. 기존 연구들은 엔트로피나 유사도 같은 간접적인 지표로 미지 클래스를 탐지하려 했기에 분리 성능에 한계가 있었다. 해당 연구는 ArcFace 손실로 'known' 클래스의 특징 공간을 먼저 조밀하게 구성한 뒤 Normalizing Flow(NF)로 이 분포를 직접 학습하는 접근법을 제안하며, NF가 출력하는 로그 가능도(log-likelihood)를 명시적인 기준으로 사용하여 기존 방식보다 더 정확하게 미지 클래스를 분리할 수 있는 가능성을 탐구한다. 

OSDA에 대해 이해할 수 있었으며, NF를 사용했다는 점이 흥미로웠다.

질문: 조밀하게 구성하는 loss를 대조학습을 쓰지 않았는데, 그 이유가 있는지?

답변: 대조 학습의 경우 배치사이즈가 무척 중요한데, 컴퓨팅 파워 문제도 있었으며 소요시간이 오래 걸리는 관계로 해당 loss로 진행하였다.