[학회후기]

갑자기 추워진 가을 아침, 연구원들 모두 따뜻한 옷차림으로 양재역 앞에서 만나 커피를 한잔씩 마신 뒤 학회장에 들어갔다. 우리는 2023년 11월 7일 진행된 한국데이터마이닝학회 추계학술대회 중 학생논문 경진대회 부문에 참가하였다. 이번 추계학술대회에서는 학생 발표에 앞서 데이터마이닝 분야의 최신 연구 동향과 기술 발전에 대한 세미나를 진행하였으며, 특히 생성형 AI에 대한 세미나가 많이 준비되어 있어 그 인기를 실감했다. 이후 학생 발표를 들으며 다른 연구실에서는 어떤 연구가 진행되고 있는지, 내 또래의 학생들은 어느 분야에 관심 갖고 연구하고 있는지 알 수 있었다. 이번 한국데이터마이닝학회 추계학술대회는 다양한 분야의 연구가 발표된 흥미로운 행사였다. 여러 연구자들의 발표를 청취하며 연구에 대해 더 넓은 시각을 가질 수 있게 되었으며, 앞으로의 연구에 힘을 더해줄 소중한 경험을 쌓을 수 있었다.

[발표후기]

이번 추계학술대회 학생논문 경진대회에서는 개인 연구 주제인 Concept-Level Decomposition for Personalization (CLD)에 대해 발표했다. Personalization이란 디퓨전 모델에서 사용자 개인이 입력한 이미지 내 대상을 텍스트 토큰 임베딩에 담아 새로운 이미지 생성 시 해당 대상이 생성 이미지에 나타나도록 하는 기법을 말한다. 이전 Personalization 연구들에서는 이미지 내 대상이 하나의 토큰 임베딩에 담기도록 학습하였으나, 이러한 단일 임베딩 학습 방식은 이미지에서 드러나는 대상의 다양한 측면을 고려하지 않기 때문에 이미지 생성의 표현력을 한정 짓는다. CLD에서는 이미지 내 대상을 윤곽, 질감 등과 같이 의미 있는 개념으로 분해하여 각각의 임베딩을 학습할 수 있는 방식을 제안한다. 텍스트 공간에서의 풍부한 언어적 표현을 학습 과정에서 직접적으로 사용함으로써 각 임베딩은 특정 개념을 담을 수 있게 된다. 학습된 임베딩들은 디퓨전 모델의 이미지 생성 과정에서 선택적으로 입력 프롬프트에 사용되어 해당 대상의 특정 개념을 반영하는 새로운 이미지를 생성하도록 한다.

[청취후기]

학생 연구자 발표 중 'Multi-task learning 내 공유 표현 보편성을 위한 Dummy 디코더의 그래디언트 놈 정규화 방법 (신석원, 손영두, 도형록. 동국대학교, NYU)'이 기억에 남았다. Multi-task learning은 여러 작업을 동시에 학습하여 머신러닝 알고리즘을 개선하고 일반화 성능을 향상시키는 기법을 말한다. 이 기법은 일반적으로 Hard parameter sharing, 즉 하나의 인코더가 모든 작업 학습에 공통적으로 사용되는 방식으로 진행되는데, 이 연구에서는 여기에 Dummy 디코더를 추가하여 공유 표현의 보편성을 개선한다. 이 디코더까지 포함하여 계산된 그래디언트를 손실함수에 반영해 모델 파라미터를 업데이트한다. 이때 흥미로웠던 점은 그래디언트 계산 시 Dummy 디코더는 말 그대로 랜덤하게 초기화된 파라미터 값을 사용한다는 것이다. 임의의 랜덤 파라미터를 갖는 모듈을 이어붙인 구조가 기존 방법론들보다 더 나은 성능을 보인다는 것이 흥미로웠고, 여러 수식들을 풀어가며 아이디어를 증명해나가는 발표가 매우 멋있었다.