[학회 후기]

2024 한국데이터마이닝학회 추계학술대회가 경주 화백컨벤션센터에서 11월 22~23일 개최되었다. 이번 학회는 학생들의 포스터 발표, 그리고 교수님들의 자기 소개 등 이전과 다른 방식으로 진행되어 새로운 느낌이었다. 포스터 세션에서 현재 진행 중인 연구에 대해 소개하였고, 다른 연구자들의 발표를 청취하며 인공지능에 관련된 여러 분야에 대한 지식을 쌓을 수 있었다. 또한 세미나에서 여러 흥미로운 주제들에 대해 발표를 들을 수 있어서 유익했던 시간이었다.

[발표 후기]

이번 학술대회에서는 "Improving Text Fidelity in Diffusion Models through Text Embedding Modification"이라는 주제로 포스터 발표를 진행했다. 디퓨전 모델에서 텍스트 임베딩에 과적합된 레이어를 식별하고 이를 완화하기 위해 텍스트 임베딩에 변형을 가하는 연구였다. 발표를 마치고 청취자들의 의견이나 질문들을 듣는 과정에서 많은 것을 생각해볼 수 있었다. 예를 들어 텍스트와 이미지 등을 포함하는 멀티모달 연구에서 활발히 논의되고 있는 것이 무엇인지 묻는 질문에 대해 각 텍스트 인코더 및 이미지 인코더들을 연결하는 커넥터의 병목현상을 최소화하는 것이라고 답변했는데, 그 외에도 멀티모달 모델을 다룰 때 중요한 것들은 또 어떤 것들이 있는지 생각해볼 수 있었다. 또한 여러 질문과 의견들을 들으며 연구 내용을 다시 점검하고 생각해볼 수 있는 시간이었다.

[청취 후기]

이번 학회는 학생 연구자들의 포스터 세션에서 흥미로운 발표를 많이 청취할 수 있었다. 그 중에서 흥미로웠던 연구는 "A gradient Accumulation Method for Dense Retriever under Memory Constraint"라는 연구였다. 이 연구는 dense passage retrieval (DPR)을 다루며, 메모리 코스트가 제한된 상황에서 효율적으로 쿼리에 대한 관련 문단을 뽑아낼 수 있도록 하는 방법론을 제시한다. 이 연구에서는 쿼리와 문단에 대한 메모리 뱅크를 각각 만들어두고, retriever 모델 학습 시 이전 스텝에서 사용하고 메모리 뱅크에 저장해두었던 쿼리 및 문단들을 현재 스텝의 쿼리 및 문단에 대한 negative samples로서 사용한다. 이전 연구들과의 차별점은 '이전 문단들을 현재 쿼리의 negative sample로, 이전 쿼리들을 현재 문단의 negative sample로' 정의한다는 데에 있다. 즉 과거 학습에 사용했던 데이터들을 낭비하지 않고 효율적으로 학습에 이용하는 것이다. 학회를 통해 이러한 다양한 연구들에 대한 발표를 청취하며 여러 흥미로운 연구 주제들을 접할 수 있었다.