이영재

이번 세미나는 Self-Supervised Learning에서 Contrastive Learning 방법론들과 다양한 분야에 응용되고 있는 연구들을 소개하였다. Contrastive Learning은 지도 학습 기반의 분류 문제에서 발생하는 문제점을 해결하기 위해 고안된 방법으로 이미지 분류 뿐만 아니라 비디오 처리, 의료 데이터, 강화학습, 그래프, 오디오 등 많은 분야에 활발하게 응용되고 있다. 필자 또한 강화학습 분야에 Self-Supervised Learning을 결합하는 연구를 진행하고 있다. 이번 세미나를 통해 연구원들이 다양한 이론을 공부하면서 하고자 하는 연구에 응용력을 키울 수 있는 계기가 되었으면 하는 바람이다.

배진수

금일 세미나는 영재 형이 "자가지도학습의 활용"을 주제로 진행해주셨다. 자가지도학습의 연구 동향과 개념을 (such as Pretext Task 기반, Contrastive Learning, Non-Contrastive Learning) 살펴볼 수 있었다. 그리고 여러 도메인 분야 (이미지, 비디오, 오디오, 멀티 모달, 강화학습, 그래프)에서 Contrastive Learning을 어떻게 활용하고 있는지를 본 세미나에서 확인할 수 있었다. 각 도메인별로 데이터 특징 추출을 위한 인코더 모델을 무엇으로 사용하고 positive, negative 데이터들을 어떻게 선정하는지를 중점적으로 소개해주셨다. 또한, 사용되는 데이터 증강 기법 역시 도메인 별로 다르기 때문에 유의 깊게 들었다. 우리 연구실에서는 다양한 데이터 도메인에서 파생되는 산학 프로젝트를 수행하고 있는데, 본 세미나 내용을 적극적으로 활용하면 좋겠다고 생각했다. 거의 모든 데이터 분야를 다루어주셔서 내용도 알찼다. 좋은 세미나를 준비해주신 영재 형에게 감사의 말씀을 전하며 세미나 후기를 마치도록 한다.

고은지

금일 세미나는 다양한 도메인에서의 self-supervised learning에 대해 진행되었다. Self-supervised learning은 다량의 레이블이 달려있는 데이터를 얻기 어렵다는 현실 문제를 고려하는 하기 위해 고안되었다. 레이블이 없는 데이터를 사용하여 데이터 자체에 대한 이해를 높이고자 하는 학습 방식이다. 대표적인 방법론으로는 contrastive learning인 MoCo와 SimCLR, non-contrastive learning인 BYOL이 있다. 다양한 방법론들은 multi-modal learning이나 video, graph와 같은 다양한 분야에서 응용된다. Graph 분야의 self-supervised learning은 레이블이 없는 데이터를 사용하여 분자 정보를 세밀하게 표현하는 것이 핵심이다. 세미나에 소개된 "Molecular contrastive learning of representations via graph neural networks"는 SimCLR를 적용한 그래프 기반의 대조 학습을 제안한다. 본 세미나는 다양한 데이터에 대한 적용 방법을 소개해주어서 개인 연구와도 연관지어 생각해볼 수 있는 유익한 세미나였다.