이번 세미나는 'How to apply few-shot learning to Named Entity Recognition task?'을 주제로 진행되었다. 개체명 인식이란, 미리 정의해 둔 사람, 회사, 장소 등에 해당하는 개체명을 문서에서 인식하여 추출 분류하는 기법을 말한다. 특이점으로는 개체명이 도메인 혹은 데이터 셋 마다 다를 수 있다는 점이다. 개체명 인식에서 가장 대두되고 있는 문제는 타깃 도메인에서 사용될 레이블 된 데이터가 제한적이라는 것이다. 따라서, 본 세미나에서는 이러한 한계점을 개선하기 위해 few shot learning을 적용한 논문 2가지에 대해 설명하고 있다. 두 논문 모두 타깃 도메인에서 레이블 된 데이터가 제한적이라는 한계점을 개선한 논문이다. 첫 번째 논문의 경우 Prototypical network와 transfer learning을 함께 NER task에 적용하여 한계점을 개선하였다. 두 번째 논문의 경우 문장 내 토큰 간 같은 개체명에 속한다면 거리를 가깝게, 다른 개체명이라면 멀어지게 학습하는 contrastive learning을 적용하여 한계점을 개선한 논문이다. 자세한 내용은 세미나에서 확인할 수 있다.

개체명 인식에 대해서 자세하게 알지 못했지만 본 세미나에서 개체명 인식과 few shot learning의 개념 그리고 개체명 인식을 위한 레이블 된 데이터의 부족이라는 한계점을 개선하기 위해 few shot learning을 적용한 논문 사례를 설명해주어 재미있게 시청할 수 있었다. 지난주 세미나에 이어 레이블 된 데이터가 부족하고 이를 위해 레이블링을 한 다 할지라도 비용이 많이 든다는 등과 같은 문제점이 여러 분야에 걸쳐 있다는 점에서 새삼 레이블 된 데이터의 소중함을 다시 한번 느낀다. 유익한 세미나를 준비해준 이정민 연구원에게 감사드리며 이상으로 세미나 후기를 마친다.

이번 세미나는 개체명 인식(Named Entity Recognition, NER)에 Few-shot Learning을 적용하는 방법에 대해 진행되었다. 개체명 인식은 미리 정해 둔 개체명을 문서(문장)에서 인식하여 분류하는 문제로, Token Classification Task라고 할 수 있다. 개체명 인식이라는 이름에서 느낄 수 있듯이, 활용도는 매우 높을 것으로 생각되지만, 이를 학습하기 위한 labeled 데이터는 부족한 실정이다. 따라서 본 세미나에서는 개체명 인식에서 labeled 데이터가 부족한 상황을 극복하기 위하여 Few-shot Learning을 적용한 사례들에 대해 소개한다.

Few-shot Learning이란 부족한 labeled 데이터만으로 학습함에도 좋은 성능을 낼 수 있는 방법론을 의미한다. 특히 본 세미나에서는 여러 Few-shot Learning 방법론 중 Metric-based Approach에 대해 다루었는데, 이는 Contrastive Learning의 아이디어와 느낌이 비슷했다. 이러한 Few-shot Learning을 개체명 인식에 적용한 첫번째 연구는 Prototypical Network를 활용하였다. Prototypical Network는 군집화 개념을 적용한 네트워크로, Labeled 데이터가 부족한 상황에서 군집화를 통해 정보를 추가적으로 제공할 수 있다. 더불어 개체명과 상관없는 단어들은 Open-set 문제처럼 Unknown-class로 분류하는 과정을 추가하여 모르는 태그에 대해서 강건해지도록 학습하였다. 두 번째 논문은 Contrastive Learning을 접목한 연구이다. 같은 태그끼리는 유사하도록, 다른 태그끼리는 상이하도록 학습한다. 이는 Source 도메인에 대해 Contrastive Learning으로 학습한 후, Target 도메인에 대해 Fine-tuning하는 과정을 거친다. 이때, Contrastive Learning의 임베딩 간 거리를 계산하기 위해 KL-Divergence를 활용한다는 특징을 갖는다. 이후에는 Nearest Neighbor Classifier로 Inference를 수행한다.

본 세미나를 통해 개체명 인식과 Few-shot Learning에 대해 모두 접할 수 있었다. 두 분야 모두 생소한 분야였지만, 큰 컨셉을 알아갈 수 있었다. 개인적으로는, Contrastive Learning에서 임베딩 간 거리를 계산하기 위해 KL-divergence를 사용한 부분이 가장 기억에 남는다. 이전 세미나에서 KL-divergence를 통해 분포간 유사도를 파악한 사례를 본 적이 있었는데, 이처럼 KL-divergence가 코사인 유사도나 유클리디안 거리 이외에 하나의 척도로 활용될 수 있음을 알 수 있었다. 유익한 세미나를 준비해주신 이정민 연구원님께 감사드리며 이상으로 세미나 후기를 마친다.

이번 세미나는 개체명 인식에 Few-shot Learning의 적용이라는 주제로 진행되었다. 개체명 인식은 문서에서 단어가 어떤 개체에 속하는지를 분류하는 Task라고 한다. 개체명 인식이라는 Task 자체를 따로 배우거나 다루어본적이 없어서 생소하여 새로운 마음으로 세미나를 청취할 수 있었다. 개체명을 인식할때 개체명이 굉장히 다양하기 때문에 이를 적합하게 레이블된 데이터를 얻는것은 굉장히 어렵다고 한다. 따라서 역시나 제한된 레이블된 데이터를 가지고 유의미한 성능을 내는 것이 필요하며 이를 위하여 Few-shot Learning 개념을 적용하였다고 한다. 특히 Few-shot Learning의 핵심은 맞추고자 하는 데이터가 기존의 Train Set에 없었던 데이터이기 때문에 구별하는 방법 자체를 배우는것이여서 인상 깊었다. Few-shot Learning은 주어진 데이터가 Support set중에 어느 항목에 해당하는지를 맞춰야하기에 Similarity를 계산하게 되고 이를 다룬 Metric 기반 방법론 2가지에 대하여 설명이 진행되었다. 첫번째 방법론은 Prototypical Network를 활용하는데 Prototype을 형성하고 Prototype과의 거리를 계산하는 것이 김현지 연구원이 진행한 세미나에서도 유사한 개념을 설명한적 있어 흥미롭게 청취할 수 있었다. 두번재 방법론은 Contrastive Learning을 활용하여 unseen target domain의 일반화 성능을 향상시켰다고 한다. 방법론 내용 중에 KL-divergence를 사용하게 되는데 분포간의 비교를 위한 KL-divergence는 분야를 막론하고 굉장히 다양한 곳에서 쓰이고 있음을 다시 확인할 수 있었다. 이번 세미나를 통해서 NER이라는 Task가 무엇인지에 대해서 알수 있었고, NER 뿐만 아니라 Few-shot Learning이라는 개념을 접할 수 있어서 재밌었다. 점차 딥러닝 방법론이 점점 어려운 Task에 도전하고 또 해결하고 있다는 사실이 흥미로웠으며 내가 아직 알지 못하는 정말 다양한 분야와 문제가 있다는것을 새삼 느꼈고 앞으로 더 열심히 공부를 해야겠다는 생각이 들었다. 유익한 세미나를 준비해준 이정민 연구원에게 감사드리며 이상으로 세미나 후기를 마친다.

이번 세미나는 How to apply few-shot learning to Named Entity Recognition task?에 대하여 진행하였다. 개체명 인식(Named Entity Recognition)은 어떠한 단어가 텍스트 형태로 주어졌을 때 그 단어가 어떤 개체에 속하는지 인식하고 분류하는 것을 말하며, Token Classification Task라고 할 수 있다. 개체명 인식의 문제는 target 도메인에서 다량의 레이블된 토큰 수집이 제한적이라는 것과 소량의 target 도메인 데이터로 fine-tuning하는 방법은 부적절 할 수 있다는 것이다. 이로 인해서 최근 연구들에는 분류하는 방법을 학습하는 few-shot learning을 활용하고 있다. few-shot learning이란 few 한 양의 데이터로 모델을 학습하여 테스트 데이터에서 유의미한 성능을 내고자 하는 방법이다. 학습 데이터에서 "구분하는 방법"을 배우고 query sample이 support set중 어떤 클래스와 같은 클래스인지를 맞추는 것이다. 이번 세미나에서는 few-shot learning 중에서도 metric based approach 방법에 대하여 설명한다. contrastive 방법과 유사한 방법이라고 생각이 되었는데, 해당 방법은 query 이미지와 support set의 이미지의 representaion간 차이를 통해 유사성을 계산하고 이를 통해 query set을 분류하는 방법이다.
few-shot learning은 traing set에 존재하지 않는 label을 맞춘다는 점에서 굉장히 좋은 방법이라고 생각한다.개체명 인식에 few-shot learning을 적용한 2가지 방법론에 대하여 설명을 하는데, 첫번째 방법은 Prototypical Network 와 transfer learning을 적용한 방법이다. 두번째 방법은 가우시안 임베딩에 대하여 Contrastive Learning을 적용하여 unseen target domain의 일반화 성능을 향상 시킨 방법이다. 개체명 인식 분야는 잘 모르고 있던 분야였는데 해당 분야에 대해서 개념을 잡을 수 있었고, 또한 few-shot learning의 사용 범위가 다양하다는 것을 느끼면 재미있게 세미나를 들을 수 있었다. 매주의 세미나를 들으면서 매번 느끼고 있지만 다양한 분야의 방법론들을 서로 결합하면 할 수록 더욱 어려운 task에 적용할 수 있는 deep learning 방법론들이 개발된다는 것을 느낄 수 있었다. 한 분야에 집중하지 않고 다양한 분야에 대해서 공부를 해야겠다는 생각이 들었다. 유익한 세미나를 준비해준 이정민 연구원에게 감사드리며 이상으로 세미나 후기를 마친다.

금일 세미나는 How to Apply Few-Shot Learning to Named Entity Recognition Task?로 정민이가 발표했다. Named Entity Recognition은 미리 정의한 사람, 회사, 자소 등에 해당하는 개체명을 문서에서 인식하여 추출하는 기법이다. 본 세미나는 타겟 도메인에서 사용될 레이블이 있는 데이터가 제한적이라는 점을 해결하기 위해 Few-Shot Learning을 활용한 연구를 소개했다. 두 연구는 Prototypical Network 및 Contrastive Learning을 활용하여 한계점을 개선했다. 개인적으로 레이블이 있는 또는 없는 방대한 데이터를 효과적으로 사용할 수 있는 딥러닝 방법론(Self/Semi/Contrastive Learning)들이 활발하게 연구됨에 따라 Few-Shot Learning은 저무는 것 같다. 예전에 Few-Shot Learning을 접했을 때만 해도 “와 이게 되네?” 이런 반응이었다면 지금은 Self/Semi-Supervised Learning을 볼 때 “와 또 나오네?” 이런 반응이 나오면서 끝없이 공부하고 있다…

개체명 인식(Named Entity Recognition, NER)과 Few-Shot Learning을 주제로 진행된 세미나를 청취했다. 두 토픽 모두 자주 접할 수 있는 것은 아니라 주의 깊게 들으려 노력하였고 정민이에게 고마운 마음이 들었던 세미나였다. 개체명 인식은 문장 내 여러 단어(토큰)들의 Entity를 사람이 기존에 정해둔 클래스 중 하나로 분류해가는 태스크이다. 쉽게는 NLP 분야에 Classification 알고리즘을 적용한 것으로 이해해 볼 수 있는데, 묘한 차이점이 존재할 것이라는 생각이 들었다.

세미나에서는 NER 분야의 Labeled 데이터 부족 문제를 해결하기 위해, Few-Shot Learning을 도입한 두 가지 논문을 자세히 소개해주었다. 첫번째 논문은 특별한 방법을 제시한 것은 아니고 NER의 Few-Shot Learning 적용 방안을 제시한 논문이었다. 두번째 논문은 Source Data 학습 과정에서 대조학습을 이용한 것이 가장 큰 특징으로, NER 분야에서는 이런 식으로 Contrastive Loss를 구하곤 하구나를 알게 되었다. 기존 Few-Shot Learning의 Source Data 활용 방법의 아이디어와 직관적으로 매우 비슷하여 이해하기 편한 부분이기도 하다. 좋은 세미나 준비하느라 고생한 정민이에게 감사 인사를 전하며 세미나 후기를 마치도록 한다.

이번 세미나는 개체명 인식(NER : Named Entity Recognition) few-shot learning을 주제로 진행되었다. 개체명 인식이란 미리 정해준 단어를 문서에서 인식하여 추출 및 분류하는 기법이다. 도메인마다 사용되는 개체명은 다르다는 특징을 가지고 있다. few-shot learning이란 적은 양의 데이터로 유의미한 성능을 내고자 하는 방법이다. 방대한 양의 target과 상관없는 데이터인 source domain으로 학습을 한 뒤 적은 양의 target 데이터인 support set으로 맞추고자 하는 query를 예측하는 학습이다. 본 세미나에서는 Model-based approach에 해당되는 Metric-based approach 2가지 논문에 대해 설명되었다.

첫 번째 소개된 논문은 이미지에 쓰이던 prototypical network 방식을 NER에 적용한 방법론이다. prototypical network은 레이블 데이터가 적은 상황의 분류 문제에서 많이 사용되며 K-means와 유사하다. 두 번째 소개된 논문은 few-shot NER에 대조 학습을 접목 시킨 방법론이다. 문장 내 토큰 간 대조 학습을 적용하였다.

해당 세미나를 통해 NER이라는 생소한 분야에 대해 알 수 있었다. 도메인에 따라 라벨링 데이터가 적을 수 있기에 NER + Few shot learning 왜 대두 되고 있는지 이해할 수 있었다. 생소한 분야임에도 최대한 좋은 자료로 세미나 진행해준 이정민 연구원님께 수고했다는 얘기를 전하며 세미나 후기를 마친다.