이번 세미나는 매우 적은 양의 데이터로 학습 해야 하는 few-shot learning 상황에서 사용되는 meta-learning 방법론들에 대해 진행하였다. 학습 데이터가 부족할 때 사용하는 방법은 여러가지다. 그 중 meta-learning만의 특징은 학습하려는 데이터와 비슷한 데이터를 사용하는 것이다. Metric-based 방법론들은 비교적 단순하고 직관적인 아이디어가 대부분이다. 이 방법론들을 설명하고, meta-learning의 성능이 잘 나오는 모델구조와 왜 그런지, 얼마나 비슷한 데이터를 사용해야 학습이 가능한지 등 여러 해석들도 흥미로워 전달하고 싶었다. 이런 것들을 보면서 아직 발전해야할 방법론들이 많이 있다는 것을 느꼈다.

​

이번 세미나는 "Metric-based approaches to meta-learning"을 주제로 진행되었습니다. 딥러닝은 여러 분야에서 좋은 성능을 내고 있지만, 데이터가 많이 필요하다는 단점이 있습니다. 따라서 데이터가 제한적인 상황에서도 좋은 성능을 낼 수 있는 모델들이 많이 연구되고 있으며 meta-learning은 이러한 상황에서 적용할 수 있는 방법론 중 하나입니다. Meta-learning은 "Learning to learn"이라는 키워드로 설명할 수 있습니다. 학습을 한다는 것은 데이터에 대한 일반화 성능을 올리는 것을 의미하며 학습을 위한 학습은 데이터에 대한 일반화 성능을 올리기 위한 학습을 의미합니다. 이때 데이터가 적은 상황에서도 일반화 성능을 올리기 위한 방법론을 "Few-shot learning"이라고 이야기합니다. 세미나의 전반부에서는 few-shot learning에서 사용되는 용어들과 학습 방법에 관해 소개되었습니다. 다음으로는 metric-learning을 기반으로 한 meta-learning 모델 세 가지가 소개되었습니다. 첫 번째로 소개된 방법론은 matching network입니다. Matching network는 임베딩 함수를 통과한 서포트셋과 쿼리셋에 대해서 코사인 유사도를 기반으로 어텐션 메커니즘을 적용한 방법론입니다. 계산된 어텐션 점수를 바탕으로 서포트셋과 쿼리셋의 유사도를 평가하여 쿼리셋과 동일한 클래스에 속하는 서포트셋 사이의 유사도가 가장 높아지도록 학습을 진행합니다. 두 번째로 소개된 방법론은 prototypical network입니다. Prototypical network는 임베딩된 서포트셋을 클래스별로 평균을 취해 프로토타입을 만들게 됩니다. 계산된 프로토타입을 기반으로 matching network와 동일하게 학습을 진행하게 됩니다. Prototypical network는 임베딩 벡터 사이의 거리를 계산할 때 코사인 유사도 대신 유클리디안 거리를 활용하며 성능이 우수하다는 것을 실험적으로 보여줍니다. 마지막으로 소개된 relation network는 거리 계산 방법까지도 모델을 통해 학습하겠다는 아이디어에서 출발합니다. 앞에서 소개된 모델들은 코사인 유사도 혹은 유클리디안 거리라는 고정된 거리측정 방법론을 사용했다면 relation network는 relation module이라는 별도의 모델을 통해 임베딩 벡터 사이의 거리를 계산합니다. 세미나의 마지막 부분에서는 앞서 소개된 방법론들을 비교 실험하는 논문이 소개되었습니다. 해당 논문에서는 meta-test 단계에서 기존 논문과 다르게 임베딩 함수는 고정하고 분류기만 fine-tuning 한 모델을 baseline으로 제시했으며 baseline 모델의 성능이 기존모델들보다 더 우수한 성능을 내고 있음을 보였습니다. 또한 도메인의 차이가 커질 때 미터 러닝이 잘 동작하지 않는 것을 지적하며 이때 domain adaptation 방법론을 적용하면 성능이 향상될 수 있다는 것을 보였습니다. 이번 세미나를 통해서 평소 관심 있었던 미터 러닝에 대해서 정리할 수 있어서 의미 있는 세미나였습니다. 세미나를 위해 고생해준 충협이형에게 감사의 뜻을 전하며 세미나 후기 마무리하겠습니다.

이번 세미나는 충협이가 Metric-based meta learning을 주제로 세미나를 진행했다. 딥러닝 모델은 학습 데이터가 충분한 상황에서 vision, NLP 등 다양한 분야에서 눈부신 성공을 거두었다. 하지만 현실에서 딥러닝 모델을 적용하기에는 데이터 수가 부족하다던지, 수는 많지만 레이블이 없다던지 하는 데이터의 볼완전함이 있는 경우가 대다수이다. 이번 세미나에서는 few-shot classification 을 수행하기 위한 metric-based 알고리즘 3가지를 소개시켜주었다. Metric-based는 embedding function학습 방법과 distance metric에 따라 여러 방법으로 연구가 진행되고 있었다. 먼저 Matching Network 에서는 convolution과 lstm 기반 embedding function과 cosine similarity distance를 사용했고 Meta-train set에서 task sampling을 통해 support, query set을 뽑은 후 query set을 잘 분류하기 위한 episode training을 통해 모델을 학습한다. Prototypical networks는 convolution embedding과 Euclidean distance를 사용하며 클래스별 임베딩 평균을 통해 prototype를 정의한다. 이러한 prototype를 정의하는 것에 이점은 계산 복잡도 감소와 zero-shot 러닝이 가능하다는 점이다. 마지막으로 Relation Network는 support와 query의 embedding을 따로 분리하지 않고 공유하는 방식으로 embedding function을 정의하고 그 output을 사용하여 score를 산출하는 relation module을 도입하였다. Metric-based approach는 distance 계산에 부담이 있더라도 데이터셋이 충분하지 않은 상황이기 때문에 크게 계산량 자체에서 부담되지 않을 것 같고, 이해하기 쉽고 작동방식이 직관적이기 때문에 쉽게 적용해볼만 하다고 생각한다. 하지만 충협이가 마지막에 설명해준대로 domain간 차이가 큰 경우 adaptation이 쉽지 않다는 것이 크리티컬한 단점이다. 예전에 충협이가 진행했던 MAML과 같은 gradient-based/optimization-based 쪽 알고리즘들이 domain adaptation 관점에서는 더 유리할 것 같은데 결과를 보면 또 그렇지도 않아서 의외였다. 그래서 메타러닝은 어려우면서도 여전히 발전할 가능성이 많은 분야인 것 같다. 충협이가 메타러닝을 주제로 좋은 연구를 하길 기대하며 후기 작성을 마친다.

오늘은 목충협 연구원이 데이터 의존도를 낮추기 위한 연구들 가운데 메타러닝에 관하여 오늘 세미나를 진행해주었다. 메타러닝이란 적은 데이터로도 일반화가 가능하도록 하는 방법을 학습하는 방법론이라 요약할 수 있다. 메타러닝은 우리가 풀려는 분류 문제는 각 범주별 관측치가 작기 때문에 비슷한 분류 문제를 여러 개 만들어 이를 잘 푸는 모델을 만들면 실제 목표하는 분류 문제도 잘 풀어 낼 것이라는 가정을 하고 있다. 이 방법은 사람이 시험을 잘 보기 위해서 비슷한 유형의 모의고사를 푸는 방식과 동일한 가정으로 매우 그럴듯한 가정을 가지고 있는 방법론이라는 생각이 들었다. Metric 기반 접근 방식을 사용하는 3가지 방법(Matching networks, prototypical network, relation network)에 대하여 소개를 각각의 차이점에 대해서 이해가 쉽게 되도록 설명해준 점이 매우 인상 깊었다. 또한 충협이의 세미나는 매번 결과를 해석할 때 자신의 해석이나 느낀 점을 같이 설명해준다는 특징이 있다. 이렇게 함으로써 청자의 이해의 폭이나 생각의 폭을 넓혀준다고 느꼈다. 배우고 싶은 부분이 많은 친구이자 동료로 같은 좋은 연구를 진행하고 싶다.

오늘은 충협이가 "Metric-based approaches to meta learning"에 대해 소개해주었다. 머신러닝(특히 딥러닝)이 많은 분야에서 높은 성능을 보이는 데에는 양질의 데이터를 확보할 수 있다는 걸 전제한다. 하지만 많은 현실문제에서 충분한 데이터를 확보할 수 없는 경우가 다수 있는데, 그 때 metadata를 활용하여 머신러닝 기법의 성능을 높이고자 하는 학습방법이 Meta learning이다. 그럼 metadata란 무엇인지 그 정의를 살펴보면 "Metadata is 'data that provides information about other data'"와 같다. 즉, 관심 대상의 데이터를 설명할 수 있는 다른 소스의 데이터를 의미한다. 예를 들어, 개와 고양이를 설명하는 과업이 주어졌을 때, 그 데이터 수가 충분하지 않다면 다른 동물들(호랑이, 곰 등)의 데이터를 가지고 기본적인 특징을 이끌어 내 본 과업(개와 고양이 분류)에 그 특징을 활용할 수 있다. 따라서, 하나를 알면 열을 알게 하는 학습 기법으로 meta learning을 주로 learning to learn 기법으로 호칭하며, metadata를 관심대상의 data를 설명하는 데 충분히 활용하면 머신러닝 기법의 성능을 높일 수 있는 게 핵심이다. 이러한 특성으로 Meta learning 기법은 주로 few-shot learning (적은 데이터로 잘 학습) 에 적용된다.

[Few-shot learning] Few-shot learning은 소수 데이터(support data)로 다수 데이터(query data)를 예측해야하는 과업에 적용되는 학습기법을 일컫는다. 소수데이터로 다수데이터를 예측하는 문제를 하나의 과업(task)로 정의하고, 여러 개의 과업(task 1, ..., task T)으로부터 학습 및 예측을 수행했다고 해본다. 그리고 관심 대상이 되는 과업을 Task new라고 할 때, 이전의 여러 과업으로 얻어진 "경험"을 활용하고자 하는 게 meta-learning을 이용한 few-shot learning 이다. 즉, 비록 타겟클래스는 다르지만 소수데이터로 다수데이터를 예측했던 이전의 과업을 참고해서 새로운 과업을 잘 수행하려는 것이다. 여기서 에피소딕 학습(episodic training) 개념이 등장한다.

[Few-shot learning task with meta-learning] Meta learning은 Meta training(경험을 쌓고)과 Meta testing(관심 대상의 소수데이터로 다수데이터를 잘 예측)으로 이루어진다. Meta training을 위해 확보된 데이터 셋에서 여러 개의 과업을 나눈다. 즉, 각 과업은 예측하고자 하는 클래스, 소수데이터, 다수데이터가 서로 다르다. 이렇게 여러 과업으로 나누어 학습하는 방법을 에피소딕 학습(episodic training)으로 말한다. 이렇게 얻어낸 "경험"으로 부터 관심 대상이 되는 과업(task new)을 잘 수행해야 하는데 어떤 "경험"을 반영할 지 선택하는 게 중요하다. 즉, Meta training에서 추출된 "어떤 특징"을 반영할 것인지 결정해야 한다. 여기서 모델 기반, 메트릭 기반, 최적화 기반 접근으로 구분지을 수 있고, 오늘 세미나에선 메트릭 기반(metric based)의 접근법 세 가지를 소개해 주었다.

[Metric-based approaches to meta-learning] 메트릭 기반 메타러닝은 소수데이터와 다수데이터의 유사성을 측정하는 데 집중한다. (1) matching networks 방법은 소수데이터(support set)과 다수데이터(query set)을 embedding하고, 두 특징을 cosine similarity 계산 및 softmax 함수를 적용하여 분류를 수행한다. (2) prototypical networks는 embedding을 통해 각 클래스별 중심이 되는 대표 벡터(prototype)를 선정해 테스트 데이터와 거리(euclidean distance)를 계산하여 분류한다. (3) relation network는 소수데이터(support set)과 다수데이터(query set)의 추출된 특징을 서로 결합하여 그 둘간 relation score를 계산하여 분류를 수행한다. 여기서 query 데이터는 테스트 셋으로 여겨진다고 알고있는데 학습에 같이 적용되는 건지 궁금했다. 이부분은 좀 더 살펴봐야 할 것 같다.

이 분야에 대해 발표했던 적이 있는데 까다로웠던 경험이 있다. 오늘 세미나 덕분에 흐름을 자세히 정리해볼 수 있었다. 세미나에서 주된 방법론 설명과 함께 어떻게 학습 및 테스트가 이루어지는 지 함께 설명해주었다면 더 좋았을 것 같다. 개인적으로 Meta learining, Few-shot learning 기법은 Meta data를 활용한다는 면에 강점이 있다고 생각하지만 그 Metadata 역시 많은 수의 데이터가 확보되어야 본 과업에 잘 적용될 수 있는점으로 보아 적은 수의 데이터로 잘 학습할 수 있다는 장점이 완벽하게 부각되는지 되짚어 봐야할 것으로 생각한다. 어쨌든, 주 목적이 되는 과업과 유사한 Metadata를 활용할 수 있다면 pre-trained model로부터 적은 수의 관측치를 보다 더 효과적으로 학습 할 수 있을 것으로 생각한다. 연구실 프로젝트에서 데이터 건수가 적은 경우도 꽤 되는데 활용해 볼 접점이 있는지 생각해봐야겠다.

이번 세미나는 목충협 연구원이 Metric-based approaches to meta-learning 이라는 주제로 진행해주었다. 먼저 딥러닝의 데이터 의존도에 대한 설명이 있었는데, 딥러닝은 충분한 양의 데이터를 사용할 수 없는 경우 좋은 성능을 보장할 수 없다고 여겨진다. 하지만 현실에서는 양질의 충분한 데이터를 확보하기가 쉽지 않은 경우가 많다. 이러한 문제를 극복하고자 데이터 의존도를 낮추기 위한 방법들이 나오게 되었는데 Domain adaptation, Semi-supervised learning, Self-supervised learning, Meta-learning 등이 있다. 그 중 오늘은 Meta-learning에 대해 설명해주었다. Meta-learning은 학습을 위한 학습(Learning to learn)이라고도 하며, 적은 데이터로도 일반화가 가능하도록 학습을 시키는 방법론이다. 적은 데이터로도 일반화가 가능하게 하는 방법론은 Few-shot learning 이라고 하는데 먼저 이에 대한 소개를 해주었다. Few-shot learning은 관심이 되는 데이터셋의 example수가 적기 때문에 Meta learning을 통해 이와 유사한 다른 데이터셋으로 학습을 하여 원래의 관심 데이터셋의 예측 성능을 높이는 방법을 사용하게 된다. 이 때 원래의 관심 데이터셋을 Meta-test dataset이라고 하고 이는 다시 Support set과 Query set으로 나누어진다. Meta learning에 사용되는 데이터셋은 Meta-train dataset 이라고 하며 Meta learning시 일부 class를 샘플링하여 학습시키는 방법을 Episode training이라고 한다. Meta learning 방법론 중 Metric 기반의 Meta learning 모델 3가지를 소개해주었다. 소개해준 3가지 모델은 Matching network, Prototypical network, Relation network 인데, 데이터를 저차원으로 임베딩하는 함수 Embedding function과 임베딩 공간에서의 데이터간 거리 Distance를 어떻게 정의하느냐에 따라 달라진다고 볼 수 있다. 이러한 Metric 기반의 Meta learning은 단순하고 직관적이며 임베딩의 시각화나 해석하기 쉽다는 장점이 있으나, Domain 변경에 취약하고 Metric과 임베딩의 결정이 쉽지 않고 계산량이 많다는 단점이 있을 수 있다. 이번 세미나를 통해 Few-shot learning과 Metric 기반의 Meta learning에 대한 개념을 잘 정리할 수 있게 되어 좋았던 것 같고, 현실적으로 충분한 데이터를 확보하기 어려운 상황에서 이러한 데이터 의존도를 낮추는 방법들이 많이 개발되어야 하겠다는 생각이 들었다. 세미나 준비로 수고해준 목충협 연구원에게 감사의 말을 전한다.

이번 세미나는 ‘Metric-based approaches to meta-learning’이라는 주제로 진행되었다. 딥러닝 모델에서 데이터 의존도를 낮추기 위한, 즉 적은 데이터로도 모델을 효과적으로 학습시키기 위한 여러 방법론들이 개발되었는데, 그 중 하나가 meta-learning이다. 즉, 이는 학습을 위한 학습, 또는 적은 데이터로도 일반화가 가능하도록 미리 학습을 시키고자 하는 부분이다. 이 때 적은 데이터를 활용한다는 점에서 ‘Few-shot learning’이라고 이야기하는데, 새로운 클래스에 대한 학습 데이터셋인 support set으로 새로운 클래스에 대한 테스트 데이터셋인 query set을 잘 맞추도록 학습하는 것이 meta-learning인 것으로 이해할 수 있다. 특히 이번 세미나에서는 metric-based 방법론들을 크게 3가지 설명해주셨다. 우선 ‘Matching Networks for One Shot Learning’은 support set과 query set을 임베딩 시킨 결과의 코사인 유사도를 활용한 어텐션 결과를 기반으로 episode training을 통하여 학습시키는 방법론에 해당한다. ‘Prototypical Networks for Few-shot Learning’은 각 클래스 별 평균값에 해당하는 class k의 prototype 값을 활용하여 앞서 설명한 ‘Matching Networks’와 동일하게 학습을 진행하는 방식이다. 마지막으로 ‘Learning to Compare: Relation Network for Few-Shot Learning’에서는 거리를 계산할 때에 Relation module을 활용하는 방법을 제안하게 된다. 즉, support input과 query input의 feature map을 붙인 후 합쳐진 feature map의 relation score를 예측하는 방식으로 학습을 진행하게 된다.
이러한 Metric-based approches to meta-learning은 단순하고 직관적으로 이해하기 쉽다는 장점도 갖고 있지만, 도메인의 변경에 취약하다는 단점을 갖고 있었다. 개인적으로 적은 데이터로 학습을 진행하는 것부터도 굉장히 어려울 것이라고 생각하였는데, 도메인에도 취약하다면 이러한 메타러닝을 진행하는 것이 더욱 까다롭지 않을까라는 생각을 하게 되었다. 메타러닝에 대한 기초적인 개념들부터 여러 방법론들을 공부하고 이에 대한 비교 실험 결과까지 알아볼 수 있어 메타러닝에 대한 전반적인 흐름을 파악하기에 좋은 시간이었다고 생각된다.

이번 세미나는 "Metric-based approaches to meta-learning"을 주제로 목충협 연구원님이진행 해주셨다. 최근 딥러닝의 발전으로 인해 인공지능 시대에 대한 기대감이 한껏 부풀어 있다. 이러한 딥러닝은 방대한 양의 데이터를 통해 스스로 구분자를 찾아 내고 예측을 하며 일부 분야에서는 사람보다 높은 정확도를 내고 있다. 하지만 높은 정확도에 비해 정확한 레이블을 가진 데이터가 무수히 필요하다는 점이 최근 학계에서 뜨겁게 연구하고 있는 연구 분야이다. 최근 연구실 세미나도 충분한 양의 데이터를 수집할 수 없는 경우에 대한 세미나가 순차적으로 올라오고 있어 많은 도움이 되고 있다. Meta-learning은 학습을 위한 학습이라고도 불리는데 레이블을 가지고 있는 데이터셋을 활용하여 적은 레이블을 가진 데이터를 학습하는 방법이다. Few-shot learning을 예시로 사용하여 기본적인 개념을 잘 설명해 주었다. Data에서 Task sampling을 통해 Support-set과 Query set으로 나누어 임베딩한 후 클래스 간 유사도를 가깝게 만드는 방식을 사용하여 학습을 진행하는 방식이다. 세미나에서는 Metric을 기반으로 하는 3가지 방법(Matching network, prototypical network, relation network)을 설명해주었고 실험결과를 바탕으로 한 장단점까지 잘 정리해주었다. 특히 세미나를 정리하며 느낀 점을 풀어나갈 때는 목충협 연구원이 Meta-learning에 대해 얼마나 공부했는지에 대한 깊이가 느껴지는 세미나였다. 좋은 세미나를 준비해준 목충협 연구원님께 감사의 말을 전하고 싶다.

이번주 세미나는 "Metric-based approaches to meta-learning"이라는 주제로 진행되었다. 딥러닝은 매우 우수한 성능을 보여주지만 이를 위해서 많은 양의 데이터가 필요하다. 다르게 말하면 데이터 의존도가 매우 높은 방법이다. 이를 해결하기 위하여 많은 방법들이 연구되고 있는데 그중 Meta learning부분을 공부한다. 메타러닝이란 적은 데이터로도 일반화가 가능하도록 학습하는 방법이다. N-way, K-shot classfication이란 class의 수 : N, example의 수 : K로 정하여 분류모델을 진행하는것이다. "support set"새로운 클래스에 대한 학습하고 나중에 새로운 query set 으로 새로운 클래스에 대한 테스트를 진행하는데 이를 묶어서 Meta-test dataset로 구분한다. 이러한 새로운 클래스에 잘 학습하기 위해 Meta-train dataset을 잘 활용하여 학습을 시킨다. 이를 설명해주는 논문이 첫번째로 "Matching Networks for One Shot Learning"이다. support set의 임베딩 함수와 Query set의 임베딩 함수를 서로 합쳐 이를 cosine similarity를 이용하여 거리를 계산하고 비슷한것은 가깝게 다른것은 멀게 계산하여 클래스를 구분해준다. 또다른 논문은 "Prototypical Networks for Few-shot Learning"이다. Prototype이라는 Ck 를 만들어 모든 벡터와 계산 하지 않아도 되어 계산량이 확연히 줄어들 뿐더러 Euclidean distance를 사용한다. 결과상 훨씬 더 좋은 값을 얻을 수 있다. 마지막으로 "A closer look at few-shot classification"에서는 많은 다른 메타러닝방법과 자신들의 방법을 비교하여 설명해 주었는데 단순하고 직관적으로 설명이 가능해 이해하기 쉽고 시각화 편하며 해석하기 좋았다. 다만 Adaptation이 어려워 Domain이 바뀌면 취약하고 Distance계산이기에 데이터가 많아질수록 계산량이 매우 많이 증가한다. 또한 분류모델은 가능하지만 다른 모델에는 적용하기 어렵다는 단점이 있다. 이번 세미나를 통해 계속 이해하기 어려웠던 부분들을 좀더 잘 이해할 수 있게 되어서 좋았다. 목충협 연구원에게 감사말을 전한다.

이번 주 세미나는 ‘Metric-based approaches to meta-learning’라는 주제로 목충협 선배님이 발표해 주셨습니다. 딥러닝에서 많은 데이터가 주어졌을 때 성능이 좋다는 것은 잘 알려져 있습니다. 반대로 데이터가 부족하면 그 성능은 머신러닝보다 더 안좋게 나올 수 있습니다.

이러한 문제를 해결하기 위해 적은 데이터로 잘 학습을 시킬 수 있는기법으로 meta-learning을 소개하고 이를 learning to learn 즉, 학습을 위한 학습이라는 키워드로 설명했습니다. 학습을 잘 시키는 것은 일반화가 잘 된다는 것을 의미하며 적은 데이터로 일반화가 가능하도록 하는 few-shot learning에 meta-training 기법이 자주 적용됩니다.

세미나에서는 먼저 few-short learning의 기본적인 학습 알고리즘에 대해 설명했는데 기존 딥러닝이나 머신러닝과 달리 Episode training이라는 방법을 통해서 진행되는데 각 Task를 통해 query set에서 새로운 class가 제시되었을 때 가장 loss가 적은 parameter를 추정합니다. 여러 task를 통한 경험을 바탕으로 다른 타겟 class를 잘 맞추는 것이 학습의 목적입니다.

그 후 주제인 'Metric-based approaches to meta-learning'을 설명했는데 이는 데이터간 유사도를 거리로 표현하며, 이 유사도를 찾는 방법으로 3가지를 소개했습니다. 먼저, matching networks 방법은 Support set과 Query set을 embedding하고, 그 특징에 대한 Cosine similarity를 통해 유사도를 구했습니다. Prototypical networks에서는 prototype이라는 대표 백터의 개념을 적용하여 유사도를 구했습니다. 마지막 relation networks는 relation score라는 개념을 도입하여 support set의 특징맵과 query set의 특징맵을 통해 유사도를 구했습니다.

이번 세미나에서 meta-learning에 대해 처음 접하게 되어 새로웠고 항상 고민해 오던 데이터가 적을 때 좋은 성능을 내는 방법에 대해서 해결할 수 있는 하나의 길을 알게되었습니다. 좋은 세미나를 해주신 선배님께 감사드리며 세미나 후기를 끝내겠습니다.

딥러닝 모델의 성능은 방대한 데이터로부터 나온다. 수천 수만 장의 데이터를 통해서 인간과 비슷한 성능이 나온다. 하지만 사람의 경우 약 5장 정도의 사진만 봐도 새로운 class 의 객체를 어느정도 구별 할 수 있다. Few Shot Learning은, 인공지능 모델도 사람처럼 몇번만 봐도 성능을 낼 수 있지 않을까? 라는 아이디어에서 고안된 듯 하다.

방대한 데이터를 레이블링하거나 데이터 자체를 확보하는 것이 쉽지 않기 때문에, 적은 데이터를 효율적으로 학습해보자는 취지의 방법론은 Semi-Supervised Learning, Self-Supervised Learning(일부적인 취지로), Few-Shot Learning 등 매우 다양하다. 특히 Few Shot Learning은 Novel Class 를 어떻게 예측할까에 초점을 맞춘 듯 하다.

Few-Shot Learning 은 Model-Based, Metric-Based, Optimizer-Based 등 다양하지만 오늘은 Metric-Based, 즉 Embedding function 과 Distance Metric 에 초점을 맞춘 모델들이 소개되었다. Prototypical Network, Matching Network, Relation Network 등을 충협이형이 소개해주었는데, Prototypical Network 는 이전 연구미팅에서 사용한 적이 있었기에 친숙해서 이해하기 쉬웠다. Matching Network와 Relation Network는 아키텍처나 학습방법 쪽에서는 차이가 있으나 ProtoNet 과 같은 목적을 가지고 있기에 이해하기가 수월했다.

세미나를 준비하느라 고생하신 충협이형께 감사의 말씀을 드립니다.

금일 세미나 주제는 Metric-based approaches to meta-learning으로 충협이형이 진행해주셨다. 생소했던 메타러닝과 Few shot learning, Metric based meta-learning에 대해 차근차근 짚어 주어 흥미롭게 들을 수 있던 시간이였다. 이해한 바에 따르면 메타러닝은 데이터 의존도가 높은 딥러닝 특성을 극복하기 위해 제안된 학습 방법이며, 데이터가 부족한 상황에서 쉽게 적용할 수 있는 학습 방법 중 하나이다. 이전까지 메타러닝을 "학습을 위한 학습"이라는 추상적 개념으로만 알고 있었는데, 금일 충협이 형이 소개해준 Meta-train dataset, Meta-test datset(Support set, Query set), Episode training 개념을 통해 확실하게 적립할 수 있었다. 세미나에서는 metric-based meta learning의 3가지 알고리즘 Maching networks, prototypical network, relation network를 소개해주었다. 첫번째 Maching networks는 Embedding function에 입력한 Support set과 Query set 사이의 유사도를 attention score로 간주한 알고리즘이다. 두번째 prototypical networks는 convolutional embedding 결과와 유클리드 거리를 이용한 클래스별 중심 좌표(prototype)을 산출한 뒤, 쿼리 데이터와 중심 좌표 간에 거리만을 계산하여 예측을 진행하기에 계산량을 많이 감소시킨 알고리즘이다. 세번째 알고리즘은 relation network로 이전 알고리즘과 가장 구분되는 특징은 relation module라는 별도의 네트워크를 이용하여 metric을 산출한다는 것이다. 평소 '학습을 위한 학습'을 메타 러닝이라고 표현하는 것이 가장 이해가 잘 안 되는 부분이였는데, 금일 세미나를 통해 잘 정리할 수 있었다. 특히 오늘 소개된 metric-based approach는 데이터 간 특성을 반영할 수 있는 metric(similary or distance)를 이용해 Embedding을 진행하고, 임베딩 된 query set, support set 사이의 유사성을 활용하여 예측을 수행한다는 의의를 갖고 있다. 메타 러닝에 대해 좋은 세미나를 준비해준 충협이 형에게 감사의 말씀을 전하고 싶다.

딥러닝이 다양한 분야에서 괄목할 만한 성능을 내는 배경에는 충분한 양질 데이터에 대한 높아진 접근성이 크게 자리한다. 데이터 의존도를 낮추는 방법으로 Domain adaptation, self-supervised learning 등 여러가지가 있지만, 금일은 Meta-Learning에 대해 알아보았다. Meta-Learning은 학습을 하는 방법을 '학습' 함으로써 적은(few) 데이터(shot)로도 일반화가 가능하도록 하자는 학습론이며, 구체적으로는 관심 대상의 데이터(data)를 설명할 수 있는 다른 소스의 데이터(Metadata)으로 학습을 하게 된다. 이러한 Meta training에서 어떤 특징을 반영해야 할지 결정하는 방법에는 여러가지가 있는데, 소수데이터(support set)와 다수데이터(query set)의 유사성(similarity-metric)을 기준으로 하는 방법이 주로 소개되었다. 소수데이터와 다수데이터 Embedding 값 자체 간 cosine simliarity를 직접 비교(match)하는 방법, 각 클래스 embedding 벡터들의 중심(prototype)을 euclidean distance로 비교하는 방법, 그리고 support set과 query set의 추출값을 결합하여 relation score를 계산하여 분류하는 3가지 방법론이 소개되었다. 타 Meta-learning 방법론(e.g MAML)에 비해 방법론이 직관적이고 나아가 임베딩을 사용하기에 시각화 및 추후 다른 임베딩 방법론을 쓸 수 있는 장점이 있다. 반면, 이러한 metric/embedding 결정은 사람이 경험적으로 결정해야 하는 부분이라, Meta-Learning 또한 어느 정도 사람의 개입이 필요해보인다. 실제 현장에서 받는 데이터는 target domain의 학습데이터가 부족한 경우가 많기 때문에, 금일 발표한 내용 바탕으로 향후 프로젝트에 적용할 수 있을지 고려해보아야겠다. 바쁜 가운데 시간 내어 양질의 세미나 준비를 해준 충협이에게 감사의 말을 전한다.

이번 세미나는 충협오빠가 ‘Metric-based approaches to meta learning’이라는 주제로 세미나를 진행하였다. 딥러닝 모델이 다방면에 적용되고, 활용되는 가운데 최근 활발히 제안되는 연구들은 딥러닝의 고질적인 데이터에 대한 의존도의 한계를 지적하며, 보다 적은 데이터로 모델에 대한 일반화성능을 도출하는 데에 초점을 맞추고 있다. 금일 세미나는 이러한 맥락에서 제안되는 다양한 연구 중 하나인 few-shot classification을 수행하기 위한 metric-based 방식에 대해 소개했다. Metric-based는 데이터를 저차원으로 임베딩하는 함수와 임베딩 공간에서의 데이터간 거리를 활용하는 방법에 따라 embedding function과 distance Metric로 나누어 연구가 진행되고 있으며, 금일 matching networks, prototypical network, relation network 세가지 연구에 대해 다루었다. 세가지 연구 흐름의 동향과 매번 어렵다고 느꼈던 meta learning에 대해 전반적인 연구흐름에 대해 공부해볼 수 있었던 기회였다. 충협오빠가 개인 연구도 meta learning으로 성공적으로 마무리하길 기대하며, 나 또한 이러한 문제상황에 접하게 되었을 때 meta learning을 적용해보고 싶다고 생각이 들었다.

금일 세미나는 충협이형이 "Metric-based approaches to meta learning"이라는 주제에 대해 알려주었다. 사실 메타 러닝이라는 단어는 종종 접할 수 있었는데 정확한 의미와 용도는 잘 몰랐었다. 메타 러닝은 간단하게 학습을 위한 학습이라는 뜻으로 데이터 의존도가 큰 머신러닝, 딥러닝 알고리즘들이 적은 데이터로도 학습을 잘 시킬 수 있도록 하기 위한 개념이었다. 최근 연구실에 self-supervised learning 관련 연구를 진행하는 연구원들이 많아졌다. self-supervised learning 목적 역시 적은 데이터를 잘 이해하고 이를 활용하기 위해 사용되는 알고리즘인 것으로 알고 있었는데 메타 러닝 역시 같은 목적을 두고 연구된 알고리즘 이였다. 최근 알게된 few-shot learning 알고리즘에 대하여 한 번쯤 제대로 이해하는 시간을 갖고 싶었는데 때마침 충협이형이 직관적으로 이해하기 쉽게 few-shot learning에 대하여 설명 해주었다. few-shot learning은 사용하고자 하는 데이터를 설명할 수 있는 다른 데이터를 이용해서 풀고자 하는 분류 문제를 여러 개의 업무(task)로 나누어서 학습한 후 최종적으로 관심 대상이 되는 분류 문제를 풀고자 하는 것이였다. 여러 개의 업무로 나눈 것이 모델에게는 "경험"의 역할이 되고 이는 새로운 업무를 수행할 때 도움이 되는 것이다. 아주 동일하지는 않지만 few-shot learning은 약한 분류기를 여러 개 만들어서 강한 분류기를 만드는 그레디언트 부스팅 알고리즘과 비슷한 원리로 학습이 된다고 생각한다. 그레디언트 부스팅 알고리즘의 메인 아이디어를 딥러닝을 이용해 보다 더 현실적인 접근을 통해 강력한 알고리즘이 탄생한 것 같은 생각이 들었다. 충협이형이 "A Closer look at few-shot classification"이라는 논문을 소개 해주었는데 해당 방법론의 우수성을 입증하기 위해 다양한 ablation study가 수행되어 있었다. 데이터 증강 기법의 사용 유무, 마지막 레이어의 종류, Backbone의 깊이에 따른 성능 차이를 보이며 다양한 실험이 진행되어 있었다. 현재 개인적으로 Data Augmentation 기법 중 Mix-up 알고리즘을 개선한 새로운 증강 기법 알고리즘을 연구하고 있다. 추후에 내가 제안하는 방법론도 오늘 충협이형이 소개해준 논문과 같이 실험 설계를 해야될 것 같다는 생각이 들었고, 최근에 궁금했던 이론에 대해서 청취자들이 직관적으로 이해할 수 있도록 세미나를 충협이형에게 감사하다고 전하고 싶다.

목충협 연구원이 Metric-based approaches to meta-learning 이라는 주제로 발표하였다. 현실 세계에서 데이터는 계속 변화하기 때문에 양질의 데이터를 확보하는 것이 어렵다. 하지만 딥러닝 모델은 데이터의 의존도가 높기 때문에 양질의 충분한 데이터를 사용할 수 없으면, 좋은 성능을 보장할 수 없다. 그래서 데이터의 의존도를 낮추기 위해 많은 방법론이 제시되었다. 이번 세미나에서 그 중에서 Meta-learning 이라는 주제에 대해 자세히 설명을 들을 수 있었다. Meta-learning 을 학습을 위한 학습(Learning to learn) 이라고 표현할 수 있는데, 이는 적은 데이터로도 일반화가 가능하도록 학습을 시킨다는 의미이다. 적은 데이터를 일반화 하는 방법을 Few-shot learning 이라고 하고 이렇게 일반화된 데이터 셋을 Meta-train 에 사용한다 이 Few-shot classification 으로 6개 정도의 모델 각각을 논문과 세미나를 기반으로 소개해 주었다. 마지막에 Metric-based approaches to meta-learning의 장단점과 comment 를 잘 정리해 주어서, 처음 접하는 주제인 나에게는 큰 도움이 되었다. 굉장히 의미있는 연구주제이지만, Domain 에 변경에 취약하다는 점 , classification 외에 적용이 힘들다는 점 등이 좀 더 깊은 생각을 하게 하였다. 오늘 들은 세미나의 내용을 다시 잘 정리해서 후에 기회가 되었을 때 적용해 보고 싶다고 느꼈다. 마지막으로 좋은 연구주제에 대해 소개해준 목충엽 연구원에게 감사하다는 인사를 남긴다.

이번 세미나는 충협이가 ‘Matric-based approaches to meta-learning’이라는 주제를 가지고 진행하였다. 딥러닝 분야에서는 데이터가 많을수록 높은 성능을 보이는 경우가 있다. Meta-learning은 적은 데이터로도 일반화가 가능하도록 학습을 시키는 것이다. 그 중 Few-shot learning은 적은 데이터로도 일반화가 가능하도록 학습을 시키는 방법론이다. 기존의 딥러닝 방법론과 달리 episode training을 가지고 query set에서 새로운 class가 제시되었을 때 loss가 가장 적은 parameter를 추정하는 방법으로 학습을 진행하게 된다. 딥러닝 분야에서 많은 방법론이 나오게 되면서 데이터를 많이 확보하는 방법론도 나오게 되었다. 반면에 현재에 내가 가지고 있는 데이터만을 가지고도 잘 학습하고자 하는 것이 meta-learning인 것 같다. 여전히 meta-learning은 어려운 분야이지만 개척할 방향이 많은 분야인 것 같다. Meta-learning에 대해 전반적으로 이해하기 쉽게 설명해준 충협이에게 감사하다는 말을 전하고 싶다.

'Metric-based approaches to meta learning'을 주제로 한 세미나를 청취했다. 메타러닝도 다른 많은 연구분야와 마찬가지로 딥러닝의 고질적인 문제점인 데이터의 양, 질에 대한 한계를 지적하면서 출발한다. 적은 양의 데이터만으로도 좋은 성능을 내는 것이 가장 큰 목적이다. 이전부터 충협이가 세미나를 해왔어서 어느정도 익숙했기 때문에 이번에는 좀 더 이해하기 쉬웠던 것 같다. 이번에 주로 소개한 metric-based 방법론들은 데이터를 임베딩 하는 embedding function, 그리고 데이터간 거리를 계산하고 loss에 반영하는 metric 2가지를 중점적으로 다루고 있다. 이전에 다루었던 'learning gradient descent by gradient descent'와 함께 비교하면서 좀더 재밌게 볼 수 있었다. 마지막에 다룬 baseline, baseline ++는 finetuning이라는 개념때문인지 self-supervised learning의 컨셉과 매우 유사하다는 생각이 들었다. Cosine similarity를 적용한 것, backbone의 깊이 등등에 대한 실험을 한 것을 보면서 SimCLR과 유사한 느낌을 받았다. 이쪽 분야에서 연구되고 있는 것들을 확인해서 같이 접목시켜보는 것도 좋은 방향일 것 같다는 생각이다.

금일은 Metric-based approaches to meta-learning을 주제로 세미나가 진행되었다. 다양한 분야에서 딥러닝 모델이 개발되고 있지만 우수한 성능을 확보하기 위해서는 양질의 데이터를 많이 수집하는 것이 선행되어야만 한다. 하지만 현실에서는 양질의 데이터를 많이 수집하는 일은 쉽지 않다. 현실에서는 양질의 데이터를 정확하게 수집하기에는 비용이 많이 들기 때문이다. 따라서 적은 데이터로 학습을 잘 할 수 있는 방법론이 다양하게 개발되고 있다. 이번 세미나에서는 이와 같은 방법론 중 하나인 Metal-learning에 대한 설명이 중심을 이뤘다. 먼저 Embedding function을 활용한 Metric-learning에 대한 설명이 진행되었고 대표적으로 Matching networks, Prototypical networks, Relation Network에 대한 핵심 개념들을 들을 수 있었다. Matching networks의 핵심은 Support set의 임베딩 벡터와 Query set의 임베딩 벡터 사이의 Cosine similarity를 계산해 Attention 구조를 활용했다는 것이다. Prototypical networks의 특징은 Embedding space에서 각 class 공간에서 평균값을 활용했다는 것이다. 마지막으로 Relation network은 Support input의 feature map과 Query input의 feature map을 결합해 relation score를 예측하는 방향으로 모델이 학습되는 것을 특징으로 가지고 있다. 이러한 Metric-learning 방식을 활용해서 Meta-learning을 진행한 연구를 소개하는 것으로 세미나는 마무리되었다. 이번 세미나에서는 다양한 Metric-learning에 대한 핵심 개념들을 쉽게 설명들을 수 있어서 좋았다. 최근 데이터 수집에서 발생하는 현실적 한계를 극복하기 위해서 Meta-learning, Self-supervised learning 등과 같은 분야를 중심으로 다양한 알고리즘이 제안되고 있다. 딥러닝 모델은 양질의 데이터를 수집하는 일이 가장 중요하기 때문에 위와 같은 분야는 매우 중요하다고 생각하고 앞으로 조금 더 집중해서 공부해보려 한다. 좋은 세미나를 준비해준 충협이에게 고마움을 전한다.