이번 세미나를 통해 zero-shot learning의 기본적인 개념과 이미지 분류 문제에서 embedding-based approach를 통한 학습 프로세스에 관해 소개하였다. 현재 open set recognition 관련 프로젝트를 진행하면서, 한 번도 보지 못한 데이터를 어떻게 올바르게 파악할 수 있는지에 대해 고민하게 되었다. 이로 인해 관련 연구를 찾아보던 중 이와 비슷한 환경이지만 목표로 하는 바가 다른 zero-shot learning에 관한 논문을 자주 접할 수 있었다. 해당 분야에서 활발한 연구가 이루어지고 있는 반면, 아직 연구실 내에서는 생소한 분야로 인식이 잡혀있어 세미나로 정리해보는 시간을 가져야겠다고 생각했다. 다소 미약하지만 이번 세미나를 통해 zero-shot learning의 기본 컨셉만큼은 잘 전달되었길 바란다. 첫 세미나 준비였던 만큼, 곁에서 많은 도움을 주신 DMQA 연구원분들께 감사의 말씀을 전하며 후기를 마무리한다.

​

레이블링 작업에 대한 비용과 시간 문제가 대두 되면서 최근 연구는 unlabeled data 를 활용하는 self-supervised learning, semi-supervised learning 연구가 활발히 진행 되고 있다. 특히 Self-supervised learning 은 최근 unlabeled data 만 가지고 pre-training 을 충분히 시켜도 zero-shot task 에서 큰 성능을 보여주는 사례가 등장하였다.ex) DINO in CV / GPT3 in NLP

하지만 상기의 방법들은 unseen class 를 예측하는 데 초점을 맞추는 기존의 zero-shot learning 과 의미가 조금 결이 다르다. 그렇다면 기존의 Zero shot learning 은 어떻게 수행할까? 다양한 방법이 소개되었지만 오늘 세미나에서는 Attributes 를 side information 으로 embedding 하여 유사도를 계산하는 방법론을 주로 다루었다.

NIPS 2013 년에 소개 되어 backbone 이 AlexNet, skip-gram LM 으로 굉장히 오래되었지만 방법론 자체가 인상적이었다. CNN backbone 을 통해 나온 Image representation 과 그 image 를 설명하는 텍스트에 대한 embedding 의 유사도가 다른 텍스트와의 유사도보다 크게 학습하는 것이다. Loss function 은 Word Embedding 이나 Contrastive learning 에 주로 쓰이는 NCE Loss 기반일 것이라 생각했는데, Hinge Loss 라는 독특한 Loss 를 사용하였다. NCE Loss 가 더 이후에 자주 쓰이게 된 방법론이라 그런 것인지 아니면 실제로 해당 task 에서는 Hinge Loss 가 더 잘 맞는 것인지 궁금하다.

세미나 내용이 상당히 깔끔하고 잘 와닿았던 것 같다.

금일 세미나는 “Introduction to Zero-shot learning”을 주제로 진행되었다. 딥러닝에서 시간과 비용 등의 이유로 정답 레이블이 함께 존재하지 않는 데이터가 많은 경우, 해당 데이터의 레이블 역시 올바르게 예측할 수 있도록 제안된 방법론이 Zero-shot learning이다. 이는 한 번도 본 적 없는 많은 클래스들도 추가적인 정보만을 사용하여 예측하게 된다. 보지 못한 클래스에 대한 정보로는 인터넷 상에서 클래스의 정보를 설명한 특징들이나 클래스 별 계층 관계, 시선의 초점이 머무르는 부분을 활용한 이미지의 특징 등을 활용한다. 이 때, 클래스의 특징을 활용하여 학습을 진행하는 방법론으로는 Embedding-based approach와 Generative model-based approach의 두 가지가 존재하는데, 이번 세미나에서는 유사한 속성은 비슷한 임베딩 값으로, 정반대의 속성은 다른 임베딩 값으로 변환하는 Embedding-based approach를 위주로 살펴보았다. 특히 구글에서 발표한 DeViSE 논문의 경우 이미지 데이터와 텍스트 데이터 모두를 사용하여 개체를 식별하도록 훈련하며, 정답과의 코사인 유사도가 오답과의 코사인 유사도보다 더 크도록 학습한다. 다만, 본 방법론은 다양한 attributes를 활용하지 못했다는 부족한 점이 있었고, 이 이후에 제안된 여러 zero-shot learning 알고리즘들은 어떻게 발전했을지 궁금하여 구체적으로 찾아보아야겠다는 생각이 들었다. 이번 세미나를 통하여 Zero-shot learning을 어떤 상황에서 어떻게 사용해야하는지 명확하게 이해할 수 있어 큰 도움이 되었다.

이번 세미나는 "Introduction to Zero-shot learning"을 주제로 진행되었다.
막대한 양의 데이터를 활용한 딥러닝이 뛰어난 성능을 보이고 있지만, 실제 데이터에 정답 값을 주는 것은 비용과 시간이 많이 드는 일이다. 이를 해결하기 위한 방법론으로 Zero-shot learning이 있으며, Zero-shot learning은 한 번도 본 적 없는 데이터를 맞추게 하는 학습 방법론이다. 이때 기존에 없는 데이터를 맞추도록 하기 위하여 side information 개념을 이용한다. side information은 말 그대로 해당 객체에 대한 직접적인 정보가 아닌 간접적인 정보를 의미한다. 이러한 side information을 다중 클래스 개념으로 접근하여서 정답을 맞추게 하는 방식으로 학습이 되는 것이다. 더불어 정답을 맞추는 Zero-shot learning과 비슷한 Open set recognition은 기존에 없는 데이터를 unknown으로 분류한다. 실제로 Zero-shot이 적용 될 side information을 이용하는 것과 확실하게 데이터를 수집하는 것을 고민하게 될 것 같고 어려운 문제인 것 같다. Zero-shot learning과 Open set recognition 그리고 저번 세미나에서 진행 된 Tabular Data 학습 방법론을 잘 활용해보면 재미있는 연구가 될 것 같다. 끝으로 좋은 정보를 쉽고 명확하게 전달해준 이경이에게 고생했다는 말을 전합니다!

금일 세미나를 통해 Zero-shot learning에 대한 개념을 올바르게 적립할 수 있었다. Zero-shot learning이란 training 과정에서 겪지 못했던 클래스도 testing 단계에선 올바른 분류가 가능한 방법론이다. Zero-shot learning을 가능케하는 핵심적인 요소는 Side information으로, 금일 세미나를 통해 Side information에 대한 개념과 종류를 올바르게 이해할 수 있었다. 또한, 이 것이 왜 Zero-shot learning을 가능케 하는지 명확하게 이해할 수 있었다. 좋은 세미나였다. Zero-shot learning에 대한 핵심적인 내용을 이해한 뒤, 가장 근간이 되는 대표 방법론을 하나 배울 수 있었다. 방법론의 이름은 DeVISE로, 언어 모델을 기반한 Side-information을 접목시킨 것이 가장 큰 특징이다. 언어모델 기반의 side-info 특징 벡터와 CNN 모델 기반의 이미지 특징 벡터 사이의 유사도를 통해 Zero-shot learning을 formulation한 방법론이다. 유익하고 좋은 세미나였다. 열심히 준비해주신 유이경 연구원에게 감사의 말씀을 전하며, 세미나 후기를 마치도록 한다.

이번 세미나는 zero shot learning을 주제로 진행되었다. Zero shot learning이란 실제 상황에서는 가정된 실험과는 달리 label이 없는 상태에서 올바르게 예측해야하기 때문에, 일단 label이 지정된 소수의 클래스 집합 데이터와 클래스에 대한 추가 정보만을 사용하여 신규 클래스까지 잘 예측하도록 학습시키는 방법론이다. Open set Recognition의 개념과 unseen data에 대한 분류 부분에서는 상당히 유사한 특징을 가지고 있지만, zero shot learning은 기존 분류 성능의 강화가 목적이라는 것에 차이가 있다고 한다.
Zero shot learning은 image(X), class(Y) 변수 외에도, side-Information을 이용한다. 분류 모델 내의 feature가 아닌, 사전 등에 정의된 정보나 사람의 시선정보와 같이 별도의 정보를 따로 이용하여 class에 대한 별도 정보를 넣어주는 형태다. 이러한 정보를 class별로 image feature만이 아니라 별도 embedding 값으로 학습시키면 이를 통해 unseen data에서도 side-information만으로 어느정도는 class를 유추할 수 있도록 모델이 학습하게 되는 것이다.
이러한 Embeeding-based approach의 근간이 되는 기본 모델로 DeViSE를 소개해주었는데, 앞서 설명했던 것처럼 image 와 그에 따른 사전적 Text를 둘 다 수집해서 사용하는 형태의 모델이었다.
zero shot learning은 side information을 세미나에서 설명된 것처럼 어떤 형태로 수집하느냐에 따라 상당히 다른 성능을 보일 것 같다. 도메인 specific하게 사용하는 경우에 특히, 전문 엔지니어의 경험이 담긴 다양한 종류의 attribute를 사용해서 세부적으로 넣을수만 있다면 굉장히 효과적이지 않을까 생각이 든다. 다만, 오히려 이러한 것들을 고려해서 넣는 것이 생각보다 비용 load도 크지 않을까, 그렇다면 label이 없는 환경에서 비용을 줄일 수 있는게 맞는 방법인지 살짝 의구심이 들기도 했다. 이경이가 기본 개념에서부터 풀어주는 과정이 매우 이해하기 콤팩트해서 듣기 참 좋았던 것 같다. 알기 쉽게 설명해준 이경이에게 감사의 말을 전한다.

금일 세미나는 “Introduction to Zero-shot Learning”이란 주제로 이경이가 발표했다. Zero-shot Learning은 레이블이 존재하지 않은 데이터가 많은 상황에서도 해당 클래스의 데이터를 올바르게 예측할 수 있도록 한다. 학습 과정에서는 보지 못했던 클래스를 검증 단계에서 올바르게 분류할 수 있도록 하는 방법론이다. Zero-shot Learning은 Side-Information을 통해 문제를 해결할 수 있으며 그 종류는 다양하다. 이번 세미나에서는 Attributes를 Side-Information으로 사용하고 Embedding-based 접근 방법을 사용해 학습한 방법을 소개하였다. 이의 근간이 되는 DeViSE 방법론에 대해 살펴볼 수 있었고 특히, 이미지 특징 벡터 간 유사도를 통해 공식화한 것이 인상 깊었다. 이번 세미나를 통해 다시 한 번 데이터 레이블 유무에 대한 중요성, 현실적인 문제를 해결하기 위한 많은 연구가 활발히 되고 있다는 것을 느꼈다.

이번 세미나는 "Introduction to Zero-shot Learning"을 주제로 진행됐다. 딥러닝은 많은 분야에서 좋은 성능을 내고 있지만 많은 레이블 된 데이터가 필요하다는 단점을 가지고 있다. 이러한 단점을 극복하기 위해 다양한 연구들이 진행되고 있으며 그중 하나가 zero-shot learning이다. Zero-shot learning은 모델이 한 번도 보지 못한 데이터에 대해 잘 동작하도록 하는 것을 목적으로 한다. Zero-shot learning은 open-set recognition과 비슷하지만, 모델의 학습 목적에서 차이를 보인다. Zero-shot learning은 한 번도 보지 못한 데이터에 대해 해당 데이터의 클래스를 정확히 분류하는 것을 목적으로 하지만 open-set recognition은 한 번도 보지 못한 데이터에 대해 unknown이라고 분류하는 것을 목적으로 한다. Zero-shot learning에서는 기존의 데이터 외에도 추가적인 정보인 side information을 활용하여 학습을 진행한다. Side information은 데이터의 특성을 설명하는 정보로 예를 들어 얼룩말 사진의 경우 '줄무늬가 있다.', '꼬리가 있다'와 같은 얼룩말에 대한 추가적인 정보를 활용할 수 있다. Side-information을 활용하는 대표적인 접근법은 embedding-based approach와 generative model-based approach가 있으며 이번 세미나에서는 embedding-based approach, 그중에서도 대표적인 방법론인 DeViSE에 대해서 소개되었다. DeViSE는 이미지의 특징을 추출하는 모델과 텍스트에서 특징을 추출하는 모델을 활용해 두 특징 벡터를 동일한 공간상에 맵핑시킨다. 최종적으로는 매칭이 되는 특징 벡터 사이의 거리를 가깝도록 학습이 진행된다. 이번 세미나를 통해 zero-shot learning에 대한 전반적인 개념을 정리할 수 있어 의미 있는 세미나였다. 세미나를 위해 고생해준 이경이에게 감사의 뜻을 전한다.

이번 세미나는 Zero-shot learning에 대한 주제로 진행되었다. 현실적으로 레이블이 충분하게 갖춰진 데이터를 확보하기란 쉽지 않다. 시간과 비용이 많이 드는 것 뿐만 아니라 도메인에 따라 전문가만이 레이블을 지정할 수 있는 경우도 있기 때문이다. 따라서 레이블이 없는 데이터에 대해서도 제대로 예측을 하고자하는 연구가 많이 진행되고 있고, 이번 세미나에서는 Zero-shot learning을 통한 방법에 대해 소개되었다. Zero-shot learning은 레이블이 있는 소수 클래스의 데이터와 추가 정보만을 사용하여 학습하고, 테스트시에는 한 번도 본 적이 없는 클래스의 데이터에 대해 레이블 예측을 수행할 수 있는 방법론이다. 이러한 Zero-shot learning은 Open set recognition과 유사하다고 할 수 있는데, 그 차이점에 대해 아주 알기 쉽게 설명해준 점이 좋았다. Zero-shot learning의 중요한 구성요소는 추가 정보인 Side-information이라고 할 수 있는데, 이 side-information은 다시 attributes, hierarchy similarity measures, human gaze 등으로 종류가 나뉜다. 이 중 attributes를 사용하는 방법으로 embedding-based approach가 소개되었는데, 이는 클래스에 해당하는 추가정보인 attributes를 vector representation으로 변환하여 학습에 활용하는 방법이다. 어떤 두 이미지의 attributes가 동일한 부분은 같은 벡터값을 갖게 되고 다른 부분은 다른 벡터값을 갖게 되어, 이에 대한 embedding 값을 학습함으로써 레이블이 없는 이미지에 대해서도 예측이 가능하도록 하였다. 이에 대한 대표적인 Base model로 DeViSE가 소개되었다. 이는 Visual model과 Language model을 결합하여 이미지 데이터와 텍스트로부터 수집된 의미 정보를 모두 활용할 수 있도록 한 모델이다. Visual model은 AlexNet으로, Language model은 Skip-gram LM로 각각 사전학습하여 결합된 모델의 초기 파라미터로 사용되고, 이미지와 정답 레이블간의 코사인 유사도가 무작위로 선택된 레이블과의 유사도보다 크도록 학습이 이루어진다. 이번 세미나를 통해 Zero-shot learning에 대한 기본적인 내용을 아주 명쾌하게 알 수 있었다. 레이블이 부족한 현실적인 상황을 고려하여 다양한 방법론들이 나오고 있는데 이번 세미나에서 다룬 Zero-shot learning에 대한 연구도 흥미로운 것 같다. 수고해준 유이경 연구원에게 감사의 말을 전한다.

오늘 세미나는 ‘Introduction to zero-shot learning’이라는 주제로 진행되었다. Zero-shot learning이 필요한 이유, 정의에 대한 설명해주면서 open set classification과의 차이점을 짚어주어 차이를 명확히 할 수 있어 좋았다. 하지만, zero-shot learning이 필요한 이유를 실제 사람의 학습? 방식으로 풀어 내었다면 더 좋았을 것 같다. 사람이 한번도 본 적, 배운 적 없던 객체를 보더라도 그것이 기존에 알던 것과 어떤 점은 닮았고, 어떤 부분에서는 다르다고 구별해서 유사한 정도로 새로운 객체를 인식한다. 따라서 그런 부분에서 attributes를 사용해 해당 클래스를 표현하고 embedding-based approach의 zero-shot learning의 발전이 굉장히 타당하다고 느껴졌기 때문이다. 해당 분야에서 어떤 방식으로 zero-shot 학습을 수행하는지 전혀 아는 바가 없어서 궁금했었는대, side-information이 결국에는 필요하구나 알게 되었다. 이 부분에서 과연 label이 적은 학습 데이터 상황, labeling에 시간과 노력, 전문가가 필요하다는 문제를 zero-shot이 해결한다고 설명되었는대, side-information을 확보하기 위해서 zero-shot learning에서는 또다른 어려움이 있진 않을까 싶은 의아함?궁금증?이 생겼다.

금일 세미나는 이경이가 zero-shot learning에 대해 진행해주었다. Zero-shot learning은 레이블이 지정된 소수의 클래스 집합 데이터와 클래스에 대한 적은 정보 만을 활용하여 한번도 관측되지 않은 클래스도 잘 예측하도록 학습하는 것을 목표로 한다. 이와 유사한 open set recognition은 zero-shot learning과 달리 학습 과정에서 side information을 활용하지 않는다. 또, 기존에 관측되지 않은 데이터를 특정 클래스가 아닌 unknown data로 분류한다는 점에서 차이가 있다. Zero-shot learning에서 side information은 중요한 요소이다. 대표적으로는 attributes, hierarchy similarity measures, human gaze가 있다. Attributes는 데이터의 속성에 대한 설명을 제공하는 것이고, hierarchy similarity measures는 클래스 간의 계층 정보를 제공하는 것이다. Human gaze는 사람이 이미지를 볼 때 시선이 많이 머무르는 부분을 해당 이미지의 특징을 잘 나타내는 부분으로 간주하여 추출되는 정보이다. Attributes를 사용하는 대표적인 approach는 embedding-based approach와 generative model-based approach가 있다.
Zero-shot learning은 모델이 한번도 보지 못한 데이터까지 정확하게 분류하는 것으로 목표로 하기 때문에 다양한 현실 문제에 적용 가능할 것 같다. 이해하기 쉬운 예시를 사용하여 혼돈하기 쉬운 개념도 명확히 설명해주어 유익한 세미나였다.

이번 세미나는 Zero shot learning에 대해 이경이가 발표를 해주었다.

딥러닝 분야를 보면 컴퓨팅 파워의 발전으로 인한 모델의 크기 증가가 labeling이 된 데이터의 증가 속도보다 빠른 것 같다. labeling에 대한 작업에 비용과 시간이 매우 많이 들기 때문이다. 하지만 labeling이 되지 않은 데이터는 하루에도 상상할 수 없을 정도로 쌓이고 있을 것이다.

때문에 unlabeled data를 활용하기 위한 다양한 방법론이 연구되고 개발되었고 그 중 하나가 zero-shot learning이다. zero-shot learning은 소수의 labeling 된 클래스 집합 데이터와 전체 클래스에 대한 추가 정보만을 사용하여, 한 번도 본 적 없는 많은 클래스까지 잘 예측하도록 학습하는 것이다. task의 방향이 openset recognition과 매우 유사하지만 zero-shot은 기존 분류 성능의 강화에 초점이 있고 openset은 unknown data detection에 초점을 두고 있다는 차이가 있다.

zero-shot learning이 잘 작동하기 위해서는 unseen class에 대한 side-information을 어떻게 정의하느냐가 매우 중요하다. 이 side-information은 해당 클래스가 가지고 있는 속성일 수도 있고 설명문일 수도 있다. 또는 클래스간의 계층관계를 파악하여 유사도를 제공하는 것이 될 수도 있다.

이번 세미나를 통해서 zero-shot learning에 대한 개념을 알 수 있었다. side-information을 통해서 unseen class를 예측하려는 것이 마치 결측치가 있는 멀티모달 데이터에 대한 분류처럼 생각되었다. class와 side-information를 어떻게 잘 align할 것인가가 중요한 문제인 것 같다.

이번 세미나는 'Introductiobn to Zero-shot learning'을 주제로 진행되었다. Zero-shot learning은 레이블이 존재하는 데이터가 없는 상황 속에서, 해당 카테고리의 데이터를 올바르게 예측하기 위해 탄생한 방법론이다.

레이블이 지정된 소수의 클래스 집합 데이터와 클래스에 대한 추가 정보만을 사용하여, 한 번도 본 적 없는 많은 클래스까지 잘 예측하도록 학습하는 기법이다. 학습 시에는 레이블이 지정된 데이터와 추가 정보(side information)만을 사용해 학습한다. 테스트 시에는 학습 때 보았던 클래스의 데이터와 한 번도 본 적 없는 클래스의 데이터에 대해 레이블 예측을 수행한다.

Zero-shot learning은 Open set recognition과 유사한 부분이 많지만, Zero-shot learning은 기존 classification의 성능 강화에 목적이 있고 Open-shot learning은 unknown data detection에 목적이 있다는 차이점이 있다.

Zero-shot learning은 크게 Attributes 활용하는 방법, Hierarchy similarity measures를 활용하는 방법과 Human gaze를 활용하는 방법으로 구분되는데 이번 세미나에서는 Attributes를 활용하는 방법 중에서도 Embedding-based approach에 대해 설명했다. 이 방법은 데이터의 attributes 사용하여 각 클래스에 해당하는 정보를 학습시키는 방법으로 관측된 데이터가 없는 클래스 값이더라도 예측할 수 있게 만든다.

레이블이 부족한 현실에서의 데이터 처리에 도움을 줄 수 있는 흥미로운 방법론이었다. 좋은 발표를 진행해준 이경이에게 감사의 말을 전한다.