이정민

최근 LLM에 이어 비전과 텍스트를 결합한 Vision-Language Model (VLM)이 각광을 받고 있다. 우리 연구실에서도 몇 몇 연구원들이 VLM을 활용하여 연구를 하고 있는 것으로 알고 있는데, 이번 세미나를 통해 VLM의 활용성에 대해 조금이나마 알 수 있었다.
CLIP은 대표적인 VLM 중 하나로, 대조 학습 기반으로 대량의 데이터를 사용하여 사전 학습되었다. 심플하게, pair인 텍스트-이미지는 positive, 그 외는 negative로 정의하여 대조 학습이 사용된다. MCM은 단순히 이미지-텍스트 간 최대 유사도를 계산한 후, 유사도가 threshold보다 낮다면 OOD로 판단한다. 이를 보다 발전시켜, ZOC는 테스트 이미지 내에서 객체 인식을 먼저 수행한 후, 추출된 키워드 텍스트를 텍스트 후보군에 추가한 후 유사도를 계산하게 된다. NegLabel은 아예 별도의 OOD class를 정의하게 되는데, WordNet 데이터베이스에서 ID class에 없는 class들을 OOD로 정의한다. 마지막으로 CLIPN은 No Text Encoder를 추가 적용하여, 이로부터 나온 확률 값을 최종 OOD Score에 반영하도록 한다. 그러나 개인적으로는 굳이 No Text Encoder를 추가로 학습하면서까지 사용한다는 것이 크게 와닿지는 않았다. 방법론이 제안 된 순서를 보니 CLIPN보다 NegLabel이 더 후에 나온 것으로 보았고, No Text Encoder를 사용하는 아이디어가 이 후에 과연 더 발전될까 싶긴 하다.
이번 세미나를 통해 VLM을 활용한 OOD detection 연구들에 대해 알 수 있었다. 세미나를 들으면서 좋았던 것은, 중간 중간 왜 굳이 이렇게 하지? 이게 무슨 의미지? 싶을 때마다 바로 이어 그런 궁금증을 해소 시켜주는 장표가 나왔던 점이다. 방법론들도 직관적으로 이해하기가 상대적으로 용이해서 듣기 편했던 세미나였다. 좋은 세미나를 준비하느라 고생한 성수에게 고맙다는 말을 전하며, 본 세미나 후기를 마친다.

장현성

이번 세미나는 zero-shot과 OOD detection을 같이 하는 연구하는 분야는 생소하기도 하고 추천을 통해 듣게 되었습니다. AI는 기본적으로 하나를 배우면 하나만 아는 경향이 강합니다. 즉, 경험한 적 없는 정보가 들어오게 되면 AI는 결과를 반환해야 하기 때문에 엉뚱한 정보를 출력합니다. 이처럼 경험한 적 없는 정보를 OOD라고 합니다. 최근에는 모델이 이러한 OOD 정보를 잘 구분하게 만들어 AI 대답의 신뢰성을 제고해야하는 중요성이 커지고 있습니다.

위와 관련하여 이번 세미나에서는 OOD 정보를 어떻게 구분해야 하는지에 대해 다루는 논문을 소개합니다. MCM, ZOC, NegLabel 그리고 CLIPN에 대해서 다룹니다. 근본적인 목적은 추가 학습 없이 OOD를 잘 처리할 수 있게 AI의 처리 능력을 보강하자는 취지인데, 외부 모듈을 추가적으로 학습하여 성능을 개선한 케이스가 있어 좀 의아했습니다. 개인적으로 추가적인 학습 없이 OOD를 판별하는 능력을 AI에 부여하고자 한 좋은 시도는 NegLabel입니다. 간단한 접근 방식이므로 쉽게 다른 모델에 적용할 수 있으면서 성능도 괜찮기 때문입니다.

한편, 현업에서 AI 모델을 적용할 때 중요한 요소 중 하나가 추론 시간의 병목입니다. 이를 고려할 때 NegLabel에서 제안한 방법론은 적정 OOD label (negative label)의 개수가 10,000개로 굉장히 많기 때문에 추론 시간이 상당히 증가할 것으로 예상됩니다. 따라서 앞으로의 zero-shot OOD detection은 추론 시간의 병목은 크게 증가하지 않으면서 효율적으로 OOD를 판별하는 방식이 주목받을 것 같습니다.

발표는 청자가 발표 중간에 생길 수 있는 질문을 미리 예측하여 답하는 과정이 좋았습니다. 사실 외부 모듈을 추가 학습하는 행위 자체가 OOD였던 정보들을 in-distribution으로 만드는 것이라고 생각하는데, 다른 연구자들이나 학계는 해당 방법이 정당한 접근법이라고 하는게 생각이 다른 연구자들도 많구나를 느꼈습니다.

좋은 발표 감사합니다.