이번 세미나는 'How advanced is the image semantic segmentation algorithm'을 주제로 진행되었다. Computer vision 연구에는 Object Classification, Object Detection & Localization, Object Segmentation을 비롯한 연구가 진행되고 있다. 그중에서도 Object Segmentation에 관한 설명이 주를 이루고 있다. Object Segmentation은 이미지 및 비디오 프레임 내에서 객체를 분할하여 분류하는 연구를 말한다. 해당 연구는 Semantic segmentation과 Instance segmentation으로 구성되어 있으며 두 방법을 결합한 Panoptic segmentation 방식도 존재한다. 딥러닝을 기반으로 한 Object Segmentation 방법 외에 전통적인 Image Segmentation에 관한 4가지 방법에 관한 설명도 간략하게 소개되어 있다. 관련 내용은 세미나 참고하기를 바란다.

Semantic segmentation은 Unsupervised / Semi-Supervised / Weakly-Supervised Learning 방식을 사용하는데, Supervised Learning 방식을 적용하는 경우는 데이터에 레이블링하는데 많은 시간과 비용이 필요하다는 한계가 존재한다. 이러한 한계점을 Unsupervised / Semi-Supervised / Weakly-Supervised Learning 방식을 통해 개선하고 있다. 본 세미나에서는 Unsupervised Learning 방식을 적용한 Unsupervised Semantic Segmentation에 관한 설명이 주를 이루고 있다. 관련된 많은 방법론 중에서 STEGO에 관해 설명되고 있다. STEGO는 기존 이미지, 기존 이미지와 유사한 이미지 그리고 랜덤한 이미지를 학습에 사용하고 있다. Unsupervised Semantic Segmentation의 경우 이미지의 상호의존정보를 최대화하는 것이 중요한데, 이를 위해 손실 함수로는 기존 이미지와 학습에 사용되는 각 이미지의 피쳐 간 유사도를 사용하고 있다.

Computer vision 연구에 다양한 연구가 진행되고 있는 것을 확인할 수 있었다. Object Detection과 Object Classification에 관한 기본적인 내용은 알고 있었지만, 다른 연구는 생소했는데 그 중 Object Segmentation의 기본 지식을 알 수 있었던 좋은 세미나였다. 세미나를 들으며 후기를 남길수록 느끼는 거지만 여러 연구에 관해서 파악할 수 있다는 것이 큰 장점인 것 같다. 매번 새로운 배움을 주는 DMQA 세미나에 감사하고 유익한 세미나를 준비해준 박진혁 연구원에게 감사드리며 이상으로 세미나 후기를 마친다.

이번 세미나는 비지도학습을 활용하는 Semantic Segmentation 기법에 대해 진행되었다. Semantic Segmentation은 Object Segmentation의 한 부류로, 같은 객체는 같은 레이블로 정의하여 학습하는 방법론이다. 이는 픽셀 단위로 분류가 이루어지기에, 픽셀 수준의 레이블링이 필요하다는 특징을 갖는다. 이러한 Semantic Segmentation은 전통적으로 인접한 픽셀값과 비교를 통해 수행되었지만, 최근에는 CNN이나 ViT 기반 딥러닝 모델들이 주를 이루는 추세이다. 특히, 최근에는 레이블이 없음에도 불구하고 이미지의 상호 의존정보를 최대화하는 비지도학습으로 Semantic Segmentation 모델을 학습할 수 있는 방법론들이 각광받고 있다. 본 세미나에서는 그 중 STEGO라는 방법론을 소개한다. 이는 Anchor Feature와 Global Feature 수준에서 유사도를 비교한 후, 자기자신/유사한 이미지/랜덤 이미지를 활용하여 상호 의존정보를 최대화한다는 특징을 갖는다. 본 세미나를 통해 Semantic Segmentation를 접할 수 있었다. 컴퓨터 비전은 정말 다양한 분야가 존재하여 아직 시도조차 하지 못한 분야가 있는데, 그 중 하나가 Semantic Segmentation이다. 개인적으로는 Semantic Segmentation의 경우 데이터 레이블링에 엄청난 시간이 소요될 것 같은데, 이러한 비지도학습을 활용한 접근은 현실에서 Semantic Segmentation을 적용할 때, 필수적인 요소가 아닐까라는 생각이 들었다. 유익한 세미나를 준비해주신 박진혁 연구원님께 감사드리며 이상으로 세미나 후기를 마친다.

이번 세미나는 전통적인 semantic segmentation 방법론들부터 비지도 학습에서의 semantic segmentation, 그리고 SOTA의 성능을 기록한 STEGO 방법론에 대한 설명으로 구성되었다.
최근 레이블된 데이터를 수집하는데 큰 한계에 직면하면서 다양한 분야에서 자기지도학습 및 준지도학습에 대한 연구가 다수 진행되고 있다. 본 세미나에서는 이 중 준지도학습에 대한 내용이 주를 이루었다. SOTA의 성능을 이룬 STEGO 모델은 이름만 들어봤었는데, MiT, Microsoft, Cornell University, Google 등 매우 유명한 연구 기관들에서 공동으로 진행했다고 한다. 주요 기여점은 기존 이미지, 유사한 이미지, 랜덤한 이미지, 총 3가지 종류의 이미지를 통해 나온 손실 함수를 합쳐서 새로운 손실 함수를 정의했다는 점이다. 자세한 손실 함수 식은 본 세미나에 자세히 설명되어있다. 결과적으로 기존 연구들보다 Accuracy, mIoU 두 가지 지표에서 모두 SOTA의 성능을 도출했다. 심지어 기존 연구들보다 성능이 약간 상승한 것이 아니고 꽤 많이 상승하여 더욱 의미있는 연구라고 생각한다.
본 세미나는 내가 참여했던 프로젝트나 개인 연구와는 거리가 먼 semantic segmentation에 대해서 학습할 수 있는 좋은 기회였다. 생소한 느낌이 컸지만 전통적인 기법부터 차근차근 설명이 이루어져 있어서 보다 받아들이기 용이했다. 나와 관련된 연구 뿐만 아니라 다양한 분야들에 대해서도 더 학습해야겠다는 생각이 들었고 특히 세미나를 통해 다양한 분야를 내 스스로 접할 수 있도록 노력해야겠다. 어려운 내용이지만 이해하기 쉽게 설명해주신 진혁이형께 감사드리며 본 세미나 후기를 마친다.

이번 세미나는 Image segmentation에 대해서 진행되었고, 그 중에서도 unsupervised semantic segmentation에 대해서 집중하여 세미나가 진행되었다. Image segmentation은 멘토였던 안인범 연구원님께서 연구하시던 분야였고 입학 후 첫 세미나 후기를 작성했던 주제였던 만큼 감회가 새롭게 세미나를 청취할 수 있었다. Image segmentation task는 자율주행 등 굉장히 활용도가 높고 AI에 대해 모르는 비전문가가 접해도 쉽게 이해할 수 있는 task이기 때문에 굉장히 흥미로운 주제인것 같다. 세미나 초반 segmentation의 분류에 대해 설명을 해주었는데, 단순히 이미지를 pixel 단위로 잘라서 분류 한다는 것만 알고 있었는데 여러 세분화되는 것을 확인할 수 있었고, 특히 panoptic segmentation과 같은 경우는 존재 자체를 몰랐는데 이번 세미나를 통해 알게되었다. Image segmentation의 전통적인 방법 4가지를 우선 설명하였는데 과거의 전통적인 방법론은 확실히 이미지를 이해한다기 보다는 주어진 데이터의 부분적인 변화/유사함(?)을 잡아내는 것으로 느껴져서 확실히 최신 딥러닝 기반 방법론의 이미지 자체에 대한 이해도를 높이는 방법론이 유효한것 같았다. 레이블된 데이터 없이 학습하는데 SOTA 방법론인 STEGO를 설명하며 세미나를 마무리 지었다. STEGO는 3가지의 loss를 합쳐서 학습이 진행되게 되는데 레이블된 데이터도 없이 어떻게 이렇게 잘 캐치하고 pixel단위로 분류할 수 있는지 정말 딥러닝 방법론의 성능에 놀랄 수 밖에 없는것 같다. 제조 현장에서도 image segmentation을 통한 불량 부분 탐지 등이 활발하게 적용되고 있기에 상당히 흥미로운 주제라고 생각하고 이분야도 더 공부해보고 싶다는 생각이 들었다. 유익한 세미나를 준비해주신 박진혁 연구원님께 감사드리며 이상으로 세미나 후기를 마친다.

고전적 Semantic Segmentation 방법론에 대한 개략적인 설명과 최신 ,Unsupervised Semantic Segmentation 방법론인 STEGO에 대해 알아보았다. STEGO는 모델 구조적인 측면에서는 기존 ViT/DeiT와 큰차이가 없다. 다만 대량의 unlabeled data를 통해 feature extractor를 먼저 학습해야했으며, 이러한 자가지도학습 방법론으로는 DINO를 사용하였다. DINO에 대한 설명을 간단하게 하자면 DINO는 SwAV와 Knowledge Distillation에서 아이디어를 얻어 고안된 방법론으로써, 이미지의 작은 부분(Local View)에서 추출한 특징이 큰 부분(Global View)에서 추출한 특징을 따라가도록 학습하는 방법론이다. 즉 나무를 보고 숲을 맞추라는 개념과 같다. 이러한 방식으로 학습된 Backbone에서 feature를 추출한뒤 Segmentation Head를 통해 Segmentation을 실시하며, Segmentation Head는 저자들이 고안한 Feature Correspondance 기반 Loss Function을 통해 학습된다. 구체적으로 어떻게 레이블이 없이 유사한 이미지와 랜덤한 이미지를 선별하여 각각의 Loss Term에 분배되는지는 논문을 봐야 알 수 있을 것 같다. 세미나를 준비하느라 고생하신 진혁이형께 감사의 말씀을 전한다.

금일 세미나는 Semantic Segmentation를 주제로 진혁이 형이 진행해주셨다. Semantic Segmentation 기본 개념과 Instance, panoptic segmentation과의 차이점 등 이해하기 쉬운 내용부터 차근차근 세미나가 시작되어 이해하기 편하였다. 비지도학습 기반 Segmentation 방법론 설명 전에, 기존에 개발되어 온 전통적인 Segmentation 기법들도 소개되어 있는데, 딥러닝 개발 전에 어떠한 연구들이 개발되고 있었는지 살펴볼 수 있었던 좋은 시간이었다. 또한, 개인적으로 Segmentation 관점 Weakly Supervised Learning의 개념도 새롭게 알아갈 수 있어서 유익하였다. (Weakly-Supervised Learning은 약간의 정보가 소실된 Label만으로 지도학습에 가까운 성능을 내고자 하는 연구로, Bounding Box 혹은 이미지 타겟 정보만으로도 Segmentation을 해야하는 것을 예시로 들 수 있다.) 세미나 마지막 부분에서는 비지도학습 기반 Segmentation 알고리즘 소개가 이어졌다. 그 중, 상호 의존 정보를 기반한 알고리즘이 대표 계열 알고리즘인 것도 엿볼 수 있어 유익하였다. 좋은 세미나를 준비해주신 진혁이 형에게 감사의 말씀을 전하며, 세미나 후기를 마치도록 한다.

이번 세미나는 How advanced is the image semantic segmentation algorithm에 대하여 진행하였다. Computer vision 중 object segmentation에 관하여 자세히 설명을 해준다. object segmentation은 이미지 픽셀이 사전에 정의한 범주 중 어느 범주에 속하는지 예측하는 것을 말한다. semantic segmentation(같은 객체는 같은 레이블로 표현),instance segmentation(객체별로 다른 레이블로 표현)으로 구성되어있다. semantic segmantation의 적용분야는 자율주행, 영상의학, 위성이미지 분석 등 다양한 분야에 활용 되고 있다. 전통적인 Semantic Segmentation 방법론으로는 Threshold Method, Region based Method, Edge based Method, Clustering based Method이 있다. 하지만 현재는 CNN이나 ViT기반의 방법론들이 SOTA를 달성하고 있고, labeling의 어려움을 극복하기 위해 Unsupervised,Semi-supervised,Weakly-supervised learning을 통한 방법론들이 각광 받고 있다. 해당 세미나는 Unsupervised semantic segmentation에 초점을 맞추었다. 또한, 해당 방법 중 SOTA를 달성한 STEGO에 대하여 설명을 해준다. STEGO는 ViT backbone을 사용하여 이미지 특징을 추출하고, 기존 이미지, 유사한 이미지, 랜덤한 이미지를 가지고 학습을 실시한다. 그리고 3가지 종류의 이미지를 통해 나온 손실함수를 합쳐서 새로운 손실함수를 정의한다. computer vision 분야에서 semantic segmentation에 대해서는 자주 접하지 못하고 있던 분야였는데 이번 세미나를 통해서 semantic segmentation에 대해서 상세하게 배울 수 있었다. 또한, unsupervised semantic segmentation은 정답레이블이 없는 상황에서 어떻게 객체를 잘 구별하고 맞추는지 학습에 사용되는 손실함수를 상세하게 배울 수 있어서 좋았다. computer vision 분야는 많은 발전을 이루어왔고 뛰어난 성능을 보여주는 방법론이 존재한다. computer vision 분야를 vision분야에 국한하지 않고 다른 분야에 접목 시킬 수 있는 연구를 고민해보고 진행을 해보고 싶어졌다. 유익한 세미나를 준비해주신 박진혁 연구원님께 감사드리며 이상으로 세미나 후기를 마친다.

이번 세미나는 semantic segmentation을 주제로 진행되었다. semantic segmentation이란 이미지 또는 비디오 프레임 내에서 같은 객체는 같은 레이블로 표현하는 vision 분야를 말한다. 이미지 픽셀이 사전에 정의한 레이블 중 어느 레이블에 속하는지 예측한다. 자율 주행 자동차, 의학 등 다양한 분야에 활용된다. 2021년까지는 CNN 기반의 방법론 등이 존재했으나, 최근에는 비전 트랜스포머인 ViT 방법론들이 SOTA를 달성하였다. 또한, semantic segmentation에서는 레이블링 데이터셋을 구축에 어려움이 있기 때문에 이미지 상호의존정보를 최대화하는 비지도 semantic segmentation이 다양하게 연구되고 있다.

그 중 STEGO라는 SOTA 방법론이 소개되었다. 해당 방법론은 기존 이미지, 유사한 이미지, 랜덤 이미지 총 3가지 종류의 이미지를 통한 상관 관계를 통해 손실 함수를 정의하였으며, ViT를 백본 네트워크로 사용하였다.

비전 분야 특히, semantic segmentation 관련 최신 SOTA 논문을 접해볼 수 있는 세미나여서 좋았으며, 간단한 아이디어를 통해 SOTA를 달성했다는 것이 인상 깊었다. 이해하기 쉽게 세미나 진행해준 박진혁 연구원님께 수고했다는 얘기를 전하며 세미나 후기를 마친다.

금일 세미나는 "How Advanced is the Image Semantic Segmentation Algorithm" 주제로 진혁이가 발표하였다. 아직까지도 Detection, Segmentation은 핵심 연구인 것 같다. 약 3년 전만 해도 배추 프로젝트를 했을 때 Semantic Segmentation 연구들을 공부하고 적용하던 기억이 났다. 이전에는 배추 데이터에 Label을 생성하여 지도 학습을 수행했다면 최근에는 레이블이 없는 데이터를 활용하여 비지도 학습 기반으로 Segmentation 연구가 이루어지고 있다. 대표적으로 소개된 방법론은 STEGO이다. STEGO의 핵심은 Anchor와 Global의 유사도를 계산한 후 자기 자신부터 랜덤 이미지를 활용하여 상호 의존 정보를 최대화하는 것이다. 확실히 Self-Supervised Learning은 분야를 막론하고 다양하게 활용되고 있다고 느낀 세미나였다.

해당 세미나는 image semantic segmentation 에 대한 간략한 흐름과 최종적으로는 unsupervised semantic segmentation을 주제로 진행되었다. Object Segmentation은 크게 2가지 방법으로 구분이 가능하다. 우선 Semantic segmentation은 이미지 내 같은 클래스의 객체들은 같은 레이블을 부여하고, 두 번째 instance segmentation 은 객체별로 별도의 레이블로 표현하는 방법이다. 이러한 기법들은 자율주행, 영상의학 등 다양한 분야에서 활용되고 있는 추세라고 한다.

대부분의 인공지능 도메인과 task가 그렇듯 image segmentation task 역시 labeled data를 구하기 어렵기 때문에 unsupervised, semi. Supervised learning 방법들이 활발히 연구되고 있다고 한다. 그 중 금일 세미나에서 중점적으로 다룬 방법론은 STEGO이다. STEGO는 자기 자신 이미지, 유사한 이미지 그리고 랜덤 이미지를 바탕으로 새로운 손실함수를 정의하고 학습을 진행하였다고 한다. 이는 이미지의 상호의존정보를 최대화하기 위한 기법이며, 이를 통해 기존 semantic segmentation 모델들 대비 SOTA를 달성하였다고 한다.

해당 세미나를 통해 semantic segmentation에 대한 전반적인 지식을 습득할 수 있어 너무 유익하였고, 좋은 세미나를 준비해 주신 진혁형님께 감사의 인사를 전하며 세미나 후기를 마친다