이번 세미나는 Unsupervised semantic segmentation을 주제로 진행하였다. 첫 연구였던 강판 표면 결함 탐지 문제도 semantic segmentation 모델을 적용한 연구였는데, 연구에 사용했던 정답 데이터가 잘못된 경우도 많아 성능의 한계가 있었다. 그만큼 픽셀 단위의 레이블을 확보하기가 쉽지 않다는 것을 느끼고 비지도 학습 기반의 semantic segmentation을 연구하게 되었다. 스터디를 하다보니 최근 연구들이 mutual information을 가장 많이 사용하고 있어서 이 부분에 대해 중점적으로 소개하고자 하였다. 최근 연구들이 지속적으로 성능을 향상시키고 있지만, 비지도 학습 기반의 semantic segmentation 연구 분야는 아직 더 발전될 수 있는 부분이 많은 것 같다. 본 세미나의 내용이 비지도 학습과 이미지 처리 분야에 관심 있으신 연구원분들에게 도움이 됐으면 좋겠다. 세미나를 경청해주신 분들께 감사의 말씀을 드린다.

​

이번 세미나는 Unsupervised semantic segmentation을 주제로 진행되었다. Semantic segmentation은 이미지 내의 객체에 대해 클래스를 올바르게 분류하는 문제이며 자율 주행, 의료 등 다양한 분야의 산업에서 활용 될 수 있는 모델이다. 높은 수준의 이미지 인식을 위해서는 수 많은 입력 이미지와 그에 맞는 픽셀 단위의 레이블이 필요하지만 픽셀 단위의 레이블이 달려있는 이미지는 얻기가 쉽지 않고 오히려 잘못된 레이블링으로 인하여 모델 학습에 악영향을 주는 경우도 있다. 이러한 현실적인 문제를 해결하기 위하여 크게 3가지의 접근 방법이(Weakly/Semi/Un-supervised) 연구되고 있으며 본 세미나에서는 Unsupervised 방식을 다루었다. 해당 분야를 연구한 IIC 등 4가지의 최신 방법론을 소개해 주었고 특히 공통적으로 사용하고 있는 Mutual Information 개념을 자세히 소개해줘서 어떤 방식으로 연구가 이루어지고 있는지 개략적으로 이해할 수 있었다. 딥러닝 및 머신러닝 분야의 공부를 시작하는 입장에서 Mutual Information이라는 척도와 새로운 방법론들을 알 수 있어서 유익한 세미나였다. 좋은 세미나를 준비해 주신 안인범 연구원님께 감사드리며 이상 세미나 후기를 마친다.

금일 세미나는 비지도학습 기반의 Image Segmentation을 주제로 인범이 형이 진행해주었다. 이미지 세그멘테이션은 이미지의 픽셀 별 범주를 구분하는 것으로, 데이터 구축 과정에서 픽셀 단위의 세밀한 레이블링 작업을 필요로 한다. 하지만, 세밀한 레이블링 과정에서는 사람의 실수가 포함되어 있을 확률도 높고 고비용을 요구하기 때문에 잘못된 데이터셋이 구축될 확률이 높다. 금일 소개된 비지도학습 세그멘테이션은 위와 같은 단점들을 보완하기 위해 등장한 연구 분야이다. 레이블 정보 없이 세그멘테이션을 가능케 하기 위해서 어떠한 방법론들이 개발되고 있는지 금일 세미나에서 접할 수 있었다. 아이디어가 금일날 활발하게 연구되고 있는 데이터 증강 기법 기반 self-supervised learning과 깊은 연관이 있는 것으로 이해하였는데 많이 흥미로웠다. 특히, mutual information을 최대화하는 아이디어가 비지도학습 세그멘테이션에서 어떠한 역할을 기대하며 만들어졌는지 본 세미나를 통해 쉽게 이해할 수가 있었다. 쉬운 예제를 많이 준비해주신 인범이 형에게 감사의 말씀을 전하고 싶었다. 오늘 소개된 4가지 방법론은 모두 mutual information 최대화 아이디어를 기반하였다. 각 방법론 별로 어떠한 세부 특징들이 있는지도 본 세미나에서 쉽게 이해할 수 있었다. 개인적으로 인상 깊었던 것은 세밀한 픽셀 특징, 글로벌한 특징을 구분 지은 후 연관지어 활용하는 방법들과 오버 클러스터링 방법이였다.

내 연구 분야를 제외하고는 최신 연구 트렌드를 팔로업하기 쉽지 않은데, 요즘 연구실 세미나가 최신 트렌드를 다루고 있어서 재밌고 많은 도움이 된다. 정성스레 세미나를 준비해주신 인범이 형에게 감사의 말씀을 전하며 세미나 후기를 마치도록 한다.

이번 세미나는 Unsupervised Semantic Segmentation 주제로 진행되었다. Semantic Segmentation이란 비전 분야 중 하나로 이미지 내 모든 픽셀에 대해 클래스를 분류하여 의미 있는 대상을 객체로 분할하는 문제를 해결한다. 높은 이미지 인식 수준을 요구하며, 자율 주행, 의료 영상 분석 등의 산업에 활용되고 있다. 해당 분야는 픽셀 단위로 레이블을 부여해야 하기 때문에 정답(Ground truth) 데이터 구축에 어려움을 겪고 있고 이를 해결하기 위한 접근 방법은 Weakly/Semi/Unsupervised learning이 있으며, 이 중 이번 세미나는 Unsupervised learning을 다루고 있다. Unsupervised는 정답이 주어지지 않은 상황에서 입력 이미지 만으로 모델을 학습하는 게 주요 내용이다. 최근 높은 성능을 달성하고 있는 4개(IIC, AC, InforSeg, PiCIE)의 방법론에 대해 설명해 주었으며, 주로 사용되는 목적 함수인 mutual information maximization과 입력 이미지를 통해 생성하는 positive pair에 대한 자세한 설명을 들을 수 있었다. 쉬운 설명을 통해 해당 분야 관련 이해가 높아졌으며, 최신 흐름에 대해 들을 수 있게 되어 유익하였다. 세미나 준비해주신 안인범 연구원님께 감사드리며 후기를 마친다.

금일 세미나는 안인범 연구원님께서 Unsupervised Semantic Segmentation의 주제로 진행해주셨다. Semantic Segmantation은 컴퓨터 비전 분야에서 다루는 문제 중 하나로, 이미지 내의 모든 픽셀에 대해 클래스를 분류하여 semantic 단위로 대상 객체를 분할하는 문제이다. 최근 자율 주행, 의료 영상 분석, 표면 결함 검출 등 다양한 산업에서 활용되고 있다.

다른 딥러닝 모델과 마찬가지로, Semantic Segmentation을 위한 딥러닝 모델 역시 입력 이미지와 그에 맞는 정답이 필요한데, 많은 데이터 수집을 필요로 하는 딥러닝의 특성 상 픽셀 단위의 정답 데이터를 얻기에는 한계가 있다. 픽셀 단위의 정답 데이터 구축 과정은 특히나 데이터 구축 과정에서 잘못된 정답이 포함되어 모델 학습에 오히려 악영향을 주기 때문에 그 과정이 비교적 더 어렵다. 이러한 문제점에 대한 해결책으로 Weakly-supervised/Semi-supervised/Unsupervised 접근 방법을 소개해주었고, 본 세미나에서는 Unsupervised Semantic Segmantation에 대해 주로 설명해주셨다. 최근 지속되고 있는 4가지 연구(IIC, AC, InforSeg, PiCIE)들의 방법론을 소개해주셨고, 특히 공통적인 요소인 Mutual Information에 대해 간단한 예시들을 바탕으로 상세한 설명을 들을 수 있었다. 컴퓨터 비전 분야에 다소 막연한 관심이 있었는데, 관련 분야의 다양한 최신 방법론들을 배울 수 있어서 더욱 유익한 세미나였다. 좋은 세미나를 준비하시느라 고생하신 안인범 연구원님께 감사드리며 후기를 마친다.

금일 세미나는 Unsupervised Semantic Segmentation 주제로 진행되었다. Semantic segmentation은 이미지 단위가 아닌 픽셀 단위로 정답을 구분하여 높은 수준의 이미지 인식이 가능하다. Sementic segmentation 학습 단계에서는 입력 이미지와 픽셀 단위의 labeling이 필요한데 labeling된 데이터를 구축하기도 쉽지 않고 구축 과정에서 잘못 labeling 될 경우 오히려 학습에 좋지 않다. 따라서 본 세미나에서는 정답 데이터가 아예 주어지지 않는 unsupervised semantic segmentation 연구분야와 해당 방법론에 대해 설명하고 있다.
해당 분야는 2019년 IIC 연구 이후 대부분 mutual information maximization을 사용하는데 두 확률변수 사이의 상호의존성을 최대로 하고자 하는 것이다. 우선 입력 이미지와 이를 증강시킨 이미지로 positive pair를 구성한다. 그 후 두 이미지 사이의 공통 특징이 잘 추출될 수 있도록 학습을 진행한다. mutual information에 집중하는 총 4가지 방법론 (IIC, AC, InfoSeg, PiCIE)가 소개되었다. 각 방법론의 구조와 특징을 모두 쉽게 이해할 수 있었고 IIC 연구를 기초로 다양한 아이디어가 추가되는 것이 흥미로웠다. 특히 인상 깊었던 것은 InfoSeg 방법론에서 이미지에 대한 local feature와 global feature를 같이 학습하여 mutual information 최대화를 진행한 부분이다. Semantic segmentation에서 세세한 픽셀 별 분석이 목적임에도 vision 분야에서는 이미지 전체 영역을 나타내는 global feature를 등한시하지 않는 것이 주요하다는 것을 깨달았다.

금일 세미나는 Unsupervised Learning 기반 Semantic Segmentation을 주제로 진행되었다. Semantic Segmentation은 이미지 내 모든 픽셀에 대하여 클래스를 분류하는 문제이며 현재 위성영상분석이나 의료산업 등 여러 분야에서 활용되고 있다. 하지만 Semantic Segmentation의 경우 모델 학습을 위한 데이터셋에서 픽셀단위의 레이블링이 필요하기에 데이터셋 구축이 쉽지 않다는 단점이 존재한다. 따라서 본 세미나는 이러한 한계를 극복하기 위하여 데이터 레이블 정보가 필요하지 않은 Unsupervised Learning을 활용한 Semantic Segmentation 최신 방법론 4가지(IIC, AC, InfoSeg, PiCIE)를 소개하였다. 해당 방법론들은 IIC의 Positive Pair를 정의하는 방법과 Mutual Information을 Maximize하는 목적함수를 기반으로 모델들이 점차 개선되었다. Mutual Information은 다소 생소한 개념이었지만 본 세미나를 통해 두 변수의 관계에 대한 관점과 엔트로피기반 불확실성 관점의 해석으로 보다 쉽게 이해할 수 있었다. AC의 경우 Positive Pair를 정의할 때 Masked Convolution을 적용하였으며, InfoSeg의 경우 Local Feature와 Global Feature의 Mutual Information을 Maximize하고자 하였고, PiCIE는 Positive Pair를 생성한 후 Mutual Information가 아닌 Clustering을 기반으로 Semantic Segmentation을 진행하였다. 최근 컴퓨터비전분야에 관심이 생겼었는데 이번 세미나를 계기로 컴퓨터비전의 한 분야인 Semantic Segmentation의 큰 그림과 최신 트랜드를 쉽게 이해할 수 있었다. 유익한 세미나를 준비해주신 안인범 연구원님께 감사드리며 이상으로 세미나 후기를 마친다.

금일 세미나는 인범이형이 Unsupervised Semantic Segmentation을 주제로 세미나를 진행하였다. Semantic segmentation은 이미지 분석의 일종으로 특정 개체에 해당하는 픽셀을 해당 개체의 클래스로 분류하여 의미 있는 단위로 대상 객체를 분할하는 문제를 수행하는 것이다.

앞서 언급한 것처럼 픽셀의 클래스를 다루기 때문에 지도학습 방식으로 수행되고 있지만 보다 좋은 성능을 위해서 더 많은 데이터를 필요로하는 딥러닝의 특성을 만족시킬 만큼 픽셀 단위의 정답 데이터를 확보하는 것이 어렵다. 따라서 최근에는 정답 데이터 구축이 어려운 상황을 해결하는 접근법이 비지도학습 기반으로 연구가 되고 있다.

비지도학습을 사용할 경우에는 입력데이터만으로 모델을 학습하게 된다. 다만, 정답 마스크가 주어지지 않을 뿐 학습 시 클래스의 개수는 지정을 해주도록 한다. 기본적으로 Invariant Information Clustering (IIC)를 사용하여 비지도학습이 이루어지는데 여기서 모델은 Mutual Information을 최대화하도록 학습한다. Mutual Information은 두 확률변수 사이의 상호의존성을 측정한 것으로 하나의 변수를 통해서 얻어지는 다른 한 변수에 대한 정보량을 의미한다. 이를 통해서 두 확률변수의 독립여부를 측정할 수 있기 떄문에 두 변수사이의 관련를 파악할 수 있다.

IIC는 입력 이미지에 증강기법을 적용하여 positive pair를 생성하고 기존의 이미지와 mutual information이 최대화되도록 학습하는 방식이다. 학습 시에는 목표 클래스 개수보다 더 많은 cluster를 만들도록 하며, 이는 이미지의 더 좋은 특징을 추출하기 위해서 목표 클래스와 관련 없는 이미지까지 활용하기 위함이라고 한다.

한편 Autoregressive Clustering(AC)은 PixelCNN이라는 이미지 생성 방법론의 masked convolution을 개선하여 segmentation 문제에 활용한 모델이다. 마찬가지로 positive pair를 생성하여 mutual information의 극대화를 목표로 학습을 진행한다. Infoseg는 기존 IIC와 AC가 local context에만 집중하는 한계를 넘어 global context 역시 모델 학습에 활용하도록 하였다. 이 때 global context 역시 클래스 개수에 따라서 학습되며, local context와의 연산 과정을 통해서 픽셀 단위의 클래스 확률을 예측하게 된다. 마지막으로 PiCIE는 이미지의 pixel-level 특징과 k-means clustering 모델을 동시에 학습하고 이를 통해서 픽셀 단위의 클래스를 예측하게 된다. 특이한 점은 pixel-level의 특징이 clustering 결과와 같아지도록 모델을 학습시킨다는 점이다.

Mutual Information은 비지도학습 또는 자기지도학습에서 매우 중요한 비중을 차지하고 있는 개념이다. 이번에 인범이형의 세미나를 통해서 해당 개념을 명쾌하게 정리할 수 있었고, 비지도학습 기반의 semantic segmentation을 알게되어서 매우 유익했다. 특히 이번 주제는 데이터가 많을지라도 레이블이 부족하다는 현실적인 문제를 다루고 있기 때문에 차후 실제 현장에서 적용을 해볼 수 있는 실용적인 방법론들을 알 수 있었다. 어려운 주제이지만 이해하기 쉽도록 세미나를 준비해주신 인범이형에게 감사의 말씀을 전한다.

이번 세미나는 unsupervised semantic segmentation을 주제로 진행되었다. semantic segmentation은 이미지 내의 모든 픽셀에 대해 클래스를 분류하여 대상 객체를 분할하는 문제로, 높은 수준의 이미지 인식을 가능하게 한다. semantic segmentation을 위한 딥러닝 모델을 학습시키기 위해서는 입력 이미지와 정답 label이 필요한데, 픽셀 단위의 정답 데이터를 구축하는 것은 매우 어렵다. 이런 상황에서 입력 데이터 만으로 모델을 학습시키는 unsupervised learning 기반의 semantic segmentation 방법론들이 다양하게 연구되고 있으며, IIC 이후의 연구들은 대부분 모델 학습의 objective로 mutual information maximization을 사용하고 있다. mutual information은 두 변수 사이의 관계를 나타내는 척도로, 두 변수의 상호의존성 혹은 한 변수를 통해 다른 한 변수의 불확실성이 감소되는 정보량으로 해석된다. mutual information 최대화를 통해 두 이미지 사이의 공통된 특징이 잘 추출되는 방향으로 모델을 학습시킬 수 있다.
본 세미나에서는 mutual information을 활용한 4개의 방법론을 소개해주셨다. 먼저 앞서 언급한 IIC(invariant information clustering)는 입력 이미지에 data augmentation을 적용해 positive pair를 생성하고 동일한 모델에 통과시켜 예측 결과를 얻은 다음 두 예측결과 사이의 mutual information이 최대화되도록 모델을 학습시킨다. 이를 통해 두 이미지 간의 공통 특징을 최대한 추출하도록 학습하고 이 정보를 기반으로 클러스터링을 진행한다. 그리고 그 이후의 AC(Autoregressive Clustering)는 masked convolution을 통해 얻은 두 개의 view로 예측한 결과 간의, InfoSeq는 local feature와 global feature 간의 mutal information을 최대화한다. 마지막으로 PiCIE는 입력 이미지에 대한 augmentation을 통해 두 개의 view를 생성하고 각 view에서 얻은 pixel-level feature의 클러스터링 결과가 같아지도록 모델을 학습한다.
본 세미나를 통해 생소했던 unsupervised semantic segmentation 분야에 대해 공부할 수 있어서 좋았고, positive pair와 mutual information을 활용한 최근의 연구들을 흐름에 따라 살펴볼 수 있어 매우 유익했다.

Segmentation Annotation 이 필요 없는 Unsupervised Semantic Segmentation 에 대해 알아보았다. 세미나를 통해 알아본 Unsupervised Semantic Segmentation 알고리즘 4개 중 3개는 Mutual Information Maximization 을 기반으로 학습이 진행되기 때문에, 정보이론에서 사용되는 Mutual Information 에 대한 정의와 예시를 통해 설명한 것이 굉장히 직관적이었다.

Annotation 없이 서로 다른 View/Augmentation 에서 추출한 정보의 상호의존성을 높이는 방향으로 학습을 진행하여 Segmentation 을 진행할 수 있다는 것이 놀라웠다. 특히 IIC 는 특정 픽셀 주변의 픽셀의 Local Spatial Invariance 를 가정하였기 때문에 상당히 논리적이고 이해하기 쉬웠다. 하지만 IIC 는 객체의 테두리(주변 픽셀간의 rgb 값이 급격히 바뀌는 구간)에 대해서는 예측을 잘 수행할 수 없을 것 같다고 예상했는데, 해당 부분에 대한 언급이 없어 논문을 보고 궁금증을 풀고 싶다는 생각이 들었다. 훌륭한 세미나를 준비해주신 인범이형께 감사의 말씀을 드린다.