이번 세미나에서는 Image Super-Resolution 문제에 적용하는 기본적인 기법들을 소개하고 Image Super-Resolution 문제에 적용한 딥러닝 모델 중 SRCNN, SAN 모델에 대한 설명을 진행했다. 본 세미나에서는 Image Super-Resolution의 특징으로 크게 3가지 질문을 던지고 질문에 대한 내용을 정리하는 방향으로 설명이 진행되었다. 첫번째 질문은 ‘모델 학습을 진행할 때, Input 이미지 크기와 Output 이미지 크기가 다른 것을 어떻게 다룰 것인가?’였다. 이 질문에 대해서는 픽셀값을 기반으로 하는 Interpolation 방식과 학습을 통해 parameter를 학습하면서 크기를 맞추는 Transpose convolution, Sub-pixel convolution 방법에 대해 소개하였다. 두번째 질문은 ‘Image Super-Resolution 문제에는 딥러닝 모델을 어떻게 적용할 것인가?’였다. 이 질문에 대한 답은 일반적인 딥러닝 모델에서 사용하는 방법들을 모두 사용할 수 있다는 것이었다. 마지막 질문은 ‘고화질로 이미지 복원이 잘되었다는 것을 어떻게 판단할 것인가?’였다. 이 질문에 대해서는 Image Super-Resolution에서 사용하는 대표적인 평가 방법 중 PSNR, SSIM을 설명하였다. 이후, Image Super-Resolution에서 딥러닝 모델을 처음으로 적용한 SRCNN 모델과 비교적 최근에 발표되어 최신 기법들을 다양하게 적용한 SAN 모델의 컨셉을 설명하는 것으로 세미나를 마쳤다. 이번 세미나를 준비하면서 ‘특정 새로운 분야를 공부할 때 기본기는 어디까지일까?’를 많이 생각했다. 나름대로 기준을 두어 Image Super-Resolution의 기본기라 생각하는 내용을 정리했지만 누군가에게는 도움이 되었을 수도 있고 또다른 누군가에게는 너무 쉽거나 어려워서 도움이 되지 않았을 수도 있을 것 같다. 차후에는 더 많은 이들에게 도움을 줄 수 있도록 내 스스로가 더 공부하고 처음 보는 사람이 들었을 때도 더 잘 이해되는 자료를 준비해보고자 한다. 개인적으로 처음 진행한 온라인 세미나를 경청해준 모든 이들에게 감사함을 표한다.

​

금일 세미나 주제는 Image Super Resolution으로 저해상도의 이미지를 고해상도의 이미지로 변환시켜주는 분야를 인성이 형이 다루어주셨다.

저화질의 이미지를 고해상도 이미지로 변환하기 위해서는 먼저 저화질의 이미지 크기를 고화질 이미지 크기에 맞게 변환시켜주는(up-sampling) 작업을 필요로 한다. 이 방법에는 Interpolation-based up-sampling과 Learning-based up-sampling이 존재하며, 각 방법별 세부 디테일에 대해 이해할 수 있었다. Transpose Convolution을 이용한 Decoder 방식, 즉 Learning-based 방식에만 익숙해있었는데 그 외의 영역들을 함께 알아볼 수 있어서 감사했다!

크기를 맞췄다면 어떤 딥러닝 프레임 워크로 고품질 이미지를 복원할 수 있는지 소개해주셨다. 고화질의 이미지를 target으로 선정하여 Supervised learning 방식의 모든 방법론들을 사용할 수 있다는 것을 알게 되었다. 세미나 초반에 target을 선정하는데 있어서 ill-posed problem이 발생한다고 말씀해주셨는데, 이 문제는 어떻게 해결되었을지 궁금하였다! 고품질 이미지가 생성되었다면 어떤 방식으로 평가할 수 있는지, 즉 평가 지표를 알아보는 시간도 가졌다.

Image Super Resolution 연구 분야를 이해하기 위해 필수적으로 알아야 할 항목들을 소개한 뒤, 두 가지 핵심 모델을 소개해주었다. 첫번째 모델은 Image super-resolution에 딥러니을 최초로 적용한 SRCNN으로 간단한 Convolution 연산만을 통해 작동된다는 특징을 갖고 있다. 간단한 구조임에 불구하고 평가 지표 상에서 좋은 성능을 보여주었고, 정성적으로도 저화질이 고화질로 잘 변환되었음을 확인할 수 있었다. 두번째 논문은 최신 모델로 기존모델보다 더 고도화된 Convoltuion 연산들(Residual block, Channel attention, Non-local block)이 활용되어 성능을 고도화시켰다는 특징을 갖고 있다.

금일 세미나를 통해 Image Super Resolution이 어떤 방식으로 구현되는지를 파악해갈 수 있었다. 좋은 세미나 자료를 만들어주신 인성이 형에게 감사를 표하며 세미나 후기를 마치도록 한다.

이번 세미나는 Super-Resolution을 주제로 진행되었다. super-resolution은 저해상도의 이미지를 고해상도로 바꾸는 image 문제로, TV에도 자주 등장하는 흥미로운 주제다.
저해상도 image라는 것은 pixel 수가 적다는 것이므로, 결국 super resolution에서 중요하게 다뤄야 할 문제는 작은 input size를 어떻게 큰 output으로 변환할 것인가였는데, 세미나에서는 이에대한 방법론으로 크게 2가지 카테고리로 나누어 알기 쉽게 설명해 주셨다.
주변의 pixel을 가지고 커진size의 빈공간을 채우는 interpolation은 단순 neighborhood copy 방식에서 거리에 따라 가중치를 주며 개선점을 찾아나가는 방식(bicubic)을 사용했을 때 점점 성능이 좋아졌지만, upsampling 방식인 Transpose Convolution 방식이 filter를 학습해나갈 수 있단 점에서 더 효과적인 방식으로 느껴졌다.
output size를 잘 맞춰주게 된다면, 추출된 feature를 비교할 수 있기 때문에 딥러닝 모델은 자유롭게 사용가능했다. 이에 대한 평가지표로는 PSNR과 SSIM이 있었는데, PSNR은 비교지표기 때문에 절대적인 수치로 받아들이기 보다는 정성적으로도 고려하여 평가하는게 좋다는 특징이 있었다. ill-posed problem으로 모든 이미지에 대한 상황이라면 판단에 어려움이 있을 수 있지만, 번호판 인식이라던가 일정한 input과 output으로 data를 쌓을 수 있는 특정 task로 국한시킨다면 , 평가지표로 사용하기에는 큰 문제가 없다는 생각이 들었다.
super-resolution의 초기 모델인 SRCNN과 최근 모델인 SAN을 간략하게 소개해주셨는데, 과거 SRCNN으로도 눈으로 보기엔 충분히 효과적인 것이 인상깊었다.
반도체 불량 검사 영역에서, CHIP의 영역별로 검사 설비의 resolution이 다른 문제가 있다. 이러한 super resolution을 사용한다면 불량이 잘 잡히는 영역의 정보를 참고하여 잘 잡히지 않는 영역에 불량이 존재하는지에 대해 예측하도록 설계한다면 흥미로운 주제로 사용될 수 있지 않을까 싶다. 이해하기 쉽게 편안하게 설명해주신 백인성 연구원님께 감사함을 전한다.

이번 세미나는 'Introduction to Image Super-Resolution'이라는 주제로 진행되었다. Image Super-Resolution 문제를 해결하는 방법으로는 저해상도 이미지로 고해상도 이미지를 예측하는 Supervised Learning 방식과 GAN을 활용해 고해상도 이미지를 생성하는 방식이 존재한다. 이번 세미나는 전자에 중점을 두어 진행되었다. 일반적인 이미지 분류 문제에서는 Convolutional layer와 Fully connected layer를 사용해 딥러닝 모델을 구축하지만, Image Super-Resolution 문제에서는 저해상도 이미지와 고해상도 이미지 크기가 다르기에 이를 동일하게 적용할 수 없다. 따라서 인접 픽셀 값을 활용해서 빈 영역을 채우는 Interpolation, 저해상도 이미지를 확장해 연산을 진행하는 Transpose convolution, convolution 연산으로 여러 개의 feature map을 추출하여 같은 픽셀 위치에 있는 값을 모으는 Sub-pixel convolution 등의 방식을 활용하여 Upsampling을 진행한다. 이를 통해 자유롭게 딥러닝 모델 적용이 가능해졌으며, 이에 따른 다양한 프레임워크를 소개해주었다. 또한 이와 함께 고해상도 이미지 변환이 잘되었음을 평가하는 지표로 PSNR과 SSIM을 소개해주었다. 먼저 PSNR은 압축된 영상의 화질에 대한 손실정보를 평가한다. 그러나 이는 PSNR 값이 유사하더라도 화질의 차이가 있을 수 있다는 한계점을 지닌다. 이를 보완하기 위해 등장한 SSIM은 인간이 이미지를 어떻게 보는지에 착안하여 만들어진 지표로, 이미지의 구조정보가 얼마나 유사한가를 평가하는 지표이다. 끝으로는 Image Super-Resolution 문제를 해결하는 두 가지 대표적 딥러닝 모델을 간단히 소개해주었다. SRCNN 모델은 Image Super-Resolution 문제에 최초로 딥러닝을 적용한 것인 반면, SAN은 단순 convolution 연산만을 활용하는 것 뿐만 아니라 더 나아가 여러가지 모듈을 결합해 적용한 모델로 좋은 성능을 보여준다.
Image Super-Resolution의 경우 어떠한 방식으로 문제를 해결해나가야 할지 전반적인 흐름을 파악할 수 있었고, 또 적용되는 모델까지 알아볼 수 있어 유익한 세미나였다. 다양한 시각자료로 이해하기 쉽게 세미나를 준비해주신 인성오빠께 감사의 말씀을 전하고 싶다.

이번 세미나는 'Introduction to Image Super-Resolution'을 주제로 진행되었다. 얼마 전 인성 오빠의 연구 미팅을 보고 흥미롭다고 생각했던 분야인데 이번 세미나를 통해 해당 분야에 대한 구체적인 내용을 이해할 수 있었다. Image Super-Resolution은 저해상도 이미지를 고해상도 이미지로 변환시키는 문제를 의미하며 차량 번호판 복원 등 실생활에서 유용하게 적용되는 분야이다. 해당 분야는 Supervised Learning과 Generative Adversarial Network로 분류될 수 있고, 이번 세미나에서는 Supervised Learning 방식을 중심으로 설명이 진행되었다. Image Super-Resolution에는 다양한 구조의 딥러닝 모델을 적용할 수 있지만 일반적인 이미지 분류 문제와는 다르게 input(저해상도 이미지) size와 output(고해상도 이미지) size가 다르기 때문에 resizing 과정이 필요하다. 이때 사용할 수 있는 방법으로 Interpolation, Transpose Convolution 등을 통한 Upsampling이 있다. 저해상도 이미지가 고해상도 이미지로 얼마나 잘 복원이 되었는지에 대한 평가 지표로 PSNR, SSIM이 있긴 하지만 이러한 지표를 통한 정량적인 수치보다는 실제 이미지를 확인했을 때 정말 선명하게 복원이 되었는지에 대한 정성적인 평가가 더 중요하게 느껴졌다. 두 가지 논문 SRCNN, SAN에 대해서도 소개해 주셔서 해당 분야에서 좋은 성능을 보이는 모델들에 대해서도 알 수 있었다. 최근에 이미지 분류 문제를 위한 CNN에 대해 공부하였는데 기본적인 CNN 구조에서 더 확장된 내용을 접해서 좋았던 것 같다. 이번 세미나를 통해 Supervised Learning 방식의 Image Super-Resolution에 대해 이해할 수 있었고, 고해상도 데이터를 저해상도 이미지로 변환하여 데이터셋을 구축하는 것이 아닌 고해상도 이미지를 생성해서 데이터셋을 구축하는 GAN 방식에 대해서도 더 알아보면 좋을 것 같다.

이번 세미나는 Introduction to Image Super-Resolution을 주제로 진행되었다. Image Super-Resolution은 저해상도의 이미지를 고해상도로 변환시키는 문제를 의미한다. 예시로 들어준 CCTV 차량 번호 인식이나 고미술품 디지털 복원 외에도 고해상도 이미지가 필요한 분야가 많을 것으로 생각된다. 세미나 진행은 크게 세 가지 질문에 답을 찾아가는 과정으로 구성되었다. 첫번째 질문은 저해상도 이미지와 고해상도 이미지의 크기가 서로 다른 문제를 어떻게 다룰 것인지에 대한 내용이다. 이 부분은 저해상도 이미지로부터 Upsampling을 하여 크기를 맞추게 되는데 Upsampling에도 Interpolation 방식과 Learning-based 방식이 있다. Interpolation 방식은 다시 세 가지로 나누어 볼 수 있는데, 가장 가까운 픽셀 값으로 채우는 간단한 방법인 Nearest-neighbor 방법, 인접한 4개 픽셀에 대해 거리 가중치를 주어 계산하는 Bilinear 방법, 인접한 16개 픽셀의 거리 가중치를 곱해서 계산하는 Bicubic 방법이 있다. Learning 방식으로는 Output 크기만큼 padding을 한 후 Filter와 함께 학습하는 Transpose convolution 방법과 여러 개의 Convolution 연산으로 Feature map을 추출하여 조합하는 방식의 Sub-pixel convolution 방법이 있다. 두번째 질문은 어떻게 딥러닝 모델을 적용할 것인가인데, Input인 저해상도의 이미지와 Output인 고해상도의 이미지 크기를 맞추었으니 어떤 딥러닝 모델이든 적용할 수 있으며, 이미지 분류에서 사용하는 딥러닝 모델 구조를 다양하게 적용하는 방향으로 연구가 진행되고 있다. 세번째 질문은 고해상도 이미지 변환 결과를 어떻게 평가할 것인가이다. Image Super-Resolution 분야에서 쓰이는 정량 지표로 PSNR과 SSIM이 소개되었는데, 정량 지표로 모델의 성능 확인을 해야겠지만 이 분야에서만큼은 직접 이미지를 확인하는 정성적인 평가도 함께 되어야 한다는 것을 알게 되었다. 세 개의 질문과 답에 이어 두 편의 논문이 소개되었다. 하나는 Image Super-Resolution 분야에 딥러닝을 적용한 SRCNN이고, 하나는 최근 연구 중 하나인 SAN(Second-order Attention Network)이다. 확실히 초기 모델에 비해 복잡도가 많이 늘어난 것을 확인할 수 있었고 그만큼 더 좋은 성능을 보이고 있음을 확인하였다. 마지막 결론에서 언급해준 것처럼, Augmentation이나 Self-supervised learning 등 다양한 방법론을 이 분야에 맞게 적용하면 더 좋은 성과가 있지 않을까 싶다. 새로운 분야에 대해 기초부터 잘 설명해준 백인성 연구원에게 감사의 말을 전한다.

이번 세미나는 "Introduction to Image Super-Resolution"이라는 주제로 진행되었다. Image Super-Resolution은 저해상도의 이미지를 고해상도의 이미지로 변환시키는 문제를 의미하는데, 이를 위한 방법으로 Supervised Learning과 Generative Adversarial Network를 활용하는 방식으로 나뉘게 된다. 최근 Computer vision 문제를 해결하기 위해서 다양한 딥러닝 모델들이 연구되고 있지만, Image Super-Resolution에서는 저해상도의 이미지인 input 과 고해상도의 이미지인 output의 size 차이로 인한 문제가 발생하게 되기에 이를 맞춰주는방법들이 필요로한다. 이를 위한 방법으로는 인접한 fixel의 값을 활용하여서 다른 영역의 값으로 활용하는 interpolation, 저해상도의 이미지를 확장 후 Convolution연산을진행하는 Transpose Convolution Layer등의 방법들이 소개되었다. 저해상도 이미지로부터 생성된 고해상도의 이미지가 잘 복원되었는지를 평가하기 위한 지표로는 PSNR과 SSIM을 중심으로 평가가 진행된다. 이러한 정량적인 지표를 통해서 이미지가 잘 복원되었는지를 판단할 수 있지만, 실제로는 정성적인 평가도 함께 진행된다면 보다 좋은 비교가 가능하다고 생각되었다. 마지막으로는 Super-Resolution과 관련된 SRCNN과 SAN에 대해서 소개되었는데, 이를 통해서 관련 분야에서 진행되고 있는 연구의 방향성에 대해서 알아볼 수 있었다. 해당 세미나를 통해서 Image Super-Resolution에 대한 흐름에 대하여 파악할 수 있었다. 유익한 세미나를 준비해주신 인성이형에게 감사의 말씀을 전한다.

이번 세미나는 "Introduction to Image Super-Resolution"이라는 주제로 진행됐다. Image Super-Resolution은 저해상도 이미지를 고해상도 이미지로 만들어주는 task를 의미한다. 세미나에서는 저해상도 이미지와 고해상도 이미지의 크기를 맞추는 방법, Image Spuer-Resolution에 딥러닝 모델을 적용하는 방법, 마지막으로 평가지표에 관해서 소개되었다. 이미지 크기를 키우는 방법으로는 interpolation 기반 방법론과 학습을 통해 이미지를 키우는 방법론이 소개되었다. Interpolation 기반 방법론은 단순히 가장 가까운 픽셀값을 활용하는 nearest neighborhood, 선형으로 interpolation을 진행하는 biliner interpolation, 3차 함수를 활용하는 bicubic interpolation이 소개되었다. 학습 기반 방법론으로는 convolution 연산을 transpose 시켜 입력 이미지의 크기를 키우는 transpose convolution, 여러 개의 convolution을 적용 후 각 pixel 별로 모아주는 sub-pixel convolution layer가 소개되었다. 다음으로 소개된 딥러닝 적용 방법은 residual learning, attention 등 일반적으로 딥러닝 모델에서 활용할 수 있는 방법론을 super resolution에서도 모두 활용할 수 있음을 알 수 있었다. Super resolution의 평가지표는 PSNR과 SSIM이 소개되었다. PSNR은 픽셀별로 원본 이미지와의 차이를 통해 복원된 이미지를 평가하는 방법론이며 SSIM은 이미지의 구조 정보를 활용해 기존 이미지와의 유사성을 평가하는 평가지표이다. 세미나의 마지막 부분에서는 super resolution 분야에서 딥러닝을 처음 적용한 SRCNN과 attention을 활용한 SAN 모델이 소개되었다. 이번 세미나를 통해 image super resolution에 대한 전반적인 기본 지식을 다질 수 있어서 의미 있는 세미나였다. 세미나를 위해 고생해준 인성이 형에게 감사의 뜻을 전하며 세미나 후기 마무리한다.

이번 세미나는 인성이가 CCTV 인식 혹은 고미술품 복원 등 에 활용되는 저해상도 이미지를 고해상도로 변환 방법 Image Super Resolution에 대해 세미나를 해 주었다.
저해상도 이미지로 고해상도 이미지를 예측하는 방법은 Supervised Learning과 GAN이 있고, 그 중 Supervised Learning에 대해 상세하게 설명해 주었다.
Image Super Resolution 에서는 일반적인 분류 문제와 다르게 이미지의 크기를 맞추는 과정이 필요한데 저해상도 이미지를 고해상도 크기에 맞춘 뒤 빈 영역을 Interpolation 해서 채우거나 Upsampling이 가능한 Layer를 활용해서 Upsampling 하는 방법에 대해 설명해 주었다.
이미지의 크기를 맞춘 이후에는 여러 가지 딥러닝 모델을 적용할 수 있음을 알게 되었다.
또 이미지 변환에 대한 평가 방법인 PSNR, SSIM을 소개해 주었고 실제 이미지를 보고 평가하는 정성적인 부분도 중요함을 알 수 있었다.
개인적으로는 과거 낮은 해상도의 휴대폰 사진을 고해상도로 변환해 보고는 것도 좋을 것 같다는 생각이 든다.
Image Super Resolution 의 개념 부터 발전 방향까지 상세하게 설명해준 인성이에게 감사의 말을 전한다.

이번 세미나는 'Image Super-Resolution'이라는 주제로 인성이 형이 발표를 해주었다. 이미지의 고해상도 복원은 CCTV 화질 개선, MRI나 CT 이미지 개선 등 실생활에서 필요로 하는 기술이며 2014년 'Image Super-Resolution using Deep Convolutional Networks' 논문에서 처음으로 딥러닝을 활용하여 Image Resolution을 시도했다.

Image Super Resolution에서 가장 먼저 고민해야 할 문제는 어떻게 저해상도 이미지와 고해상도 이미지의 size를 맞춰 줄 것이냐 즉 어떻게 up-sampling할 것이냐 이다. 여기에는 크게 두 가지 방법이 있는데 Interpolation-based up-sampling과 learning-based up-sampling이다. 이름에서도 알 수 있듯이 전자는 인접 픽셀 값을 활용하여 up-sampling을 진행하고 후자는 convolution 이나 transpose convolution을 이용하여 up-sampling을 진행한다.

저해상도와 고해상도 이미지의 크기를 맞추었다면 일반적으로 이미지 분류 문제에 사용하는 모델들을 적용할 수가 있고 Resolution의 성능을 높이기 위해 기존의 모델들을 고도화 시키는 쪽으로 많은 연구들이 진행되고 있다.

이제 모델까지 잘 만들었다면 복원한 고해상도 이미지를 평가하는 방법이다. 정량적 지표로써 연구에서 많이 쓰이는 지표는 PSNR과 SSIM가 있다. 하지만 지표의 값이 비슷하더라도 실제로 화질에는 차이가 있을 수도 있다는 것도 알 수 있었다.

세미나를 통해서 Image Super-Resolution의 주요 이슈와 개념, 전반적인 process를 알 수 있었다. 좋은 세미나를 준비해주신 인성이형에게 감사드리며 세미나 후기를 마친다.

이번 세미나는 "Image Super Resolution"을 주제로 진행되었다.
Image Super-Resolution은 이미지의 해상도를 더 좋게 만드는 문제를 의미하는데, 의료와 미디어, 보안 등 다양한 분야에서 중요한 문제로 사용되고 있다. 하지만 정답이 정해져 있지 않다는 ill-posed problem이 존재하는데 이러한 문제를 해결하는 것이 최근 연구로 진행되고 있다. 이를 해결하는 방안으로 지도학습과 GAN(Generative Adversarial Network)을 활용하여 연구가 진행되고 있다.
본 세미나에서는 세 가지를 기준으로 Image Super-Resolution의 특징을 설명하였다. 첫째, 저해상도 이미지와 고해상도 이미지 크기가 다른 문제를 어떻게 다룰 것인가? 둘째, Image Super-Resolution 문제에 어떻게 딥러닝 모델을 적용할 것인가? 셋째, 고해상도 이미지 변환이 잘 되었다는 것을 어떻게 평가할 것인가?에 대한 답을 찾으며 진행되었다.
기존 이미지 처리 분야에서는 이미지를 축소해가며 문제를 해결하였는데, 오히려 이미지의 크기를 늘려야 한다는 점이 특이한 점이다. 이를 Upsampling를 통해 해결하게 된다. Upsampling은 평균으로 채우거나 0으로 처리하는 등 기존 missing value를 채우는 것과 유사하게 진행되게 된다. 이를 활용하여 대부분의 모델에 적용이 가능하고 두 개 이상의 구조를 활용하면 더욱 효율적인 결과를 도출할 수 있었다. 이후 평가로는 PSNR(Peak signal to noise ratio), SSIM(Structural similarity index) 등의 기존 평가지표에서 약간 변형을 시킨 식을 활용하여 평가하게 된다. 이러한 절차를 통해
SRCNN(Image Super-Resolution Using Deep Convolutional Networks) 논문을 들어 이해하는데 많은 도움이 되었다.
이번 세미나를 통해 처음 접하는 Image Super Resolution 분야에 대해 알 수 있어서 좋은 시간이 되었고, 다른 분야에서도 데이터의 품질을 높일 때 활용하면 좋을 것이라는 생각을 하게 되었다.
좋은 세미나를 진행해주신 인성이형께 감사의 말씀을 전합니다.

이번 세미나는 "Introduction to Image Super-Resolution"의 주제로 진행되었다. Image Super-Resolution은 저해상도 이미지를 고해상도로 변환시키는 문제를 의미하며, 이는 하나의 정답이 존재하지 않는다는 문제(ill-posed problem)를 갖고 있다. Image Super-Resolution의 특징으로 크게 세 가지 질문을 위주로 살펴보았다. 우선, 저해상도 이미지와 고해상도 이미지의 크기가 서로 다른 경우에 대해서는 interpolation 방법과 upsampling layer의 파라미터를 학습시키는 방법등을 활용하여 이미지 크기를 원하는 형태로 맞추어주는 작업을 진행한다. 이와 같이 이미지 크기를 맞추어주었기 때문에 일반적으로 사용하는 모든 딥러닝 방법론은 다 적용시킬 수 있다. 마지막으로, 이미지 변환 후의 평가는 PSNR(Peak signal to noise ratio), SSIM(Structural similarity index) 등의 평가 지표를 활용하여 진행한다. 이 외에도 최초로 해당 분야에 딥러닝을 적용한 연구인 SRCNN, feature간의 관계 정보를 함게 활용할 수 있는 모듈을 활용하는 SAN 등의 모델들에 대해서도 살펴보았다.
Image Super-Resolution이라는 새로운 분야에 대해서 전반적인 내용과 구체적인 모델들까지 모두 파악할 수 있어 유익하였고, 고해상도 이미지로의 복원이 필요한 다양한 분야에서 주요하게 활용될 연구라는 생각이 들었다. 이번 세미나에서는 저해상도 이미지로 고해상도 이미지를 예측하는 Supervised learning 방법들 위주로 살펴보았는데, 추후에 GAN 방법론을 활용하여 고해상도 이미지를 생성하는 방식에 대해서도 알아보고 싶다.

이번주 세미나는 인성이형이 ‘Introduction to Image Super-Resolution’이라는 주제를 가지고 진행하였다. Image Super-Resolution문제는 저해상도 이미지를 고해상도 이미지로 변환시키는 문제이다. Image Super-Resolution에는 ill-posed problem이 존재한다. Ill-posed problem란 저해상도 이미지를 고해상도로 복원할 경우 정답이 1개가 아니라 여러 개가 존재한다는 점이다. 보통 이런 문제점을 해결하기위해 고해상도 이미지를 저해상도 이미지로 변형하여 데이터셋을 구성한다. Image Super-Resolution는 현재 많은 딥러닝 모델을 사용하여 해결되고 있다. 하지만 딥러닝을 사용했을 경우 저해상도 이미지 크기와 고해상도 이미지 크기를 맞추기 위한 방법이 필요하다. 저해상도 이미지를 고해상도 이미지에 맞추고 빈칸을 채워야 한다. 이때 Interpolation-based upsampling 방법론과 Learning-based upsampling 방법론을 사용하여 해결한다. Interpolation-based upsampling 방법론에서 가장 간단한 방법은 nearest-neighbor interpolation이다. 말 그대로 가장 가까운 픽셀 값으로 채운다. 다음으로는 bilinear interpolation방법론으로 인접한 4개 픽셀에 대한 거리를 가중치로 두어 빈 영역을 채운다. Learning-based upsampling 방법론으로는 transpose convolution이 있다. 먼저 저해상도 이미지를 고해상도 이미지 크기에 맞춰 확장하고 확장한 영역은 모두 0으로 채운다. 이후 transpose convolution 연산 이후 원하는 output data 크기로 만들기 위해 zero padding을 진행한다. 해당 세미나를 듣고 Image Super-Resolution분야에도 활발한 연구가 진행되고 있다는 것을 느꼈고 지난 세미나에서 Image Super-Resolution에 대해 간략한 설명만 하고 넘어갔었는데 인성이형이 자세히 설명해 주어서 쉽게 이해할 수 있었다. Image Super-Resolution에 대해 자세히 설명해준 인성이형에게 감사하다는 말을 전하고 싶다.

금일 세미나는 인성형이 Super-resolution 관련 연구 분야를 소개해주었다. Super-resolution은 2019 ICCV에서 처음 알게 된 연구 분야였다. 해당 학회 Best paper인 SinGAN의 설명 자료의 GIF를 보고 관심을 가질 수 있었다. 나의 개인 연구에서 이미지 복원을 기반으로 하는 이상 탐지를 진행하고 있기에 계속 살펴보던 분야이다. 상대적으로 크기가 작은 이미지를 더 큰 이미지로 복원하며 Interpolation을 딥러닝 모형으로 진행하고자 하는 분야라 할 수 있다. 즉, Decoder를 어떤 구조로 설계해 정확히 복원할 것인지에 대한 연구라 할 수 있다. 점차 복원하는 것만 생각하고 있던 나에게 많은 의미를 주었다. 단순하게 떠오른 생각은 서로 다른 구조를 가진 Decoder에서 복원된 이미지끼리 유사해지도록 한다면 정확하게 정상 데이터만 복원할 수 있지 않겠냐는 생각이 들었다. 연구실에서 최초로 해당 분야에 도전하고 있는 인성형이 멋지다고 생각했다. 그리고 설명하기 어려워서 고민인 Transposed convolution에 대해서도 알기 쉽게 설명해주어 추후 참고할 예정이다. 영화 같은 PPT를 만드는 인성형을 보고 항상 많이 배우고 있다. 개인 연구에서도 많은 성과가 있길 바라본다.

금일 세미나는 Introduction to image super-resolution을 주제로 진행되었다. Image super-resolution은 저해상도의 이미지를 고해상도로 변환시키는 문제이다. 명화를 복원하거나 흐릿한 CCTV 화면에 나타난 자동차 번호판을 복원하는 등 여러 분야의 산업 전반에서 활용할 수 있다. 본 세미나는 supervised learning 방식의 Image super-resolution을 중점적으로 소개한다. supervised learning 방식의 Image super-resolution은 저해상도 이미지와 고해상도 이미지가 쌍으로 존재하는 데이터를 활용한다. 이 때, 저해상도와 고해상도 이미지 크기의 차이가 발생한다. 이를 해결하기 위해 인접 픽셀 값을 활용하여 빈 영역을 채우는 interpolation 방법인 Upsampling이 있다. Upsampling은 interpolation-based upsampling, learning-based upsampling이 있고, 모델 내에서 upsampling을 진행하는 위치에 따라 다양한 framework가 존재한다. Image super-resolution을 진행한 후에는 RSNR, SSIM 등을 통해 성능을 평가한다.
추가적으로 SRCNN, SAN 논문에 대해서도 소개해주셔서 super-resolution 분야에 딥러닝을 적용한 연구들을 알 수 있었다. 이번 세미나를 통해 super-resolution에 대한 이해를 높일 수 있었다. 유익한 세미나를 해주신 인성 오빠에게 감사에 말을 전한다.