이번 세미나에서는 attention, 그리고 self-attention에 대한 전반적인 내용과 함께 'Visual Attention'이라는 주제로 computer vision 분야에서 어텐션의 활용에 대하여 발표하였다. 어텐션 기초부터 computer vision 최신 사례까지 설명하다보니 다루는 논문 내용이 7~8개정도 되어서 각 방법론에 대해서 자세하게 설명 못하는 것이 아쉬웠다. 이번 세미나가 어텐션 공부를 시작하는 연구원들에게는 좋은 공부 자료가, 이미 잘 알고 있는 연구원들에게는 CV 분야에서 연구 아이디어를 얻는데 도움이 되었으면 하는 바람이다.

​

금일 세미나 주제는 'Visual Attention' 이었고, 현규가 진행하였다. Attention은 텍스트 데이터에 대한 문제 상황을 해결하고, 문제 상황의 이유를 나타낼 때 사용한다. 문제 상황의 이유를 설명하기 위한 부분을 기존 심층신경망에 추가하여 성능 향상까지 도모하고자 한다. 피상적으로 알고 있었던 Attention에 대해 수식적으로 설명해주고 이를 그림으로도 설명해주었다. 인상적이었던 내용은 Computer Vision의 여러 분야에 대해 채널별 Attention, 합성곱 신경망을 Attention으로 대체하고자 하는 연구들을 소개한 부분이었다. 채널별 Attention 설명은 SENet으로 설명해주었는데, 기존에 들어만 보았던 알고리즘을 설명해주어 추후 연구에 이용할 수 있을것으로 기대하였다.

또한 합성곱 연산을 사용하면 Window 별 연산이 마무리되어야 Attention 연산을 수행할 수 있다는 점을 합성곱 연산 기반 Attention의 문제점으로 지적하였는데, Atrous 합성곱 연산과 Spatial Pyramid Pooling을 이용한다면 이를 개선할 수 있지않을까라는 생각을 하였다. 여러 논문의 핵심을 추려 설명해주기 위해 노력한 현규에게 감사를 표한다.

금일 세미나 주제는 핫한 "Attention"이 "Visual" 영역까지 침범을 했다는 소식을 전해들은 감개 무량한 날이었습니다. 사실 메인 연구분야가 강화학습이었지만 Attention을 이용한 강화학습을 다루다면서 관련 논문을 읽으면서 좀 더 완벽한 이해가 필요한 시점이었는데 유익한 시간이었던 것 같습니다. Attention에서 가장 아리쏭한 Query, Key, Value 에 대한 이해를 잘하게 해줬고 "Adaptive"라는 말을 녹여서 시간에 따른 어떤 context에서 얼만큼 Query에 대해 어떤 부분이 얼마만큼 중요한지를 결정지을 수 있는 Context Vector를 Attention Score로 만들수 있는 부분이 핵심이라고 생각합니다. 그 부분에서도 잘 다뤄준것 같고 멘토 지정하는 예제는 나중에 저도 한번 써먹어야겠습니다. 손흥민선수의 예제로 Visual Attention의 도입부 또한 자연스럽게 이어져서 Show Attend and Tell 2015년 논문을 시작으로 VIsual 쪽에 Atttenion이 시작와 끝을 8개의 가볍지 않는 논문을 수식과 알고리즘에 접근하여 대해서 각각의 특징을 잘 정리해주었다. Attention의 활용분야가 저자 또한 이렇게 Attention이 NLP외에서도 활용될지 꿈에도 몰랐을 정도로 무궁무진하다는 점에서 참 대단함을 다시 느꼈고 좋은 세미나를 해준 현규에게 감사합니다.

금일 세미나는 ' Visual Attention ' 을 주제로 현규형이 발표를 진행해주었다. 우선 Attention이라는 개념을 모르는 상태에서 세미나를 듣게 되어 걱정이 앞섰는데 주요 개념 설명 전에 Attention에 대해 설명을 들을 수 있어 개인적으로 후에 설명을 이해하는데 도움이 많이 되었다. Attention이 적용되는 분야인 Natural Language Processing, Multivariate Time Series, Computer Vision 중 Computer Vision 분야에 적용된 Attention 관련 알고리즘에 대해 설명을 들을 수 있었다. 가장 기본적인 알고리즘인 'Seq2seq'부터 시작해서 Attention 이 결합된 'Seq2seq with Attention'을 기본으로 하여 Image Captioning 문제에 적용되는 부분까지 순차적으로 알고리즘 설명이 있었다. 시간 관계상 디테일한 수식 유도 까지는 설명을 듣지 못했지만 전반적인 알고리즘의 흐름과 주요 아이디어에 관한 설명위주로도 해당 알고리즘의 원리는 이해할 수 있었다. 개인적으로는 Show, Attend and Tell 논문에서 특정 사진을 input 해서 이를 잘 설명할 수 있는 text를 출력하는 해결론을 제시한다고 했는데 한가지 궁금한 점이 있었다. 예시로 보여주었던 사진에서는 손흥민 선수가 수비수를 앞에두고 팅을 하는 장면이었다. 여기서는 손흥민이 주 초점이 되어 "Sonny is shooting in front of the defender" 라는 text를 출력하는 것이 가장 좋은 text라고 했지만, 누군가는 수비수에 초점을 두고 "수비수가 손흥민의 슈팅을 막으려고 한다." 라는 흐름의 글을 원할 때는 어떻게 모델을 구조해야 하는지, 필요한 훈련 데이터에 라벨을 바꿔줘야 되는지, 궁금하다는 생각이 들었고 이러한 부분을 설명해줄수 있는 논문을 찾아보고 싶다.

그리고 이 세미나의 주제 배경이 되었던 최근 발표된 Stand-Alone Self-Attention-2019 논문에서 이야기하는 것처럼 기존의 이미지를 처리하는 부분에서 Self-Attention이 Convolution 계산을 대체할 수 있다고 주장한 것이 되게 센세이셔널 하다고 생각된다.
전반적인 Attention의 배경, 알고리즘, 최근 연구 사례부터 차근차근 설명에 이러한 사실까지 알 수 있게 세미나를 준비해준 현규형에게 많은 것을 배우고 개인적으로 감사드린다.

이번주 세미나는 현규형이 “Visual Attention”이라는 주제를 가지고 진행하였다. Attention이라는 개념은 처음 기계번역을 위한 sequence –to-sequence 모델에서 처음 도입돼었다. Attention의 기본 아이디어는 디코더에서 출력 단어를 예측하는 각각의 시점마다 인코더에서의 전체 입력 문장을 다시 한번 확인 한다는 점이다. 여기서 전체 입력 문장을 같은 비율로 참고 하는 것이 아니라, 예측해야할 단어와 연관이 있는 부분을 좀 더 집중해서 보는 것이다. 이러한 개념을 text가 아닌 image분야에 적용한 메커니즘이 visual attention이다.
Attention메커니즘이 이미지 분양에서 CNN을 대체할 수 있다는 가능성을 보여줬다는 점에서 나에게 흥미로웠고 예전에 공부해서 가물가물했던 부분을 현규형이 수식으로 잘 설명해주어서 금방 예전에 공부했던 내용을 떠올릴 수 있었다. 또한 여러 개의 논문들의 핵심만 요약하여 설명해준 현규형에게 감사한 마음을 전하고 싶다.

이번주 세미나는 "visual attention"이란 주제로 진행되었다. Attention 이란 '모델이 더 나은 성능을 위해 집중적으로 학습해야 할 부분까지도 학습하도록 하자' 라는 관점에서 시작된 방법론이다. 이를 최초 어떻게 시작 했는지 부터 설명을 해주었다. 텍스트 데이터를 잘 해결하기 위해 RNN 을 이용한 방법을 사용하였는데 이 방법은 문장이 길어질수록 encoder 에서 context vector 를 넣고 decoder 할 때 여러문제(Long term dependency, Vanishing gradient, Fixed context vector등)가 생겼다. 이를 보안하기 위해 decoder가 특정 시점의 단어를 출력할 때 encoder의 정보 중 연관성이 있는 부분에 주목하여 adaptive context vector를 만들어 encoder가 모든 정보를 고정된 길이의 벡터로 encode 해주는 부담을 경감 시켜주는 것이다. Visual attention 의 경우 인풋이 텍스트 데이터가 아니라 이미지에서 아웃풋이 텍스트로 되는것인데 어떤 이미지의 부분이 아웃풋의 텍스트에 영향을 끼치는지 알수 있게 이미지의 해당 부분을 강조해 주는 것이다. 최초에 해당 연구에서는 RNN, CNN등을 이용하여attention 을 표현하였는데 이는 계산 복잡도도 높고 연산과정도 복잡해서 더 나은 feature계산 방법인 self-Attention이 제안되었다. 이는 Dot-Product Attention을 이용하여 더 빨라지고 효율적이다. Attention 의 전반적인 내용부터 self-attention 부분까지 잘 설명해 주어 도움이 많이 되었다.

ATP 프로그램을 진행하면서 정기적으로 방문하는 금주 화요일날 저의 멘토인 현규가 Visual Attention 세미나를 금요일에 진행한다는 이야기를 해서, 금요일은 정기 방문일이 아니라 ATP 인원들은 참석을 하기 위해서 내부에 협의를 해야 하나 고민이 되었는 데, 다행히 ATP 참여인원 모두가 세미나에 참석하자고 하고 회사에서도 별다른 이슈가 없어 참석하는 건 어렵지 않게 결정할 수 있었습니다.

이번 프로그램을 진행하면서 처음 맞이한 세미나여서 사전에 뭔가 준비를 해야 되는 건 아닌가? 세미나 내용은 이해할 수 있는 기본 지식이 있나? 여러가지 걱정이 있었지만 우선 처음이고 익숙해지면 금방 이해가 될거라는 멘토('현규')의 말에 힘을 얻어 가벼운 마음으로 참석을 했습니다.

세미나 주제는 ATP 과제 분야인 감성 분석 쪽과 연관이 있는 분야여서 관심을 가지고 들었는 데, 최근에 텍스트 관련 분야에서 가장 Hot 한 Attention을 가지고 이미지 분야에도 적용해보자는 내용이여서 앞으로 과제를 진행할 때 Attention을 활용해도 좋지 않을까라는 생각을 하게 되었습니다.

도입 부분에서 네이버 파파고를 예시로 들어 내용을 이해하는 데 많은 도움이 되었고, 최근에 Attention이 발전해 나가고 있는 현황을 년도별로 잘 정리해 주어서 기술의 발전 방향에 대해서도 이해하기가 쉬웠습니다.

10년 이상 학문과는 연을 끊고 지냈던 지라 아직은 수학적인 공식이나 기술을 이해하는 데 어려움이 많지만 강의 및 도서를 통한 지식 습득 및 멘토링을 통해 향후 세미나에서는 내용을 이해하고 질문도 할 수 있는 참석자가 되고자 노력하겠습니다.

내부 과제, 세미나 준비 등 많은 일들을 하면서도 늘 멘토링 시에 친절하고 자세히 설명해 주는 현규에게 다시 한 번 감사드립니다.
세미나 시작 전에 맛있는 햄버거 너무 잘 먹었습니다. m(_ _)m

자연어처리, 기계번역 쪽에서 LSTM 구조의 신경망을 쓰는 것은 알고 있었지만 transformer, BERT, attention mechanism 등의 상세한 개념과 이론들은 잘 몰랐습니다. 이번 세미나를 통해 자연어 처리 뿐만 아니라 컴퓨터 비전 쪽에서도 활용이 되고 있는 attention mechanism의 개요를 들을 수 있었습니다.

인터넷 번역기를 쓰다보면 원문 내용이 길수록 번역이 이상하게 되는 경우를 자주 경험했습니다. 기존의 기계번역은 장문의 sentence를 input으로 넣으면 vanishing problem이 발생하는데 attention mechanism은 이러한 문제를 해결했다는 점에서 흥미로웠습니다. 원리는 단순합니다. input으로 들어오는 모든 문장, 단어에 집중하지 말고, 핵심만 주의를 집중시키자였습니다. 수학적으로는 encoder 쪽 hidden state vector와 decoder 쪽 hidden state vector간의 유사도를 계산하여 attention weight를 만들고, 이 weight를 output에 반영하자는 것입니다. output 뿐만 아니라attention weight도 같이 학습하는 것입니다. key, query, value를 이용한 계산 수식이나 model architecture는 완벽하게 이해하지는 못하고 놓치기도 하였지만, 차분히 복기하며 유도하면 이해가 잘 될 것 같습니다.

자연어처리나 기계번역에만 집중하지 않고, vision 분야에서 CNN architecture를 적용한 SENet, Cbam 등의 최근 논문의 알고리즘들의 소개함으로써 최근 computer vision 분야의 트렌드를 파악할 수 있었습니다. 발표 준비하느라 고생하신 현규형께 감사의 말씀을 드립니다.

오늘 세미나는 “Visual Attention” 이라는 주제로 강현규 연구원님이 발표해주었다. 언어와 같이 시퀀스를 가진 Data를 처리하기 위한 방법으로 seq2seq 모델을 많이 사용한다. 하지만 RNN을 기반으로 한 seq2seq 모델은 하나의 고정된 크기의 벡터에 모든 정보를 압축하기 때문에 정보의 손실이 발생할 수 있고, RNN의 고질적 문제인 Vanishing Gradient 문제가 발생할 수 있다. 대표적인 예시가 기계 번역기에서 입력 문장이 길어지면 번역이 잘 되지 않는 문제이다. 이러한 문제를 해결하기 위해 고안된 기법이 Attention으로 개념과 구조에 대해서 정성껏 설명해준 세미나였다. 특히 오늘의 세미나는 Attention 기법을 Visual data에 접목하는 방법을 예시를 통해 잘 설명해주어 흥미로우면서도 이해가 쉽게 되었다. 세미나를 들으면 들을 수록 여러 분야의 기법을 접목하여 새로운 인공지능 영역을 만들어가는 것을 느낄 수 있었고, 앞으로 인공지능을 모르면 정말 도태될 수 있겠다는 생각이 드는 세미나였다. 하나라도 더 이해시키고 설명해 주고자 정성스런 세미나를 준비해 준 강현규 연구원님께 감사한 마음이 들었다.

오늘 세미나의 주제는 visual attention이었다. attention mechanism은 sequence to sequence에서 처음 고안되었으며 현재는 다양하게 사용되고 있다. attention은 여러 sequence의 input 중에서 집중할 부분을 학습할 수 있는 알고리즘이며 집중의 효과로 인코더와 디코더의 성능을 올릴 수 있다. 이러한 알고리즘을 CNN에도 사용하여 성능 및 해석이 가능한 모델을 구성하였다. 수식만 보면 조금 헷갈릴 수도 있었는데 같은 역할을 하는 노테이션을 색깔별로 구분하여 설명해 주었다. 최종적으로 설명해준 논문은 vision task에서 attention으로 cnn을 대체하거나 혼합하여 쓸 경우 기존의 cnn모델보다 좋은 성능이 나온다는 것을 보여주어 vision에서 반드시 cnn을 사용해야 한다는 편견을 없앨 수 있었다. cnn 대신 rnn을 이용하여 픽셀을 예측하는 방법론들은 예전부터 있었지만 cnn에 비해 비효율적이고 성능이 떨어져서 사용되지 않았다. 이번 방법론은 기본적으로 주위의 픽셀들의 관계를 self-attention으로 파악하여 새로운 픽셀을 구성한다는 것에서는 cnn과 동일하다. 하지만 cnn의 경우 하나의 필터를 사용하여 계산을 한다는 것이 다르다. 다만 self-attention의 경우 많은 픽셀들의 관계를 계산하기때문에 오히려 계산이 어렵지 않을까라는 생각을 했었는데 결과적으로 더 적은 파라미터로 좋은 성능을 보여주었다. 필터 수와 여러 복합적인 요인들이 섞여 있는 것 같다. 또한 딥러닝 모델의 하이퍼파라미터 튜닝에 따라 성능과 파라미터 수가 달라질 수 있기 때문에 논문을 다시 보고 싶다. 어텐션을 새로운 방향으로 적용시켜 좋은 결과를 낸 흥미로운 논문인 것 같다.

이번 세미나 주제인 ‘Attention’ 에 대한 세미나를 이전에 들은 적이 있었다. 약간의 개념은 알고 있다고 생각했는데 막상 세미나를 들으니 내용의 깊이가 달랐다. 기계번역을 위한 seq2seq 에서부터 시작되었다는 Attention 의 역사부터 설명해 주어 알고리즘의 발전사를 이해하는데 도움이 되었다.
가장 흥미로웠던 것은 Attention 이 자연어처리에서 뿐만 아니라 Vision 에서도 사용할 수 있다는 것이 었다. 텍스트와 이미지는 전혀 다른 영역이라고 생각했었는데, 같은 개념을 input 형태만 텍스트에서 이미지로 바꾼거라는 현규씨의 설명을 듣다보니 (100% 는 아니지만) 이해가 되었다. 사진예시나 사례도 적절히 넣어주셔서 나같은 초보자가 이해하기 좋았다.
마침 Image captioning 에 대해 궁금했었는데 조금은 공부할 수 있는 실마리를 잡은 것 같았다.
뒤에 이어지던 Self-Attention에 대해서는 아직 따라가기 힘들었지만, 참고할 수 있는 논문들과 중요 내용들을 정리해 주셔서 나중에 공부할때 꼭 참고해서 봐야겠다는 생각을 했다.
특히 마지막에 CNN 을 대체할 수 있다는 놀라운 이야기를 듣고 Attention에 대해 차근히 공부해야 겠다는 다짐을 했다.
시야를 넓힐 수 있는 유익한 세미나를 준비해 주신 현규씨께 감사한 마음이 들었다.

오늘 세미나는 Visual attention을 주제로 현규가 진행하였다. Attention mechanism은 인공신경망 모델을 해석하기 위해 사용되는 대표적인 방법이다. 인공신경망을 해석한다는 의미는 예측하는 이유를 설명하고자 하는 목적으로 예측 시 어떤 변수의 데이터가 얼마나 기여되었는지 살펴보고자 함이다. 해석 대상이 되는 변수는 이미지 내 특정 구역이 될 수도있고, 시계열 데이터에선 중요 시점이 된다. 정형데이터 경우에는 설명 변수단위로 보면 된다. Attention mechanism을 적용하기 위해선 인공신경망 모델을 구성하는 여러 layer 중 사용자가 해석이 필요한 부분의 layer를 attention layer로 명명하고, dot product 혹은 element-wise product 로 layer 내 node단위로 모델이 얼마나 그 node를 반영하는지 0~1 사이의 score를 도출할 수 있다. 오늘 세미나에선 이미지 데이터에 적용되는 Visual attention을 집중적으로 소개해 주었다. attention basic 부터 최신 알고리즘까지 자세히 정리해준 세미나 자료는 매우 유용하게 사용될 것 같다. 짱짱한 자료를 만들어준 현규야, 고맙다.

오늘 세미나는 번역과 같은 NLP에서 유용하다고 알고있는 attention을 비전분야에서 어떻게 활용하였는지에 대한 내용이었습니다.

도입부에서 이미 작년에 DMQA에서 NLP외에 분야에서 attention을 활용하여 해결했다는 과제들을 보고 사용분야의 다양함에 놀랐고, 흥미로운 내용이 될 것이라 생각했습니다.
파파고의 번역 과정을 예로 들어 기존 기계번역 알고리즘의 한계와 attention을 활용함으로써 이를 극복하게되는 과정에 대해 이해하기 쉽게 설명하는 부분에 대해 감명을 받았고,
attention의 강점이 무엇인지 한 눈에 알 수 있었습니다.
attention과 관련된 여러가지 논문들의 리뷰를 보면서 수식과 같은 부분들이 완벽히 이해는 안되었지만, 발전과정에서 나온 K,V,Q와 같은 개념이 참신하다 생각했고, 나중에라도 시간을 투자하여 완벽히 이해할 필요가 있음을 느꼈습니다.
비전에 있어서 대부분 문제는 해결할 수 있다고 생각해왔던 CNN에 attention을 붙여서 더 높은 수준으로 끌어올리는 내용을 보고 예전에 진행했었던 비전관련 과제에 저 내용을 적용하면 어떤 결과가 나올지 궁금해졌습니다.

저 같은 AI입문자를 위해 흥미롭지만 어려운 주제를 최대한 이해하기 쉽게 설명하는데 공을 들이신 현규 멘토에게 감사드립니다.

Visual Attention을 주제로 현규가 진행한 세미나를 청취했다. 비록 중간에 다른 일정 때문에 아쉽게도 뒤에 내용을 듣지는 못했지만, 발표자료를 따로 살펴보면서 attention mechanism에 대해 다시 한번 정리할 수 있는 기회가 되었다. 특히 Attention is All You Need라는 논문에서 Transformer가 소개된 이후로 정말 많은 종류의 Attention 알고리즘이 연구가 되었는데, 각 알고리즘의 핵심부분들을 잘 모아서 정리한 자료라고 생각한다. 기본적으로 Attention은 모델의 성능을 높이기 위해 학습을 보다 집중적으로 해야 할 부분까지도 학습하는 것이 목적이다. 주로 attention을 해석적인 측면에서 많이 사용하지만 성능의 향상에도 많은 도움이 된다. 데이터의 종류나 모델의 특성에 따라 다양한 방법론들이 제시가 되는데 오늘은 이미지와 관련된 visual attention에 대해서 집중적으로 다루었으며 처음 들어보는 최신 방법론들에 대해서도 소개가 되었다. 정말 공부를 많이 하면서 정리를 했다는 것을 느낄 수 있었다. Convolutional Block Attention Moduel(CBAM)이라는 알고리즘이 목적으로 하는 channel attention, spatial attention이 예전에 사용했던 Hierarchical Feedforward Attention과 유사한 기능을 하는 것 같아 추후에 더 살펴보면 재밌을 것 같다는 생각이 들었다.

금일 진행되었던 세미나는 Visual Attention의 주제로 강현규 연구원님이 진행해주었다. Attention에 대해 기초부터 Computer Vision 최신 사례들까지 다양하게 설명해주셔서 폭 넓게 이해할 수 있었다. Attention이란 입력 시퀀스가 길어지면 출력 시퀀스의 정확도가 떨어지는 것을 보정하기 위해 등장한 기법인데 전체 입력 문장에 대해 예측해야 할 단어와 연관성 있는 입력 단어 부분을 좀 더 집중한다는 점이 인상깊었다. 또 Computer Vision 분야에 적용 된 Image Captioning 알고리즘 부분이 신기하고 재밌는 부분으로 다가왔다. Image Captioning은 말 그대로 이미지의 캡션을 달아주는 일, 즉 이미지를 보고 어떤 이미지인지 언어로 설명하는 작업이다. 이 작업의 성능을 올리고자 등장한 개념이 Visual Attention인데 Visual Attention은 말 그대로 이미지의 특정 부분에 집중하는 것이다. 사람이 이미지의 모든 내용을 전부 묘사하지 않는 것처럼, 컴퓨터도 이미지에서 특히 중요한 부분에 자원을 집중하는 형태의 노력이 필요하다. Visual Attention을 통해서 컴퓨터는 이미지의 특히 중요한 부분에 집중하고, 더 자세히 묘사하게 된다. 해당 부분에 대해 손흥민 선수가 슈팅하는 장표를 통해 설명해주셨는데, 이해도 잘 되고 집중도 잘 되게 해주셨던 것 같다. 긴 시간 동안 저를 포함한 Attention에 대한 공부를 시작하는 연구원들에게 좋은 자료를 만들어주신 현규 연구원님께 감사의 말씀 드리고 싶다.

금일 세미나는 “Visual Attention”에 대한 주제로 현규가 진행하였다. Attention은 NLP (Natural Language Processing) 분야에서 문제 상황을 해결하고 어떤 부분이 영향을 미쳤는지 알려주는 역할을 한다. 이번 세미나에서 Attention에 대한 기본적인 이해를 시작으로 NLP 뿐만 아니라 Image 분류, 객체 탐지 분야에도 많이 적용되는 것을 알 수 있었다. 특히, Context vector를 도출하여 Attention score를 도출하는 부분이 중요하다고 생각되는 세미나였다. 또한 세미나의 마지막 부분에서 객체 탐지를 진행할 때 합성곱 연산이 아닌 Attention 개념으로 연산하여 기존 알고리즘과 성능은 비슷하지만 계산 복잡성, 시간을 줄였다는 부분이 인상 깊었다. 그 밖에도 Attention이 NLP 분야 외에도 다른 분야에서도 적용되고 있다는 것을 논문별로 정리하여 설명해준 부분이 좋았다. 금일 세미나는 Attention 메커니즘을 다시 한 번 이해할 수 있었고 추후 연구에도 적용해볼 가치가 있다는 것을 느꼈던 시간이었다.

이번 세미나는 "Visual Attention" 주제로 진행되었다. Attention 이라는 주제에 대해서 처음 들어보게되어 이해하기 어렵지 않을까 라는 걱정이 있었지만, Attention이 무엇인지에 대한 개념 설명부터 들어 쉽게 이해할 수 있었다. Source sentence내에서 어느 부분에 집중을 해야하는지 decoder가 결정하는 것을 Attention Mechanism 이라고 부르며, 이는 매우 다양한 분야에서 활용되고 있다. 이러한 Attention Mechanism을 이미지에 적용시켜 Image Captioning에 활용되는 것이 바로 Visual Attention이다. Visual Attention의 알고리즘 진행 과정부터 Transformer 알고리즘에서 활용되는 Scaled Dot-Product Attention, Multi-Head Attention까지 수식과 이해가 쉬운 피피티 자료를 바탕으로 설명해주셔서 각 알고리즘에 대하여 대략적으로 이해할 수 있었다. 마지막으로 해석력과 모델 성능이 향상되는 두 가지 이점을 가진 self-attention 알고리즘까지 설명을 들으면서 전반적인 Attention의 개념을 파악하는 좋은 시간이었다. 이번 세미나에서 설명을 들었던 많은 논문들과 다양한 자료를 다시 공부하면서 Attention의 개념에 대한 더 깊은 이해를 위하여 공부해야겠다는 의지를 다질 수 있었다.

금일은 Visual Attention을 주제로 세미나가 진행되었다. 수능 영어 시험을 Intro로 시작해서 Attention Mechanism, Self-Attention에 대한 설명이 있었다. 지난번 현규 세미나에서도 Attention에 개념 및 역사에 대해서 알 수 있어서 좋았는데, 이번 세미나를 통해 한번 더 Attention에 대한 기초적인 개념 및 알고리즘에 대한 수식적인 설명을 들을 수 있어서 좋았다. 개인적으로 Interpretable Deep Learning에 대해서 꾸준한 관심을 가지고 있다. 개인적인 연구 및 과제에서 CAM과 Grad-CAM을 실제 적용해보면서 궁금했던 점은 Attention과 다른 점은 무엇일까? 였다. 이 부분에 대해서도 현규가 명확하게 설명해 주어서 궁금증을 해결 할 수 있었다. CAM과 관련된 알고리즘들은 모델을 구축한 뒤, 구축된 Weight들을 활용해서 CAM Score를 계산하고 시각화 하게 된다. 이에 반면 Attention은 모델을 학습할 때 Attention Score를 계산하는 부분까지 학습을 진행 하게 된다. 결국 Attention은 학습 진행과정에서 Output을 산출할 때 중요한 부분을 더 많이 보도록 유도해 모델의 성능까지 향상시킬 수 있는 알고리즘이다. 그리고 이후 Attention is All You Need 논문에 있는 Scaled Dot-Product Attention부분에 대해 Step by Step으로 잘 설명해줘서 이해하기 좋았고, 인상적이었다. 오늘 세미나를 통해 Attention의 주요 개념에 대해 한번 더 명확하게 공부할 수 있는 기회였다. 세미나를 잘 준비해 준 현규에게 감사함을 표한다.

오늘은 다양한 attention mechanism을 총망라하는 세미나였다. 기계번역 모델의 성능을 향상시키기 위해 처음 제안되었지만 요새는 문서 분류와 요약 등의 자연어처리 분야 전반에 걸쳐 사용된다. 특히 self attention 기법의 정점을 찍은 Transformer 구조는 텍스트를 넘어 이미지와 그래프 데이터에도 적용이 가능하여 많은 각광을 받고 있다. 그리고 오늘 세미나 자료는 attention 기법의 핵심들을 잘 추려주었기 때문에 두고두고 참고할 좋은 자료라고 생각한다. 열과 성의를 다하여 발표를 해준 현규에게 고맙습니다.

Attention?
- "입력 데이터에서 흥미있는 부분에 집중하자"라는 개념
- 에러율, 계산 시간이 낮아짐

Basics
- 최초 Attention은 텍스트(NLP)분야에서 도입됨
- Seq2Seq with Attention: Attention Weight를 주고 softmax연산한 scalar값을 사용

Visual Attention
- Show, Attention, Tell - Caption Generation with Visual Attention(2015)
- SHOW: Encoder부에서 특징 맵 생성
- ATTENTION: 특징 맵 - Word 간의 Attention Score 계산
- TELL: 이전 단어, 특징 맵, attention score를 종합한 단어 목록 출력

Soft Attention vs. Hard Attention
- Soft-Pros: 해석력, end-2-end 학습
- Hard-Pros: 더 높은 성능
- Soft-Cons: 낮은 성능
- Hard-Cons: 최적화 문제(몬테카를로 기반 샘플링, 강화학습 등)

Localization vs. Attention
- "부분에 집중하자" 라는 개념은 같음
- Localization: Explainability
- Attention: Explainability + Model Performance도 고려

Self-Attention
- Attention is All You Need (2017)
- dot Product 사용
- {Key = Value} = Query
- Transformer 구조 제안

Transformer
- 3개의 Attention으로 구성
> Encoder 부분 Attention
> Decoder 부분 Attention
> Encoder:Attention, Decoder:Attention의 Attention
- 각 Attention은 Multi-Head Attention으로 구성
- 각 Multi-Head Attention은 Scaled-Dot Product Attention으로 구성

최근 Attention의 활요
- CNN Architecture: Image Feature 생성 성능 향상을 위해 Conv Layer 사이에 Attention Block 삽입
- Squeeze-and-Excitation Netword(SENet): 채널 특성 벡터에 dot Product를 통한 채널별 Attention 수행
- Convolutional Block Attention Module(CBAM): 채널Attention + Spatial Attention Block
- Non-Local Neural Network
- Stand-Alone Self-Attention

후기
- 최근 발표되는 Vision 분야 모델들이 공통적으로 Attention을 채택하고 있다는 것을 알게된 뜻깊은 세미나였습니다.
- 기본적인 Vision분야의 이론지식이 있었다면 좀 더 이해하기 쉬웠을텐데, 아직 Attention 등장 이전의 Neural Network 구조들도 익숙치 않아서 수식 등의 이해가 어려워 아쉬웠습니다.
- Attention이라는 개념에 대해 Seq2Seq부터 시작하여 Self-Attention까지 끌고가는 스토리텔링이 굉장히 인상깊었습니다.

오늘 세미나는 Visual Attention에 대해서 이루어졌다. Attention에 대해 전혀 모르는 사람부터 잘알고 있는 사람에게까지 도움을 주려고 만든 장표라는게 느껴졌다. 우리 연구실 세미나는 일부 연구원에게는 밀렸던 하고싶던 공부를 하는 시간이라고 생각이 된다. 물론 너무나 가까이 함께하는 사람들 많은 사람들 그리고 교수님 앞에서 발표한다는 부담감에 잘 알고있는 내용을 선택하고싶다는 생각에 주제 선택에 흔들리기도 한다. 하지만 그동안 코앞에 쌓인 일정과 일에 미뤄두었던 공부를 세미나라는 계기를 통해 공부를 할 수 있는 기회라서 너무 소중하다고 말하고 싶다. 무엇인가 현규오빠의 세미나는 그런 느낌이 더 많이 들었다. Attention에 대해서 너무 공부하고 싶었던 오빠의 마음을 느낄 수 있었다. 오늘 발표자료는 attention에 대해서 어떤 자료를 찾아보면 좋을까 고민될 때 열어보면 좋을 것 같다는 생각이 들었다. 다만 조금은 전하고 싶었던 핵심부분을 추려주었다면 좋았을 것 같다는 아쉬움이 있다. 뒤에 다른 일정때문에 듣지못하여 아쉬웠고 발표 자료를 이용해 공부해보면 좋겠다는 생각을 한다. 항상 모든 일이든 맡겨진 일에 가장 큰 책임감을 가지고 임하는 현규오빠의 앞길이 꽃길이길 응원한다~

오늘은 Visual Attention을 주제로 세미나가 진행되었다. Attention은 답을 낼때 어떤 부분에 집중해서 답을 해야지는에 대해 학습하는 방법론을 의미한다. Attention을 사용하게 되면 정답이 있는 부분에 집중하기 때문에 모델의 성능이 올라갈 뿐 아니라 어떤 부분을 보고 답을 냈느지 알수 있기 때문에 모델을 해석하는 측면에서도 좋은 성능을 보이게 된다. Seq2Seq model에서 단일 context vector를 사용했을 때 sequence의 길이가 길어지면 모델의 성능이 떨어지게 되는데 이를 해결하기 위해 제안된 방법이 attention이다. 초기 attention은 각 time별로 context vector를 적용하는 것으로 시작되었으며 벡터의 유사도를 계산하는 방식도 Feed Forward NN에서 dot product를 사용하는 방식으로 개선되어 나갔다. Machine translation에서 먼저 시작되었지만 computer vision에서도 attention을 적용하기 시작하면서 image captioning에서도 좋은 성능을 내게 된다. 이후 더 나은 feature를 뽑아내는 self-attention, 여러개의 attention을 병렬적으로 적용하는 multi-head attetion이 등장하게 된다.

이번 세미나를 통해 attention의 개념을 처음 접하게 되었다. Attention의 초기 모델부터 현재 연구되고 있는 모델들 까지의 전체적인 흐름에 대한 설명이 있어서 attention을 처음 접하는 입장에서 관련된 개념들을 이해하는데 큰 도움이 되었다. 모델의 성능 뿐만 아니라 해석적인 측면에서도 유용한 방법론이라서 앞으로 관심을 가지고 공부를 해보고 싶다는 생각이 들었다. 분량이 많고 어려운 내용들을 알기쉽게 요약해서 설명해준 현규형에서 이 자리를 빌어 감사를 표한다.

이번 세미나는 visual attention이라는 제목으로 진행되었다. Attention mechanism에 대한 설명과 함께 computer vision 분야에서 attention mechanism이 어떻게 쓰이고 있는지에 대한 간략한 설명으로 진행되었다. Attention mechanism은 machine translation의 sequence to sequence 문제를 잘 해결하기 위해 처음 제안되었다. 기존에는 seqeunece to sequence 문제를 풀기 위해 RNN Encoder-Decoder 구조를 사용했는데, RNN Encoder-Decoder는 input sequence나 output sequence가 길어질 경우 여러가지 문제점 (Vanishing gradient, limitation of single context vectors 등) 이 발생하였다. Attention mechanism은 input sequence 전체를 하나의 context vector로 요약하는 것이 아니라, 각 decoding step 마다 중요한 input sequence를 찾아서 그에 해당하는 context vector를 찾아와서 사용하는 방식으로 작동한다. 이런 attention mechanism은 machine translation을 포함한 다양한 sequence to sequence에서 높은 성능 향상을 달성했으며, 다양한 NLP task로 확장되었다. 또한 최근에는 NLP 분야에서의 성공에 힘입어 attention mechanism들을 computer vision task에 사용하려는 다양한 시도들이 진행되고 있는데, 세미나에서는 그런 연구들을 간략하게 소개하였다.

이번 세미나는 현규형이 Visual Attention을 주제로 진행하였다. 세미나 설명이 Attention의 매우 기본부터 시작했을 뿐만 아니라 마침 멘토링도 RNN 계열을 진행하고 있었기 때문에 공부에 참고할 수 있는 내용이 많았다. 보통 Attention이라하면 자연어처리 분야에서 많이 들었었는데 컴퓨터 비전에서도 쓸 수 있다는 점이 흥미로웠다. 우선 기본적인 개념 설명을 위해서 기계번역에 많이 쓰이는 seq2seq의 사례와 그 한계점을 지적하였다. 짧은 길이의 문장의 경우 번역할 문장을 인코더에 넣으면 문장의 정보가 고정길이벡터(context vector)에 압축되고 이후 해당 벡터의 정보가 디코더에서 반영되어 번역된 문장을 반환하게 되는 구조이다. 하지만 문장이 길어지게 된다면 context vector의 길이가 고정되어 있는 만큼 정보 축약이 효과적으로 이루어지지 못하기 때문에 번역 결과가 좋지 않게 된다(앞 부분의 정보가 손실되거나 개별 단어 간의 관계가 뚜렷하지 않거나). 이런 문제를 Attention은 디코더의 특정시점(t)에 적용할 수 있는 context vector를 생성하여 encoder의 정보 중 연관성이 높은 부분을 참고할 수 있게 해준다. 다만, 이번에는 컴퓨터 비전 분야에서 쓰이는 Visual Attention이고 기계번역이 아닌 Image captioning 문제를 해결하는 과정을 설명하였다. 제일 흥미로웠던 부분은 self-attention이었다. 이미지 데이터를 분석할 때 사실 컨볼루션 필터를 사용하는 것 외에는 생각해본적이 없었다. 하지만 Self-Attention은 컨볼루션 필터를 대체할 수 있는 성능을 보여주었고 덕분에 이미지 분석에 대한 편견을 깰 수 있었다. 언제나 최선을 다해서 멋진 세미나 자료를 만들어주는 현규형 덕분에 많이 배울 수 있는 것 같다. 현규형께 감사드리고 항상 화이팅입니다.

Visual attention을 주제로 열린 금일 세미나를 듣고, attention mechanism과 적용 분야에 대해 알게 되었다. Attention은 기계번역 모형 Seq2seq에 처음 도입된 개념으로 텍스트가 긴 데이터 처리 과정에서 일어나는 문제점을 해결할 수 있는 개념이다.Seq2seq에서는 decoder가 특정 시점의 단어를 출력할 때, encoder의 정보 중 연관성이 있는 부분에 주목하여 adaptive context vector를 만들게끔 하는 것이 Attention의 역할이였다.
Attention은 NLP 외 Multivariate Time Series, Computer vision에도 적용될 수 있는데, 세미나에서 Image Captioning에 적용된 최신 사례까지 들을 수 있었다. Image Captioning는 이미지를 입력 데이터로 사용하여 이미지를 설명하는 문장을 생성하는 것을 말하는데, 인공신경망 구조에 Attention mechanism을 더한 알고리즘들이 어떻게 발전되었는가를 세미나에서 확인할 수가 있었다.
신경망에서 사용된 Attention mechanism은 문서 또는 문장을 보다 더 잘 표현하는 feature를 생성하는데 사용되었으며, 알고리즘이 구체적으로 어떻게 되는지 수식적인 설명과 그림을 이용해 쉽게 이해할 수 있던 세미나였다. 알고리즘 핵심 아이디어는 세미나를 통해 이해할 수 있었으나, 신경망 구조에 대한 이해는 아직 익숙치 않아서 더욱 공부의 필요성을 느꼈던 시간이였다.
후반부 세미나에서는 Self Attention에 대한 내용을 다뤘는데, Transformer와 CNN 구조 모형에서는 이미지의 feature을 보다 더 잘 생성하기 위해 convolution layer 사이에 attention block을 삽입한 것으로 이해하였고 이에 대한 연구들 소개로 세미나가 마무리 되었다.

오늘 세미나는 ‘Visual Attention’을 주제로 현규오빠가 발표하셨다. 작년 참석한 학회에서 우리 연구실 선배님들의 발표를 들었을 때, 처음 Attention이라는 개념을 접하게 되었다. Attention을 통한 성능 향상의 사례를 보면서 어떠한 메커니즘이길래 CNN, RNN 등 다양한 알고리즘에 접목되는지 궁금증을 계속 가지고 있었다. 딥러닝 관련하여 차근차근 공부하고 있기에 기본적인 알고리즘을 파악하고 향후에 공부하고자 결심하고 있었다.
세미나를 통해 Attention의 기본 개념부터 Self-Attention을 활용한 논문까지 접할 수 있었다. 최근까지 공부한 CNN에 이어 관심있는 분야를 탐색하는 과정이었는데 마침 오늘 세미나를 통해 RNN과 Attention에 대한 흥미가 생겼다. 프로젝트에도 연관 있는 RNN을 활용한 시계열분석을 심도 있게 공부할 예정이며, CNN에 Self-Attention을 접목시킨 논문도 흥미롭게 들어서 자세히 읽어볼 것이다. 연구에 대한 좋은 방향성을 제시해준 현규오빠께 감사하다.

금일 세미나는 ‘Visual Attention’이라는 주제로 현규오빠가 진행하였다. Attention mechanism은 기계번역 영역에서 고질적인 gradient vanishing문제를 해결하기 위해 제안된 알고리즘으로, gradient vanishing문제를 해소함과 동시에 성능 개선을 이끌어와 주목받기 시작하였다. 게다가 mechanism연산과정에서 부수적으로 연산되는 attention score(attention probability)를 기반으로 모델에 대한 해석이 가능하다는 점에서 EX-I영역에서도 굉장히 많이 연구되어오고 있다. 지난 ICCV학회에서도 가장 많이 들은 키워드 중에 하나가 attention이었을만큼 attention의 활용 관점에서는 vision영역에 많이 적용되고 있다. Attention은 기존 encoder의 context vector에 시점t를 반영한 context vector를 정의하고, 매 시점별로 주요한 부분에 가중치를 주는 매커니즘이다. Context vector를 설계하는 과정에서 다양한 스트럭쳐들이 제안되었고, 대표적으로 self attention이 있다. 또한 vision 영역에 적용시키기 위한 feature extraction기법으로 사용되는 여러 attention module들에 대해 알 수 있었다. Vision쪽에서는 모델의 해석력을 위한 목적 이외에도 이미지 데이터에 대한 conv연산과 같이 feature extraction목적으로도 많이 활용되는 것을 알 수 있었다. Attention에 대해 처음 공부를 할 때, 자료들을 찾아봐도 이해하는데에 어려움이 많았었다. 만약 그 때 지금의 현규오빠 자료를 보았다면 공부하는데 많은 도움이 되었을 것 같고, 앞으로도 수차례 이자료를 열어볼 것 같다. Attention에 대한 설명부터 다양한 application까지 소개해준 현규오빠에게 감사하고, 연구실 생활을 함께 하면서 항상 꼼꼼하게 모든 일을 임해주는 오빠에게 고맙다는 말로 세미나 후기를 마친다.

이번 세미나는 ‘Visual Attention’이라는 제목으로 고려대학교 신공학관 2층 컴퓨터실에서 진행되었습니다. 세미나의 큰 흐름은 어텐션 메커니즘(Attention mechanism)의 등장 배경과 원리에 대해 설명한 후에 기존 어텐션 방식의 단점을 보완할 수 있는 최신 알고리즘 순서로 강현규 연구원님께서 발표해주셨습니다. 그리고 나서, 이 어텐션 메커니즘을 가지고 Vision쪽 분야에 접목시켜보는 새로운 연구들을 소개해준 뒤에 마무리되었습니다. 아래에 간단히 세미나 내용을 요약하여 정리한 뒤, 세미나 후기를 마치도록 하겠습니다.


어텐션 메커니즘은 가장 먼저 기계번역(machine translation) 분야에서 성능을 향상시키기 위해 고안된 알고리즘입니다. 기계번역 과정에서 주로 사용되었던 Seq2seq 모델은 입력 문장(input sentence)이 인코더(encoder)를 통해 고정된 크기의 문맥 벡터(context vector)로 변환되는 과정을 거친 뒤, 다시 디코더(decoder)를 통해 번역의 결과물을 출력하는 형태였습니다. 하지만 문맥 벡터의 사이즈가 고정되어 있음에 따라, 긴 입력 문장을 번역하는 데 있어 몇 가지 문제점이 발생하였습니다. 예를 들면, 앞쪽의 gradient가 문장 뒤쪽의 gradient에 비해 영향력이 약해지는(vanishing gradient problem) 것이 있을 수 있습니다. 이렇게 되면 번역 결과가 문장의 뒤쪽에 좀 더 의존하는 형태를 나타내게 됩니다. 이러한 문제들을 해결하기 위해서 나온 것이 어텐션 메커니즘입니다. 어텐션 메커니즘을 한 줄로 설명하자면 다음과 같습니다. 디코더가 특정 시점에서 번역 결과를 출력할 때 기존의 이미 완성된 문맥 벡터에서 뽑아오는 것이 아니라, 인코더에서 번역 과정중에 중요하게 여겨지는 부분에 집중하여 번역 결과를 출력하는 것입니다. 즉, 여기서 중요하게 여긴다는 것이 attention이고 이것은 인코더와 디코더의 hidden state의 값들의 연산으로 나타낼 수 있게 됩니다. 이 값을 어텐션 스코어(attention score)라고 하고 이것을 활용하여 나온 Seq2seq with attention 모델은 좀 더 효과적으로 번역을 수행할 수 있게 됩니다.

이러한 어텐션 메커니즘을 가지고 ‘이번에는 입력 데이터를 이미지 정보로 하여 문장을 출력해보는 것은 어떨까’ 하는 것이 visual attention의 기본 아이디어입니다. 예를 들면 손흥민 선수의 사진을 입력 데이터로 넣어주고, “Sonny is shooting in front of the defender” 라는 문장을 출력해주는 모델을 만들어 보는 것입니다. 기존의 어텐션 관련 논문 저자분들이 실제로 이와 관련하여 논문을 냈고, 논문 상에서는 나쁘지 않은 결과를 보여주었습니다. 이미지를 CNN 모델의 인코더를 통해서 특징 추출한 것(feature map)을 기계번역 모델의 문맥벡터와 유사하다고 생각하고 적용한 것입니다. 다만, 어텐션 스코어를 계산하는 과정에서 기존의 방식과는 사소한 차이가 존재합니다.


이렇게 어텐션 관련 이론에 대해 알고 난 후에 self-attention에 대해 간략하게 설명한 뒤에 세미나는 마무리되었습니다. Self-attention에서 Query, Key, Value를 사용하여 기존 어텐션 스코어를 구하는 방식이 달라진 부분을 이해할 수 있었으나, 완벽히 이해하기는 어려워 세미나가 끝난 후 조금 더 공부해야겠다고 생각하였습니다. 이번에 어텐션과 관련하여 훌륭한 세미나를 진행해준 강현규 연구원님께 감사의 말 전하며 후기를 마치도록 하겠습니다.

오늘 세미나는 ‘Visual Attention’의 주제로 현규가 발표해주었다. 발표는 Attention Mechanism에 대한 배경 설명을 시작으로 Self-Attention Mechanism을 적용한 Visual Attention의 영역까지 다루었다. Attention Mechanism은 Sequence-to-Sequence RNN모델에서 긴 Input & output Sequence에서 나타나는 문제들을 중요한 부분에만 집중해서 해결하기 위해 처음 도입이 되었다. 즉, 인코더가 Input Sequence를 받아서 벡터로 만든 결과와 디코더가 Output Sequence를 예측할 때 사용하는 벡터와 유사할 것이라는 아이디어에서 출발했다. 금일 세미나는 또한 Self-Attention의 영역까지 다루면서, Transformer에 대한 설명까지 이어졌다. 기존의 모델들은 RNN 또는 CNN을 사용하여서 long-term dependency에 취약하다는 단점이 있었고, 이러한 문제를 해결하기 위해 Transformer가 등장했는데, Transformer는 기존처럼 recurrent model 구조를 사용하지 않고 Attention Mechanism만으로 input과 output의 dependency를 잡아내는 모델이다. Visual Attention을 다룬 세미나였지만, Visual Category에 국한되지 않은 전반적인 Attention Mechanism의 정리를 들을 수 있었던 강의였다. 이렇게 고마운 강의를 준비해 준 현규에게 다시 한번 감사의 뜻을 전한다.

Deep Learning 방법론에서 가장 주목을 받고 있는 Attention에 대한 세미나 였음.

1. 전반적으로 많은 양을 성실히 준비한 것에 대해서는 훌륭했음.
2. 직관적인 설명이 없었던 것은 아쉬움.
2. Attention 관련 여러 번 내부 세미나가 있었던 것은 사실이나 대부분이 응용.
3. 오늘 청중자들이 한화시스템, 신입생 들이 많았던 점을 고려하면 차라리 Attention 기본 개념에 포커스를 맞추었으면 더 좋았을 거라는 느낌.
4. 주간 세미나의 경우 다양한 배경지식의 인원들이 참여하기 때문에 무엇인가 본질을 다루는 발표가 훨씬 도움이 됨.
5. 그런 점에서 오늘 세미나는 전반적인 Attention 연구의 흐름은 볼 수 있었으나 뭔가 본질을 깨달았다는 느낌은 없었음.