금일 세미나에서는 Text comprehension 분야의 한 축인 Question Answering 모델을 다루었다. ‘빈칸 뚫기’ 문제인 cloze style 유형의 문제를 푸는 것을 목적으로 하며, 간단한 모델링으로 좋은 성능을 낼 수 있다는 것이 본 모델의 장점이다. 빈칸 문제의 빈칸을 맞추기 위해서는 문서 내 단어들과 문제 간의 유사도를 구하는 것이 우선적이다. 이를 위해 주어진 문서와 문제에 대해 Bidirectional GRU 기법을 통해 각각 contextual embedding을 수행한다. 이 기법을 사용하는 이유는 각 문서와 문제 내의 단어들의 순서를 반영하기 위한 것이고 이로써 각 단어 혹은 문제를 효과적으로 나타낼 수 있기 때문이다. 그 후에 두 임베딩 값의 dot product를 구해 유사도를 구하며, 이를 ‘attention’ 값이라고 부른다. 결국 ‘attention’값은 문서 내의 특정 단어가 다른 단어들에 비해 문제의 정답일 가능성을 나타낸다고 볼 수 있다. 문서 내 같은 단어의 attention값들은 모두 합해서 그 중 정답일 확률이 가장 높은 단어를 선정한다.

최근 attention을 사용하여 어떤 변수가 y값을 결정하는 데에 더 중요한지를 알아보는 연구가 많이 이루어지고 있다. 전에 리뷰했던 Get to the Point 모델은 Text Summarization task를 해결하려 attention을 사용했는데, blended attention representation을 고안했다는 점에서 금일 세미나에서 다룬 모델과 상이하다. 소개한 모델은 훨씬 간단한 모델임에도 불구하고, explicit attention representation을 통해 주어진 문제 상황을 효율적으로 풀어냈다고 여겨진다. Question Answering 분야에서 생소한 문제 상황에 대해 색다르게 접근한 연구라고 생각되며, 추후 다른 문제 상황을 해결 할 때에도 수단이 되어 사용될 수 있길 기대해본다.

​

Cloze-style question 문제는 주어진 document를 읽고 주어진 question에서 document와 잘 부합하는 보기의 단어 중 한가지를 선택하는 문제이다. 이때 보기의 단어는 document에 포함된 단어의 일부가 된다. 본 세미나에서 다룬 논문은 위와 같은 문제를 deep learning을 통해 풀고자 하였다. 사람이 문제를 풀기에는 매우 쉬운 형태이나 컴퓨터가 학습을 통해 이러한 문제를 풀기는 쉽지 않다. 우선적으로 document와 question에 대한 이해가 필요하고 이때 주어진 question에 대해 가장 적절한 단어가 무엇인지 선택해야 한다. 대부분의 text관련 문제 그러하 듯이 document를 이해할 수 있는 모델을 어떻게 구성할 것인가가 주된 이슈라고 볼 수 있다. 본 연구에서는 각 단어에 대한 attention을 산출하고 question에서 산출된 context vector와의 dot product를 통해 최종적으로 document의 포함된 전체 단어에 대한 probability를 산출하게 된다. 즉 question의 context vector와 document에서 산출된 단어의 attention 값과의 유사도를 산출하여 가장 관련성이 깊은 단어를 답으로 선택하게 된다. 상당히 쉬워 보이지만 document - question간의 연관성을 통해 적절한 단어를 선택한다는 framework는 QA 및 chatbot에서 사용될 만한 가능성을 보인다고 생각한다.
​

금일 세미나는 “Text Understanding with the Attention Sum Reader Network” 라는 주제로 진행되었다. 문제는 ‘Answering a cloze-style question’ 으로 document 문장을 읽고 해당 document 에서 Question 에 들어갈 수 있는 빈칸을 보기에서 찾는 문제이다. 여기서 question 과 document 에 있는 단어들과의 관계를 통해 Question 에 있는 빈칸에 가장 관계 있는 단어를 찾는 것이다.
모든 document 에 있는 단어를 one hot vector 로 변환하고 이를 N개의 hidden dimension 으로 변환한다. One hot vector로는 문장으로 들어오는 것을 모델링이 어려워 Bi directional RNN model 을 이용하여 문장도 잘 모델링이 되도록 하였다. Document 와 question 에서 나온 단어들의 관계를 softmax 를 통해 정의 한 후 Document 에서 여러 번 나온 같은 단어는 point sum attention 이라는 가정을 통해 합친다. 그렇게 answer candidate 를 정하고( candidate 를 하는 이유은 class 가 너무 많은 경우 accuracy 가 너무 작게 나와 선택이 어려울 수 있다고 가정.) 관계가 가장 높은 부분을 선택 하는 것 이다.
이번 세미나를 통해 문서에서의 단어와 질문에서의 단어의 관계를 통해 문제를 푸는 과정을 볼 수 있었다. 어떻게 컴퓨터가 문서를 파악하고 질문에 답을 내는지에 대한 과정을 알기 쉽게 설명을 해주어 나에게 큰 도움이 되었다.

금일 세미나는 Text Understanding with Attention Sum Reader Network를 주제로 진행되었다. Document의 내용에 대한 Question(또는 Key sentence)가 주어졌을 때, Q의 빈칸을 Document 내에서의 candidate들에 대한 Attention score을 계산하여 빈칸을 채우는 cloze-style 문제를 해결하는 것이 주된 내용이였다. 모델은 크게 3단계 step으로 구성되는데, 먼저 tokenized된 문서를 one – hot vector으로 임베딩 한 후 Bi-directional Gated RNN 모델에 넣어 concated vector를 만든다. 다음으로는 Q 전체를 Bi-directional Gated RNN 모델로 학습시킨다. 마지막으로 두 벡터의 dot product 연산을 통해 attention score을 계산하고 softmax 함수를 취해 probability를 계산한다. 계산된 확률을 pointer sum attention하고 MLE를 계산하여 가장 적합한 단어를 정답으로 선택하게 된다.
모델 구조가 다른 복잡한 모델들보다는 심플함에도 불구하고 좋은 성능을 낸다는 점이 논문에서 제안하는 모델의 가장 큰 장점이였다. 다만 토의중에도 이야기가 나왔지만, 정답을 document 내의 candidate words 내에서만 구할 수 있다는 한계점이 있어 이 모델을 어떤 문제에 활용해야 할지는 잘 떠오르지 않았다. 그래도 Attention을 활용한 텍스트마이닝 모델을 세미나로 처음 접해봐서 개인적으로는 흥미롭게 들었다. 발표자료를 하나하나 정성스럽게 만들고 이해하기 쉽게 설명해준 유연이에게 감사하다.

오늘 전체세미나는 ‘Text Understanding with the Attention Sum Reader Network’라는 논문을 주제로 유연이가 진행하였다. 문제 상황은 다음과 같다. 지문(Document)를 읽고 물음(Question)에 주어진 빈칸에 들어갈 가장 알맞은 단어를 고르는 것이다. 즉, 지문과 물음의 관계를 설명할 수 있는 특질을 추출하고 정답을 학습한다. 그 관계를 설명할 수 있는 것이 RNN 내 Attention 기능이다. 학습의 대상이 되는 데이터(input data)는 Document, Model guideline, Question 이며 Bidirectional GRU(Gated Recurrent Unit) 으로 Question에 대한 정답을 학습한 후 Attention기능을 바탕으로 그 정답을 도출한 이유를 설명하는 방식이다. 요즘 Attention을 적용한 연구 사례를 많이 접하는 것 같다. 신경망 모델 중 순차적 데이터에 직접적으로 적용할 수 있는 모델로 텍스트 데이터뿐만 아니라 제조공정 내 발생하는 설비 센서데이터에 예측 및 원인분석에 활용할 수 있을 것으로 생각한다. 특히 웨이퍼가공시 발생하는 설비 데이터(FDC, Fault Detection & Classification)데이터에 적용해 보면 재미있을 것 같다. 가지고 있는 데이터에 맞게 모델링하여 활용해 볼 계획이다.​

금일 세미나에서는 Text Understanding with the Attention Sum Reader Network라는 논문을 중점적으로 다루었다. 텍스트 데이터 분석의 한 분야인 Question Answering 모델의 한 종류이며 일반적으로 빈칸 뚫기 문제로 알려져 있는 cloze style question에 대한 답을 내는 것을 목적으로 한다. 해당 논문에서 취하고 있는 접근 방식은 문서 내에 존재하는 단어들과 문제에서 맞추고자 하는 빈칸에 들어갈 보기 단어들(candidates) 사이의 유사도를 측정하는 것이다. 문제와 문서(지문)과의 유사성을 측정하기 위해, 문서를 이해해야 하며 해당 논문에서는 Bidirectional GRU 모델을 사용해서 임베딩을 수행했다. 보기와 문서가 갖고 있는 임베딩 값들의 유사도를 측정하여 attention을 산출한다. 문서 내 동일한 단어의 attention 값들을 모두 합하여 ‘정답일 확률’을 계산하게 된다. 풀고자 하는 문제는 단순하지만, 문제를 해결하기 위해서 문서의 전체적인 흐름과 맥락, 내용을 이해해야 한다는 측면에서 의미있는 연구분야라고 생각되었다.

금일 세미나는 Text Understanding with the Attention Sum Reader Network라는 논문을 주제로 진행되었다. 이 논문에서는 colze-style, 즉 빈칸 채우기 문제를 푸는 방법에 대한 내용을 소개하였다. 주어진 문제 상황은 한 단락 정도의 지문을 기반으로 하여 빈칸이 있는 문제를 푸는 것인데, 주어진 지문의 내용을 이해해야만 문제를 풀 수 있기 때문에 지문과 문제의 관련성을 어떻게 정의 하는지가 중요하다. 지문과 문제를 잘 이해하기 위하여 텍스트 분석 분야에서 많이 사용하는 Bi-directional RNN 모델을 사용하였다. 지문의 각 단어는 RNN 에서 학습된 hidden state 의 Vector 로 표현될 수 있으며 이 vector 는 지문에 있는 단어의 순서를 반영하기 때문에 문장의 흐름을 가지고 있다고 볼 수 있다. 문제도 마찬가지로 RNN 을 이용하여 vector 로 표현할 수 있으며 지문의 단어 vector와 문제 vector 를 Bi-GRU 모델을 이용하여 단어별 softmax 값을 추출 할 수 있다. 추출된 softmax 값 중 높은 값에 해당하는 단어가 문제와 상관도가 높은 단어이므로 정답이라고 볼 수 있다. 텍스트 관련 연구는 많이 접하지 못한 부분이어서 오늘 세미나에서 다룬 내용을 정확히 모두 이해할 수는 없었지만 문장의 내용을 이해하고 문제를 풀 수 있다는 부분이 인상 깊었다. 텍스트 분야 연구는 일상생활에 밀접한 관계를 가진 연구들이 많아 더 흥미로운 분야로 생각되며, 오늘 세미나를 통하여 텍스트 분야 연구도 해보고 싶은 마음이 들었다.​

금주 세미나는 text understanding with the attention sum reader network라는 제목의 논문에 대한 소개로 진행되었다. 논문의 목적은 cloze-style question에 대한 적절한 답변을 찾는 기계학습 방법론을 만드는 것이며, cloze-style question은 paragraph 또는 document를 보고 주어진 문장의 빈칸에 들어갈 단어를 찾는 문제이다. Cloze-style question은 사람의 언어 능력을 평가하는 시험에서도 많이 사용되는 방식이기도 하다. 논문의 목적은 사람이 하는 것과 같이 cloze-style question을 잘 풀 수 있는 기계학습 방법론을 만드는 것이다. 논문에서는 base model로 text에 담긴 문맥을 반영하는데 효과적이라고 알려진 bidirectional RNN을 사용하였으며, 각각 document와 question을 독립적으로 embedding한 다음, 보기에 있는 단어들을 이용하여 답이 될 수 있는 보기들 중에서 가장 적절한 단어를 찾도록 model guideline을 추가하였다. 이러한 방법을 통해 같은 종류의 문제를 풀기 위한 다른 모델들 보다 더 좋은 성능을 얻을 수 있다고 한다. 주어진 document를 보고 특정 question의 답에 해당하는 것을 찾는 task는 다양한 분야에서 유용하게 사용될 수 있을 것이다. 보기가 주어지지 않은 상황에서 question에 대답하는 task를 연구한 논문들도 참고한다면 재밌을 것이라고 생각한다.

금일은 Text understanding with the Attention Sum Reader Network에 대한 세미나를 들을 수 있었다. 세미나는 이번 주제를 잘 이해시켜 줄 수 있는 예시에 대한 소개로 시작 되었다. 해당 예시는 토익 문제를 푸는 것과 유사한 사례였는데, Document(문제) 내에 있는 단어와 Question(질문) 과의 관계를 파악해 Question 내 빈 칸에 가장 적합한 답을 결정할 수 있게 해주는 것이었다. 먼저 해당 문제를 풀기 위해 여러 Document 내에 있는 모든 단어를 one-hot vector로 변환한 이후 RNN model을 활용하게 된다. 특히 Bi-RNN model을 활용하여 같은 시점에 있는 두 개의 hidden state 내에 있는 내용을 결합한 Context encoder 값을 계산한 이후 Question encoder 값과 유사도를 계산한 뒤, Softmax 함수를 활용해 확률 값으로 변환하게 된다. 앞서 계산한 확률 값을 바탕으로 Document와 Question 관계를 파악해 Question 내 풀어야하는 빈 칸의 가장 적절한 답을 구할 수 있게 된다. 이번 세미나는 비정형데이터 분석 수업을 들으며 Text Ming 및 모델링에 대한 내용에 대해 배우고 있는 내게 Text 관련한 또 한가지의 방법론에 대한 내용을 들을 수 있다는 점이 좋았다. 아직 Text와 관련된 내용에 대해서는 많이 부족하지만, 이번 기회를 바탕으로 Text에 대해 조금 더 관심을 가지고 공부 해봐야겠다고 생각했다. 사례 중심으로 좋은 세미나를 준비해 준 유연이에게 감사함을 표한다.

금주 세미나는 Text Understanding with the Attention Sum Reader Network라는 주제를 가지고 진행 되었다. 위의 알고리즘을 가지고 어떠한 지문 또는 기사가 주어졌을 때 그 지문을 가지고 어떤 관계가 있는지를 유추하는 것인데 문제 유형은 빈칸이 있는 문제를 맞추는 방식으로 실험은 진행되었다. 이진법인 컴퓨터 언어를 이용하여 One Hot Vector로 만들어서 실제 단어를 변환하는 방식이다. 모든 지문의 단어들은 벡터로 구성이 된다. 이렇게 입력된 Input을 가지고 Embedding Matrix를 통해 (1,N) Vector의 형태로 나오게 된다. 이후 문장을 해석하기 위해서 RNN model을 사용하고 Output을 생성한다. 그리고 지문안에 반복되는 단어가 많을수록 그 단어에게 많은 가중치를 부여한다. 이와 같은 알고리즘으로 인간이 더 효율적으로 양질의 데이터를 찾을 수 있도록 Text Mining에 많은 발전을 이룰수 있으면 한다.

오늘의 세미나는 “Text Understanding with the Attention Sum Reader Network”에 대하여 성유연님께서 발표 해주셨다. “Answering a Close-style Question”에 대한 내용으로, 대학 입시 문제와 같이 장문의 지문과 함께 빈칸이 뚫린 문제가 주어지면 컴퓨터가 빈칸의 답을 맞추는 방식이었다. 문제를 해결하기 위에 논문에서는 지문, 질문, 답안을 Tokenize하고 One Hot Vector로 분류하였으며 이를 RNN기법을 통해 학습시키고 이를 Softmax classifier로 Score하는 방식이었다. 기술의 발전이 신기하면서도 해당 기법은 지문/질문/정답 사이의 관계를 통해 Score를 내는 방식으로 정답지가 없는 Open Question에서는 어떻게 동작할 수 있을지 연구해 봐야겠다는 호기심을 자극한 세미나였다.

​금일 세미나에서는 유연이가 논문을 소개해주는 시간을 가졌다. 이 논문이 풀고자 하는 문제는 우리가 영어 시험에서 흔히 볼 수 있는 지문이 주어지고 빈칸에 적절한 어구를 채우는 문제다. 특히 빈칸을 채울 때 주관식이 아니라 10개의 보기 중 가장 적절한 어구를 선택하는 데이터셋을 대상으로 한다. 이러한 문제를 풀기 위해서는 주어진 지문을 잘 이해하는 것이 중요하다. 따라서 이런 문제를 NLP 에서는 machine reading comprehension이라고 한다. 논문의 저자는 이 문제를 풀기 위해 NLP에서 흔히 사용하는 bidirectional GRU를 사용하여 machine이 지문과 질문을 이해할 수 있게 하였고 RNN 레이어의 출력으로 attention을 이용하여 빈칸과 가장 연관성 높은 어구를 도출할 수 있도록 했다. 오늘 소개한 논문이 2016년도에 IBM에서 연구한 내용인데 최근의 machine reading comprehension 연구가 얼마나 발전했는지 궁금해 졌다.

문장의 빈칸을 채우는 문제는 그 것의 해결을 위해 언어에 관한 다양한 이해능력을 요구한다. 가장 큰 두 가지는 올바른 형태의 단어 선택을 위한 문법적 이해능력과, 전체 글의 내용적 일관성을 유지하는 단어의 선택을 위한 문맥적 이해능력이라고 생각한다. 본인의 경험에 비추어 볼 때, 제2외국어인 영어의 학습은 이 두 가지 이해능력을 규칙에 기반한 문법과 독해 공부를 통해 개별적으로 이루어졌다. 하지만 모국어인 한국어의 학습은 이 두 가지 능력을 어린 시절부터 접해온 수 많은 문장을 통해 동시적으로 이루었다. 어떤 방식이 언어의 표면적 구조와 내적 의미를 더욱 효과적으로 학습할 수 있는 걸까? 경험적 논리에 의한 나의 답은 자명하다.
오늘의 발표는 제시된 지문을 읽고 해당 지문과 관련된 새로운 문장에서 빈칸을 채우는 문제를 머신이 해결하는 방법론에 대한 것이었다. 모델은 2개의 Bi-GRU 네트워크와 말단의 소프트맥스 층을 통해 빈칸에 들어갈 단어의 후보 중 하나를 선택한다. 각각의 Bi-GRU는 제시된 지문과 빈칸이 포함된 문장의 단어 임베딩을 인풋으로 하여 문장의 구조를 학습하고, 지문에 속한 각 단어의 잠재변수와 빈칸 문장의 요약정보를 출력한다. 두 네트워크의 출력은 내적되어 소프트맥스 함수를 거침으로써 빈칸 문장과 단어들에 대한 유사도가 계산된다. 이 때 같은 단어의 소프트맥스 결과값은 서로 더해져 계산된다.
본 모델에 사용된 RNN기반 네트워크는 문장을 기반으로 문법과 문맥을 동시에 학습한다는 점에서 본인이 모국어를 학습한 방식과 유사해 보였다. 뉴럴넷이 인간의 뇌신경을 모방한 것과 같이 머신의 학습 방식도 인간의 방식을 모방하면 좋은 성과를 낼 수 있다고 생각해왔는데 이는 이번 연구와 같은 현대의 연구 결과들을 볼 때 어느정도 타당한 것으로 보인다. 훌륭한 연구의 영감을 얻기 위해서 지속적으로 인간을 관찰 해야겠다고 생각했다.

오늘 세미나는 question answering task 중 cloze style question (빈칸추론) 문제를 해결하는 RNN attention 기반 모델에 대해 다루었다. 2016년에 처음 제안된 내용으로, sequence-to-sequence learning에 대해 어느 정도 이해도가 뒷받침된다면 아이디어는 단순하다. Pointer Network에서 사용하는 hard attention 기법을 사용하여 보기 중에서 빈칸에 해당하는 단어를 '주어진 입력문장으로부터 추출’해내는 방식을 사용한다. 입력문장을 학습하는 RNN 모델(encoder)은 bidirectional GRU를 사용하고 있으며, 질문을 학습하는 모델(decoder)은 single directional GRU를 사용하여 동일한 차원의 벡터로 변환한다. 그 이후 입력문장의 모든 단어벡터와 질문벡터 간 유사도를 계산하여 attention score를 구하고 attention의 가중치로 사용한다.
최근 1~2년간 자연어처리 분야가 눈에 띄게 많은 성장을 보이면서 본 논문에서 제안하는 모델보다 복잡하고 탁월한 성능을 보이는 모델이 많다. 물론 이 논문이 현재의 수준을 만드는 데 기여를 하지 않았다고 얘기할 순 없겠으나, 자연어처리 분야의 특성상 최신 연구 트렌드를 빠르게 접하는 것이 중요하기 때문에 최신 연구도 함께 소개되었다면 더 좋았을 것 같다. 최근 트렌드를 보자면 Transformer 구조에 기반한 multi-head attention 계열의 모델, 특히 BERT가 여러 자연어처리 task에서 탁월한 성능을 보인다. 이미지에서 ResNet이 표준으로 잡힌 것처럼, 자연어처리도 베이스라인이 BERT로 수렴하는 과도기라고 생각한다. 더 gap이 벌어지기 전에 연구실 내부적으로 항상 최신의 연구를 접하려고 노력하면 좋을 것 같다.

금일 세미나는 Text Understanding with the Attention Sum Reader Network에 관한 주제로 진행하였다. 텍스트에는 단어 간에 관계를 파악하는 경우도 있다. 이러한 관계를 파악하여 다양한 문제를 해결할 수 있게 된다. 이러한 텍스트의 단어들은 분석을 위해 벡터로 표현할 수 있는데 one-hot-encoding 후 hidden size로 vector embedding을 하여 분석이 가능하도록 데이터를 만든다. 만든 데이터를 가지고 Document와 Question으로 나누어 각각 bi-GRU을 적용한다. 여기서 나온 Document와 Question의 context encoder를 내적을 통하여 각각의 word embedding사이의 유사도를 파악한다. 이를 softmax함수를 적용하여 document에서 단어의 확률을 구한다. 이렇게 구한 여러 단어의 확률에서 같은 단어들의 확률을 합하여 최종적으로 내보내게 된다. 빈칸 채우기 문제를 예로 들어 발표를 들었는데 이해가 쉬웠고 흥미 있는 주제였다. 최근 텍스트 분석에 관한 주제에 대해 다양하게 생각하고 있는데 아직 텍스트와 관련된 내용에 대해 부족한 점이 많았다. 이번 기회로 텍스트에 관심을 갖고 다양한 방법론을 공부해야겠다고 생각했다.

​오늘 세미나는 유연이가 “Text Understanding with the Attention Sum Reader Network”이라는 논문에 대해 진행하였다. 이 논문은 Comprehension Question 문제를 Attention과 Bi-GRU를 결합하여 해결하는 것을 목적으로 한다. Comprehension Question이란 어떠한 Document가 주어지고 그 Document를 요약한 문장에서 들어갈 단어를 맞추는 문제이다. 모델에서 정답은 요약한 문장과 Document내에 있는 모든 단어와 Similarity를 계산하여 가장 가까운 단어를 선택한다. 이때, 같은 단어는 Attention aggregation을 사용하여 Similarity를 계산하게 된다. 여기서 선택지가 주어지는데 이것을 Model Guideline이라고 한다. 사실 모든 단어에 대해 가장 정확한 단어를 찾아야 한다고 생각 되지만 이 논문에서는 선택지 중 하나를 선택하게 하였다. 아직 사람보다는 낮은 정확도를 보였지만 유의미한 결과라고 생각된다. 오늘 세미나를 깔끔하고 열심히 준비해준 유연이에게 감사하다는 말을 전하고 싶다.​