어텐션 (Attention)

학습능력이 뛰어난 사람과 그렇지 못한 사람의 가장 큰 차이는 핵심을 파악하는 능력이다. 즉, 학습해야 할 자료에서 무엇에 집중해야 할지를 빠르게 알아차리는 능력이다. 학습능력이 떨어지는 사람들은 무엇을 하려 할 때 모든 것이 다 중요해 보인다. 이 때문에 특별히 집중해서 힘을 쏟아야 할 부분을 파악하지 못한다. 바로 이러한 개념을 바탕으로 한 인공지능 기술이 어텐션이다. 어텐션은 인공지능이 학습할 때 특별히 집중해야 할 부분을 알려 주는 기술이다. 수학적으로 설명하면, 하나의 대상을 여러 부분으로 나누고 각 부분마다 중요도를 계산하여 이를 가중치의 형태로 부여한다. 이 가중치를 딥러닝에서는 어텐션이라고 부른다. 어텐션은 사람이 결정하는 것이 아니라 여러 단계를 거쳐 비용함수가 최소화가 되는 방향으로 자동 결정된다. 핵심을 파악하는 능력은 살아가는데 매우 중요하다. 질문을 할때도, 답변을 할때도, 대화를 할때도. 요즘 국회 청문회와 국정감사를 보면 우리나라 국회의원들에게 가장 부족한 부분이 바로 이 어텐션 능력이 아닌가 생각된다.  

One of the biggest differences between people who are good learners and those who are not is their ability to identify the key points - that is, to quickly recognize what to focus on in the material they need to learn. For people who are not good learners, everything seems to be important when they are trying to do something. They don't know where to focus their efforts. Attention is an AI technology based on this concept. Attention is a technique that lets AI know what to focus on when learning. In mathematical terms, it divides an object into parts, calculates the importance of each part, and assigns it a weight. These weights are called attentions in deep learning. Attentions are not determined by humans, but are automatically determined through several steps to minimize the cost function. The ability to get to the point is crucial to life. Whether it's asking a question, giving an answer, or having a conversation. If you look at the parliamentary hearings and national audits these days, it seems that this ability is the most lacking among Korean lawmakers. 

Seoung Bum Kim. All Rights Reserved. No part of this document may be cited or reproduced without permission.