이번 한국데이터마이닝학회 추계학술대회는 서울대학교에서 진행되었다. 지난 산업공학회와는 다르게 데이터 분석과 관련된 연구들만 발표되어 좀 더 익숙한 분위기에서 발표를 들을 수 있었다. 최근 몇 년간 계속해서 neural network와 관련된 연구들이 많이 발표되고 있는데, 그 수준이 이전보다 점점 높아지고 있는 것 같다. 특히, 이전에는 단순히 neural network를 기존 모델 대신 사용한 사례가 많았는데, 문제상황과 데이터에 맞게 다양한 구조/학습방법을 제안하는 경우가 많았다.

발표 후기
[발표 주제]
Deep Data Description Network

[발표 내용]
이상 탐지는 다양한 분야에서 활용될 수 있는 알고리즘으로, 잘 정의된 정상 데이터를 이용하여 모델을 학습하고, 새로운 데이터가 발생했을 때, 기존 정상과 유사한 데이터인지 아닌지를 판단하여 정상/이상 여부를 판단하는 알고리즘이다. 이상 탐지는 일반적으로 정상 데이터만 다수 보유하고 있으나, 이상의 종류가 다양하거나 이상을 정의하기 어려울 때 특히 유용하다. 본 연구에서는 이상 탐지에 사용할 수 있는 neural network를 이용한 one-class classification 알고리즘을 제안한다. 제안하는 알고리즘은 기존 neural network 기반 이상탐지 알고리즘에 비해 실제 이상탐지를 수행하는 feature space를 잘 학습할 수 있으며, 이를 통해 이상 탐지 성능을 개선할 수 있다.

[질의 응답]
Q1. 진행한 실험에서 하나의 클래스를 정상으로 정의하고, 다른 클래스를 이상으로 정의한 뒤 이상 탐지 성능을 확인하였는데, 하나의 클래스 안에서 이상한 관측치를 찾는 것이 더 의미가 있을 것 같다. 원래 그런 방식으로 검증을 수행하는 것인지, 아니라면 이런 방식으로 실험을 진행한 특별한 이유가 있는가.
A1. 말씀하신 실험 구성도 충분히 의미가 있다고 생각한다. 하나의 클래스 안에서 이상한 관측치를 찾는 task는 일반적으로 outlier detection이라고 하며, 제가 구성한 실험은 정상을 정의하고 정상과 다른 클래스를 찾아내는 anomaly detection task이다. 두 가지 모두 의미있는 task이지만 이번 연구에서는 anomaly detection에 초점을 두고 진행했으며, 제안하는 모델을 포함하여 one-class classification 알고리즘들은 outlier detection과 anomaly detection task를 모두 수행할 수 있다.

Q2. Kernel support vector data description의 경우, center에서 먼 관측치 일부를 원 안에 포함하지 않도록 hyperparameter를 통해 설정할 수 있는데, 제안하는 모델에서도 가능한가.
A2. 발표 시 설명을 생략하고 넘어갔으나, 제안하는 모델의 loss function에서 hyperparameter를 통해 tuning이 가능하다.

Q3. 기존 모델인 Deep SVDD의 단점에 대해 다시 한 번 설명해 줄 수 있는가.
A3. Deep SVDD는 objective function이 feature space상에서 compact한 hypersphere를 찾는 데만 집중되어 있으며, feature map이 어떤 특징을 지니도록 학습되지 않는 것 같다고 생각한다. 이것이 Deep SVDD의 단점이라기 보다는 이 부분을 보완하면 좀 더 의미있는 결과를 얻을 수 있을 것 같아서 해당 부분을 개선하는 연구를 진행했다.

Q4. 제안하는 모델의 결과물 중, 클래스를 설명하는 원의 radius에 의미가 있을 수 있는가. 예를 들어, radius가 크다면 해당 클래스의 variation이 크다는 방식의 해석이 가능한가.
A4. Neural network의 hidden layer에 대한 해석이 어렵기 때문에, 해당 공간에서 radius가 특별한 의미를 갖는다고 해석하기는 어려울 것 같다.

Q5. 제안하는 방법론이 어떤 특성을 가진 데이터에 잘 맞을 것이라고 생각하는가.
A5. 제안하는 방법론이 neural network 기반이기 때문에, 데이터의 특성에 맞춰 자유롭게 모델을 구성할 수 있다. 따라서 특정 데이터에 대해 잘 맞거나 맞지 않는다고 평가하기는 어려울 것 같다. 하지만 autoencoder의 feature space상에서 one-class classification을 수행하는 방법론인 만큼, 변수 하나하나는 큰 의미를 갖지 않지만, low-dimensional representation을 가지는 이미지나 시그널 데이터에 좀 더 적합하게 사용될 수 있을 것 같다.

청취 후기
Variable Selection and Prediction
전치혁 교수님께서 변수선택과 예측이라는 주제로 강연을 진행하셨는데, 이 세션이 가장 기억에 남는다. 가장 기본적이면서 가장 어려운 문제로, feature subset selection을 수행하는 방법론에 대한 연구를 여러 편 소개해 주셨다. 주로 사용하신 방법론은 conditional independence graph상에서의 Markov blanket이나, statistical test같은 확률 모델 기반이었는데, 짧은 시간에 이해하기는 어려웠다. 다양한 방식의 접근이 가능하다는 것을 알게되었으며, conditional independence graph를 이용한 feature subset selection 같은 경우에는 관심있는 주제이기도 해서 참고할만한 좋은 연구들을 접할 수 있는 기회가 되었다.
​