이번 세미나에서는 내가 연구하고 있는 Laplacian Autoencoder에 대해 소개하고 Laplacian Autoencoder가 이상치 탐지에 어떻게 사용되는지 간략하게 설명하였다. 내 연구의 결과보다는 연구원들에게 생소할 수도 있는 Laplacian 연산자의 의미에 대해 설명하고 왜 많은 연구자들이 Laplacian term을 Autoencoder와 결합시켜 연구를 하는지에 대해 전달하는 데에 집중했다. 이상치 탐지는 정상 데이터로부터 비정상 데이터를 구분해내는 방법론으로 데이터 불균형이 심한 경우에 적합한 대표적인 unsupervised learning method 중 하나이다. 따라서 데이터의 불균형이 심한 보험 사기 탐지, 암 진단, 불량 탐지 등에 활용될 수 있다. 이상치 탐지 방법론은 이상치를 정의하는 방식에 따라 구분지을 수 있다. 그 중 Reconstruction-based 방법론은 reconstruction error가 높은 관측치를 이상으로 구분하는 method로 간단한 원리에 의해 작동함에도 불구하고 좋은 performance를 낸다고 알려져 있다. Autoencoder는 입력 값을 비슷하게 복원하는 deep learning 계열 모델로 reconstruction-based 이상치 탐지에 쓰인다. Deep learning 계열이기 때문에 데이터의 비선형적 구조(manifold)를 implicit하게 반영할 수 있다. 하지만 이 구조를 보다 explicit하게 반영하기 위하여 Autoencoder의 loss function에 Laplacian regularized term을 추가하여 모델이 정상 데이터의 local pattern을 학습할 수 있도록 하는 시도들이 존재해 왔다. 이를 통해 original space에서 가까운 거리에 위치하고 있는 두 관측치는 embedding space에서도 가까이 위치할 수 있도록 학습된다. 여기서 등장하는 Laplacian은 유클리드 공간에 정의된 이차 미분 연산자로 ‘기울기의 발산’으로 정의된다. ‘기울기의 발산’이라는 것이 이해하기 쉽지 않으므로 어떤 데이터의 distribution을 예시로 들어 최대한 쉽게 설명하려고 했다. 결론적으로 Laplacian 값이 크면 original data가 발산하는 형태이고,작으면 수렴하는 형태임을 알 수 있다. 따라서 Laplacian 값을 통해 데이터의 비선형적 구조(manifold)를 추론해볼 수 있으므로 이 값을 이용하여 loss function에 penalty term을 주면 Autoencoder가 정상 데이터의 geodesic structure를 보존하는 쪽으로 학습이 된다. 끝으로 벤치마크 데이터를 사용한 실험에 대해 간략하게 소개했는데 교수님, 그리고 선배 연구원분들께서 모두 현실적이고 날카로운 feedback을 주셨다. 해당 feedback을 반영하여 내 연구 결과를 좀더 좋은 쪽으로 발전시키고 싶다. 이번 세미나를 통해 이상치 탐지, Autoencoder, Laplacian의 개념을 알아갔으면 하는 바람으로 준비를 했다. 개인적으로는 세미나를 준비하면서 Laplacian term에 대한 깊은 이해를 할 수 있었고, 세미나 시간에 연구에 대한feedback을 얻을 수 있어서 감사한 시간이었다.

​

오늘 세미나는 Graph Laplacian Auto-encoder를 이용한 Anomaly Detection 연구였다. 처음 시작은 Anomaly Detection에 대한 정의와 산업활용 사례 방법론의 종류에 대해 설명이 이루어졌다. Anomaly Detection Methods의 종류에 Density estimation approach와 Non-probabilistic approach, Reconstruction-based methods등을 구분하는 기준에 대해서 명확히 알고있지 못하였는대 그부분이 Anomaly score를 산정하는 방식에 따른 구분이라는 점을 집어주어 알 수 있었다. 매 세미나에서 어려운 용어를 풀어사용하지않고 용어 자체를 사용하는 것에 교수님께서 지적하셨었는대 그부분을 선율언니는 쉬운 용어로 풀어 설명해주어 처음 듣는 사람들에게도 이해가 될 수있도록 노력한 점이 매우 인상깊었다. 또 Autoencoder에서는 implicit하게 비선형적 특징을 학습하지만 Graph-laplacian term을 loss에 regularization term으로 추가하여 manifold를 반영하도록 explicit하게 비선형적 특징를 반영한다는 점에서 manifold가 비선형적 구조로 한글로 번역되어 그점이 오히려 혼돈을 줄 수 있다는 생각을 하였다. manifold를 기하학적 구조 혹은 다른 단어로 번역하는 것이 더 좋을 것 같다. Laplacian에 대한 이해와 정의를 쉽게 벡터장으로 설명해주어서 또, Laplacian Matrix가 어떻게 구해지고 어떤 의미를 지니는지 확실히 설명을 들어 배울 수 있는 시간이었다. 하지만 Laplacian Autoencoder에 대한 설명이 끝이나고 실험 설계와 실험 결과가 설명될 때 기존에 Laplacian Autoencoder의 쓰임이 어떤 곳에 사용되었는대 현재 발표자의 연구는 Anomaly Detection에 사용하였다는 점을 한번 더 언급해주었다면 연구의 Contribution을 캐치하기 쉬웠을 것같다. 선율언니의 차분하게 설명을 하는 톤과 발표 자세를 배우고 싶다는 생각이 들었다. 매우 유익한 시간이었다.

금일 세미나는 이상탐지 문제를 해결하기 위해 오토인코더 기법 연구를 소개하였다. 오토인코더는 뉴럴네트워크 계열의 비지도학습 알고리즘인데, 표상학습(representation learning)을 통해서 고차원인 데이터에 대해 타 알고리즘 대비 높은 성능을 보여서 널리 활용된다. 특히 오토인코더를 포함한 뉴럴네트워크 모델들은 깊은 레이어 구조로 고차원상의 복잡하고 비선형적인 데이터 구조를 잘 학습하는 것으로 알려져 있다. 최근 오토인코더 연구계보에는 일반화 성능을 개선하기 위한 다양한 연구가 있다. 대표적으로 sparse, denoising, stacked, 그리고 contractive 오토인코더 등이 있는데, 목적은 각기 다르나 노이즈 데이터에 강건하면서 예측성능을 높이기 위한 학습 알고리즘의 정규화라는데 맥락을 같이 한다. 금일 발표자는 라플라시안 매트리스를 오토인코더 학습에 추가 반영하는 일반화 연구를 소개하였다. 라플라시안 매트리스는 학습 데이터의 매니폴드를 표현할 수 방법인데, 샘플의 상대적 분포의 밀집도(density)를 반영하므로 매니폴드를 잘 인지함으로써 이상탐지 모델구축 시 정상데이터의 분포를 더 잘 반영할 수 있으리라 본다. 발표자인 채선율 연구원은 라플라시안 매트리스를 반영한 알고리즘의 예측성능을 비교실험을 통해 선보였다. 특히 기본 오토인코더와 합성곱오토인코더 모두에서 예측성능의 개선을 보였다는 점에서 명시적으로 매니폴드를 반영하는 부분의 중요성을 잘 보여주었다. 좋은 발표를 보여준 채선율 연구원에게 감사인사를 전하며, 금일 교수님과 동료 연구원들의 의견을 잘 반영하여 좋은 연구 성과를 낼 수 있기를 바란다.

금일 세미나 주제는 Graph Laplacian Auto-encoder for Anomaly Detection 에 대한 내용이었다. Anomaly detection 방법론은 정상 데이터로부터 비정상 데이터를 잘 구분해내는 방법론이다. Anomaly detection 방법론에는 여러 개의 방법론이 있는데, Anomaly score 인 정상과 비정상을 구분하는 정량화된 값을 산정하는 방식에 따라 구분할 수 있다. 이번 세미나에서 다룬 방법론은 Reconstruction-based 방법론이다. Reconstruction-based 는 데이터를 압축 후 다시 data를 복원한다. 여기서 reconstruction error 가 높은 관측치를 비정상 데이터로 판단하여 정상 데이터를 가지고 분석을 하게 된다. Auto-encoder는 모델의 capacity가 커서 이미지와 같은 고차원 데이터 처리가 가능하고 비선형적 구조를 implicit하게 반영할 수 있다.여기에 Laplacian regularized term을 더하여 비선형구조를 explicit하게 학습하는 방법을 배웠다. Laplacian은 유클리드 공간에 정의된 이차 미분 연산자로 기울기의 발산과 같은 값을 가진다. 데이터 분포에서 gradient 를 구하여 이를 벡터장에 표현을 하면 수렴하는 벡터장과 발산하는 벡터장이 생기게 되는데, 수렴을 하면 음의 값을 가지게 되고 발산하면 양의 값을 가지게 된다. 이렇게 Laplacian 값을 통해 데이터의 비선형구조를 알 수 있다. 또한 Laplacian matrix 는 그래프의 행렬 표현으로써 그래프의 유용한 특징을 찾기 위해 사용된다. 한 object에서 가까운 object의 개수를 diagonal matrix (D)로 표현하고 가중치 matrix(W)는 연결되어 있는 경우에는 1 아닌 경우는 0으로 주어 최종적으로 laplacian matrix L = D-W로 표현하고 값을 구할 수 있게 된다. 마지막으로 MNIST 데이터를 통해 autoencoder와 regularized term 을 더한 autoencoder의 결과 값은 좋으면서도 term을 더했을 경우 미세하게 큼을 알 수 있었다. anomaly detection은 많은 분야에서 사용되고 있는데 제조부분의 불량 탐지에 관심이 있는 나는 후에 오늘 배운 auto encoder와 term 을 더한 auto encoder에 대해 사용해보고 더 좋은 방법론들을 찾아보고 연구하여 불량 탐지에 관한 분야에 기여하고 싶다는 생각이 들었다. 오늘 발표해준 선율이 누나에게 고마움을 전한다.

금일 세미나는 Graph Laplacian Auto-encoder for Anomaly Detection이라는 주제를 가지고 진행되었다. Anomaly Detection이란 일반적인 분류와는 다르게 다수의 정상 데이터로부터 비정상 데이터를 잘 구분할 수 있는 모델을 학습하는 것을 목적으로 한다. 이때 자주 사용되는 방법이 데이터를 특정 공간에 임베딩 한 후, 복원시켰을 때 정상 데이터는 기존 데이터값과 복원된 값의 차이가 작고 이상 데이터는 차이가 큰 특징을 이용하여 이상을 구분하는 재구축 기반 이상치 탐지 기법들이다. 이 중에서도 고차원과 비선형적인 데이터의 패턴을 효과적으로 반영할 수 있는 오토인코더를 많이 사용한다. 하지만, 비선형적인 패턴을 반영한다고 하지만, '어떤 종류의 비선형 패턴'인지는 알 수가 없다. 이러한 단점을 해결하기 위해서 사용되는 기법이 loss function에 regularized term을 추가하여 비선형 패턴의 종류를 어느정도 특정지어 주는 것이다. Laplacian term을 추가하면 관측치들 사이의 기하학적, 그래프적 정보를 활용하기 때문에 로컬 패턴이 두드러지는 데이터들을 효과적으로 임베딩할 수 있다는 장점이 있다. 그래프와 관련된 연구들을 진행하는데 있어서 어려운 점들은 데이터의 그래프 구조를 결국 추정해야 한다는 점과, 이 때문에 실험에 적합한 데이터가 적다는 것이다. 그래프 구조를 반영한 군집화 알고리즘의 평가를 위한 시뮬레이션 스터디는 2~3차원의 데이터를 생성하기에 큰 어려움이 없지만, 오토인코더 알고리즘을 사용하는 만큼, 그래프 구조를 갖는 데이터를 인위적으로 생성하는 것 또한 어렵다고 한다. 사용하는 모델의 장점을 확실하게 보여줄 수 있을 만한 방법을 찾는 것이 중요하다고 생각된다.

금주 세미나는 Graph Laplacian을 활용한 Auto-Encoder에 대한 소개와 이를 Anomaly Detection 문제에 적용한 연구에 대해서 소개였다. Auto-Encoder는 Output이 Input과 동일한 값을 갖도록 만들어 주는 차원 축소 방법론으로, Auto-Encoder 기반 Anomaly Detection 방법론은 저차원공간으로 데이터를 사영시키는 과정에서 나타나는 정보손실 값을 Anomaly 지표로 사용한다. Neural Networks(NN) 모형을 기본으로 하기 때문에, 비선형 데이터에 대해 적용 할 수 있지만, Objective Function 자체를 비선형 패턴이 더 잘 반영 할 수 있도록 Graph Laplacian을 활용한 Auto-Encoder 연구가 존재한다. 본 세미나에서는 Graph Laplacian에 대한 개념 설명과 Anomaly Detection 문제에 적용한 연구 결과를 소개해 주었다. Graph Laplacian과 비선형성에 대한 관계 설명을 사실 매우 어려운 부분임에도, 발표자는 새로운 관점에서 소개해 주었다.

오늘 세미나에서는 Graph Laplacian을 이용해서 Auto-encoder의 Abnormality Detection 성능을 높이는 방법에 대한 설명을 들을 수 있었다. 일반적인 Auto-encoder는 Manifold 구조를 Implicit하게 학습한다. 그런데 Explicit하게 거리를 이용한 유사도 정보를 반영해주게 되면 Manifold 구조를 좀 더 잘 학습할 수 있다. 이러한 내용을 바탕으로 Graph-Laplacian-Regularized Auto-encoder가 제안되었다. 이 Auto-encoder를 사용하게 되면 Abnormality Detection을 좀 더 잘 할 수 있다. Auto-encoder를 이용한 Abnormality Detection은 Reconstruction Error를 이용해서 계산을 한다. Reconstruction Error가 크다는 것은 학습된 데이터 Manifold 구조에서 해당 관측치가 많이 떨어져 있음을 의미한다. 따라서 우리가 정상이라고 가정하고 학습한 데이터와 이질적인 데이터들을 이 Error를 이용해서 찾아낼 수 있는 것이다. 제안 방법을 통해 기존의 Autoencoder만 사용한 것보다 좋은 성능을 냈다. Explicit과 Implicit한 것의 차이점과 두 가지를 동시에 고려했을 때의 장점들을 잘 정리한다면 좋을 것 같다.

일반적인 분류모델을 각각의 클래스가 비슷한 수의 관측치를 갖을때를 가정하고 개발되었다. 그러나 대부분의 현실문제에서는 클래스 불균형 문제가 항상 따라온다. 그렇기 때문에 다수의 정상 클래스만을 학습하여 정상인지? 아닌지를 판단하는 abnormal detection은 매우 중요한 방법론이라 생각한다. 다양한 abnormal detection 방법 중 고차원의 데이터를 이해하기위한 autoencoder를 활용한 abnormal detection은 그 쓰임새가 점점 넓어진다고 보인다. 이번 세미나에서는 이러한 autoencoder를 기반으로 graph laplacian을 더하여 abnormal detection의 성능을 높이는 방법론 이었다. 여기서 본 연구의 가장 핵심이 되는것이 graph laplacian을 더하였다는 것이 중요한데, 쉽게는 데이터의 지역적인 패턴을 반영하는 하나의 방법쯤으로 이해 되었다. 단순히 한문장으로는 "기울기의 발산"이라고 하는데 어떤 개념인지 머릿속에 쉽게 그려지지는 않아 좀더 개인적으로 학습할 필요가 있을 것 같다. 기존의 autoencoder loss에 laplacian loss를 추가함으로써 결과적으로는 좀더 우수한 abnormal detection 성능을 보였다고 생각한다. 그러나 laplacian matrix를 계산하는 부분은 단점으로 생각한다. laplacian matrix를 계산하기 위해서는 관측치 X 관측치 만큼의 matrix가 필요하며, 현재와 같이 제안된 환경에서 실험을 할경우가 아니라 실제 환경에서 적용한다고 가정할때 연산량 및 matrix의 크기는 엄청나게 커지는 단점이 있다. 큰 laplacian matrix를 만드는 것도 계산 복잡도가 높지만 이를 학습하기 위해 full batch로 학습을 수행해야 하기 때문에 autoencoder 자체의 학습 속도도 많이 떨어질 것으로 예상할 수 있다. 이러한 부분은 본 연구의 약점으로 생각하며 이를 보완할 수 있는 추가적인 방법이 필요할 것으로 예상한다.

오늘 전체세미나는'Graph Laplacian Auto-encoder for Anaomaly Detection'이라는 주제로 선율누나가 진행하였다. 먼저 Anomaly Detection(이상탐지)은 밀도 추정, 비확률적, 재구축 기반 이 세가지 접근으로 방법론들이 개발되어 온다. 오늘은 재구축 기반 이상탐지 기법인 Auto-encoder(오토인코더)를 활용하여 현재 선율 누나가 연구하고 있는 Laplacian term을 오토인코더 목적식에 추가한 결과를 소개해 주었다. Laplacian은 유클리드 공간에 정의된 이차미분 연산자이다. 이 Laplacian 값은 데이터의 비선형구조(manifold)를 반영하는 특징을 갖고, Laplacian값들의 가까운 점들을 연결한 Graph를 행렬형태로 표현하는 것이 Graph Laplacian이다. 이 Graph Laplacian term을 오토인코더에 반영하고자 하는 것이 선율누나의 Idea다. Graph Laplacian의 특징으로 현실에서 얻을 수 있는 비선형적 데이터에 적용하여 보다 데이터 내 지역적 구조를 잘 반영할 것으로 보고, 이러한 성격을 오토인코더에 반영하여 이상탐지에 활용한 것이다. 이렇게 학습된 AE모델로 본 세미나에서는 MNIST데이터에 적용한 실험결과를 소개해주었다. 그 결과 DAE(deep autoencoder), CAE(convolutional autoencoder)보다 높은 이상탐지 성능을 보였다. 본 세미나로부터 Laplacian에 대한 면밀히 알 수 있었다. Laplacian이 갖고 있는 특징은 즉 비선형적 구조를 반영하는 것으로 이상탐지 외 다른 분야에선 어떻게 응용하는지, 또는 어떻게 응용할 수 있을지 궁금하다.

금일 세미나는 Laplacian Auto-encoder 에 관한 내용이었다. 이번 세미나의 목적은 Laplacian에 관해 이해하는 것이었다. 일반적으로 고차원 데이터를 별다른 가공 없이 사용하게 된다면, 많은 메모리를 사용 해야 하고, 계산 속도 또한 매우 느리다. 그래서 차원축소를 통해 데이터의 중요 부분 만을 사용한다. 이 때 사용하는 것이 Auto-encoder이다. Auto-encoder는 PCA의 non-linear버전이다. 단지 Auto-encoder만을 이용하게 된다면 데이터들의 구조를 제대로 반영하지 못하게 된다. Laplacian Auto-encoder에서는 Regularization Term을 이용하여 데이터들의 구조가 무너지지 않게 유지하면서, 차원축소를 진행 할 수 있다. 차원 축소를 진행하여 Laplacian Auto-encoder의 Decoder부분을 이용해 복원을 해도, 초기 데이터와 유사한 구조를 가지는 데이터로 복원 가능하다. Laplacian이 데이터의 구조를 그대로 유지하면서 차원축소를 하게 해주는 이유는 Laplacian Matrix 계산 방법에서 특정 데이터 포인트와 이와 연결된 포인트 사이의 관계를 같이 고려하기 때문이다. 실험에서도 Laplacian Auto-encoder가 기존 Auto-encoder보다 더 좋은 성능을 보여줌을 라벨 별 f1 measure값을 통해 알 수 있었다. 세미나를 들으면서 가장 인상적이었던 부분은 세미나가 특정 발표자의 일반적인 전달 뿐만 아니라 대화의 장의 역할을 하였다는 것이다. 실험을 진행할 때, Mini Batch와 Full Batch에 관한 토론, 어떻게 하면 다른 방법으로 데이터의 구조를 유지하면서 학습 방법이 존재 하는지에 대한 토의들이 있었다. Laplacian에 대해서 The divergence of Gradient라는 용어로 설명을 해준 자료들이 있었지만, 발표자에 의해 Divergence라는 것에 대해 이해 할 수 있었다. 또한 Auto-encoder의 또 다른 역할인 차원축소에 관해서도 생각해 볼 기회를 제공해준 선율누나에게 감사를 표한다.

오늘은 Autoencoder 에 Graph Laplacian Term을 추가해 데이터의 비선형적 구조를 명시적으로 학습하는 것에 대해 다루었다. 이상치 데이터를 탐지하는 것은 제조, 의료, IT보안 등 여러 산업군에서 필요로 한다. 차원축소가 목적인 Autoencoder 모델의 Reconstruction Error를 Anomaly Score로 표하였다. 본론에 들어가기에 앞서 Laplacian이 무엇인지를 스칼라 함수로 도식화해 설명해주었고, 이 스칼라 함수의 Gradient가 어떤 벡터장으로 형성되는지 발표했다. Term을 추가해 MNIST, CIfar-10 데이터셋의 실험 결과를 설명해 주었는데 대개 결과가 잘 나오는 데이터셋 보다는 실제 산업군의 데이터에 적용한 결과를 보고 싶었다. 이어진 Full Batch와 Mini Batch를 적용했을 때의 연구원들 간의 토의가 인상 깊었다. 끝으로 교수님께서 말씀하신 ‘명시적으로 학습’ 에 ‘증명이 추가되었으면 좋겠다’ 라는 코멘트를 내 스스로도 잘 새겨들어야 겠다고 생각했다. 바쁜 가운데 세미나를 준비해준 선율이에게 감사함을 표한다.

금일 세미나에서는 이상 탐지 문제를 해결하기 위해 Graph Laplacian Auto-encoder 기법을 적용한 연구에 대해 소개했다. 오토 인코더 기법은 고차원 데이터가 가지고 있는 비선형적인 구조를 implicit 하게 반영할 수 있게 한다. 발표자의 연구 방법론에는 이 오토 인코더에 Laplacian term을 추가하여 이러한 implicit한 부분을 explicit하게 학습하게 하도록 한다. 이 이유는 Laplacian term으로 regularization 했을 때 저차원으로 임베딩될 때 데이터의 구조를 잃지 않는다는 데에 있다. 실험은 Mnist 데이터를 이용했는데 결과적으로 이상 탐지의 성능이 더욱 증가함을 볼 수 있었다. Regularization term을 추가함으로서 기존 연구를 보완할 수 있는 의미 있는 연구라고 생각한다.

오늘 세미나는 Anomaly Detection을 할 때, Laplacian Autoencoder를 활용하는 방법에 대한 내용을 들었다. Anomaly Detection은 데이터의 패턴을 보고 다수의 정상데이터와 다른 비정상 데이터를 구분해 내는 것이다. 특히 이번 세미나는 데이터를 저차원으로 압축 했다가 복원하면서 원래 데이터 대비 Error가 큰 비정상 데이터들을 찾아내는 Reconstruction-based method에 대한 내용을 들을 수 있었다. 이 때 Autoencoder 방법을 활용하면 비선형성이 잘 반영된 모델을 만들 수 있지만 '왜?'인지에 대한 해석은 어렵다. 그래서 Laplacian 방법론을 활용해 모델의 비선형성을 조금 더 명시적으로 해석할 수 있게 할 수 있었다. 이번 세미나를 통해 모델의 성능을 개선 시키는 것 뿐만 아니라 모델의 해석력을 높이는 연구 또한 중요하다는 사실을 알았다. 이를 통해 연구의 결과를 바라보는 시각을 조금은 더 다각도로 생각할 수 있게 되었다. 앞으로 다양한 방법론을 공부할 때에도 단순히 모델의 성능 개선만이 아닌 다양한 시각으로 연구의 결과를 고민해보는 습관을 키워야겠다는 생각을 갖게 해준 뜻깊은 세미나 시간이었다.

금일 세미나는 Anormaly detection 에 대한 주제로 진행 되었다. Anormaly detection 이란 정상데이터로부터 비정상 데이터를 잘 구분해해는 것을 목표로 한다. 금융, 의료, 제조, 보안 등 여러 분야에서 Anormaly detection 이 이용되고 있다. 일반적으로 정상 데이터 대비 불량 데이터의 수가 적은 데이터 불균형이 심하기 때문에 일반적인 분류 모델로는 좋은 성능의 탐지 모델을 구축하는 것은 힘들다. 따라서 정상 데이터만을 이용하여 모델을 구축하여 비정상 데이터를 구별해 내는 방법의 anormaly detection 모델을 사용한다. 정상과 비정상을 구분하는 방법에 따라 density estimation approach, non-probabilistic approach, reconstruction-based methods 가 있다. 이 중 금일 세미나에서는 입력 데이터을 압축 후 복원하는 과정에서 발생하는 error 를 이용하는 reconstruction-based methods 에 대하여 좀 더 자세히 다루었다. 압축과 복원의 과정은 autoencoder 를 이용하여 진행 하는데, 이 경우에 데이터가 가지고 있는 비선형적인 구조를 implicit 하게 반영하게 된다. 이 부분을 explicit 하게 학습되게 하도록 autoencoder 에 regularization term 을 추가해 준 것이 laplacian autoencoder 이다. Laplacian term 을 통해 데이터의 지역적 관계를 보존하기 떄문에 저자원으로 임베딩할 때 데이터의 구조를 더욱 잘 반영할 수 있는 장점이 있다. Mnist 데이터셋을 이용하여 laplacian term 을 추가 하였을 때 이상 탐지 성능이 증가하는 것을 확인 할 수 있었다. 오늘 세미나에서 인상 깊었던 내용은 autoencoder 와 같은 기본적인 모델에 regularization term 을 추가 함으로써 더 좋은 성능을 얻을 수 있음을 보여준 것이었다. 데이터 구조에 맞는 regularization term 을 상황에 맞게 잘 구현해서 적용한다면 더 좋은 성능의 모델을 얻을 수 있을 것 같다. 다른 형태로 variation autoencoder 와 같은 경우에도 정규분포를 따르도록 저차원으로 임베딩하도록 제약 조건을 추가하게 되는데 이를 이용하여 데이터 생성이 가능한 새로운 모델을 구축할 수 있다. 금일 세미나를 통하여 평소 관심이 있었던 anormaly detection 에 대한 전반적인 이해와 관련 기법들을 정리할 수 있어 좋았다. 좋은 주제로 세미나를 진행해준 선율 연구원께 감사의 말을 전한다.

금일 세미나는 'Graph Laplacian Auto-encoder for Anomaly Detection'이라는 주제로 진행되었다. Anomaly Detection방법론과 ‘Laplacian’에 대한 개략적인 개념 소개와 더불어 Anomaly detection의 성능을 높이고자 Auto-encoder에 Laplacian term을 추가시킨 선율언니의 연구에 대해서도 알아볼 수 있었다. 먼저 Anomaly detection은 정상데이터로부터 비정상 데이터를 잘 구분해내는 방법론이다. 특히 일반적으로 데이터들이 갖는 특성인 데이터의 불균형이 심한 경우에는 정상 데이터만으로 모델을 구축하여 비정상 데이터를 구분하도록 한다. Anomaly detection방법론은 크게 세가지로 구분할 수 있으며, 구분하는 기준으로 anomaly score(기준점수)를 사용한다. 오늘 주목한 방법론은 reconstruction-based methods으로 데이터를 encoding과정을 거쳐 저차원에 주요 특징을 보존하며 사영시키고, 이후 decoding과정을 거쳐 복원을 시키게 되는데 이 과정에서 reconstruction error가 높은 관측치에 대해 비정상 데이터라 정의하는 방법론이다. Auto-encoder는 모델의 capacity가 커서 고차원 데이터에 대해서도 처리가 가능하며, 데이터가 가지고 있는 비선형적 구조를 반영하되 ‘implicit’하게 반영하고 있다. 다시 말해 어떤 비선형적 구조인지는 알기 어렵다는 의미이다. 어느정도 비선형적 구조를 ‘explicit’하게 정의 내리기 위해 기존 loss function에 Laplacian term을 추가시켜 원본데이터의 거리 정보를 반영할 수 있기 때문에 결과적으로 향상된 것을 확인해볼 수 있었다. 분석을 하기에 앞서 데이터의 구조를 반영하는 것의 중요도에 대해 인지하고 있지 못했는데 선율언니의 발표를 통해 데이터의 지역적,비선형적 구조에 대해서 인지하고 있어야겠다는 의식과 더불어 penalty term을 정의하기 위한 고민, 실험에 적합한 데이터를 구축하고, 과정에 있어서도 고려해야할 사항이 많다는 것을 깨달을 수 있어 의미 있었다. 흥미로운 주제를 소개해준 선율언니께 감사하고, explicit하게 정의내린 비선형적 구조의 사례와 추가적인 응용연구에 대해서도 알아보고 싶다는 생각이 남았다.

금일 세미나에서는 선율이가 Laplacian autoencoder를 활용한 이상치 탐지 연구에 대해 소개했다. Laplacian autoencoder는 semi-supervised learning에서 많이 활용되는 Laplacian regularization term을 autoencoder의 loss 함수인 reconstruction error에 더하는 방식으로 활용된다. 여기서 Laplacian regularization term은 비슷한 관측치는 비슷한 reconstruction value를 갖도록 학습을 유도한다. 비슷한 관측치는 사용자가 사전에 정의를 해줘야 하는데 주로 knn graph를 많이 사용하며 이를 graph Laplacian이라 부른다. 기본적으로 autoencoder가 데이터의 특성을 반영하여 잘 해줄것이라 가정하지만 이렇게 관측치 사이의 유사도 정보를 명시적으로 부여하여 학습할 경우 보다 좋은 성능의 모델을 얻을 수 있다. 하지만 어디까지나 knn graph가 데이터의 특성을 잘 반영한다는 전제를 필요로 한다. 이번에 선율이가 실험했던 이미지 데이터는 주로 manifold를 따라 분포한다는 가정을 하며 이러한 특징은 knn graph를 이용해 반영하는 것이 학계에서 많이 사용하는 방식이다. 하지만 관측치 사이의 정답 유사도 관계를 알 수 없는 상황에서 knn graph를 통해 추정하는 것은 bias를 초래할 수 있기 때문에 주의해야 한다고 생각한다.