오늘 전체세미나는 ‘Explainable Artificial Intelligence Algorithm for Root Cause Analysis in Manufacturing System: Class Activation Mapping’이라는 주제로 진행하였다.
최근 제조공정이 복잡하고 고도화되며 미세한 원인으로부터 발생하는 불량을 탐지하기 어려운 실정이다. 그리하여 품질불량을 탐지하기 위해 다채널 센서데이터 기반 품질예측 및 원인분석 방법론의 필요성이 대두되고 있다. 본 세미나에서는 철강공정 내 발생하는 FDC(Fault Detection and Classification) 센서데이터를 기반으로 고차원 데이터 특질 추출에 효과적인 CNN(Convolutional Neural Network)으로 예측모델을 구축하고CAM(Class Activation Mapping)을 적용한 원인 분석 방법론을 소개하였다. 먼저 Class Activation Mapping(CAM)은 CNN모델에 적용하는 시각화 기법으로 충분한 예측성능이 확인되었을 때 마지막 Convolutional layer에 예측값에 대한 가중치를 적용(weighted sum)하여 예측 시 중요하게 살펴본 구간을 높은 확률값을 갖게 한다. 이를 Class Activation Map으로 정의하고, 본 연구에서는 공정센서데이터(레이블: 불량률)를 2차원 데이터(공정수행시간X변수-센서ID)로 디자인, CNN회귀모델을 구축한 뒤 관측치마다 CAM을 산출하였다. 각 관측치별 CAM은 관측치를 설명하는 중요구간으로 이를 변수(센서ID)선택 및 원인구간 탐색에 적용하였다. 모든 관측치에 대해 중요했던 변수 및 원인구간을 탐색하기 위해 각 관측치별 CAM을 모두 합산한 Global-CAM을 도출하였고, 이중 높은 확률 값을 갖는 변수(센서)를 선택하였다. 또한, 선택된 센서 내에서도 높은 확률 값을 갖던 구간을 선택하였다. 불량률이 낮은 관측치 100개와 불량률이 높은 100개의 센서데이터 패턴을 살펴보았을 때 중요구간에서 차이가 큰 것을 확인하였다.
개인적으로 제조공정 내 원인분석 연구를 진행하며 아이디어를 공유하고 싶었는데 발표 간 많은 토의가 이루어져 향후 보완해야할 부분을 명확히 알 수 있었다. 외부에서도 본 세미나를 청하려 오신 분들이 있었는데 공정 상황에 대한 코멘트도 도움이 되었다. 본 연구에 대한 피드백을 반영하여 추후 좋은 연구결과로 이어지도록 해야겠다.

​

Deep learning은 일반적으로 기존의 알고리즘 보다 좋은 성능을 보인다고 알려져 있다. 반면에 black box모델로써, 해석이 불가능하다는 단점이 있다. 이러한 단점을 극복하기 위해 제안된 방법이 Classification Activation Map(CAM)이다. 구축된 CNN의 마지막 layer의 각 채널을 시각화 하여 분류가 일어날 때마다 어떤 부분의 가중치가 커지거나 작아지는지 확인할 수 있는 시각화 방법이다. 일반적으로 CAM은 classification 문제에 적용이 되나, 본 세미나에서는 CAM을 regression 문제에 적용하고, 이를 통해 변수 선택을 진행하였다. 적용을 다른 범위에 넓혔다는 점에서는 매우 흥미로운 연구방법이란 생각이 들었다. 그러나 다수의 값을 aggregate를 통해 최종 변수를 선택하였는데 이와 같이 접근하는 과정에서 값이 고유의 성질을 잃어버릴 수도 있다는 우려가 있다고 보인다. 따라서 구축된 CAM에서 변수선택을 위한 부분에 대한 개선이 있다면 좀더 좋은 연구가 될 것이라 생각한다.

금일 세미나는 Explainable Artificial Intelligence for Root Cause Failure Analysis in Manufacturing System: CNN & CAM에 관한 주제로 진행되었다. 지난 학기 품질공학에서 다루었던 주제라서 다른 주제보다는 편하게 들을수 있었다. 제품을 생산할때는 수많은 센서들을 거쳐서 생산이 이루어 진다. 하지만 센서가 많이 있다보면 사람이 센서 하나하나를 다 확인하는것은 불가능하다. 그래서 센서의 전반적인 부분을 시각적으로 보면 훨씬 확인하기 쉽다. 각 변수(센서)들의 중요도를 나타냄으로써 어떤 변수가 불량에 영향을 많이 주었는지 알수 있다. 각 제품들의 CAM을 한번에 모아서 Global-CAM으로 만들어주어 전체적으로 불량률에 영향을 주었던 변수들을 볼 수 있게 해주었다. 하지만 전체적으로 보여주게 되면 각각의 제품불량에 영향을 미치는 변수들이 나타나지 않고 가장 많이 영향을 주었던 변수들만 나타날 수 있다. 따라서 각각의 제품에 영향을 미치는 변수들을 잘 가지고 가면서 전체적인 변수도 잘 나타낼수 있는 다른 방법이 있을지 생각해보아겠다.

오늘 세미나는 공정 데이터를 사용한 품질 예측 및 원인 분석이었다. 일반적으로 가공 공정 내 수집되는 다채널 센서 데이터로 다양한 공정 상황을 판단할 수 있다. 그러나 더 나아가 그 원인을 머신러닝으로 분석하는 연구들이 많이 진행되고 있다. 오늘 발표자는 이를 Class activation map(CAM)이라는 CNN내의 시각화 방법으로 해결하였다. 기존에 CAM은 CNN으로 이미지를 분류하고 모델이 이미지내 어떤 부분을 보고 판단을 내렸는지 분류 모델에 적용된 사례였다면, 해당 연구는 다채널 센서 데이터를 이미지화하여 예측 모델로 변경하여 적용되었다. 예측할 레이블이 불량률로 철강공정 내 생산 품질을 나타내는 연속형 변수였기 때문이었다. 프로젝트로부터 파생된 연구이기 때문에 해당 불량률을 예측하는 모델의 성능을 높이는 결과가 최우선으로 진행되었으며, 그 이후에 각 관측치 별로 얻어진 CAM 결과를 단순 합산하여 Global-CAM을 만들었는대, 오히려 이렇게 되면 불량률이 낮은 것부터 높은 것까지의 특성을 한 개로 뭉개면서 해석 결과의 손실을 얻게 되는 점에서 아쉬웠다. 토론을 하면서 나온 이야기 중 여기서 얻어지는 CAM을 데이터로 사용하여 분석하자는 의견은 매우 참신하게 느껴졌다. 센서 선택 관련 연구를 하는 나에겐 개인적으로 Global-CAM에서 구한 각 센서 별 중요도가 어떤 것을 의미할 것이며 다른 방법론들에서 뽑힌 결과와 다른 어떤 특징이 있을지 궁금하게하는 발표였다. 또 발표자가 진행 중이라는 RNN의 attention을 사용한 결과와 비교했을 때 어떤 해석이 될 지 추후 연구에 큰 관심이 가는 흥미로운 세미나 시간이었다. ​

금일 세미나는 CNN 와 CAM 기법을 활용한 제조공정의 품질 예측 및 원인 분석에 대한 내용을 주제로 진행 되었다. 제조 공정이 복잡해지고 고도화되면서 공정 내 미세한 원인으로부터 발생하는 품질 불량을 탐지하는 것은 더욱 어려워지고 있다. 최근 제조 공정의 품질 불량 탐지를 위하여 FDC 데이터 기반 품질 예측 및 원인 분석 방법론이 많이 연구되고 있다. 본 세미나에서는 FDC 데이터를 이용하여 품질 예측을 위한 CNN 모델을 구축하고, CAM 기법을 이용하여 어떤 FDC 데이터가 품질 예측에 주요하였는지 판단하는 방법론을 소개하였다. CAM 기법은 이미지 데이터 기반의 CNN 모델에 적용되는 시각화 기법이지만 본 세미나에서는 제조공정의 시계열 FDC 데이터에 적용하여 이미지 내 주요한 부분을 찾듯, FDC 데이터 내 주요한 공정 변수 부분을 찾을 수 있음을 보여 주었다. 평가 결과로 샘플 별 FDC 데이터에서 품질 수준 예측 후 예측에 주요하게 작용한 공정 변수를 보여 줌으로써, 품질 예측과 원인 분석에 대한 방법을 쉽게 이해할 수 있었다. 이러한 방법론은 활용하여 제조공정에서 발생하는 품질 불량을 사전에 제어하여 생산 효율을 높일 수 있고 안정된 공정을 유지하는데 도움을 줄 수 있다. Explainable AI 의 한 방법인 CAM의 개념에 대해 이해할 수 있었고, 활용 방법에 대해서도 생각해 볼 수 있었던 재미있는 세미나였다.

금일 세미나는 “Explainable Artificial Intelligence for Root Cause Failure Analysis in Manufacturing System : CNN & CAM” 라는 주제로 진행되었다. 이번 연구는 다채널 센서데이터를 인지하기 적합한 딥러닝을 사용하여 불량률을 예측하고, 원인 분석 방법론을 소개 하였다. 제품별 2차원 형태의 다변량 시계열 데이터 형성하여 분석데이터로 사용하고 CNN(Convolutional Neural Network) 회귀모델 구조를 이용하여 Activation function 을 “Linear” 로 사용하였다. 학습 데이터 및 검증용데이터에서 충분한 모델 적합도 및 예측 성능을 확인하였고, CAM(Class Activation Map) 을 이용하여 Global Average Pooling 이후 fully Connected Layer 로부터 예측 시 회귀모델구조에 맞게 “Linear” 로 변경하여 가중치 적용함. 그렇게 각 제품에 대한 CAM 적용함. 예를 들어 제품 1을 불량률 0으로 예측했다면 어느 부분을 보고 예측했는지 이미지로 밝게 표시하여 알 수 있도록 함. 그리하여 총 제품1000 개에 대한 CAM 정보를 합산하여 최종적으로 어느 부분이 불량률에 대한 원인구간인지 판단함.

이번 세미나로 인하여 이론으로만 배웠던 CNN 이 어떻게 사용되는지 알게 되었다. 해당 알고리즘으로 정확한 품질 예측하여 불필요한 계측을 줄이고 안정된 공정 수행을 유지 할 수 있도록 하는 실제 적용 사례를 보고 앞으로 어떻게 이론을 공부해야 할지 감으로 나마 알게 되어서 참 좋았다.

​이번 세미나는 Explainable AI for Root Cause Failure Analysis in Manufacturing System을 주제로 진행되었다. 철강제조공정에서 센서데이터를 분석했었던 프로젝트 사례를 기반으로 세미나가 구성되어 흥미로웠고 이해하기도 더 쉬웠다. 프로젝트는 크게 센서데이터를 분석하여 불량률을 예측하는 예측 모델링과 불량품을 감지하는 원인 센서를 찾는 원인 분석 방법론의 두 가지로 나눌 수 있다. Lasso나 Tree 계열 모형은 수많은 센서에서 초단위로 발생하는 시계열 특성을 반영하지 못하므로 Global Average Pooling 후 Fully Connected Layer에서 Linear activate function을 사용한 CNN 모델을 사용하여 불량률을 예측했다. 그리고 마지막 Convolution layer의 Feature map에 가중치를 선형결합하여 Class Activation Map을 만들어 원인 센서를 탐지하였다. 추가적으로 제품별 CAM을 합하여 Global CAM을 구축한 후 센서별 중요도를 계산하고 중요도 기준으로 변수를 선택하는 변수선택 방법론까지 진행하였다.

분류문제에 적합한 모델을 회귀모델로 변경하여 예측모델을 구측한 점, 중요변수를 찾기 위해 제품별 CAM의 합을 계산하여 변수별 중요도를 산출한 점이 흥미로웠던 발표였다. 그리고 프로세스에 대한 자세한 설명과 데이터 시각화 자료 때문에 이해하기도 쉬웠다. 다만 중요 센서가 후방에 연속적으로 선택된 점은 좀 의아했다. 개인적으로는 모든 제품의 CAM을 합한 것 때문에 이런 결과가 나오지 않았을까라고 생각했다. 불량품과 양품 각각 모델링하여 Global CAM을 구축해볼 필요가 있을 것 같다. 또한 토의 중에 이야기가 나왔던 것처럼 선택된 변수만으로 모델을 구성했을 때와의 성능 비교가 필요할 것 같다. 흥미로운 연구를 세미나를 통해 소개해준 윤상이에게 감사하며 XAI 관련 후속 연구도 좋은 성과를 내었으면 좋겠다. ​

오늘 윤상이가 “Explainable Artificial Intelligence for Root Cause Failure Analysis in Manufacturing System: CNN & CAM”이라는 주제에 대해 세미나를 진행하였다. 세미나는 윤상이와 창현이 형이 실제로 산학프로젝트를 진행하면서 연구했던 내용이었다. 최근 제조공정이 복잡해지고 고도화 되면서 제품 품질의 불량을 예측하는 것뿐만 아니라 원인을 찾고 분석하는 작업이 매우 어려운 상황이다. 이번 세미나에서는 딥러닝의 높은 정확도뿐만 아니라 해석력을 더하여 변수(센서) 선택 및 원인 구간 탐색을 할 수 있는 기법에 대해 알아보는 시간이었다. Class Activation Map(CAM)의 경우 대부분 Classification에 활용되고 있다. 세미나 발표자는 CAM을 Classification 문제에 적용하지 않고 Regression 문제에 적용하여 결과를 도출하였다. 정확도도 매우 좋았을 뿐만 아니라 Heat Map을 활용하여 중요한 센서와 중요한 구간을 시각화한 것이 흥미로웠다. 이로 인해 정확한 품질 예측으로 공정 수행 후 불필요한 계측 비용을 줄이는데 기여를 하였으며, 불량 원인 센서 및 구간을 시각적으로 보여주는 효과를 낼 수 있었다. 바쁜 와중에 퀄리티 높은 발표와 발표자료를 준비해준 윤상이에게 고맙다는 말을 전하고 싶다.

금번 세미나는 “Explainable Artificial Intelligence for Root Cause Failure Analysis in Manufacturing System : CNN & CAM”이란 주제를 가지고 조윤상님께서 진행해 주셨다. 해당 내용은 윤상님께서 철강제품의 불량에 대한 원인을 찾기 위한 산학과제에서 배웠던 점을 통해 전달해 주어 우리가 하고 있는 공부가 현업에 어떻게 활용될 수 있는지 볼 수 있는 유익한 시간이었던 것 같다.


해당 과제에서는 불량을 유발하는 원인을 찾기 위해 Sample별로 Sample 진행되는 각 공정별 센서 Data를 수집하였고, 선형 회귀분석을 통해 불량에 대한 중요 변수 및 원인구간을 찾아 CNN 모델 및 CAM(Class Activaion MAP)을 활용하여 Visualization하여 불량 구간을 눈으로 보기 쉽게 표현하였다. 수업시간에 배우고 있는 모델들을 직접활용하여 현업에 적용하였던 사례로 학습을 현업활동에 응용할 수 있는 방법을 배운 것 같아 느끼는 게 많은 세미나였다. 앞으로의 수업시간에도 이러한 활용도로 연구하여 현업에 즉각 활용할 수 있는 모델을 만들어야겠다고 생각했다.

금일 세미나는 윤상이가 ‘Explainable Artificial Intelligence for Root Cause Failure Analysis in Manufacturing System’ 이라는 주제로 진행했다. 이 주제가 흥미로운 이유는 딥러닝 모델은 블랙박스라고 불리고 있는데, 윤상이는 이 블랙박스를 해부하는 느낌의 세미나를 진행했다. 불량률이라는 출력변수에 대하여 예측을 진행하고, 이러한 예측 결과가 나오게 하는 센서를 찾는 방법에 관한 발표였다. 즉, 사후 분석을 하는 방법에 관한 내용이었다. 이 때 사용된 방법이 바로 CAM(Class Activation Map)이다. 해당 방법은 CNN모델로 사진에 특정 사물이 존재한다고 예측 될 때, 사진의 어느 부분을 보고 모델이 판단 했는지를 알려주는 알고리즘이다. 정형 데이터를 이미지 데이터와 같은 형태로 변환하고, 각각의 이미지 데이터에 CAM의 결과물이 나오게 된다. 해당 CAM결과물을 전부 합산해 Global-CAM을 만들어 전체 공정에서 불량품을 만드는 제품을 탐지하게 된다.



윤상이와 딥러닝과 관련한 이야기를 얻을 때 마다 배울 부분이 많다. 올 초, 공모전을 진행하면서도 end-to-end 개념부터 정형데이터를 이미지데이터로 변환하여 모델을 학습하는 방법 뿐만 아니라, 오늘 들은 CAM까지 말이다. 개념에 그치지 않고 코딩으로 개념을 구현 해볼 필요성을 느꼈다. 이것과 관련해서 나도 프로젝트에 적용 해보고 싶다. 또한 금일 방문하여 세미나를 함께 해준 삼성전자의 연구원들이 이야기 해 준 알고리즘 또한 지금 진행하고 있는 프로젝트에 진행해보고자 한다.

금일 세미나는 Explainable Artificial Intelligence for Root Cause Failure Analysis in Manufacturing System : CNN & CAM을 주제로 윤상이가 발표하였다. 최근 여러 분야의 제조 공정이 복잡해지고 고도화 되는 추세로 미세한 원인으로부터 품질 불량을 탐지하기 어려운 상황에 있다. 품질 불량을 탐지하기 위해 공정 상황을 면밀히 반영할 수 있는 센서 데이터가 필요하며 이 데이터에 대한 분석이 필요하다. 분석을 위해 센서데이터를 딥러닝 모델을 사용하여 불량률에 영향을 주는 변수와 원인 구간을 탐색하는 방법론을 설명하였다. 수집한 센서데이터를 CNN모델을 사용하였고 마지막 layer부분에 수치 예측을 위해 변경해주었다. 모델로부터 나온 예측은 CNN모델에 적용되는 시각화 기법 중 하나인 Class Activation Map(CAM)을 활용하여 예측 값에 대하여 추출된 특징들의 중요도를 확률적으로 보여주었다. CAM 모델에서 마지막 부분은 회귀 모델 구조에 맞게 변경해 주었고 각 제품에 대한 CAM을 더하여 전반적으로 어느 부분이 중요변수인지 혹은 원인 구간을 설정하여 보여주었다. 원인 구간을 선택하는데 있어서 각 column별 확률들을 합한 값으로 정의하였고 상위 k개의 주요 변수를 선택하여 어느 구간의 센서가 원인 구간이 되는지 알아볼 수 있었다. CNN 기반의 불량률 예측과 원인 분석을 위한 CAM 방법론을 설명하며 후에 제조공정에서 불량 탐지를 위한 다양한 연구를 할 수 있다는 생각을 했다. 또한 CAM에 대하여 다시 한 번 이론을 공부하게 되었고 분류 문제만이 아닌 예측 문제로도 활용이 가능함을 알 수 있었던 좋은 기회였다.

​금일 세미나는 explainable artificial intelligence for root cause failure analysis in manufacturing system: CNN & CAM이라는 주제로 진행되었다. 세미나에서는 제품의 불량률을 예측하기 위해 각 제품이 거쳐온 공정의 센서 데이터를 분석하는 방법론을 사용하였으며, 센서데이터를 효과적으로 처리하기 위해 CNN 모델을 사용하였다. 특이한 점은, 제품의 불량 여부가 아닌 불량률을 예측하기 위해 classification이 아닌 regression 모델을 사용했다는 점이다. 추가로 불량률에 영향을 주는 센서 (또는 해당 센서데이터가 수집된 공정)을 파악하고 원인분석을 수행하기 위해 class activation map 기법을 적용하였다. CAM을 통해서 개별 관측치마다 예측 값에 영향을 주는 센서를 잘 선택한 것으로 보였으나, 전반적으로 불량률에 영향을 주는 센서를 찾기 위해 모든 관측치의 CAM을 요약한 부분은 불량률 구간을 세분화하여 요약하는 방식으로 접근했으면 조금 더 의미있는 결과를 얻을 수 있었을 것 같다. 추가로 예측정확도에 따라 가중치를 부여하여 CAM을 확인하는 방식으로 진행을 한다면 좀 더 정확한 결과를 얻을 수도 있을 것이라고 생각한다.

오늘 세미나에서는 제조 설비로부터 얻어지는 센서 데이터를 활용하여 생산되는 제품의 불량률을 예측하고, 나아가 CNN 모델로 예측된 불량률에 기여한 변수별 기여도를 찾는 방법을 다루었다. 최근 딥러닝 방법론의 결과를 해석하려는 연구들이 꾸준히 그 모습을 드러내고 있는데, 오늘 세미나에서는 Class Activation Map (CAM) 기법을 regression 문제에 적용한 결과에 대한 토론이 이루어졌다. 기존 CAM은 예측된 class에 대한 logit score를 최대화하는 gradient를 쌓는 것이라면, regression에서는 예측한 regression 값을 갖게 만드는 gradient를 쌓는다는 점에서 차이점을 찾을 수 있을 것 같다. 겉보기엔 편미분에 기초한 동일한 작업이라고 볼 수 있으나, 엄연히 classification과 regression 상황에서 방법론의 미묘한 기술적 차이가 있을 것 같다. 이 부분에 집중해본다면 좋은 연구로 발전시킬 수 있다고 생각한다. 마찬가지로 이미지 데이터가 아닌 다변량 시계열 데이터이기 때문에 데이터 특성의 차이도 잘 고려해 볼 필요가 있을 것 같다. 아울러 해석가능한 딥러닝 모델을 만들기 위한 연구들이 CAM 이외에도 여럿 존재하고 있으니 살펴보면 좋을 것 같다.