본 프로젝트의 목표는 반도체 공정의 가상계측(VM) 데이터를 통해 설비의 이상을 탐지하기위한 AI 모델을 구축하는 것이다. 이를 위해 공정에서 수집된 데이터를 2가지 방법(이미지데이터, 원본 데이터)으로 이상감지를 하였고, 이미지 분류 모델의 이상원인을 파악할 수 있는 프레임워크를 설계하였다. 1. 수집 데이터공정 내 여러 설비 데이터를 수집하였으며, 이상을 탐지하고자 하는 기준 설비 데이터를 파란색으로 표시하였다. 같은 공정 내 다른 설비들의 데이터를 회색으로 표시하였으며, 기준 설비의 PM진행시점을 초록색 선으로 표시하여 아래와 같은 이미지 데이터를 생성하였다. X축은 시간, Y축은 fab value를 나타낸다.2. 이상 데이터 정의이상이 발생할 수 있는 관심구간을 최근 1/7시점 정의하였고, 이는 이미지상 최우측 1/7시점이다. 관심구간 내 기준 설비 데이터가 다른 설비들의 데이터와 분포 차이가 클 경우, 관심구간이 과거 구간들(나머지 6/7 구간)과 다른 패턴을 보일 경우 이상으로 정의하였다. PM 진행 이후에는 일시적인 패턴 변화가 나타날 수 있기 때문에, PM 진행 이후 급격한 패턴 변화는 어느 정도 감안하였다.3. 이미지 데이터 이상 분류 및 이상 원인 파악기준 설비 데이터를 3가지 채널의 이미지로 생성하였다. 각 채널은 기준 설비 데이터, 기준 설비의 PM진행시점, 같은 공정 내 다른 설비들의 데이터의 정보들로 이루어져 있다. 또한 과거 구간 대비 관심 구간의 패턴 변화를 탐지하기 위해 아래와 같이 6개의 데이터 쌍으로 구성하였다. 샴 네트워크 모델은 한 쌍의 이미지들을 입력 값으로 받고 두 구간이 모두 정상을 경우 정상, 하나라도 이상일 경우 이상으로 이상으로 판단한다. 마지막으로 판단된 이상 확률 값에 grad-CAM을 적용하여 모델이 중요하게 간주한 부분을 확인하였다. Grad-CAM을 이용한 시각화 결과는 다음과 같다. 모델이 중요하게 간주한 부분은 붉은색으로, 그렇지 않은 부분은 파란색으로 나타내었다.4. 원본 데이터 이상 탐지서로 길이가 다른 데이터들을 동일한 길이로 맞추기 위해, 128구간으로 나누어 각 구간 내 통계량 값을 계산하였다. 이후 anomaly transformer 모델을 학습하여 score를 계산하였다. 각 시점별로 계산된 이상 score 중 관심구간에 해당하는 값들을 기준으로 이상/정상을 판단하였다. 이러한 재구축 오차 기반 이상탐지 모델은 정상 데이터만을 이용하여 학습할 수 있다는 장점이 있다.

본 프로젝트에서는 전기자동차를 사용하는 상황에서 사용자, 충전소에 대한 충전 패턴 분석을 진행하여, 충전 상황의 패턴을 파악할 수 있는 프로토콜을 제시하고, 이를 바탕으로 최적의 의사결정을 내리거나 이에 도움을 주는 것을 최종 목표로 하였다. 세부 목표는 ① 전기자동차 사용자의 충전 패턴 예측, ② 충전소의 시간대별 정보 예측, ③ 충전소 군집화로 총 세 가지이다.충전소에서 전기자동차들이 충전을 진행한 내역이 기록된 데이터인 충전 세션 데이터를 이용하여 분석을 진행하였으며, 해당 데이터는 사용자 ID, 충전소 ID, 충전 시작 시간, 충전 종료 시간, 순충전량 등이 포함된다.1. 전기자동차 사용자의 충전 패턴 예측본 프로젝트의 첫 번째 목표는 충전 세션 데이터를 이용하여 사용자의 충전 패턴을 예측하는 것이다. 전기차 배터리는 사용자의 패턴에 따라 수명이 달라지기 때문에 해당 프로젝트에서는 사용자의 패턴을 파악하기 위해 확률분포, 머신러닝 방법론을 사용하여 패턴 예측을 진행하였다. 사용자가 얼마나 오랫동안 충전할 것인지, 얼만큼 충전할 것인지, 언제 다시 충전을 시작할 것인지, 배터리가 얼마 남았을 때 충전을 진행할 것인지에 대해 예측을 진행하였다. 확률분포는 실제 데이터를 바탕으로 추정된 분포를 통해 진행하였으며, 머신러닝 방법론으로는 부스팅계열의 모델을 사용하여 사용자의 패턴 예측을 진행하였다.2. 충전소의 시간대별 정보 예측본 프로젝트의 두 번째 목표는 기존에 충전소에서 획득할 수 있는 정보를 바탕으로 미래 시점에서 충전소의 전력 소모량과 방문 차량 수를 예측하는 것이다. 충전 세션 데이터로부터, 각 충전소의 시간대(1시간, 6시간, 24시간)별 전력 소모량, 방문 차량 수에 대한 시계열 데이터를 획득하고, 획득한 데이터에 대하여 순환 신경망 구조인 LSTM을 학습시켰다. 학습시킨 LSTM 모델을 활용하여 미래 시점들에 대해 시간대별로 전력 소모량과 방문 차량 수를 예측하고, 그 성능을 평가하였다.3. 충전소 군집화 분석본 프로젝트의 세번째 목표는 군집화를 통해 유사한 충전소를 하나의 군집으로 묶고 군집별 특성에 대한 다양한 인사이트를 도출하는 것이다. 이때 충전소ID를 기준으로 각 충전소의 충전기 모델 종류 그리고 시간대(24시간,1시간)별 특징 ( 충전량, 충전 연결 시간, 그리고 방문자 등)을 추출하고 K-Means Clustering을 진행하였다. 최종적으로 충전소의 군집화 결과를 시각화하여 각 군집들이 어떤 특징을 보이는지 분석을 진행하였다.

본 프로젝트는 다양한 설비들이 연속적으로 작동하는 디스플레이 photo공정에서 공정 지연을 유발한 인자(Glass)를 탐지하고 원인이 되는 단위 공정(Unit)을 해석하는 것을 목표로 수행되었다. 여러 공정을 통과할때마다 걸리는 시간 데이터(Tack time)를 연속적으로 반영하여 특징을 추출하고 해석하여 공정 지연이 되는 주요 원인을 작업자에게 전달하는 것이 핵심이며, 이를 기반으로 이상치 탐지 알고리즘과 해석 가능 모델을 설계하였다.1. 시계열 데이터 특징을 반영한 이상치 탐지 알고리즘 개발Photo 설비에서 공정이 가동되면 연속적인 시계열 특성을 갖기 때문에 본 프로젝트에서는 시계열 특징을 반영한 이상치 탐지 알고리즘을 개발하였다. 다양한 이상치 탐지 알고리즘을 사용하였으며 LSTM-AE, LSTM-VAE, MAD-GAN, Anomaly Transformer 그리고 USAD를 적용하였고 그 중 AutoEncoder와 GAN 구조를 함께 사용하는 USAD가 가장 우수한 성능을 보였다. 평가를 위해 정확도와 F1-score를 사용하였으며 추가적으로 설비 공정에서 사용되는 실제 정상 데이터 중 불량으로 잘못 예측한 비율인 과검률과 실제 불량 데이터 중 불량으로 올바르게 예측한 비율인 불량 검출률을 사용하였다.2. 주요 원인 진단이 가능한 해석 가능 모델 설계 및 해석 결과 검증해석을 위해 이상치 탐지 알고리즘을 모방하는 해석 가능한 보조모델에 대한 학습이 필요하였다. Autoencoder 모델을 생성하여 원본 데이터를 입력 값으로 학습이 된 이상치 탐지 모델로부터 얻어진 이상치 점수 데이터를 출력 값으로 활용하였으며 이상 정도에 따라 원인 unit을 정의 할 수 있었다. 또한 시계열이라는 특성을 반영하여 각 unit에 대한 주요 unit 추적도 가능하다. 

본 프로젝트의 목표는 반도체 공정 이력 기반 데이터를 통해서 제품 특성값 예측 및 효율적인 공정관리를 하기 위한 불확실성 인과 관계 모델을 구축하는 것이다. 예측에 영향을 미치는 주요 공정에 대한 해석 및 불확실성을 정량화하는 것이 핵심이며, 반도체 공정 이력 데이터에 존재하는 시계열성 및 공정 간 순차 정보를 반영하여 반도체 제품 특성값 예측을 수행하였다. 입력데이터의 분포가 시간에 따라 변할 수 있는 covariate shift 및 출력데이터인 제품 특성값이 다양하게 존재할 수 있는 multi-output 문제를 모델 학습에 반영하여 불확실성 인과 관계 모델을 고도화하였다.1. 반도체 공정 이력 기반 데이터 탐색 및 전처리반도체 공정 이력 기반의 시계열 데이터에는 범주형으로 구성된 공정 step 정보와 수치형 계측 데이터가 혼재되어 있으므로 각 데이터 타입별 적절한 전처리가 요구되며, 예측 알고리즘에 적용하기 위해 데이터 특성을 반영한 정제 과정이 필요하다. 이에 따라 주어진 데이터에 대한 데이터 탐색 및 전처리를 진행하였다.              2. 순차적 공정 데이터 특징을 반영한 해석 가능한 알고리즘 개발 및 불확실성 정량화공정 이력 데이터에는 각 공정 별 순차성이 존재한다. 본 프로젝트에서는 순차성을 반영하면서 동시에 결과에 대한 주요 공정 해석이 가능한 알고리즘을 제안하였다. 예측값과 입력값 사이의 관계 파악을 위해 모델에 내부적인 파라미터로 모델을 구성(model specific)하는 방식인 Attention mechanism을 활용하여 변수별 주요 해석이 가능하도록 모델을 구축하였다. 모델 구조에 stochastic feedforward attention layer를 사용하여 해석에 대한 불확실성 정량화가 가능하도록 하였다.  3. 시점에 따라 데이터 분포가 변경되는 상황 반영공정 데이터는 시점에 따라 데이터 분포가 변화하는 특성을 지니기 때문에, 이를 고려하여 cluster를 사전에 정의하고 각 cluster별로 모델 학습 및 검증을하는 2단계 모델링을 수행하였다. 본 프로젝트에서는 각 cluster별로 결과를 도출한 2단계 모델링 기법을 시점을 반영하지 않은 결과와 비교하여 성능 평가를 하였다.                                                                        4. 예측 알고리즘 주요 변수 해석 및 불확실성 정량화 시각화 결과아래 그래프는 공정 이력 데이터에 대한 주요 변수 해석 및 불확실성 정량화를 시각화한 것이다. 첫 번째 그래프는 주요 변수 해석에 대한 그래프이다. X축이 각 공정 변수들이며 Y축 값이 attention score이다. 제품 특성값 예측에 있어서 주요하게 영향을 준 변수를 확인할 수 있다. 두 번째 그래프는 주요하게 영향을 준 변수 상위 10개에 대한 불확실성 정량화 값이다. 제품 특성값 예측 결과에 대한 주요 변수 해석 및 불확실성을 확인할 수 있다.

본 프로젝트는 건설장비로부터 수집되는 센서 데이터를 기반으로 이상치 탐지 모델을 이용한 고장 예측 분석을 수행하였다. 이상치 탐지 모델을 활용한 고장 예측  분석은 차량 운행 중 정상적인 작업이 이루어지고 있는지 모니터링함과 동시에 비정상적인 활동이 탐지되었을 때 이상 신호를 알려줄 수 있다. 이 때 주로 사용되는 이상치 탐지 모델은 단일 클래스 분류 알고리즘으로 비정상 데이터가 적은 경우 정상 장비로부터 수집된 데이터만을 이용하여 정상/비정상을 판정할 수 있는 알고리즘이다. 본 프로젝트에서는 실시간 데이터 수집과정에서 차량 장비 별 편차와 열화 뿐만 아니라 다수의 외생 변수 등으로 인해 새로 수집되는 정상 데이터가 모델 학습 시 사용한 정상데이터와는 다른 경우도 발생하므로 정상데이터가 시간에 따라 달라지는 경우를 반영하기 위해 초기 학습된 이상치 탐지 모델을 장비에 탑재하여 이를 실시간으로 업데이트할 수 있는 적응형 학습(adaptive learning) 프로세스가 필요했다. 그리고 장비에 부착한 모델이 실시간으로 장비의 이상을 모니터링하는 것을 목적으로 했기 때문에 적은 컴퓨팅 파워로도 작동할 수 있는 적응형 학습 프로세스 이상치 탐지 모델인 Incremental PCA 재구축 기법 기반 이상치 탐지 모델을 활용했다. 또한 건설장비의 각 작업 상태별로 정상작동 센서 패턴이 다르기 때문에 (1) 주행 상태(CAN 시그널) 데이터를 활용한 작업 상태 분류 모델을 구축하여 주행 상태를 분류한 뒤, (2) 각 주행 상태별로 구축된 이상치 탐지 모델을 통해 고장을 진단하는 모델의 전체 프로세스를 구축했다.  구축한 이상 탐지 모델의 업데이트가 유의미하게 적용되는지 판단하기 위해 실측 데이터에 대해 임의의 분포 변화를 부여한 시나리오를 설계하여 모델을 평가했다. 이는 장비의 열화와 같이 정상 데이터가 초기 학습한 정상 데이터와 조금씩 달라지는 상황에도 적응형 학습 프로세스가 유연하게 대처할 수 있는지를 확인하기 위한 과정이었다. 실험 결과 휠로더의 경우 평균적으로 90% 이상의 이상 검출 정확도를 보였고 임의의 분포 변화를 부여한 시나리오에서도 적응형 학습 프로세스를 적용하지 않은 모델보다 높은 성능으로 이상을 검출하는 것을 확인했다.                                                  

무인내구성 검사를 위한 로드시뮬레이터를 작동 중, 부품의 노화 등으로 인해 문제가 발생하기도 한다. 이때 일반적으로 사용하는 trend 모니터링으로 검출하기 어려운 문제를 자동검출하여 검사를 자동으로 중지하고 차량의 추가 손상을 방지하는 것은 매우 중요하다. 본 프로젝트에서는 정상을 비롯하여 다수의 이상 클래스를 갖는 다채널 센서 데이터를 분석하여, 정상 및 이상 유형을 분류하고 원인이 되는 센서와 시간을 찾는 모델을 구축하였다. Hierarchical Feedforward Attention Network를 구축하여 sensor attention, segment attention 점수를 기반으로 원인을 해석했으며, 분류 성능 또한 향상시켰다. 특히, 데이터를 추가적으로 수집하는 과정에서 성능 향상을 보였기 때문에 추후 데이터를 추가 확보시 보다 더 나은 성능을 기대할 수 있다.

디젤 자동차에서 EGR 밸브의 경고등으로 인한 소비자 클레임은 빈번하게 발생한다. EGR 밸브에서 발생하는 이상을 탐지하고, 일어난 원인이 되는 센서를 분석하는 것은 현업에서 매우 중요하다. 본 프로젝트에서는 디젤 자동차에서 수집되는 multi-channel sensor data를 사용하여 EGR 밸브의 이상을 예측하는 모델을 구축하고, 설명력을 확보하기 위해 attention mechanism을 적용하였다. EGR 밸브의 이상은 차량 밸브의 목표 열림량과 실제 열림량의 차이를 이용하였으며, 센서와 시간대의 중요도를 단계적으로 파악하기 위해 hierarchical attention을 사용했다. 추가적으로, attention score를 기반으로 한 군집화 분석을 수행하여, 이상의 패턴을 유형화하였다.

반도체 물류시스템에서는 공정에 부착된 센서 데이터로부터 나오는 관리 지표를 기반으로 물류 흐름에 대한 모니터링이 이루어진다. 본 프로젝트에서는 1. 이상 탐지, 2. 이상 유형 군집화, 3. 분류 모델 구축의 3단계 과정을 거쳐 반도체 물류시스템의 비정상 원인분석을 위한 시그널 패턴 분류를 수행하였다. 이상 탐지 전 데이터의 시계열 패턴을 반영하기 위하여 구간 분할 및 슬라이딩 윈도우 전처리를 수행하였으며, 이상탐지 과정에서는 머신러닝/딥러닝 기반의 다양한 이상탐지 모델을 적용하여 이상탐지를 수행하였다. 탐지된 이상패턴에 대하여 군집화 작업을 통해 이상 원인에 대한 레이블을 부여하였으며, 할당된 레이블을 사용하여 새로운 데이터가 발생하였을 때 자동으로 정상과 이상 유형별 분류를 수행하는 분류 모델을 구축하였다.  특히 본 프로젝트에서 겪었던 레이블링 문제를 해결하기 위해 자동적으로 레이블을 할당하는 방법론을 개발하고 알려지지 않은 이상 유형에 대한 분류를 가능하게 하는 open set 분류 모델을 구축함으로서 활용 가능성을 높였다.                                                          

최근 주행 차량에 다량의 센서가 부착되면서 다채널 타임시리즈 데이터가 확보되고 있다. 또한 이러한 데이터를 분석하여 패턴을 파악하는 것이 다양한 목적을 위해 사용되고 있다. 본 과제에서는 스트레인 센서로 부터 확보된 스트레인 행렬값으로 하중 센서로 부터 확보된 하중 행렬 값을 도출해내는 목적을 띄고 있다. 다음과 같은 작업이 수행되면 하중을 측정하기 위한 센서를 머신러닝을 사용한 센서 값으로 대체가능하게된다. 따라서 하중을 측정하기위해 사용되는 센서 비용, 센서 부착 비용 및 데이터 수집 비용 등을 절감할 수 있는 효과를 지니게 된다. 본 과제에서는 이를 해결하기위해 Time-lag을 고려한 딥러닝 예측모델을 사용하였다. 센서 간의 time-lag을 반영하기위해 입력 데이터를 window 단위로 관측치를 변경하였고 따라서 t시점의 하중예측을 위해 t시점의 x값 뿐만 아니라 그 전 시점의 다시점 x값이 사용된다.  이와 같은 방법은 time-lag을 고려하지 않은 방법론과 비교하여 예측 성능을 크게 향상시킬 수 있었다.