본 프로젝트의 목표는 반도체 공정의 가상계측(VM) 데이터를 통해 설비의 이상을 탐지하기위한 AI 모델을 구축하는 것이다. 이를 위해 공정에서 수집된 데이터를 2가지 방법(이미지데이터, 원본 데이터)으로 이상감지를 하였고, 이미지 분류 모델의 이상원인을 파악할 수 있는 프레임워크를 설계하였다. 1. 수집 데이터공정 내 여러 설비 데이터를 수집하였으며, 이상을 탐지하고자 하는 기준 설비 데이터를 파란색으로 표시하였다. 같은 공정 내 다른 설비들의 데이터를 회색으로 표시하였으며, 기준 설비의 PM진행시점을 초록색 선으로 표시하여 아래와 같은 이미지 데이터를 생성하였다. X축은 시간, Y축은 fab value를 나타낸다.2. 이상 데이터 정의이상이 발생할 수 있는 관심구간을 최근 1/7시점 정의하였고, 이는 이미지상 최우측 1/7시점이다. 관심구간 내 기준 설비 데이터가 다른 설비들의 데이터와 분포 차이가 클 경우, 관심구간이 과거 구간들(나머지 6/7 구간)과 다른 패턴을 보일 경우 이상으로 정의하였다. PM 진행 이후에는 일시적인 패턴 변화가 나타날 수 있기 때문에, PM 진행 이후 급격한 패턴 변화는 어느 정도 감안하였다.3. 이미지 데이터 이상 분류 및 이상 원인 파악기준 설비 데이터를 3가지 채널의 이미지로 생성하였다. 각 채널은 기준 설비 데이터, 기준 설비의 PM진행시점, 같은 공정 내 다른 설비들의 데이터의 정보들로 이루어져 있다. 또한 과거 구간 대비 관심 구간의 패턴 변화를 탐지하기 위해 아래와 같이 6개의 데이터 쌍으로 구성하였다. 샴 네트워크 모델은 한 쌍의 이미지들을 입력 값으로 받고 두 구간이 모두 정상을 경우 정상, 하나라도 이상일 경우 이상으로 이상으로 판단한다. 마지막으로 판단된 이상 확률 값에 grad-CAM을 적용하여 모델이 중요하게 간주한 부분을 확인하였다. Grad-CAM을 이용한 시각화 결과는 다음과 같다. 모델이 중요하게 간주한 부분은 붉은색으로, 그렇지 않은 부분은 파란색으로 나타내었다.4. 원본 데이터 이상 탐지서로 길이가 다른 데이터들을 동일한 길이로 맞추기 위해, 128구간으로 나누어 각 구간 내 통계량 값을 계산하였다. 이후 anomaly transformer 모델을 학습하여 score를 계산하였다. 각 시점별로 계산된 이상 score 중 관심구간에 해당하는 값들을 기준으로 이상/정상을 판단하였다. 이러한 재구축 오차 기반 이상탐지 모델은 정상 데이터만을 이용하여 학습할 수 있다는 장점이 있다.

본 프로젝트는 다양한 설비들이 연속적으로 작동하는 디스플레이 photo공정에서 공정 지연을 유발한 인자(Glass)를 탐지하고 원인이 되는 단위 공정(Unit)을 해석하는 것을 목표로 수행되었다. 여러 공정을 통과할때마다 걸리는 시간 데이터(Tack time)를 연속적으로 반영하여 특징을 추출하고 해석하여 공정 지연이 되는 주요 원인을 작업자에게 전달하는 것이 핵심이며, 이를 기반으로 이상치 탐지 알고리즘과 해석 가능 모델을 설계하였다.1. 시계열 데이터 특징을 반영한 이상치 탐지 알고리즘 개발Photo 설비에서 공정이 가동되면 연속적인 시계열 특성을 갖기 때문에 본 프로젝트에서는 시계열 특징을 반영한 이상치 탐지 알고리즘을 개발하였다. 다양한 이상치 탐지 알고리즘을 사용하였으며 LSTM-AE, LSTM-VAE, MAD-GAN, Anomaly Transformer 그리고 USAD를 적용하였고 그 중 AutoEncoder와 GAN 구조를 함께 사용하는 USAD가 가장 우수한 성능을 보였다. 평가를 위해 정확도와 F1-score를 사용하였으며 추가적으로 설비 공정에서 사용되는 실제 정상 데이터 중 불량으로 잘못 예측한 비율인 과검률과 실제 불량 데이터 중 불량으로 올바르게 예측한 비율인 불량 검출률을 사용하였다.2. 주요 원인 진단이 가능한 해석 가능 모델 설계 및 해석 결과 검증해석을 위해 이상치 탐지 알고리즘을 모방하는 해석 가능한 보조모델에 대한 학습이 필요하였다. Autoencoder 모델을 생성하여 원본 데이터를 입력 값으로 학습이 된 이상치 탐지 모델로부터 얻어진 이상치 점수 데이터를 출력 값으로 활용하였으며 이상 정도에 따라 원인 unit을 정의 할 수 있었다. 또한 시계열이라는 특성을 반영하여 각 unit에 대한 주요 unit 추적도 가능하다. 

기존 통신망 관리는 운영자가 직접 도메인 지식을 통해서 이상 상태를 판단하고 임계값을 설정하였다. 하지만 데이터의 시계열적 특성 때문에 적절한 관리가 어렵고 시간과 비용을 많이 요구한다. 따라서 본 프로젝트의 목표는 효율적인 통신망 관리를 위한 AI기반 이상 탐지 모델을 개발이다. 먼저 이상 데이터 양이 매우 적기 때문에 오토인코더 기반 비지도 이상 탐지 방법론을 적용하였다. 오토인코더 기반 비지도 이상 탐지 방법론은 '학습 단계에서 정상 데이터로만 모델을 학습시키면 추론 단계에서 이상 데이터가 들어왔을 경우 제대로 복원하지 못할 것'이라는 가정 하에 프레임워크가 작동한다. 그리고 데이터가 5분 단위로 계측되는 시계열 데이터이기 때문에 시계열적 특성을 반영하기 위해서 LSTM autoencoder를 베이스 모델로 활용하였다. 또한, 데이터 소스 별로 여러 개의 모델을 학습시켜야 하는 번거로움을 해결하고자 데이터 소스를 임베딩하여 LSTM autoencoder의 초기 토큰으로 입력해 소스 통합 모델을 개발하였다. 마지막으로 epistemic uncertainty를 이용해서 정상/이상을 구분하는 기준인 임계값을 각 시점 별로 동적으로 설정할 수 있도록 스케일링 함수를 개발하였다. 본 프로젝트에서 구축한 이상 탐지 모델이 효율적인 통신망 이상 탐지 및 모니터링에 효과적인 기여를 할 것으로 본다.

본 프로젝트는 디스플레이 제조공정에서 정전기력으로 기판을 탈부착하는 정전척 공정을 효과적으로 관리하고자 한다. 따라서, 인공지능 알고리즘을 통해 (1) 정전척 공정에서 유발되는 불량을 선제적으로 예측하고, (2) 정량적 불량원인 인자를 제공하는 것을 목표로 설계하였다. 본 프로젝트에서는 불량과 정상의 불균형한 데이터 특징을 반영하기 위해 재구축 기반 이상치 탐지 알고리즘을 적용하였으며, 샘플별 불량에 대한 원인 인자를 도출하기 위해 model-agnostic 방법론의 대표적인 방법론인 SHAP, LIME을 적용하였다. 이 과정에서 재구축 기반 알고리즘에 직접적으로 model-agnostic 해석방법론을 적용하는 경우 기대하는 관점에서의 해석에 어려움이 있으므로 대리모델(surrogate model)의 구조를 변경하여 적절한 해석이 도출되도록 개선하였다. 본 프로젝트에서 구축한 불량검출력 및 해석에 대한 결과가 우수한 성능으로 도출이 되었으며, 제안한 프로세스가 해석이 가능한 이상치 탐지 알고리즘을 적용하고자하는 다양한 제조산업에 기여할 것으로 기대한다.

 한국에서 고랭지 배추에 대한 생산량을 파악하는 것은 굉장히 중요한 문제이다. 왜냐하면 여름철 배추를 생산하는 지역은 강원도가 유일하며 이곳에서의 생산량에 따라 물가가 변동하기 때문이다. 본 프로젝트에서는 고랭지 배추 주산지 3곳에 대해 촬영한 영상을 기반으로 농작물 재배지를 탐지하고 탐지한 농작물 재배지 내 재배가 불가능한 식생을 검출하는 기술을 개발하였다.  농작물 재배지 탐지 기술에는 의미론적 분할(Semantic segmentation) 기술을 이용하였다. 또한 영상 정합 기술을 사용 해 전체 재배지 이미지를 생성하고 이에 대한 전체 재배지를 탐지하였다. 다음으로  농작물 재배지 내 이상 식생을 검출하기 위해서는 비지도 학습 기반 이상 탐지 기술(Unsupervised abnormal segmentation)을 이용하였다. 수확량 예측뿐만아니라 영상 내 픽셀별로 이상 식생 점수를 산정하고 이를 Data-driven 식생 지수로 정의하며 새로운 식생 지수를 제안하였다. 

본 프로젝트는 건설장비로부터 수집되는 센서 데이터를 기반으로 이상치 탐지 모델을 이용한 고장 예측 분석을 수행하였다. 이상치 탐지 모델을 활용한 고장 예측  분석은 차량 운행 중 정상적인 작업이 이루어지고 있는지 모니터링함과 동시에 비정상적인 활동이 탐지되었을 때 이상 신호를 알려줄 수 있다. 이 때 주로 사용되는 이상치 탐지 모델은 단일 클래스 분류 알고리즘으로 비정상 데이터가 적은 경우 정상 장비로부터 수집된 데이터만을 이용하여 정상/비정상을 판정할 수 있는 알고리즘이다. 본 프로젝트에서는 실시간 데이터 수집과정에서 차량 장비 별 편차와 열화 뿐만 아니라 다수의 외생 변수 등으로 인해 새로 수집되는 정상 데이터가 모델 학습 시 사용한 정상데이터와는 다른 경우도 발생하므로 정상데이터가 시간에 따라 달라지는 경우를 반영하기 위해 초기 학습된 이상치 탐지 모델을 장비에 탑재하여 이를 실시간으로 업데이트할 수 있는 적응형 학습(adaptive learning) 프로세스가 필요했다. 그리고 장비에 부착한 모델이 실시간으로 장비의 이상을 모니터링하는 것을 목적으로 했기 때문에 적은 컴퓨팅 파워로도 작동할 수 있는 적응형 학습 프로세스 이상치 탐지 모델인 Incremental PCA 재구축 기법 기반 이상치 탐지 모델을 활용했다. 또한 건설장비의 각 작업 상태별로 정상작동 센서 패턴이 다르기 때문에 (1) 주행 상태(CAN 시그널) 데이터를 활용한 작업 상태 분류 모델을 구축하여 주행 상태를 분류한 뒤, (2) 각 주행 상태별로 구축된 이상치 탐지 모델을 통해 고장을 진단하는 모델의 전체 프로세스를 구축했다.  구축한 이상 탐지 모델의 업데이트가 유의미하게 적용되는지 판단하기 위해 실측 데이터에 대해 임의의 분포 변화를 부여한 시나리오를 설계하여 모델을 평가했다. 이는 장비의 열화와 같이 정상 데이터가 초기 학습한 정상 데이터와 조금씩 달라지는 상황에도 적응형 학습 프로세스가 유연하게 대처할 수 있는지를 확인하기 위한 과정이었다. 실험 결과 휠로더의 경우 평균적으로 90% 이상의 이상 검출 정확도를 보였고 임의의 분포 변화를 부여한 시나리오에서도 적응형 학습 프로세스를 적용하지 않은 모델보다 높은 성능으로 이상을 검출하는 것을 확인했다.                                                  

본 프로젝트에서는 알루미늄 휠 설계 데이터 기반 품질 예측, 원인분석, 크랙 위험지수 산출 방법론을 제안하였다. 자동차 휠의 품질은 설계한 휠을 탑재한 자동차를 주행했을 때 크랙이 발생되는지 여부로 정해진다. 자동차 휠을 어떻게 설계했는지 나타내는 설명변수와 휠 크랙이 발생했는지 여부를 반응변수로 예측 모델링을 진행하였고, 예측모델은 휠 크랙 발생 원인을 규칙으로 규명할 수 있는 의사결정나무를 적용하였다. 의사결정나무 기반 휠크랙 발생여부가 가장많이 포함된 대표 규칙을 선정하였다. 또한, 크랙발생 위험지수를 산출하기위해 지도학습기반 차원축소 기법인 선형판별분석을 적용하여, 탐색된 판별식에 사영된 관측치 좌표를 0~100사이 점수로 정규화하여 최종적으로 위험지수를 산출하였다. 그 결과, 휠 크랙발생 여부에 따라 점수가 올바르게 분포된 것을 확인하였고 위험지수를 기반으로 오버랩이 가장 적은 좌표에 구분선을 적용했을 때 분류성능이 향상되었다.

반도체 물류시스템에서는 공정에 부착된 센서 데이터로부터 나오는 관리 지표를 기반으로 물류 흐름에 대한 모니터링이 이루어진다. 본 프로젝트에서는 1. 이상 탐지, 2. 이상 유형 군집화, 3. 분류 모델 구축의 3단계 과정을 거쳐 반도체 물류시스템의 비정상 원인분석을 위한 시그널 패턴 분류를 수행하였다. 이상 탐지 전 데이터의 시계열 패턴을 반영하기 위하여 구간 분할 및 슬라이딩 윈도우 전처리를 수행하였으며, 이상탐지 과정에서는 머신러닝/딥러닝 기반의 다양한 이상탐지 모델을 적용하여 이상탐지를 수행하였다. 탐지된 이상패턴에 대하여 군집화 작업을 통해 이상 원인에 대한 레이블을 부여하였으며, 할당된 레이블을 사용하여 새로운 데이터가 발생하였을 때 자동으로 정상과 이상 유형별 분류를 수행하는 분류 모델을 구축하였다.  특히 본 프로젝트에서 겪었던 레이블링 문제를 해결하기 위해 자동적으로 레이블을 할당하는 방법론을 개발하고 알려지지 않은 이상 유형에 대한 분류를 가능하게 하는 open set 분류 모델을 구축함으로서 활용 가능성을 높였다.                                                          

본 프로젝트에서는 시장 불량 예측 및 이상 원인을 탐지하는 알고리즘과 시계열 데이터간 이상 패턴 탐지 및 데이터 내 주요 시점 추출 방법론을 개발하였다. 오늘날 많은 제품에서 다양한 불량이 발생하고 있다. 그 불량의 정도는 여러 개로 구분할 수 있는데 모든 소비자에게 중요하게 발생하는 불량은 사전에 탐지하는 것이 매우 중요하다. 따라서, 사전에 발생하는 이상 원인 인자를 찾고 그 인자를 분석하여 사후에 큰 불량이 발생할 것을 예측하는 알고리즘을 개발하였다. 또한, 원인 인자 중 시계열이 있는 데이터에서 특정 중요 시점이 있는데 그 시점을 추출하는 방법론을 개발하였다. 

오늘날 제조, 의료 등 산업 전반에 걸쳐 대량으로 수집되는 멀티채널 센서 데이터의 분석은 센서가 부착된 장비의 효과적인 유지보수를 위해 반드시 필요하다. 본 과제에서는 차량에 부착된 여러 개의 센서로부터 수집되는 시그널 데이터를 분석하여 차량의 고장을 예측하는 비정상 신호 탐지 프로세스를 개발하였다. 특징 추출 알고리즘을 적용하여 시그널 데이터로부터 특성치를 추출하고, 추출한 시그널 특성치를 이용하여 군집화 분석을 수행하였다. 군집 분석의 결과를 토대로 비정상 신호 구간을 탐지하였다. 

반도체 자동화 물류시스템 내 운송차량의 통행량 과다에 따른 정체현상을 해소하기 위한 연구과제이다. 이를 위해 정체현상을 단기간 예측하는 기계학습 알고리즘을 적용하였으며 추가로 정체예측 결과에 대한 해석방법을 제시하였다. 이와 더불어 제안 방법론의 현장적용 가능성 검토를 위해 경로설정 적응제어 에이전트를 개발하였다. 시뮬레이션 실험 결과에 따라 반송시간 및 대기시간 단축 효과를 보였으며, 결과적으로 제안 방법론이 반도체 물류 시스템의 정체현상 감소와 함께 운영 안정성을 높일 수 있음을 확인하였다. 

OES 데이터를 이용해 plasma leak, MFC fail 등의 plasma 상태 변동 발생시 검출은 가능하지만 불량과 연관성 진단이 어려운 상황에서, OES 데이터를 이용하여 Plasma의 상태(정상/이상) 진단을 위한 데이터마이닝 알고리즘 기반의 분류모델을 구축을 하였다. 여러 조건의 실험 결과 OES 데이터를 이용하여 Plasma상태를 정확하게 진단할 수 있었다. 뿐만 아니라 중요 변수를 제공함으로써 Plasma 상태 변동에 대한 중요 원인을 제공하였다.