연구 배경제조 기업에서는 센서 기반 AI를 가전 제품에 탑재하여 모니터링하고, 이를 기반으로 적절한 서비스를 제공하여 고객의 사용 만족도를 증대시키는 것이 중요하다. 이때 제공되는 서비스의 품질은 고객의 제품 사용 기간 및 탑재 환경이 다르더라도 강건하고 일관되게 유지되어야 하며, 이를 위해 아래 두 가지 연구 목표를 달성해야 한다:1) 다양한 고객 제품 사용 환경을 대변할 수 있는 AI 모델 학습 방법 연구2) 각 고객 별 제품 사용 환경 변화를 반영할 수 있는 on-device 모델 개발이때, 본 프로젝트에서는 1) 스틱 청소기 데이터를 기반으로 다양한 고객 데이터를 대변하고 가전 제품 AI 모델의 일반화 성능을 높이는 연구를 수행함과 더불어, 2) 강건한 냉장고 고내 온도 예측을 위하여 연합학습 방법론 개발을 함께 수행하였다.1. 스틱 청소기 데이터셋 기반 시계열 센서 데이터 증강 기법 연구본 연구는 스틱형 청소기 제품의 센서 시계열 데이터를 활용하여 다양한 고객군의 데이터를 대변하기 위한 증강(augmentation) 기법을 개발하는 것을 목표로 하였다. 이를 위해 청소기의 동작 구간 별로 진동, 전류, 전압, 온도 등 다중 센서 정보를 수집하고 이를 시계열 데이터로 전처리하여 분석을 수행하였다. 이 과정에서 데이터 증강을 통해 다양한 사용 환경 및 동작 패턴을 모사함으로써 학습 데이터의 다양성과 모델의 일반화 성능을 동시에 확보하고자 하였다.데이터 형태는 두 가지로 구분하여 비교 실험을 수행하였으며, 데이터의 고유한 시간 정보를 최대한 보존할 수 있는 원본 시계열 데이터와 시계열의 핵심 정보만을 압축하여 효율적 학습을 할 수 있는 통계량 기반 tabular 데이터가 그것이다. 시계열 데이터의 경우 RandAugment 기법을 적용하여 증강을 수행하였으며, tabular 데이터의 경우 CIFRUS 기법을 적용하여서 데이터 증강을 수행하였다.실험 결과, 증강 기법을 적용하지 않은 케이스와 비교하였을 때 데이터 형태와 무관하게 모두 유의미하게 성능이 향상된 것을 확인할 수가 있었다. 더불어, 데이터 취득이 제한적인 상황 (5%)에서도 증강을 통해 데이터를 100% 확보한 상황에 가까운 성능을 달성함으로써 증강 기법에 대한 효과 검증을 완료하였다.2. 냉장고 데이터셋 기반 연합학습 기법 연구본 연구에서는 고내 온도 모델을 구축하기 위한 연합학습 기법을 개발하였으며, 제품 출시 이후 생성되는 냉장고 고객 데이터를 온도 예측 모델에 지속적으로 반영하여 예측 성능을 향상시키는 것을 연구 목표로 한다. 이때, 센서 노후화나 기기 고장 등 냉장고의 물리적 결함으로 인해 발생하는 이상 데이터를 가진 고객 (클라이언트)을 자동으로 탐지 및 식별하고, 이상 고객이 온도 예측 모델 업데이트에 미치는 영향을 제어하여 학습 안정성과 신뢰성을 확보할 수 있는 알고리즘을 개발하였다.본 연구에서 제안한 알고리즘의 동작 방식은 다음과 같다. 먼저 서버에서 정상 데이터만을 이용해 이상 고객 탐지 모델 (오토 인코더)을 사전학습시켜, 센서 노후화나 물리적 결함과 같은 데이터 왜곡 패턴을 복원오차로 포착 가능하게끔 한다. 이후 고객 별로 복원오차 기반 이상 고객 점수를 스코어링 하며, 해당 점수를 기반으로 연합학습에 참여할 지에 대한 여부를 결정한다. 본 연구에서는 복원오차 하위 N percentile에 해당하는 고객은 이상 고객으로 정의하여 학습에서 제외하였으며, 정상 고객만을 FedAvg 방식으로 집계하여 연합학습을 수행하였다.실험 결과, 이상 고객이 존재하는 연합학습 상황에서도 제안 알고리즘이 가장 우수한 성능을 도출하였으며, 기존에 제안되었던 타 이상 대응 알고리즘과 비교하여서도 가장 우수한 성능을 달성한 것을 확인하였다.이와 더불어, 연합학습이 완료된 글로벌 모델에 대해서 추가적인 on-device 개인화 연합학습을 수행하여 추가적인 성능 개선을 도모하였다. 이는 고객 별로 상이한 냉장고 운용 환경을 고려하여, 보다 개별 사용자 환경에 맞추어 글로벌 모델을 최적화하기 위해 수행된 연구이다. 개인화 연합학습은 각 고객의 데이터로 20 epochs만큼 미세 조정을 수행하여 진행하였다. 이에 대한 실험 결과, 모든 출력 데이터에서 개인화 연합학습을 적용하였을 때 더 우수한 성능을 달성하였으며, 글로벌 모델만으로는 반영되지 않았던 고객 별 편차를 효과적으로 보정 가능함을 확인하였다. 따라서 시간 및 비용이 확보되는 상황에서는 개인화 연합학습까지 수행하여 보다 우수한 예측 성능을 달성 가능함을 제언하였다.

반도체 공정은 순차적으로 FAB 공정을 수행하며 해당 과정에서 설비 정보, recipe정보, 가상 계측 정보 등을 수집한다. FAB 공정 이후 측정되는 제품 특성 값을 통해서 웨이퍼의 전기적 특성을 정량적으로 측정하고 불량 여부를 판단할 수 있다. 본 프로젝트에서는 반도체 FAB 공정 이력 기반 데이터 중 주요 공정 데이터만을 활용하여 다양한 제품 특성값 예측 및 효율적인 공정관리를 하기 위한 공정 별 주요 요인 해석 및 정량화를 목표로 한다. 이때, 주요 공정 데이터들에 대한 특성을 잘 추출할 수 있으면서 동시에, 다양한 제품 특성값들의 범위 차이를 반영할 수 있는 예측 모델을 구축하였다.1. 입력 데이터(주요 FAB 공정 테이터) 특성을 효과적으로 추출할 수 있는 모델 개발입력 데이터 특성으로는 다음과 같은 세 가지 특성이 존재한다.순차성: 설비들이 유기적으로 연계되는 공정 특성 상 시간 흐름에 따라서 순차적으로 값이 수집됨변수 독립성: 각각의 공정 step으로부터 수집되는 설비 정보와 recipe 정보는 서로 다른 고유한 특성을 가짐국소적 패턴 변화: 전체 공정 step들 중 특성 시점에서 생기는 변화가 ET 예측에 중요한 영향을 미침따라서, 설비와 recipe 별 특성을 고유하게 반영할 수 있는 모듈을 제안하며 동시에 공정 순차성 및 국소적인 값의 변화를 고려할 수 있는 모델을 제안하였다.2. 출력 데이터(제품 특성값)들의 범위가 모두 다른 특성을 반영하기 위한 학습 알고리즘 개발각각의 출력 데이터들은 값의 범위가 모두 다르다는 특성이 존재한다. 기존 회귀 모델에서 사용하는 MSE 손실함수를 통하여 학습을 할 경우, 출력 데이터에 대해서 학습적인 불균형을 야기할 수 있다. 따라서, 모든 출력 데이터들에 대해 공정하게 학습을 하기 위한 IQR-Weighted MSE 손실함수를 적용하여 학습적인 불균형을 해소하였다.3. 모델 성능 평가 및 공정 별 주요 요인 해석모델 성능 평가 시에는 기존 회귀 모델 성능 평가 지표들 외에, 출력 데이터들 값의 범위 차이에 의해서 예측 오차가 y 범위 내에서 얼마나 차지하는지 보여주는 normalized MAE 지표를 추가적으로 사용하여 성능 평가를 진행하였다. 실험 결과를 통해서 입력 데이터 특성을 반영할 수 있는 제안 모델인 CSE 모델이 다른 비교 방법론들에 비해서 모든 회귀 성능 평가 지표 상에서 더 우수한 성능을 보였다. 또한, 우측 실험 결과 표를 통해서 출력 데이터 특성을 반영하는 IQR-Weighted MSE 손실함수의 효과를 확인할 수 있다.모델 성능 평가와 더불어서, 공정 별 주요 요인 해석을 진행하였다. 주요 요인 해석으로는 반도체 도메인 지식과 그에 해당하는 두 그룹별 모델링 해석 결과 비교를 통해서 주요 공정해석에 대한 정합성을 확인하였다.

[프로젝트 개요]최근 작물에 대한 생육 분석은 우수한 작물 식별 및 작물 생산계획 수립 등에 있어 중요성이 대두되고 있다. 하지만, 이러한 작물 생육 지표를 인간이 직접 측정하기에, 측정 오차가 존재할 뿐만 아니라 많은 시간과 비용이 발생하고 있다. 따라서, 본 프로젝트는 인공지능을 활용하여 여러 작물이 재배되는 판에서 개별 작물을 식별한 후, 식별된 개별 작물에 대한 생육을 분석함으로써 인간 개입 없이 작물을 분석하고자 하였다.[프로젝트 내용]1. 작물 모델링 데이터셋 구축본 프로젝트는 인공지능을 학습하기 위한 작물 데이터셋 구축 과정부터 시작한다. 이때, 개별 작물 식별하는 알고리즘을 위한 픽셀 수준 레이블과 생육 분석을 위한 개별 작물 수준 생육 정보를 레이블링하여 데이터셋을 구축하였다.2. 개별 작물 식별을 위한 Instance Segmentation 모델개별 작물을 식별하기 위한 알고리즘으로 Instance Segmentation 모델을 활용하였다. Instance Segmentation은 이미지 내 객체 영역을 구분할 뿐만 아니라 구분된 영역 내에서 Instance를 구분할 수 있는 알고리즘이다. 이때, Step1에서 직접 레이블링한 약 40여장 데이터를 기반으로 직접 학습한 모델과 추가적인 학습이 필요 없는 Foundation 모델인 Segment Anything (SAM)을 비교하였다. 실험적으로, 추가적인 학습 없이 활용할 수 있는 SAM이 가장 우수한 성능을 보였다. 이는 데이터가 적기에, 직접 학습하는 것이 큰 효과를 거두기 어려웠던 것으로 판단된다. 이에 따라 개별 작물 이미지 식별에는 SAM을 활용하였다. 3. 생육 분석 모델식별된 개별 작물 이미지에 대하여 생육을 예측하는 인공지능 모델을 구축하였다. 그러나, 앞서 언급한 것처럼 데이터가 매우 적다. 따라서 데이터 증강을 적용하여, 부족한 데이터를 보완하였다. 결과적으로 생육 일자 예측, 수확 중량 예측, 현재 중량 예측 3개 Task에서 모두 오차율 10% 이내 성능을 달성할 수 있었다. 그 외에도 시계열 모델링 등 여러 기법을 검증하였으며, 향후 개선 방향 등 생육 모델링 고도화 방향을 제안하였다.

[프로젝트 개요]의류 산업에서는 주로 사람의 경험을 토대로 미래 판매량을 예측하거나, 기초 통계를 활용해 예측을 진행하였지만 이러한 방식은 예측 정확도가 낮다는 한계점이 존재한다. 따라서 본 프로젝트는 의류 판매량에 특화된 예측 모델을 개발함으로써 정확한 판매량 예측 값을 제공하고, 생산계획 및 재고관리와 같은 의사결정에 도움을 주고자 한다. [판매량 데이터 특성]의류 상품은 실제 상품이 판매되는데까지 약 6개월의 리드타임이 존재하여, 장기 수요 예측을 필요로 한다. 또한, 의류 상품은 계절과 트렌드에 민감하여 주기적으로 반복되는 패턴과 추세를 보이는 동시에, 판매량이 급격하게 증가/감소하는 변동성이 존재한다는 특징이 있다. [예측 모델 개발]이에 본 프로젝트에서는 장기 시계열 예측에 적합한 Sequence to Sequence(Seq2Seq) 모델을 바탕으로 해당 데이터에 적합한 구성 요소들을 추가하였다. 패턴과 추세를 반영하기 위해 오토인코더로 입력 판매량을 스무딩하고, 시점 정보를 함께 입력 데이터로 활용하였다. 마지막으로 급격한 변동성을 효과적으로 예측하기 위해 DILATE 손실함수로 모델을 학습하였다.

[프로젝트 개요]현재 디스플레이 공정 과정에서는 FDC 센서에서 수집된 값이 사전에 설정된 임계값을 넘으면 interlock이 발생하고 공정을 멈춘다. 하지만 사소한 이유로 interlock 이 발생하는 경우가 있으며 이 경우에는 전체 공정을 멈추는 것이 큰 손해로 이어진다. 본 프로젝트에서는 이러한 손실을 방지하기 위해서 interlock 발생 당시 수집된 FDC 센서 데이터를 통해 공정을 멈출지 다시 진행할지 분류하는 interlock auto release 모델을 개발한다. 또한, 공정이 바뀜에 따라서 변화하는 데이터 분포에도 모델이 잘 작동할 수 있도록 continual learning과 domain adaptation 기법을 추가적으로 적용한다.[프로젝트 내용]1. 딥러닝 기반 interlock auto release 모델 본 프로젝트에서는 interlock 발생 전 수집된 두 시간 분량의 FDC 센서 데이터를 입력 데이터로 활용한다. 따라서 FDC 센서의 시계열성을 반영하기 위해 LSTM, Transformer를 베이스 모델로 선정하였으며, 성능 고도화를 위해서 최신 모델 구조인 Sequencer와 PatchTST를 추가적으로 활용하였다. 또한, 데이터 부족 문제를 해결하기 위해 데이터 증강 기법을 도입하였는데, 데이터가 가지고 있는 클래스 정보를 유지할 수 있는 Flip 기법을 활용하였다. 모델 성능 평가를 위해서 각 공정별로 데이터를 나누어 평가하는 Leave-one-out validation을 수행하였으며, 평가지표는 F1-score와 유출률을 활용하였다. 실험 결과, Sequencer가 가장 좋은 성능을 보였기 때문에 Sequencer를 최종 백본 모델로 결정하였다.2. 데이터 분포 변화에 강건한 모델디스플레이 공정마다 설비와 센서가 다르기 때문에 수집되는 FDC 데이터의 분포가 달라진다. 따라서 각 공정별로 interlock auto release 모델을 개발하는 것이 가장 효과적이지만, 디스플레이 공정은 많은 단계로 이루어져 있기 때문에 현실적으로 불가능하다. 이 문제를 해결하기 위해 본 프로젝트에서는 continual learning과 domain adaptation 기법을 활용한다. Continual learning은 분포가 변화된 새로운 데이터에 모델을 fine-tuning하면 기존 데이터에서 성능이 하락하는 catastrophic forgetting  문제를 해결하기 위해 연구된 분야로 본 프로젝트에서는 Elastic Weight Consolidation (EWC, PNAS 2017) 방법론을 활용하였다. Domain Adaptation은 추론 단계에서 학습 데이터와 분포가 다른 샘플이 입력되었을 때 성능이 하락하는 문제를 해결하기 위해 연구된 분야로 본 프로젝트에서는 Adversarial Multiple Source Domain Adaptation (MDAN, NeurlPS 2018)와 Domain Aggregation Neural Networks (DARN, ICML 2020) 방법론을 활용하였다. 실험 결과, continual learning에서는 기존 데이터의 성능을 유지하면서도 신규 데이터에 높은 성능을 달성하였지만, domain adaptation에서는 신규 데이터에서 지도 학습보다 낮은 성능을 보였다. Domain adaptation에서 성능이 하락한 원인을 분석하기 위해 모델이 학습한 특징을 시각화 하였으며, 분석 결과 특정 공정들에서 FDC 센서 데이터의 패턴이 비슷하지만 클래스가 반대인 샘플들로 인해서 domain adaptation의 효과가 떨어짐을 확인하였다.

- 프로젝트 개요: 최근 다양한 이유로 인해 전기차 수요가 증가하고 있다. 그러나 아직 전기차 도입 초기이기 때문에, 이를 운용함에 있어 발생하는 문제점들을 보완하는 과정에 있다고 할 수 있다. 그 중에서 배터리 충전 시 발생하는 이상패턴 탐지는 매우 중요한 task 중 하나이다. 왜냐하면, 전기차의 핵심인 배터리에 발생할 수 있는 잠재적인 고장을 선제적으로 예방할 수 있기 때문이다. 또한, 이상패턴 탐지 후에 어떤 변수(센서)가 중요 변수였는지 파악하여 유지/보수에 도움이 되고자 한다.- 데이터: 전기차 내에서 배터리 관련 정보를 수집하는 BMS(Battery Management System)에서 전달받은 충전량, 전류, 전압, 온도 등의 정보를 활용하여 분석 진행- 적용 방법론: 시계열 분석에서 우수한 성능을 보이는 Transformer 기반 이상탐지 알고리즘인 Anomaly Transformer 와 TranAD 를 적용- 이상패턴 탐지 성능: 적용 알고리즘의 성능을 확인하기 위해, 현업 전문가들이 실제 이상으로 labeling 가능한 데이터를 알려주셨음. 따라서, 해당 이상 데이터를 얼마나 모델이 잘 판별하는지를 탐지 성능으로 활용 (여기서는 AUROC 를 기준)- 중요변수 산출: 높은 성능을 내는 모델을 바탕으로, 어떤 구간에서 어떤 변수가 중요했는지 파악하여 추후 유지/보수 관점에서 도움이 되고자 함