본 프로젝트의 목표는 비침습적인 방식으로 여러 가지의 혈중 성분을 측정하기 위한 인공지능 예측 모델을 구축하는 것이다. 임피던스 데이터와 광학 센서 데이터에서 여러 혈중 성분들과 관련된 의미 있는 특징을 추출하는 것이 핵심이며, 이를 기반으로 피험자 간 변동성에 강건한 멀티 아웃풋 모델과 supervised contrastive learning 방식의 사전학습을 활용하는 방법론을 적용하였다. 수집된 생체 데이터들은 사람별로 다른 특성을 갖기 때문에 피험자별로 학습/평가 데이터를 구성하는 subject-wise cross-validation을 사용하여 보다 객관적인 학습 및 평가를 진행하였다.1. 임피던스 데이터 기반 멀티 아웃풋 예측모델 구축임피던스 데이터는 인체에 미세한 전류를 통과시킬 때 발생하는 저항값을 계측하여 수집되었으며, 여러 주파수, 측정 범위, 측정 위치에 따라 총 117개의 변수로 구성된다. 또한 피험자의 메타 정보(키, BMI, 성별 등)을 같이 활용하여 입력 데이터로 구성하였다. 이후 여러 혈중성분 중 서로 상관성 있는 성분들을 파악하고, 이들을 동시에 예측할 수 있는 멀티 아웃풋 심층 신경망을 적용하였다. 구축된 모델은 correlation, MSE, MAPE 지표 관점에서 단일 예측 모델보다 좋은 성능을 보였다.2. 광학 센서 데이터 기반 중성지방 예측모델 구축 광학 센서 데이터는 빛을 내는 광원과 이를 흡수하는 PD센서로 이루어져 있다. 8종류의 광원에서 나오는 빛을 18개의 PD센서에서 흡수하여 144개의 변수로 구성되어있으며 산란방정식 기반의 가공변수를 생성하였고, 이동평균 및 변수선택을 통해 노이즈를 제거하였다. 이후, 중성지방 농도별 유사한 데이터끼리 모아 10개의 class를 구성하였으며 이를 예측하는 사전학습 task를 학습하였고, 학습된 모델을 지식전이를 통해 예측모델에 활용하였다. 구축된 모델은 다른 예측모델들에 비해 정확하고 강건한 성능을 보여주었다.

본 프로젝트는 전장 상황에서 적군의 전략을 빠르게 파악하여 대응하기 위해 인공지능 기반 대응전력 할당 기술 개발을 목표로 하였다. 아군의 대응전력 할당 및 임무 시퀀스 생성이 핵심이며 크게 강화학습 기반의 대응전력 할당/임무 시퀀스 생성과 지도학습 기반의 전장 초기 시점에서 향후 임무 시퀀스 생성 기술 개발을 수행하였다. 기술 개발에 사용한 데이터/환경은 실시간 전략 게임인 StarCraft II와 실제 지형을 기반으로 제작한 전장 시뮬레이터이다.  1. 최적화된 대응전력 할당 및 임무 시퀀스 생성 기술 개발전장은 여러 병사들이 서로 협동하며 적군을 이기기 위한 전략을 수행하기 때문에 본 프로젝트에서는 여러 병사를 다룰 수 있는 멀티 에이전트 강화학습을 적용하였다. 멀티 에이전트 강화학습은 병사별로 마주한 전장 데이터(State)를 입력받아 협동/의사소통을 수행하기 위해 순환 신경망을 활용한다. 순환 신경망은 병사별로 대응전력(Action)을 순차적으로 출력하고 다층 퍼셉트론으로부터 출력된 대응전력을 평가하기 위한 보상(Reward)이 주어진다. 본 프로젝트에서는 멀티 에이전트 강화학습 알고리즘으로 QMIX와 RODE를 사용하였으며 전장 상황과 유사한 StarCraft II 시나리오를 직접 만들어 적용 및 평가하였다.2. 전장 상황 변화에 강건한 기술 개발전장은 지형, 엄폐물, 환경, 아군/적군 행동과 같은 요소에 따라 상황이 수시로 변화한다. 본 프로젝트에서는 전장 상황 변화에도 강건한 성능을 유지하기 위해 데이터 증강 기법을 활용하는 자기 지도 학습을 멀티 에이전트 강화학습(QMIX/RODE)에 결합하는 방법을 제안하였다. 제안한 자기 지도 학습 방법은 BYOL을 활용한 Masked Reconstruction이다. Masked Reconstruction은 Online Network와 Target Network로 구성되어 있으며 Online Network에는 병사별로 마주한 누락된 전장 데이터, Target Network에는 원본 전장 데이터가 입력된다. 입력된 데이터들은 각 네트워크로부터 요약되며 평균 제곱 오차로 학습된다. 최종적으로 전장 상황 변화에 강건한 방법론은 멀티 에이전트 강화학습의 보상 함수와 Masked Reconstruction의 평균 제곱 오차 손실 함수를 가중합하여 학습된다. 본 프로젝트에서는 학습을 위한 시나리오(A)에 제안 방법론을 학습한 후 테스트를 위한 시나리오(B, C)에 적용하여 일반화 성능을 평가하였다.3. 실제 지형 기반 전장 시뮬레이터본 프로젝트에서는 한국의 실제 지형을 기반으로 전장 모의 시뮬레이션을 할 수 있는 환경을 제작하였다. 전장 시나리오는 강원도 홍천에서 아군 전차 10대와 적군 전차 10대의 전투로 생성하였다.  세부적으로 적군은 2인 1조로 총 3개 조가 선두하여 홍천의 안고래길-도관길-내촌면 방향으로 민가를 습격하도록 하였고 적군 잔여 2개 조는 여창길 부근 고지에서 후발대로 이동하도록 하였다. 아군은 내촌면 좁은 도로로 이동할 적군을 습격하기 위해 양쪽 고지에 대기하도록 하였다. 다음과 같은 시뮬레이터에 멀티 에이전트 강화학습을 적용하기 위해 State, Action, Reward를 정의하였으며 QMIX를 적용 및 평가하였다.4. 전장 초기 시점에서 미래 임무 시퀀스 생성 기술 개발본 프로젝트에서는 전장 초기 시점의 정보를 이용하여 미래 시점의 대응전력을 순차적으로 예측하는 것을 목표로 하였다. 제안 방법론은 시계열성을 반영한 Encoder-Decoder 구조의 Seq2Seq에 전장 상황 이미지와 임무 레이블을 동시에 사용하는 Multi-Modal 학습을 제안하였다. 데이터는 StarCaft II 플레이어 영상을 사용하였으며 아군이 승리한 데이터로 제한하였다. StarCraft II 플레이어 영상에는 임무 레이블이 없어 이미지에 매칭되는 레이블을 생성하는 규칙 기반의 방법을 제안하였다. 또한 생성한 레이블은 클래스 불균형 데이터로 본 연구에서는 불균형 데이터를 효과적으로 학습하기 위한 손실 함수 제안 및 고차원 이미지를 효과적으로 추출할 수 있는 Depthwise Separable Convolution을 적용하여 F1-Score에서 좋은 성능을 달성하였다.

본 프로젝트는 차량 조향 장치인 R-MDPS에서 발생하는 주파수 대역별 소음 수준을 인식하기 위한 연구를 진행하는 프로젝트이다. 우선 주파수 대역별 소음 수준을 예측해야하는 이유는 차량 소음 관련 제품 개발 시 어떤 주파수 대역이 사람이 듣기 싫은 소음을 수준을 파악해야할 필요가 있기 때문이다. 이를 위해 주파수 대역은 150Hz부터 1150Hz까지를 10개 구간으로 나누었다. 즉, 10개 주파수 대역에서 발생하는 소음과 전반적인 소음(0~2000Hz, Overall Level) 수준을 예측하고자 하였다. 주파수 대역별 소음 수준을 예측하기 위해 R-MDPS 에서 발생하는 가속도를 수집하여 입력 데이터로 사용했다. 다음으로 가속도를 Spectrogram 특징 벡터로 변환한 뒤 고주파 대역을 제거하여 최종 입력 특징 벡터를 산출하였다. 다음으로 차량과 유사한 대상 설비에서 나오는 가속도를 수집하였다. 대상 설비에서 수집되는 가속도에 대한 소음 수준은 수집하기 어렵다. 즉 Unlabeled 데이터와 동일하게 사용할 수 있는 데이터이다. 이를 사용해 자가지도학습(Self-supervised Learning)을 진행했다. 자가지도학습 방식으로 JigSaw 방식과 도메인 지식에 기반한 자가지도학습을 사용해 합성곱 신경망 모델을 사전학습하였다. 도메인 지식 기반 자가지도 학습은 차량 가속도 특징 벡터를 구분할 수 있는 합성곱 신경망 모델 학습 시 해당 방식으로 학습된 모델 가중치는 주파수 대역별 소음 수준 예측 모델에도 좋은 초기 가중치 일것이라는 가설을 가지고 개발하였다. 마지막으로 주파수 대역별 소음 수준 예측 모델을 학습하였다. 해당 모델은 단일 모델로 11개 주파수 대역을 동시에 예측할 수 있도록 합성곱 신경망 모델을 디자인하였다. 프로젝트 연구 개발 내용을 바탕으로 이음(이상한 소리)에 대한 원인을 파악할 수 있을 것으로 기대한다. 또한, Unlabeled 데이터인 많은 대상 데이터와 적은 실제 차량에서 수집한 데이터를 사용해 빠르게 예측 모델을 구축할 수 있을 것으로 기대한다.