모델 사용 단계에서 자원의 제한이 있고 원본 학습데이터의 이용이 불가능한 환경에서 성능이 우수한 큰 모델을 근사하는 작은 모델을 학습하기 위해 Zero-shot knowledge distillation 연구가 최근 환발히 연구되어 왔다. 하지만, 기존 연구들은 분류 문제에 국하여 이루어져 왔으나, 본 연구에서는 회귀 문제에 Zero-shot knowledge distillation을 적용하기 위한 방법론을 제안한다. 두 번째로 Distillation 과정에서 GAN을 사용을 한 점이 기존 knowledge distillation 방법과 차별된다. 

에너지를 효율적으로 운영하기 위해서는 높은 정확도를 갖는 단기 전력 수요 예측이 필수적이다. 과거에는 통계적 방법을 이용한 전력 패턴을 예측하는 모델이 주로 사용되었으나, 최근에는 심층 신경망, 특히 시계열 데이터를 이용하는 RNN이 우수한 예측 성능을 나타내는 것으로 알려져 있다. 그러나 전력 데이터의 특성상 RNN 의 VC dimension을 늘리는 것은 큰 도움이 되지 않는 경향을 보인다. 이러한 문제를 해결하기 위해서 Temporal Convolutional Network를 활용하여 단기 전력 수요 예측하는 방법론을 제안한다. 해당 방법론은 RNN과 다르게 병렬처리가 가능하여 학습 및 연산이 빠르고, 국내 대학교 건물에서 수집된 데이터에 대한 실험 결과 비교 대상 방법론에 비해 우수한 예측 정확도를 나타내는 것을 확인하였다. 개인적으로 현재 수업 프로젝트에 transformer를 활용한 시계열 데이터 예측을 하고 있어서 해결 과정이 흥미로운 발표였다. 

화학 및 소재 분야 연구에서 신규 물질의 물성을 빠르게 근사하기 위해 ML이 적용되어 왔으며, 최근 GNN이 기존 방법 대비 좋은 성능을 보여주고 있다. 물성 예측모델의 학습을 위해선느 초기 학습 데이터의 구축을 위한 다수의 물질에 대한 물성 레이블링이 필요하다. 물성 레이블링은 시뮬레이션 또는 실험을 통해 이루어질 수 있으며, 이는 많은 시간과 비용이 소요된다. 본 연구에서는 GNN을 물성 예측모델로 활용 시 적은 레이블링으로 높은 예측 성능을 달성하기 위해서 Active Learning을 효과적으로 적용하고자 한다. 제안하는 방법은 Dropout 기반 베이지안 근사를 통해서 예측모델의 예측 불확실성을 평가하고, 이를 활용하여 새로운 물질을 선택하고 레이블링을 수행한다. 이 결과를 학습데이터에 반영하여 예측모델을 업데이트하낟. 이러한 과정을 반복하여 예측모델의 성능을 점진적으로 개선한다.