[학회 후기]

연구실 생활 중 처음으로 참석한 오프라인 학회였다. 온라인으로 참여했던 2020 ICML 이나 2021 대한산업공학회 추계 학술대회와 달리, 학회장에 붐비는 인파와 각 세션에 참가하여 자신의 연구 성과를 발표하는 타대학 연구원들, 그리고 유심히 듣는 기업 관계자 및 다른 사람들을 보며 '학회의 분위기' 를 피부로 느낄 수 있었다. 오전 9시에 열린 첫 세션 발표라 참여하여 듣는 사람들도 많이 없겠거니 긴장하지 말자고 생각하고 단상에 올라선 순간, 생각보다 많은 사람들이 열의를 가지고 뒤에서 듣고 있었다는 사실을 깨달았다. 대한산업공학회에서 발표되는 주제들은 우리 연구실에서 주로 연구하는 분야 외에도 최적화, 인간공학, 경영공학, 로보틱스 등 너무나도 다양했다. 딥러닝/인공지능 분야 쪽을 주로 연구하다보니 다른 산업공학의 세부 분야의 연구 추세는 잘 알지 못하였는데, 이번 학회를 통해 편협한 시야에서 벗어나 좀 더 넓은 숲을 볼 수 있게 된 것 같다. 한 가지 반성하게 된 점이 있다면, 나름 발표 준비를 깔끔하게 했다고 자만했다는 점이다. 발표 후에 질문을 주신 분이 게셨는데, 나의 말하는 속도가 너무 빨랐고 나의 연구를 처음 소개하는 자리인데 좀 더 직관적으로 핵심만 짚어 설명하지 못하여 제대로 전달을 해드리지 못했던 것 같다. 자만하지 말고 타인의 입장에서 듣는다면 어떨까를 생각해볼 수 있는 기회가 되었다.

[발표 후기]

물성 예측을 위한 멀티 포맷 대조 학습이라는 주제로 발표를 진행하였다. 화학 분야에서 딥러닝은 크게 신약 개발, 물성 예측, 분자간 화학반응 예측에 적용된다. 물성 예측 분야의 최종 목표는 1. 시간과 비용이 많이 드는 시뮬레이션이나 규칙을 통해서 물성을 구하는 것이 아닌 데이터 기반 알고리즘을 구축하는 것, 2. 한번도 보지 못한 완전히 새로운 분자에 대한 물성 또한 강건하게 예측하는 것이다. MoleculeNet Benchmark 는 양자 역학부터 생리학에 이르기까지 다양한 레벨의 물성에 대한 데이터셋을 보유한 벤치마크이다. 예측/회귀 등 다양한 태스크를 다루고 있으며, 데이터셋 크기 또한 1k~439k까지 다양하다. 실제 Out-of-Distribution(OOD) 상황을 가정하기 위한 데이터 스플릿 또한 정의한다. 하지만 이러한 MoleculeNet Benchmark 의 대다수 데이터셋은, 데이터 크기와 성능이 비례하는 딥러닝 알고리즘에 적합하지 않다. 따라서 대량의 Unlabeled Dataset 을 통해 모델을 사전학습하는 기법이 연구되어왔다. 대부분의 물성 예측 분야의 지도학습/자가지도학습 알고리즘은 문자열이나 그래프 동일 포맷으로 학습을 진행한다. 본 연구에서는 분자의 특성을 저해하지 않는 Positive Sample 을 정의하여 대조 학습을 하기 위해 그래프와 문자열 데이터를 모두 활용한다. 사전학습 하지 않았던 GIN 보다 12개 데이터 셋 중 9개 데이터 셋에서 큰 성능 향상을 보임을 입증하였다. 차후 계획으로 Hyperparameter Tuning 을 진행하고, 시각화 및 해석을 위해 t-SNE와 Attention Score 및 GNNExplainer 등을 활용할 계획이다.

질문 1. 기존 연구와의 차이점 및 기여점이 그래프 데이터 뿐만 아니라 텍스트 데이터도 사용한다는 점인가?

답변) 기존에도 텍스트를 통해 물성 예측을 위한 자가지도학습을 시도한 사례가 존재하였다. 심지어 그래프 데이터와 문자열 데이터를 함께 활용한 멀티포맷 자가지도학습 사례 또한 존재한다(대조 학습은 아니지만). 해당 연구의 기여점은 분자 도메인에서 대조 학습을 적용하기 위해 Positive 와 Negative Sample 을 어떻게 정의하였는지이다. 추가적인 기여점은 차후 실험을 통해 만들어갈 예정이다.

질문 2. 문자열 데이터를 인코더에 넣었을 때 Representation Vector 는 어떻게 추출되는가?

답변) 문자열 앞에 <CLS> Token 을 집어넣어 Transformer 의 인코더에 입력한 후, 마지막 layer 를 통과한 CLS Token 에 대한 임베딩 벡터만 활용한다.

[청취 후기]

1. 태양광 에너지 예측 및 전력 도매시장에서의 최적 입찰량 결정 통합 프레임워크 개발(김민석 - 포항공과대학교)

날씨 데이터를 통한 태양광 발전량 예측과, 예측 발전량 및 수요량을 통한 최적 입찰량 결정이라는 두 가지 문제를 해결하기 위한 통합 프레임워크를 제시한 연구이다. 태양광 발전량 예측의 경우 기상 정보로부터 도출된 시나리오 혹은 추세/계절 변동을 고려한 과거 연구를,  최적 입찰량 결정의 경우, 분위수 기반 예측과 불확실성에 초점을 맞춘 최적 입찰량 관련 연구를 소개하였다. 기존 시나리오 기반 연구를 토대로 한 것인지, 시나리오를 lattice로 구성하여 실험을 최적 입찰량을 동적 프로그래밍으로 도출하였다고 한다. 발표를 들으며 조금 헷갈렸던 부분은 최대화하고자 하는 수익의 주체가 발전소인지 구매자인지 헷갈렸던 것인데, 세션에 참가하셨던 분의 질문에 대한 답을 통해, 중개업자의 수익을  최대화하는 것임을 알 수 있었으며, Appendix 를 통해 목적 함수와 의사결정변수, 제약 조건을 어떻게 설정한지 알 수 있었다.

2. 그래프 분류를 위한 FixMatch 기반 준 지도 학습 네트워크(고은지, 이영재, 허종국, 김성범- 고려대학교)

Graph-level Classification 을 위한 Semi-Supervised Learning 방법론은 제안한 연구이다. 한가지 혼동하지 말아야할 점은 흔히 말하는 GCN의 Semi-Supervised Learning 은 일부 노드의 레이블이 주어졌을 때, Label Propagation 을 통해 나머지 노드에 대한 레이블을 예측하는 Node-level Semi-Supervised Learning 이라는 것이고, 해당 연구와 해당 연구의 비교 방법론인 GHNN 은 Graph 하나를 instance로 보는 Graph-level Semi-Supervised Learning 이다. 따라서 해당 연구분야는 개별 Graph Instance 마다 Graph Topology 가 이질적인 데이터셋에도 강건한 성능을 보여주는 Semi-Supervised Learning 을 구축하는 것이다. 또한 기존 연구인 GHNN 이 모델 학습 비용이 크고 하이퍼 파라미터 수가 많다는 점을 지적하며 좀 더 간단한 알고리즘을 제시한 연구이다.