[학회후기]
2022 대한산업공학회 춘계학술대회는 제주도에서 진행되었으며 오프라인으로 참여하였다. 연구실에 입학한 후 첫 오프라인 학회 참여라 기대 반 걱정 반으로 학회에 임했다. 생각보다 발표 장소에 많은 분들이 오셨고 집중하여 들어주셔서 긴장이 되기도 했지만 동시에 좋은 피드백과 격려를 받을 수 있는 뜻깊은 자리였다. 온라인으로 참여했을 때와 달리 많은 학회 참석자들과 여러 세션장들을 직접 보며 다양한 연구가 이루어지고 있음을 다시한번 실감하였다. 또, 서로 다른 시각을 가진 대학의 연구자들과 기업의 실무자들이 같은 주제로 피드백을 주고받는 과정이 굉장히 인상적이었다. 이번 학회는 다양한 연구 주제를 접할 수 있는 좋은 기회였고, 앞으로의 나의 연구에도 좋은 자극제가 될 것 같다.

[발표후기]
이번 학회에서는 그래프 분류를 위한 FixMatch 기반 준 지도학습 네트워크를 주제로 발표하였다. 최근 분자 생물학 및 약리학등 다양한 도메인에서 그래프 데이터 속성 및 구조 정보를 잘 파악하여 그래프 분류를 수행하고자 하는 연구가 광범위하게 이루어지고 있다. 기존의 그래프 분류 방법론은 레이블이 있는 그래프 데이터를 통해 그래프 속성 및 구조 정보를 학습하지만, 현실에서 그래프 데이터에 레이블을 부여하기 위해서는 시간과 비용이 많이 소모되기 때문에 모델 성능 향상에 한계가 있다. 이러한 한계를 극복하고자, 레이블이 없는 다량의 그래프 데이터를 활용하여 모델 성능을 향상시키는 준지도 학습 기반의 그래프 분류 방법론이 활발히 연구되고 있다. 그러나 기존의 준지도 학습 방법론은 복잡한 손실함수를 필요로 하고 다량의 하이퍼파라미터를 사용한다는 점에서 학습 비용이 크다는 한계가 있다. 따라서 그래프 분류를 위한 FixMatch 방법론을 제안하였다. FixMatch는 다양한 증강 기법을 통해 레이블이 없는 데이터에서도 데이터 속성을 학습할 수 있게 함으로써 모델 성능을 향상시키고자 하는 단순한 구조의 준지도 학습 방법론이다. 그래프 분류를 위해 FixMatch를 사용함으로써 레이블이 없는 그래프 데이터를 효과적으로 활용할 수 있고, 동시에 모델 학습 비용을 줄일 수 있다. 다양한 벤치마크 데이터에 대한 실험 결과에 따르면, 제안 방법론은 기존 방법론보다 단순한 구조임에도 불구하고 좋은 그래프 분류 성능을 보였다. 제안방법론은 그래프 분류를 위한 FixMatch 방법론을 제안함으로써 다양한 도메인에서 효율적으로 그래프 분류 문제를 해결하는데 도움을 줄 수 있을 것으로 기대한다.

[청취후기]
1. 변수 간 어텐션 메커니즘을 활용한 트랜스포머 기반 다변량 시계열 이상치 탐지(강형원, 정의석, 박경찬, 강필성 -고려대학교)
해당 연구는 시계열 이상치 탐지를 위해 트랜스포머 블록 내의 어텐션을 수정하여 변수와 시간과의 상관관계를 파악하는 연구를 수행하였다. 이를 위해 어텐션의 조합에 따라 총 네가지 종류의 모델 구조를 제안한다.  첫 번째는 모든 변수와 시간 간의 상관관계를 파악할 수 있는 variable temporal transformer with full attention이다. 이 모델 구조는 변수 및 시간을 모두 flatten 하여 전체에 대해 full attention을 수행하는 방식이다. 두 번째는 변수를 위한 트랜스포머 인코더를 거친구 시간을 위한 트랜스포머를 거치는 방식(직렬구조)으로 동작하는 variable temporal transformer with encoder attention이다. 세 번째는 트랜스포머 블록 내의 어텐션을 수정하고 변수에 대한 어텐션과 시간에 대한 어텐션을 직렬로 연결한 variable temporal transformer with serial attention이다. 네 번째는 세 번째와 동일학 트랜스포머 블록 내의 어텐션을 수정하지만 변수에 대한 어텐션과 시간에 대한 어텐션을 병렬로 연결한다는 점에서 차이가 있는 variable temporal transformer with parallel attention이다.
위의 네가지 모델 구조를 활용하여 다변량 시계열 데이터 벤치마크 데이터셋 3개에 대해 성능을 평가하였다. 실험결과에 따르면 제안 모델들이 대체적으로 좋은 성능을 갖는다. 해당 연구는 트렌스포머의 어텐션 구조를 매우 다양하게 변형해보며 실험하였다는 점에서 매우 인상적이었다. 실제로 시계열 이상치 탐지에 트랜스포머가 효과적으로 작동하는 것을 알 수 있었고, 어텐션을 통해 어떤 변수의 어떤 시점이 이상치의 원인이 되는지를 탐지할 수 있는 흥미로운 연구였다.