[학회 후기]

작년 추계학술대회에 이어 올해도 하계학술대회에 포스터 발표로 참가하게 되었다. 이번에도 역시나 매우 많은 연구자들이 포스터 발표를 진행하였고, 다양한 발표를 들으며 연구적인 시야를 넓히고 인사이트를 얻을 수 있었다. 또한, 내가 현재 진행하고 있는 연구를 다른 연구원들에게 설명해주고 소통하며 내 연구에 대해서도 다시 한 번 돌아볼 수 있었다. 이번 학회 역시 교수님과 연구실 동료 연구원들이 많이 고생하셨는데, 덕분에 좋은 경험을 하며 학회를 마칠 수 있었고 이에 감사의 인사를 전한다.

[발표 후기]

주제: Uncertainty Aware Semi-Supervised Learning with Out-Of-Distribution Noise

현재 진행 중인 연구는 일반적인 준지도학습 기반 label noise learning 상황에 out-of-distribution(ood) 데이터까지 학습 데이터에 추가된 문제 상황을 가정한다. 대조 학습 기반의 사전 학습을 통해 인코더가 임베딩 공간에서  ood와 id 데이터를 잘 구분되도록 하고, 이를 기반으로 KNN 알고리즘을 통해 ood 라고 판단되는 데이터를 filtering 한다. Id 라고 판단된 데이터는 분류기를 통해 나온 loss를 기준으로 또 다시 clean labeled 와 noisy unlabeled 데이터로 구분된다. 나는 이 과정에서 clean과 noisy를 구분하는 threshold를 불확실성 기반의 dynamic threshold로 적용하였다. 고정된 threshold는 아무래도 데이터 각각의 특징을 반영할 수 없기 때문에 불확실성을 통해 이를 보완하고자 했다. 이후에는 구분된 clean labeled 와 noisy unlabeled 데이터를 사용하여 준지도학습이 적용되는데, 나는 이 때 기존의 MixEMatch 방식으로 Bayesian MixEMatch(BMixEMatch)로 개선하였다. Mix up 과정에서 불확실성이 큰 샘플에 보다 가중치를 줘서, 결과적으로는 모델이 불확실성이 큰 데이터에 더 학습이 이루어지게 되어 noise에 강건하게 되도록 하였다. 실험적으로 기존 비교 방법론들보다 모든 noise 세팅에서 우수한 성능을 도출하였다.

- 질문 1: 처음부터 unlabeled 데이터에 noisy 데이터가 있는 상황인가요?

- 답변 1: 처음에는 지도 학습 세팅과 같습니다. 그러나 학습 과정에서 모델이 loss를 통해 도출되는 clean probability를 기준으로 clean과 noisy로 구분하게 되는데, 이 때 noisy는 label 정보를 버리고 사용하게 되어 준지도학습 기법이 적용되는 것입니다.

- 질문 2: 현재 성능이 어느 정도 향상되는 것으로 보이는데, 더 추가적으로 개선을 시켜야 하나요?

- 답변 2: 정량적인 성능은 향상되었지만, 현재 기여점이 부족하다고 생각되어 조금 더 보완할 생각입니다.

[청취 후기]

시계열 군중 이동 패턴 분석 기반 실시간 이상 상황 예측 및 평가 모델 (김채현, 김은설 - 경찰청)

발표자 분 소속이 경찰청이라 흥미가 가서 유심히 포스터를 보게 되었다. CCTV의 비디오 데이터를 통해 이상 탐지를 수행하여 시민들이 대피해야하는 상황에 대한 부가적인 정보를 전달하기 위함인 연구였다. 방법론 자체는 단순했지만, 실제 상황에서 매우 유의미한 접근 방식이라고 느껴졌다. 현재는 단일 관점(single view) 데이터만 사용하였는데, 가능하다면 다각도 관점(multi view)에서 수집된 데이터를 사용하면 좋을 것 같다고 생각하여 내 의견을 말씀드렸고 발표자 분과 몇 분 동안 논의했던 것 같다. 경찰청 소속이라 연구에만 집중할 수는 없을텐데 그 와중에 이렇게 진행한 것도 대단하다고 느껴졌던 발표였다.

멀티 에이전트 기반 대현 언어모델을 활용한 해석 가능한 시계열 이상탐지 기술 연구 (강형원 - 고려대학교, 김정섭 - HD 한국조선해양, 박진우, 강필성 - 서울대학교)

거대언어모델을 기반으로 zero-shot 이상치 탐지를 수행한 연구였다. Seasonal 에이전트, trend 에이전트 등 여러 개의 LLM 에이전트가 각각의 정보를 해석하여 이를 통해 해석 가능한 시계열 이상치 탐지를 수행한다. 요즘 LLM 에이전트를 활용한 연구가 다양한 분야에서 진행되고 있는데, 해당 연구도 매우 흥미롭게 느껴졌다. 아직 정량적인 이상치 탐지 실험 결과는 없었지만, 별도의 학습 없이 LLM의 추론 능력만으로도 기존 성능을 넘는다면 매우 유의미한 연구가 될 것 같다.