2024년 8월 25~29일까지 스페인에서 열린 ACM SIGKDD 세미나에 참석하여 다양한 연구들을 기회를 얻었다. ICLR, ICML, NIPS에서 최근 Diffusion, RLHF, LLM 등의 논문들이 핫한것과 달리, KDD에서 주로 발표된 세션들의 비중은 Anomaly Detection, Recommender System, Graph Neural Network 등이 압도적으로 많았다. Applied Track의 비중이 많아서 그런지 참석한 기업들도 아마존, 바이두 등 이커머스 기업이 많았고 이에 따라 Recommender System이나, Graph를 통한 할당 문제에 대한 수요가 많았던 듯 싶다. 강화학습 트랙도 한 트랙 있었으나 아쉽게도 내가 현재 연구하는 분야인 Robotics 위주가 아니었다. 그래도 학회를 들으며 여러가지 흥미로운 연구를 맛봄으로써 식견을 넓힐 수 있었다.

[Keynote 08/27 - AI for Nature]

자연 생태계에 AI를 접목한 다양한 연구들을 맛볼 수 있었다. BioCLIP은 유기체 생물학에 대한 비전 파운데이션 모델이다. 개별 생물에 대한 분류학적 레이블(과, 목, 강 등)을 달아서 개별 유기체에 대한 구조적으로 분류하는 것이 목적이다. 이렇게 학습된 BioCLIP은 동일한 목 혹은 강 등 인간이 만든 생태계 분류 체계에 대해 더 잘 이해할 수 있게 되고, 이에 따라, Diffusion 모델 등을 사용해 Latent Space 상에서 일부 feature를 변경함으로써 일종의 있을법한 변종(?)을 만들 수 있다고 한다. 실제로 BioCLIP Backbone을 활용한 Phylo Diffusion 모델은 Lepomis라는 생선의 특성을 일부 변경하여 기존 분류 체계에 순응하는 새로운 생물을 만들고 이에 대한 합리적인 해석을 제공할 수 있었다고 한다. 또 다른 연구로는 INTR(Interpretable Transformer for Fine-grained Image Classificiation and Analysis)를 소개하였는데, 이 또한 단순한 이미지의 레이블 분류가 아니라 Fine-grained Classification을 목적으로 하였으며, Painted Bunting이라는 새를 예측할 때 어떠한 부분을 보고 예측하였는지를 Salinecy Map을 통해 알 수 있다고 하였다.

[Beyond Binary Preference : Leveraging Bayesian Approaches for Joint Optimization of Ranking and Calibration]

Recommender System에서 Click-through Rate(CTR)을 예측하는 태스크에 관련된 연구이다. 이 때 CTR 예측을 위해서 RLHF와 같이 Binary Preference Label을 사용한다는 점에서 나의 연구 분야에 접목할 것이 무엇이 있을까하고 관심있게 들었다. 해당 연구에서는 실질적으로 주어지는 Binary Preference Data의 다수가 그다지 학습에 도움이 되지않는다고 주장하였다. 그 이유는 2개의 옵션에 대해 모두 동일하게 0.5/0.5로 주는 Tie  데이터가 많기 때문인데, 해당 연구에서는 이를 해결하기 위해 Bayesian Approach를 활용하였다고 한다. Click Behavior Model을 베타 분포로 모델링한 후, 사후 분포(Posterior)를 활용하여 Tie 데이터에 대한 Label을 변경하였다고 하는데, 구체적인 내용은 논문을 통해 알아봐야할 것 같다. 다만 해당 연구는 분야가 Robotics가 아닌 추천 시스템인데다가 나의 개인연구와 달리 사전에 비교 데이터가 모두 주어진 Offline Setting이라 실질적으로 적용하기는 어렵다고 판단하였다.

[XRL-bench: A benchmark for Evalutating and Comparing Explainable Reinforcement Learning Techniques]

중국 게임회사에서 연구한 논문이다. 기존에 RL 알고리즘에 XAI를 접목하여 에이전트의 행동에 대한 설명력을 제공하기 위해 기존 XAI 방법인 TabularLIME과 TabularSHAP을 접목하였고, 기존 강화학습 벤치마크인 DMControl뿐만 아니라 자사에서 제공하는 게임도 함꼐 실험환경으로 제공한다고 한다. 또한 XAI 기법의 평가 메트릭으로써  Fidelity, Stability, AIM, QUM, PGI, PGU 를 사용하여 다양한 XAI 기법에 대한 비교실험을 진행하였다. 한 가지 아쉬운점은 강화학습은 Sequential Decision Making으로써, 다른 분류나 회귀 문제와 달리 이전 상태에 대한 행동의 결과가 다음 상태에 영향을 미치게 되는데, 이러한 시계열성이나 인과성을 반영한 RL-specific XAI를 제안한게 아니라 기존에 존재하는 다른 XAI 기법을 단순 적용한 것이었다. 이러한 점에 대해 발표자에게 단순히 이를 적용하는 것은 시계열성을 반영하지 못할텐데 적합한지에 대해 물어봤는데 명쾌한 해답을 얻지 못했다. 다른 청취자들도 나의 의견에 동의했으나 저자들은 큰 문제는 느끼지 못한다고 하였다. 이 발표를 듣고 나서 바르셀로나 대학에서 박사과정을 하고 있는 독일분과 토론을 나누었는데, 학회에 참가하는 것에 대한 또다른 장점을 찾을 수 있었다. 내가 바로 적용할 수 있는 연구를 찾거나 학회 내용을 전부 이해하지는 못하지만, 비슷한 관심사를 가진 사람들과 커뮤니티를 생성하는 좋은 기회를 가지게 되었다.

[AnyLoss : Transforming Classification Metrics into Loss Functions]

기존 분류 문제의 경우, 우리가 목표로 하는 Metric(F1, Recall) 에 대한 직접적인 최적화가 불가능하고, 그 대신 Cross Entropy를 사용하여 분류기를 학습한다. 본 연구에서는 원하는 Metric(F1, Recall)등에 대한 Differentiable Surrogate Function을 만들어서 해당 Metric이 최대화되도록 직접적으로 알고리즘을 학습하는 연구이다. 노트르탐 대학의 한국분이 발표하셨는데, 발음과 톤이 매우 좋아서 이해하기 편했다. 끝나고나서 교수님과 함께 발표자분께 질의하는 시간을 가졌는데, 해당 연구의 한계점으로는 현재 1. 이진 분류에만 가능함, 2. Mean Shifting을 위한 Sigmoid 함수의 하이퍼파라미터를 도메인에 따라 찾아야 한다는 것이다. 아직 범용성은 낮지만 그래도 획기적인 연구여서 기억에 많이 남았다.

[A Novel Feature Space Augmentation Method to Improve Classification and Evaluation Reliability]

기존 정형 데이터에서는 Augmentation을 쓰기가 상당히 까다로웠다. 이미지와 달리 Semantic Invariance를 보장하는 증강기법이 없었기 때문이다. 끽해야 SMOTE가 나왔었는데, SMOTE도 Intra augmentation이라 기존 데이터 내부에서 증강 기법이 되는 것 뿐이었다. 본 논문에서는 CiFRUS라는 방법론을 제안하는데,  클래스 불균형을 해결하고 개별 특징의 local distribution을 활용하여 새로운 synthetic instance를 생성한다고 한다. 내 연구는 Class Imbalance와는 관련없지만, 현재 내가 쓰는 데이터가 센서 데이터이기 때문에 한번 데이터 증강 기법으로 사용해보는것도 나쁘지 않을 것 같다.