이번 ACM SIGKDD 2024는 스페인 바르셀로나에서 개최되었다. 교수님께서 좋은 기회를 만들어주셔서 이번 학회에 참여하게 되었다. 스페인은 지도에서 보는 것 만큼이나 가는 길이 참 멀었다. 비행기로 14시간을 가서야 겨우 도착하였다. 내게 있어 스페인 뿐만 아니라 유럽 대륙에 발을 들이는 것 조차 처음이었기에 매우 설레이고 동시에 긴장도 하였다. TV에서만 보던 인종차별을 당할까 이런 저런 걱정도 많았지만 기우에 불과 했다. 사람들은 친절했고 음식은 입맛에 매우 잘 맞았다. 덕분에 큰 무리 없이 스페인에 적응하며 학회 세션들을 알차게 들을 수 있었다. 

#1
KDD는 [k]nowledge [d]iscovery and [d]ata mining의 약어이다. 우리 연구실과 참 결이 비슷한 이름이다. 최근에 삼대장을 자처하는 NeurIPS, ICML, ICLR은 최근에 유행하는 연구 주제를 반영하여 발표하는 학회라면 KDD는 그와는 반대로 유행보다는 학회에서 주로 다루는 주제 위주로 발표가 되는 느낌이었다. LLM은 막을 수 없는 흐름이기에 일부 반영이 되었지만 대부분이 anomaly detection, graph neural networks, recommendation system, timeseries data 관련 발표였다. 거꾸로 앞서 언급한 삼대장 학회에서는 보기 힘든 주제이기도 하다.

#2
KDD는 또한 urban, marketing, 등... application session이 매우 다양하고 많았다. 그만큼 현실 세계에 적용하는 연구도 많이 포용하는 학회였고 산업경영공학을 공부하는 사람들이 흥미를 가질 발표들이 많이 있었다. 동시에 application 세션은 여러모로 많은 생각을 들게 하였다.

Marketing과 recommendation system 세션은 거의 중국 발표자들의 잔치였다. 그도 그럴 것이 텐센트나 앤트그룹 등 커머스 기업과의 연계가 완벽하게 이루어지는 연구였기 때문에 연구로 보여줄 것이 많았다. 풍부한 데이터로 제안 방법론을 학습하고 이를 실제 커머스 환경에 적용하여 현실 세계에서 얼마나 좋은 성능을 내는지 검증을 하였다. 여기선 커머스의 예시만을 들었지만 금융 기업과의 연구도 있었다. 반면 우리나라를 생각해보면 제조업을 제외하곤 위와 같이 연구하는 경우는 전혀 찾아볼 수가 없다. 중국이 인공지능으로 앞서 나아가는데에는 다 이유가 있는 것 같다.

#3
이전 INFORMS에서는 사실 많은 발표자들이 영어를 잘 했다고 생각한다. (물론 모든 발표를 내가 잘 알아듣고 이해했다는 뜻은 아니다) 하지만 KDD에서는 그렇지 않은 사람들이 많았다. 제일 곤란한 경우는 그림 위주로 장표를 작성하고 발표하는 경우였다. 차라리 텍스트를 써두고 읽는 사람은 내가 그 글을 읽으면 되니 괜찮았다. 하지만 발표자 모국어의 언어 특징이 뒤섞인 영어를 듣는 것은 좀 많이 힘들었다. 그에 대한 방증으로 그런 발표에서는 질문이 전혀 나오지 않았다. 개인적으로 학회는 자신의 연구를 발표하는 자리이지만 동시에 다수로부터 피드백을 들을 수 있는 자리라고 생각한다. 그 피드백이 발표한 연구를 더 발전시킬 수도 있는 기회인데 내용 전달이 안 되어서 그 기회를 날리는 것은 많이 아쉬운 일인 것 같다. 내게 또 언제 해외 학회 발표 기회가 있을지는 모르겠지만 적어도 내용 전달을 할 수 있을 만큼은 꼭 영어 실력을 갖추고 있어야겠다.

#4
학회 마지막날 교수님과 함께 참석한 세션에서는 저명한 경제학자가 머신러닝 알고리즘 연구를 발표하였다. 교수님께서 알려주셔서 발표자가 경제학자라는 것을 알게되었고 무척이나 신기하고 한편으로는 대단하다고 느꼈다. 연구는 다중클래스 분류가 가능한 Adaboost의 방법론을 제안하는 것이었다. (발표 소개 링크: https://www.youtube.com/watch?v=hG_4pAPLnGw) 발표 내용보다 질의응답이 더 기억에 남았는데 질문자가 "Adaboost는 너무 옛날 알고리즘 아닌가? 요즘에는 LightGBM이라는게 있고 이걸 더 많이 쓴다. 왜 LightGBM을 사용하지 않았나?"라고 하였고 발표자는 "난 그 질문에 대답할 알맞은 사람이 아니다"라고 했다. 덧붙여서 "나중에 학교에서 Adaboost 가르칠 때 오늘 발표한 제안방법론도 함께 알려줄 수 있을지도"라고 하였다. 정말 한 분야에서 정점을 찍은 사람이 보여줄 수 있는 여유이자 자신감이 아닌가 생각되었다. 물론 질문이 좀 별로긴했다.

#5
아쉽게도 강화학습 세션은 매우 작았고 현재 종국이나 내가 연구하고 있는 게임이나 로보틱스 환경에 적용하는 심층 강화학습 발표는 없었다. 하지만 urban 쪽 application 연구에서 평소에 관심을 갖고 있던 멀티 에이전트 강화학습 (MARL) 기반의 traffic signal control (TSC) 연구가 있어서 재밌게 들었다. TSC 문제는 최적의 신호등 제어를 통해서 교통 정체를 최소화하는 것을 목표로 한다. MARL 기반의 TSC 문제에서는 각각의 에이전트는 각자의 신호등을 관리한다.

1) CoSLight: Co-optimizing Collaborator Selection and Decision-making to Enhance Traffic Signal Control
제안방법론은 기존방법론과 크게 다른 접근을 통해서 TSC 문제를 해결하고자 한다. 제안방법론은 기존의 TSC 연구와 두 가지 차이점을 보인다. 첫 번째는 GNN을 사용하지 않고 단순 MLP를 사용한 것, 두 번째는 인접 교차로 뿐만 아니라 비인접 교차로와도 협업한 것이다. 이로써 연산량을 대폭 줄이고 교통 정체를 보다 효과적으로 완화할 수 있었다고 한다. 제안방법론은 협력할 때 두 가지 규칙을 만들었는데 첫 번째는 에이전트 자신의 교차로가 원활하게 돌아가는 것을 최우선으로 하고 ("you are your biggest collaborator") 그리고 다른 에이전트와 협력시 일방적이지 않고 상호 호혜적인 관계를 유지 ("mutual reciprocity") 해야하다는 것이다. 이 때 상호 협력의 정도는 MLP로부터 계산되는 협력 행렬(collaborator matrix)로 확인할 수 있다. 이를 바탕으로 제안방법론은 기존과 달리 협력할 에이전트를 선택하는 것과 제어하는 방법을 한 번에 학습할 수 있다. 기존 방법론은 GNN을 쓰기 때문에 hop의 수를 정해주어야하지만 제안방법론은 MLP를 기반으로 협력 행렬을 따로 구하기 때문에 보다 넓은 범위에서 동적으로 결정할 수 있다.

2) CrossLight: Offline-to-Online Reinforcement Learning for Cross-City Traffic Signal Control
제안방법론은 서로 다른 도시 간의 TSC 문제를 해결하는 정책을 효과적으로 전이하는 방법론이다. 즉, 오프라인 서울 데이터로 학습한 정책을 온라인 학습으로 부산에 적용하는 것이다. 여기서는 메타 강화학습을 사용하여 적은 수의 데이터를 통해 빠르게 정책을 전이하는 방법을 제안한다. 이 때 transformer로 dynamics modeling을 수행하여 오프라인 교통 데이터에서 일반화된 교통 패턴을 학습한다. 그리고 이렇게 추출한 패턴을 활용하여 GNN으로 도시의 동적인 공간 정보를 학습한다. 여기까지가 offline meta-training에 해당하고 그 뒤에는 학습된 모델로 온라인 강화학습을 수행하는 것이다. 

또한 marketing 관련 세션이 있어서 호기심에 들어보았다.

3) Know Your Needs Better: Towards Structured Understanding of Marketer Demands with Analogical Reasoning Augmented LLMs
이 연구는 LLM을 사용해서 마케터가 특정 제품을 팔고자 하는 고객에 대한 추상적인 서술을 제공하면 LLM이 문단을 다수의 키워드로 세분화(추상적인 문장을 구조화된 문장으로 바꿈)하여 구체적인 고객 군집을 제공하는 시스템을 제안하였다. 예를 들어 "Company white-collar workers who enjoy drinking Starbucks"라고 입력을 하면 "(Preference#Belongs To#Starbucks) AND (Career#Belongs To#White-collar)"로 구조화된 문장을 만들어 이에 해당하는 고객을 검색한다. 위에 사용된 Preference, Belongs To, Career 외에 숫자를 조건으로 걸기 위한 Between, Greater Than 등도 있다. 이러한 키워드들은 실제 마케터와 협업을 통해서 선정하였고 시스템 설계 역시 조언을 받았다고 한다. 참고로 앞서 #2에서 언급한 앤트그룹과 협업을 한 연구이다. 이 시스템에 대한 평가는 실제 사람, GPT4 Eval을 통해서 수행되었고 실제로 단순히 LLM에 질의하는 방식보다 뛰어난 성능을 보여주었다.