[학회후기] 2024 NeurIPS가 벤쿠버에서 12월 10일~12월 15일 개최되었다. 나는 발표자는 아니지만 교수님께서 좋은 기회 주셔서 워크샵을 제외한 일정 동안 학회에 참석할 수 있었다. 학회 기간 동안 느낀 점이 너무 많은데 간단하게 요약하자면 개인적으로 학문 뿐만 아니라 기존에 가졌던 편협한 가치관에서 벗어날 수 있는 신선한 경험이었다. ICIEA에 이어 두번째 경험하는 해외 학회였는데, 포스터 세션 유무가 연구자들에게 큰 경험의 차이를 준다는 것을 느꼈다. NIPS를 처음 참석하는 학생들이 있는 경우 도움이 되었으면 해서 아래와 같이 경험을 공유한다.[학회 시작 전 Tip]요즘 Whova라는 어플을 주로 사용하여 컨퍼런스 내 주요 이벤트와 소셜 등이 이뤄지는 걸 볼 수 있었다. 주요 기능은 학회 일정(포스터, 발표)을 개인화에 맞춰서 스크랩하여 정리할 수 있고, 각 세션을 보고 느낀 점을 노트하는 기능도 있었다. 스크랩을 해놓고 시간에 맞춰서 이동하기에 무척 편해서 학회 참석한 인원들이 모두 해당 어플을 보고 있었다. 나는 혼자 참석했음에도 한국인들이나 주요 관심사가 같은 사람들끼리 채팅방이 원활하게 만들어졌기에 커피 챗, 밋업 등을 원활하게 할 수 있었다. 다양한 밋업을 했는데 소속과 연구 분야를 나누며 순수하게 인공지능 분야에 대한 건강한 토론을 할 수 있어서 좋았다. 그리고 많은 사람들이 LinkedIn을 사용한다. 포스터 발표자와 질문을 주고받을 때도 LinkedIn을 교환했었다. 미리 가입하고 업데이트하는 걸 추천한다.[주요 일정-12/10~12/13]첫날은 EXPO와 튜토리얼로 주로 기업 부스에 치중되어 있다. Meta, Tesla, Microsoft, Intel 등 셀 수 없는 빅테크 등이 부스를 설치했으며 특히 Tesla에서 로봇을 전시하여 시연한 것이 매우 인상 깊었다. 각 부스들은 회사 내부적으로 AI를 어떻게 활용하고 있으며, 인턴십을 모집하기 위한 설명을 하며 기업의 굿즈들을 나눠주었다. 해당 부스에서는 현직자들이 진행 중인 프로젝트들을 오랄로 발표하기도 했다. 1만 6천명이 참석한 만큼 처음보는 학회 너무나도 큰 규모에 놀랐고, 그에 따라 기업 부스도 매우 컸다. 부스 담당자들이 다들 매우 친절해서 돌아보는데 즐거웠던 시간이 었다. 유창하지 못한 영어로 어떤 인공지능 기술을 쓰는 회사인지 용기내서 질문했던 것 같다. 두번째 날부터 워크샵이 시작되기 전까지 스케줄은 주로 초청 강연, 오랄 세션, 포스터 세션으로 구성되어 있었다. 포스터 세션은 보통 하루에 두 개의 세션으로 나눠졌으며 한 세션당 3시간 정도가 주어졌는데, 비자 문제로 인해 참석을 못한 다수의 발표자들이 보였으며(게시해놓고 도망간 발표자들도 보였다!) 발표 포스터 중 한국인들이 많아서 자극이 되면서 질문을 한국어로 할 수 있었다. 위에서 언급했듯이 포스터 세션의 유무가 너무 중요하다고 느꼈던 이유는 초청 강연과 오랄 세션은 영상이 유투브에 있기에 한국에 돌아와서도 다시 시청할 수 있지만, 포스터 세션은 내가 연구하고 있는 분야에 좋은 결과를 낸 연구자들에게 질문을 하고 같은 문제에 대해 어떻게 고민할 수 있는지 깊은 대화를 해볼 수 있기 때문이다. 포스터 세션은 발표되는 양이 정말 많기에 세션별로 5개 정도 미리 볼 것을 정하고 돌아다니면서 추가로 눈에 띄는 포스터를 보는 것만으로도 시간이 부족 했었다. 포스터에 대한 총평을 해보자면 LLM, Diffusion, Neural Rendering, Federated Learning 등 맨 처음 언급된 순서대로 발표 개수가 매우 많고 주목받고 있었다. 특히 LLM에 대한 주목이 매우 커서 내 연구가 관련이 없음에도 어떻게 하면 연결 지을 수 있을지 개인적으로 고민이 되었다. 그리고 Diffusion의 경우 Diffusion 모델을 개발하는 Task가 아니어도 전처리(augmentation 기법)로 융합되어 사용되는 논문들을 볼 수 있었다. Federated Learning의 경우 프라이버시 문제로 인해 많은 연구가 이뤄지고 문제 정의를 새로운 관점에서 하는 다양한 시도들을 볼 수 있었다. [청취후기]1.     Overcoming Few Labels in Federated Semi-Supervised Learning서버는 적은양의 labeled data, 클라이언트는 unlabeled data를 각각 가진다는 Semi 상황을 셋팅으로 하며 다른 방법론보다 적은 labeled data를 설정하고 FixMatch에서 영감을 받은 테크닉들을 적용하여 높은 성능을 보인 Federated Semi-Supervised Learning 방법론. Federate learning 개념 이해에 많은 도움이 되었던 포스터 발표였음.2.     RankUp: Boosting Semi-Supervised Regression with an Auxiliary Ranking ClassifierRankNet에서 영감을 받아 y의 크고 작음을 학습한 뒤 이를 모델이 예측하게 학습하여 좋은 성능을 냈으며, labeled y와 unlabeled y의 분포를 유사하게 하기 위해 labeled y의 분포를 보간 하였음. 나의 첫번째 논문과 동일한 연구 분야로 주의 깊게 보았는데, benchmark data를 오디어, 자연어 처리에서도 사용한 것이 매우 인상 깊었고 영어로 발표자에게 질문을 했던 포스터라 기억이 남음.Q1. Semi-supervised regression 방법론 비교를 한 개(UCVME)만 한 이유가 있는지? UCVME 논문을 보면 다른 방법론도 포함되어 있는데A1. 다른 비교 방법론들을 저널에서 나온 방법론으로 굳이 포함해야 할 필요를 느끼지 못했음Q2. SRCC 라는 평가 지표를 회귀에서 처음 보는데 사용한 이유가 있는지? 다른 비교 방법론 어디에서 사용되었는지?A2. 방법론에서 나온 평가지표 보다는 Benchmark에서 등장하는 평가지표라서 사용했다.3.     Data Augmentation with Diffusion for Open-Set Semi-Supervised LearningUnlabeled data에 labeled data에는 존재하지 않는 class가 포함되어 있는 open-set Semi-supervised 상황에서 unlabeled images에 diffusion모델을 적용하여 labeled data와 유사한 이미지들을 생성하여 증강시킴. 첫 번째 학습 단계에서 PU learning을 통해 labeled data와 관련이 낮은 unlabeled data를 필터링한 뒤 두 번째 학습 단계에서 diffusion 모델을 통해 augmentation을 진행함.4.     Convolutional Differentiable Logic Gate Networks기존 CNN을 연결하는 파라미터로 논리 게이트 네트워크를 사용하여 기존 모델보다 크기를 경량화 했음에도 준수한 성능을 보임. 오랄 발표였는데 경의로운 PPT 실력이라 발표장에서 관심이 매우 높았음. (https://neurips.cc/virtual/2024/poster/96650)5.     Ferrari: Federated Feature Unlearning via Optimizing Feature Sensitivity데이터의 잊혀질 권리를 보장하기 위해 학습된 특징을 클라이언트가 요구하는 경우 삭제하기 위한 방법론. 특징 민감도를 기반으로 삭제 효과를 정량화하고, Lipschitz 연속성을 활용한 최적화를 민감하거나 편향된 특징을 효율적으로 제거하며 높은 유틸리티를 유지. 매우 흥미로운 문제 상황이라고 느낌.6.     Uncertainty of Thoughts: Uncertainty-Aware Planning Enhances Information Seeking in Large Language ModelsLLM이 자신의 불확실성을 스스로 평가하고, 정보를 탐색할 수 있도록 새로운 보상 체계를 도입한 방법론으로 의료진단 등 환자의 증상에 대해 필요한 질문을 통해 정확한 진단에 도달하는 모델을 만들고자 함. 질문 전후 엔트로피 차이를 계산해 정보 이득(Information Gain)을 평가해서 정보 이득이 최대인 질문을 반복적으로 선택해 불확실성을 줄여 나감. 논문이 너무 인기가 많아서 발표자에게 별도 질문은 못했지만 LLM에 보상체계를 구축했다는 점이 매우 흥미로웠음.[마지막 느낀 점] 나는 해외 취업 or 진학을 고려하냐는 누군가의 질문에 해당 학회를 참석하기 전에는 항상 “아니요”라고 대답을 했던 것 같다. 해외(ex. 미국)에서 일한다면 차별 및 안전에 대한 걱정에 대한 고정관념이 있었기 때문에다. 하지만, 이제 누가 다시 물어본다면 내 대답은 “네”이다. 다양한 사람들과 근무할 수 있는 기회, 높은 급여, 자유로운 출퇴근 환경들이 매우 큰 메리트로 보였다. 물론 그에 따른 단점도 있겠지만, 경험한 후 결정해도 늦지 않다는 생각이 들었다. 이러한 생각들은 밋업을 갔을 때 나에게 최대한 도움이 될 수 있게 개인적인 경험들을 공유해준 분들 덕분인 것 같다. 개인적으로 소중한 인연을 얻을 수 있는 기회였고, 다음에도 경험했던 좋은 토론을 나누기 위해 학회에 억셉 될 수 있는 좋은 논문을 써야겠다는 다짐 하였다. 앞으로의 대학원 생활에 대한 동기 부여와 다음 연구에 대한 힌트를 얻을 수 있는 경험을 할 수 있게 기회주신 교수님께 감사하다는 말씀 전하며 후기를 마무리한다.

[학회 후기] 2024년 11월 22-23일, 경주 화백컨벤션센터에서 개최된 한국데이터마이닝 추계학술대회에 참여하게 되었다. 한국데이터마이닝 학회는 저번 춘계학술대회 이후에 2번째 참석이다. 그 때는 서울에서 진행되었지만 이번에는 경주에서 진행되었다. 거리가 멀어진 만큼 기대감은 커졌다. 또한, 모든 연구실 인원이 참여한 학회는 처음이었기 때문에 더욱 더 기대를 하며 학회에 참석하였다. 학회장에서는 기존의 방식과는 다르게 세션들이 진행되었다. 교수님들과 기업 관계자분들이 발표를 진행해주셨으며, 학생들은 모두 포스터 세션에서 발표를 진행하였다. 교수님들과 기업 관계자분들의 발표를 들으며 많은 것들을 배우고 느낄 수 있었다. 특히, 여유있게 발표하는 모습들을 닮고 싶었다. 학회 마지막 세션으로 진행된 신임 교원 패널 세션도 교수님들의 역경이나 고민, 성공 사례들을 들을 수 있어서 매우 흥미로웠다. [포스터 발표 후기] 주제: Virtual Try-on with Pose-Aware Diffusion Models 지금까지 참석한 3번의 학회에서는 oral 발표를 진행했지만, 처음으로 poster 세션에서 발표를 진행했다. poster 세션은 청취자분들이 더욱 가까이서 설명을 들어주시고 즉각적으로 질문을 한다는 점에서 매우 새로웠다. 또한 oral 발표와는 다르게 내용을 여러번 설명드리게 되는데 이런 점이 생각보다 어려웠고 힘들었다. 그래도 옆에서 관심있게 내 연구에 대한 설명을 들어주시고 질문을 해주신다는 게 매우 감사한 순간들이었다. 마지막에는 운이 좋게 논문 대상을 수상할 수 있었다. 너무 좋은 경험이었다. 질문: 컨디션 이미지로 사용한 skeleton과 densepose map을 따로 학습한 이유가 있는지? 답변: skeleton 이미지는 신체의 관절과 같은 개괄적인 정보를 포함하고 있고, densepose map은 신체의 볼륨같이 보다 세부적인 정보들이 포함되어 있기 때문에 각 이미지가 가지는 특성이 다르다고 판단하였다. 그런 이유로 각 이미지의 특성을 살리기 위해 각 이미지를 활용해 모듈을 따로 학습하였다. [청취 후기] 반도체 웨이퍼 투과식 전자 현미경 이미지 내 노이즈 제거를 위한 Segment Anything 기반 가상 계측 레이블을 활용한 최적화 (김성수, 고려대학교) 최근 반도체 산업에서의 데이터 활용에 대해 많은 관심을 갖고 있어 매우 흥미롭게 들을 수 있었다. 해당 연구는 반도체 웨이퍼 내부 계측에 있어 TEM 이미지 활용할 때, TEM 이미지가 많은 노이즈를 지니고 있는 상황을 해결하고자 하였다. 웨이퍼 TEM 이미지 노이지를 직접 제거할 수 있으면 좋겠지만, 웨이퍼 TEM 이미지는 일반적인 카메라로 촬영한 이미지와 다른 특성을 갖기 때문에 그런 접근은 불가능하다. 이를 해결하기 위해 필터 기반 노이즈 제거 모델의 다양한 파라미터로 생성된 이미지들을 선형 결합하여 이미지 내 노이즈를 제거한다. 이때, Segment Anything 모델에서 나온 가상 계측 레이블을 목적함수로 설정하여 최적 선형 결합 가중치를 산출하는 방식을 제안했다. 해당 방법론을 들으며 각 산업에서 데이터를 활용함에 있어 많은 어려움이 존재하고 도메인의 특성에 맞는 참신한 접근 방식이 필요하겠다는 생각이 들었다.

[학회 후기]2024 한국데이터마이닝학회 추계학술대회가 경주 화백컨벤션센터에서 11월 22~23일 개최되었다. 이번 학회는 학생들의 포스터 발표, 그리고 교수님들의 자기 소개 등 이전과 다른 방식으로 진행되어 새로운 느낌이었다. 포스터 세션에서 현재 진행 중인 연구에 대해 소개하였고, 다른 연구자들의 발표를 청취하며 인공지능에 관련된 여러 분야에 대한 지식을 쌓을 수 있었다. 또한 세미나에서 여러 흥미로운 주제들에 대해 발표를 들을 수 있어서 유익했던 시간이었다.[발표 후기]이번 학술대회에서는 "Improving Text Fidelity in Diffusion Models through Text Embedding Modification"이라는 주제로 포스터 발표를 진행했다. 디퓨전 모델에서 텍스트 임베딩에 과적합된 레이어를 식별하고 이를 완화하기 위해 텍스트 임베딩에 변형을 가하는 연구였다. 발표를 마치고 청취자들의 의견이나 질문들을 듣는 과정에서 많은 것을 생각해볼 수 있었다. 예를 들어 텍스트와 이미지 등을 포함하는 멀티모달 연구에서 활발히 논의되고 있는 것이 무엇인지 묻는 질문에 대해 각 텍스트 인코더 및 이미지 인코더들을 연결하는 커넥터의 병목현상을 최소화하는 것이라고 답변했는데, 그 외에도 멀티모달 모델을 다룰 때 중요한 것들은 또 어떤 것들이 있는지 생각해볼 수 있었다. 또한 여러 질문과 의견들을 들으며 연구 내용을 다시 점검하고 생각해볼 수 있는 시간이었다.[청취 후기]이번 학회는 학생 연구자들의 포스터 세션에서 흥미로운 발표를 많이 청취할 수 있었다. 그 중에서 흥미로웠던 연구는 "A gradient Accumulation Method for Dense Retriever under Memory Constraint"라는 연구였다. 이 연구는 dense passage retrieval (DPR)을 다루며, 메모리 코스트가 제한된 상황에서 효율적으로 쿼리에 대한 관련 문단을 뽑아낼 수 있도록 하는 방법론을 제시한다. 이 연구에서는 쿼리와 문단에 대한 메모리 뱅크를 각각 만들어두고, retriever 모델 학습 시 이전 스텝에서 사용하고 메모리 뱅크에 저장해두었던 쿼리 및 문단들을 현재 스텝의 쿼리 및 문단에 대한 negative samples로서 사용한다. 이전 연구들과의 차별점은 '이전 문단들을 현재 쿼리의 negative sample로, 이전 쿼리들을 현재 문단의 negative sample로' 정의한다는 데에 있다. 즉 과거 학습에 사용했던 데이터들을 낭비하지 않고 효율적으로 학습에 이용하는 것이다. 학회를 통해 이러한 다양한 연구들에 대한 발표를 청취하며 여러 흥미로운 연구 주제들을 접할 수 있었다.

[학회 후기]추계 데이터마이닝 학회가 11월 22, 23일 경주 화백컨벤션센터에서 열렸다. 이번 학회는 학생들 발표는 포스터로 진행되었으며 교수님들이 현재 진행 중인 연구에 대해서 구두 발표를 진행했다. 각 연구실에서 발표한 탑티어 컨퍼런스 연구를 구두 발표로 들을 수 있어서 매우 흥미로웠다. 또한 포스터 세션에서 다양한 연구원들과 만나서 연구에 대해서 교류할 수 있어서 의미가 있는 학회였다.[발표 후기]이번 학회에서는 "Guidance 및 Scheduling을 통한 디퓨전 모델 기반 이미지 편집 신뢰성 향상"이라는 주제로 포스터 발표를 진행했다. 디퓨전 모델을 활용한 이미지 에디팅 연구에서 편집된 이미지의 신뢰성을 높이기 위해 새로운 guidance 기법과 scheduling을 도입한 연구였다. 해당 연구를 소개하고 다양한 연구원들 연구에 대한 의견을 주고받았다. 특히 발표를 듣고 내 설명이 본인 연구에 많은 도움이 될 것 같다고 말해주신 연구원분이 인상적이었다. 구두 발표를 진행하면 보통 다양한 의견을 주고받기 어려운 경우가 많은데 포스터 발표를 통해서 내 연구에 대해 조금 더 많은 의견을 주고받을 수 있어서 좋았다.[청취 후기]이번 학회의 구두 발표는 다양한 분야를 연구하시는 교수님들이 직접 발표를 진행해 주셨다. 특히 탑티어 컨퍼런스에 발표된 연구를 직접 들을 수 있어서 다양한 연구를 접하기에 좋은 기회였다. 가장 인상적인 발표는 "Sassha: Sharpness-aware Adaptive Second-order Optimization with Stable Hessian Approximation"였다. 해당 연구는 optimizer에 관련된 연구로 특히 second-order optimzer에 관한 연구였다. Second-order optimizer는 많이 사용되는 first-order optimizer에 비해 이론적으로는 성능이 우수하다고 알려졌지만, 많은 계산량 때문에 실제 모델을 학습할 때 사용하기가 어렵다. 또한 이론적으로는 우수하다는 것이 알려졌지만 실제 모델을 학습시켜 보면 성능이 떨어지는 경우가 많다. 하지만 해당 연구에서는 다양한 실험을 통해 제안하는 optimizer가 널리 사용되는 Adam 계열의 optimizer에 비해 성능이 높으며 계산량 또한 높지 않다는 것을 보여줬다. 이 외에도 Neural SDE를 안정화한 연구, multi-objective optimization을 위한 dual cone gradient descent를 제안한 연구 등 흥미로운 주제들을 많이 접할 수 있어서 인상적인 학회였다.

[학회 후기]올 해 봄 춘계 학술대회에 이어 경주에서 개최된 추계 학술대회에도 참석하게 되어 기대하는 마음으로 참석하였다. 포스터 발표로 인해 부담감이 없지 않았지만 결과적으로는 새로운 경험을 할 수 있는 귀중한 시간이었고, 개인적인 연구 측면에서도 도움이 많이 되어 알찬 시간이었다. 또 학술대회가 열린 경주에 오랜만에 방문하게 되었는데, 서울에서 벗어나 다양한 사람들을 만나고 이야기도 많이 나눌 수 있어서 좋았다.[발표 후기]주제: 제강 공정의 용강 온도 예측을 위한 방법론개인 연구 주제로 포스터 발표를 진행했다. 사실 철은 사람들이 사용을 안 할 수는 없으면서도 딱히 관심을 가지는 분야가 아니기도 하고, 최첨단 기술과는 거리가 먼 분야이기 떄문에, 사람들이 크게 관심을 가지지 않을거라는 생각이 있었다. 하지만 생각보다 많은 분들이 와서 설명을 듣고 가셨고, 우리 연구실의 연구원들도 많은 관심을 가지고 들어주셔서 감사한 마음이 들었다. 특히 김성범 교수님께서도 설명을 들으시곤 진전이 있다면서 격려해주셔서 기억에 많이 남는다. - 질문: 시계열 알고리즘이 많은데 굳이 RNN을 사용한 이유는?- 답변: 전로 공정은 본래 매 공정을 독립시행이라고 간주하고 있었고, 지금 연구에서는 이를 뒤집어서 이전 공정에 영향을 받는다는 가정하에 진행하고 있는 연구입니다. 그만큼 이 공정은 Long term dependency가 없는 공정이기 때문에 RNN으로 모델링을 했고, LSTM을 사용해 봤지만 성능이 비슷하여 굳이 복잡한 모델을 채택하지 않았습니다.- 질문 : Hidden state를 그냥 더하는 것 말고 concat 하거나, 가중치를 두고 가중합 하는 방법은 사용해봤는지?- 답변 : Concat은 행방향으로 1자로 붙이는 것은 사용해봤는데 효과가 없고, column 방향으로 stacking 하는 것은 해보지 않았습니다. 충분히 해볼만한 가치가 있을 것 같습니다. 가중치를 두는 방법도 생각 못했던 부분이라 시도해보겠습니다. 고맙습니다.[청취 후기]이번 학회는 교수님과 기업 관계자분들께서 발표를 해주셨는데, 주제가 굉장히 흥미롭고 내용도 좋아서 다 듣지 못한 것이 아쉬울 정도로 알찼던 것 같다. 학회 맨 처음 발표자로 나오신 카이스트 이의진 교수님께서 건강과 웰빙에 대해 발표를 해주셨는데,개인적으로 건강 측면에서는, 병원에 가거나 약 먹는거 외에 아무런 생각이 없었는데, Data-Driven 전략으로 앱을 활용하여 사용자의 행동이나 습관 등을 데이터로 수집하고 그에 맞는 행동 교정을 해준다거나 패턴 등을 추천해주고, 그 경과 또한 좋다는 것에서새로운 자극이 되었던 것 같다. 내가 별로 관심이 없고 잘 모르는 분야에서도 많은 전문가들이 더 나은 세상을 위해 고군분투 한다는 것이 느껴져서 개인적으로도 내 자리에서 최선을 다해야겠다는 생각이 들었다.또 강필성 교수님이 발표해 주신 Unique Selling point 검증 및 탐색 프레임워크도 기억에 남는데, 이는 고객들의 리뷰 데이터로부터 LLM을 활용하여 마케팅 전략을  세우는 것이었다. 어떤 제품이 개발자의 의도와는 다르게 의외의 기능들이 사용자들로부터 좋은 반응을얻는 경우가 상당히 많은데, 그 부분을 사용자들의 리뷰로부터 추출해내기 때문에 효과가 안좋을 수가 없을 것 같다는 생각이 들었다. 사실 마케팅 측면에서 인공지능을 어떻게 활용하나 라는 생각을 많이 했었는데, 이 강연으로부터 아 이런식으로 쓰는구나라는 실마리를 얻을 수 있었던 것 같다.

[학회후기]이번 2024 한국데이터마이닝학회는 경주 화백컨벤션센터에서 진행되었다. 이전에도 학회들에 참여해보았고 좋은 경험이었지만, 사무국 조교로 활동하며 처음부터 학회를 꾸려나가는 것은 늘 새롭고, 더 특별한 경험으로 남는다. 특히, 이번에는 학생 발표가 모두 포스터 발표로 진행되는 새로운 시도가 있었는데, 오히려 단기간에 여러 발표를 살펴볼 수 있다는 점에서 장점이 분명했던 것 같다. 또, 포스터 앞에서 발표자와 청중이 가까운 거리에서 열띤 토론을 쉬지 않고 벌이는 모습을 보며, 이것이야말로 '학회'가 아닌가 라는 생각이 들었다. 직접 학회를 준비하면서 발표자와 운영자 측면에서 모두 많은 노력이 들어가는 것을 확인할 수 있었다. 이러한 노력들이 경주에서 만나 하나의 꽃을 피워낸 것 같아 퍽 아름답다고 생각했다.[청취후기]'거대 언어모델과 RLHF를 활용한 슈퍼마리오 게임 맵 생성 모델'이준범 연구원과 함께 진행하는 프로젝트는 크게 두 파트로 구성되는데, 나와 이준범 연구원이 담당하고 있는 파트가 다르다. 물론 평소에도 연구실 내에서 회의를 하면서 어느 정도 무슨 일을 하고 있는지는 알고 있었지만, 정리된 형태의 발표를 들으며 프로젝트의 큰 갈래를 다시 돌아보고, 이준범 연구원이 담당한 부분은 정확히 어떤 일을 하는지, 그리고 이준범 연구원이 그 부분의 문제를 해결하기 위해 어떤 노력을 기울였는지를 상세하게 알 수 있어서 좋았다.

[학회 후기]2024년 11월 22~23일 경주 화백컨벤션센터에서 개최된 한국데이터마이닝학회 추계학술대회에 참가하였다. 매번 oral presentation으로만 참석하고 poster는 처음이라 준비 과정에서부터 새로운 경험을 많이 할 수 있었다. 그리고 학회 중에 데스크 업무를 도와주면서 어떻게 학회가 진행되고 준비되는지도 알게된 특별한 학회였다.[발표 후기]주제: 메타 인지 모델 기반 오픈셋 준지도 학습현재 연구중인 주제로 포스터 발표를 진행했다. 처음에는 사람들이 많이 안와서 멀뚱히 서있었는데 연구실 동료들이 처음에 와서 들어주니 고마웠다. 그 후에는 다행히 사람들이 계속 방문해 주었다. 한 시간동안 계속 말을 하다보니 포스터 세션이 끝나고 목이 좀 아팠다. 그리고 한 번 설명하는데에 10분정도 걸리다보니 많은 분들에게 소개하지 못해서 아쉬웠다. 다음번에는 좀 더 타이트하게 설명할 수 있도록 더 준비를 해야겠다고 느꼈다. 여러 사람들이 설명을 들어줬는데 그 중 한 분이 연구 아이디어가 매우 좋다고 따봉을 날려주신게 기억에 남는다.- 질문: 현재 cifar10에서는 좀 잘나오지만 cifar100에서는 좀 안나오는 것 같은데 이유가 있을까요?- 답변: 현재 방법론은 클래스 개수에 비례해서 OOD 클래스의 logit value가 증가하는 구조를 가지고 있습니다. 이 때문에 클래스 개수가 많은 cifar100에서 OOD 클래스를 overestimation하는 경향성이 있고, 이것이 성능에 영향을 주는 것 같습니다. 이를 해결하는 것이 제 연구에 중요한 부분입니다.[청취 후기]이번 학회는 학생들이 발표를 하는게 아닌 교수님들이 발표를 해주셨다. 또한 발표도 대부분 탑 컨퍼런스에 게재된 연구들이라 퀄리티 또한 매우 좋았다. 하지만 가장 기억에 남는 발표는 한양대학교의 송재욱 교수님이 발표해주신 "투자온도: 공포탐욕지수 기반 투자 정보 서비스"이다. 본 발표에서는 금융 업체와 협업하여 새로운 공포 탐욕 지수를 개발하는 것이었다. 주제가 주제다 보니 교수님이 아주 재치있게 발표를 해주셔서 집중이 잘 되었다. 특히 놀랐던 부분은 현재 실제로 개발한 지수를 해당 금융 업체에서 일반인들에게 서비스를 하고 있다는 것이었다. 산학 프로젝트가 끝나고 내가 개발한 어떤 것이 실제로 서비스되고 있는 것을 보면 엄청 뿌듯할 것 같았다. 나도 기업들이 실제로 사용 가능할 정도의 결과물을 만들 수 있도록 노력해야겠다는 생각을 했다.

1) 학회 후기24년 11월 22~23일에 걸쳐서 경주에서 열린 한국데이터마이닝학회에 참석했다. 춘계와는 다르게 지방이어서 거리에서 오는 피로가 있겠구나 했지만 막상 도착해보니 다른 공기에서 오는 설렘이 더 좋다는 생각이 들었다. 이번 추계 학회에서는 춘계와 다르게 포스터 발표도 진행을 했는데오롯이 나의 연구를 다른 사람들이 많은 각도에서 봐준다는게 참 감사하고 신선한 자극이 되었다. 특히 포스터를 정리할 때까지 다시 한 번 찾아오셔서 질문하신 분의 눈빛이 기억에 남는다. 2) 포스터 발표 후기"반도체 수율 예측을 위한 계층적 어텐션 네트워크 기반의 방법론"이라는 주제로 포스터 발표를 진행했다. 아직까지는 해석의 관점에서 좀더 보완이 필요했지만, 다양한 의견을 듣고자 지금까지 진행한 내용에 대해서만 이야기를 하였다.1) 비교모델이 조금 더 고도화 된 모델은 없었는가2) 별도의 feature selection은 하지 않았는가3) 인코딩 관점에서 아예 없는 조합이 발생을 하면 어떻게 학습되는가등 여러 질문 있었다. 설명하는 입장에서도 청중들은 아예 처음부터 듣다보니 용어부터 설명을 해야한다는게어떤 느낌인지 다시 한번 자각할 수 있었다. 앞으로 자료 및 논문을 만들 때도 이런 관점에서 유의해야겠다는 생각을 했다.3) 강연 청취 후기많은 강연 있었는데 특히 삼성전자의 임광영 그룹장님의 설비데이터를 활용한 이상감지 및 보전관리의 강연이기억에 남았다. 실제 산업 현장에서의 한계점들과 Ideal 모델과의 차이, 그 사이에서 데이터 엔지니어는 어떤 스탠스를 취해야하는지에 대한 실제 경험에서 말씀해주시는 경험이 인상깊었다.또한 송재욱 교수님의 투자온도 : 공포탐욕지수 기반 투자 정보 서비스도 재미있게 들었는데,원래도 관심이 많은 분야고 공포탐욕지수는 애초에 미국 CNN에서 발행하는 지수인 것도 알고 있어서 국내에서 공탐지수를? 이라는 생각을 했는데 우리나라의 제한된 환경에서 그를 구현하고자 어떤 데이터를 썼는지 직관적인 설명을 해주셔서 앞으로 어떤 연구를 할 때 어떤 논리로 데이터를 활용해야할지 보여주셔서 좋았으며, 발표 스타일도 위트있으셔서 강연 내내 집중할 수 있었다.4) 최종 후기 처음에는 아직 마무리 되지 않은 포스터 발표가 마냥 부담이 되었던 학회였다. 하지만 참석하는 내내 새로운 자극과, 관점이 많아서 정말 의미있는 시간이 되었다. 참석 취합을 할 때 잠시 망설였던 것조차 지금 생각해보면 어리석었다는 생각이 든다. 다음 춘계 학회 역시 기대가 된다.

[학회 후기] 이번 데이터마이닝 학회는 11월 22일 ~ 23일까지 경주 화백컨벤션센터에서 개최되었다. 교수님들의 구두 발표와 학생들의 포스터 발표로 진행되는 기존과는 약간 다른 방식이 흥미로웠다. 포스터 발표를 통해 오히려 다른 학생들의 연구에 대해서 다양하게 질문해보고 이해가 안 되는 부분은 계속해서 질문을 하면서 더 깊이 있게 이해할 수 있어서 그런 부분이 아주 좋은 기회가 되었다.   [포스터 발표 후기] 주제: Vision-integrated Multimodal Framework For Time Series Forecasting 직관적인 선 그래프를 활용하여 미래를 예측할 수 있는 시계열 예측 모델을 제안하였다. 이러한 이미지 기반의 모델에 더해, 이 모델의 잠재력을 최대한 끌어올리기 위해 시간 의존성을 포착할 수 있는 추가 모달리티를 결합한 새로운 framework를 제안하였다. 즉, 이미지 기반 모델을 통해 변수 간 관계를 포착하고, 시계열 데이터를 통해 장기 의존성을 포착하는 새로운 접근을 보여준다.   오히려 구두 발표 보다 연구에 대해 깊게 설명하고 다양하게 소통할 수 있었다. 그 중 같은 분야를 연구하고 있는 다른 연구원과 시계열 예측의 평가 metric에 대해서 깊게 이야기를 나눌 수 있었다. 특히 평가 시, pairwise 형태로 계산이 되는데 이것이 시계열 예측에서 정말 정확한 방법일까란 논의가 있었다. 사실 어떤 미래 예측값을 정확히 맞출 수 있을까란 근본적인 의문부터 시작할 수 있을 것이며, 어느 정도의 추세를 잘 반영하는 것이 더 좋을 수도 있지 않을까란 생각을 해보았다. 그런 관점에서 평가 metric을 이동 평균의 관점에서 해보는 것도 오히려 시계열 데이터에서 의미가 있지 않을까? 이러한 이야기를 나누면서 나 또한 새로운 관점에서 생각해 볼 수 있는 좋은 기회였다.   [청취 후기]1.     디지털 헬스 및 웰빙을 위한 데이터 기반 참여 활성화 (KAIST 이의진 교수님) 컴퓨터는 도구에서 인간의 파트너로 진화해왔다. 그래서 인간과 AI의 상호작용이 매우 중요한데, 건강에 있어서도 wearable IoT 기기들로 인해 이러한 것이 가능해졌다. 특히 디지털 치료, 즉 디지털 기술을 활용하여 인간의 어떤 문제를 해결하는 분야에서는 더욱 더 인간과 컴퓨터의 상호작용이 중요하다. 이 때, 인간의 참여도가 매우 중요한데 어떻게 하면 데이터로부터 인간의 참여도를 높일까가 관심 연구 분야가 된다. 특히 여기서 잀상생활의 행동을 가지고 디지털 치료가 필요한 상황을 검출하고, 이 상황이 발생했을 때 어떻게 참여에 개입할 수 있는지가 중요하다. 이 과정에서 현실적으로 데이터셋이 제한되고 데이터를 잘 수집할 수 있는 플랫폼이 부족하며, 데이터의 품질 이슈도 발생하는 어려움이 있다. 개인적으로도 스마트워치를 통해 생체 리듬을 분석하고, 내 행동 패턴을 알아보곤 한다. 이런 단순 패턴의 데이터화를 넘어서 어떻게 활용하는지 이야기를 들을 수 있는 시간이였다.  2.     Granularity Fusion Transformer: 다중 세분성 패턴 기반 시계열 예측 방법론 (서울대 박진우) 현실 시계열 데이터는 연속적인 궤적에서 샘플링된 이산 데이터인데, 기존 연구들이 단일 세분성 데이터만 고려하다 보니 다른 세분성 수준의 변동을 놓쳤다. 이를 해결하기 위해 Granularity Fusion Transformer(GFT)를 제안한다. 해당 방법론은 데이터를 큰 추세와 다중 세분성 데이터로 decomposition을 한 후, 분리된 데이터들을 상호 보완적으로 병합하도록 patch-wise cross attention을 사용하여 유용성을 입증하였다. 사실 decomposition이나 위상을 동시에 고려해 데이터를 추정하는 연구는 보았는데, 이러한 관점을 주기가 다른 데이터를 추정하기 위해 적용하였다는 점이 신선한 관점이였다.

[학회후기]한국데이터마이닝학회 사무국 조교를 맡은 뒤 두번째 개최된 경주 추계학술대회에 참여했다. 이번 학술대회는 춘계와 비교해서 서울에서 먼 지역임에도 참석 인원도 많았고 기존에 시도 해본 적 없는 포스터 세션, 초청 구두 세션 등을 진행하다 보니 준비 교수님들과 사무국 조교들 등 많은 정성이 들어갔다. 학회 개최를 위해 경주에서 일하는 업체들과 컨택했던 과정도 돌아보니 값진 경험이었다. 구두 발표에서 포스터 발표로 변하게 되어 비교적 덜 열심히 학생들이 준비하지 않을까 걱정했던 것이 무색할 만큼 포스터 세션은 매우 열정적이었다. 사무국 업무 때문에 포스터 세션에 계속 있을 수는 없었지만 비는 시간에 최대한 적극적으로 참여하려고 노력했었다. 개인적으로 연구하고 있는 semi-supervised or domain adaptation 분야의 포스터 발표가 많지 않았던 점은 아쉬웠지만, 다양한 산업분야에 적용되는 방법론들을 볼 수 있는 것 또한 다채롭고 좋았다. 나는 특히나 질문을 하는 것을 좋아하는 스타일인데, 제안하는 방법론 구조나 기존 방법론에 어느 부분을 영감 받아서 발전시킨 것인지 이해하는 것이(물론 포스터 작성자가 발표를 잘했다!) 지금까지 연구실 생활의 결실로 느껴져 흥미롭고 뿌듯했다. 그리고 구두 발표 세션 중 개인적으로 신임교원 세션이 매우 감동적이었다. 질의 응답 시간을 통해 대학원생의 입장에서 힘든 현재 마음을 이해하고 힘을 주는 말들을 해 주셔서 큰 울림이 있었던 것 같다. 마지막으로 연구실 인원 대다수가 참여한 타지에서의 학회였는데, 한 마음 한 뜻으로 도움 많이 받을 수 있었어서 연구실 인원들에게 매우매우 고맙다. [청취후기]섹터 정보를 활용한 대규모 언어 모델(LLM)의 재무 데이터 분석 (김현진/동국대)표준화된 오픈 데이터인 시장가격 등의 정보를 담고 있는 재무 데이터를 LLM에 입력하여 향후 재무 데이터에 대한 트렌드 및 전망을 알아보는 연구이다.질문 1. 재무 데이터? 회계 데이터를 말하는 것인가?답변 1. 물품에 대한 시장 가격 등을 묶어서 재무 가격이라고 표현했다.질문 2. 시장 가격 등 전망을 예측하는 것은 딥러닝 시계열 예측을 시도할 수 있을 것 같은데 LLM을 쓴 이유가 있는가?답변 2. 단순하게 트렌드와 값 만을 예측하는 것이 아니라 그에 따른 근거를 자연어로 제시하는 논리적인 답변이 필요하기 때문이다. 개인적으로 회사를 다녀봤기 때문에 재무 데이터라 하면 회계, 자금 등의 숫자 데이터만을 생각했는데 구매 의사결정 등의 정보를 포함해서 재무 데이터라고 명칭 하는 것이 새롭게 느껴졌다. 또한, LLM을 사용했을 때 시계열 딥러닝 모델보다 예측 정확도가 떨어질지 더 높을지 궁금했으며 이를 비교하면 어떻게 될지 하는 생각이 들었다.  Adaptive Semi-Supervised Learning Architecture for Imbalanced Tabular Data (현윤후/연세대)Tabular 데이터를 딥러닝에 학습시켰을 때 성능을 최대화하기 위한 Self, Semi 기법을 통합한 연구이다. 또한, 불균형 상황일 때 이를 해결하기 위한 loss 또한 포함되어 있다.질문 1. Semi라고 써있는데 왜 Self가 2단계나 있나?답변 1. Tabular data에서 좋은 특징을 추출하기 위한 Self 단계가 들어갔다.질문 2. 비교 방법론에 ML, MLP로 되어 있는데 제안 딥러닝이 좋다는 것을 제안하기 위해서는 TabNet과 같은 방법론도 포함되어야 하는 것 아닌가?답변 2. 아직은 연구 중으로 비교 방법론은 추후 추가 예정이다.테이블 데이터를 딥러닝에서 좋은 성능을 내기 위해 다양한 method를 결합한 연구였다. 테이블 데이터에서 머신러닝이 더 좋은 성능을 보임에도 딥러닝을 쓸 수밖에 없는 이유로는 미세 조정이 필요한 경우 또는 대량의 데이터로 자원을 분배하여 학습을 해야 한다면 딥러닝 사용은 선택이 아닌 필수이기에 최대한 딥러닝에서 성능을 고도화하기 위하 다양한 method 들을 시도해보는 새로운 분야라고 느껴졌다.