[학회 후기]

8월 17~21일에 프랑스 리옹에서 제28회 International Conference on Pattern Recognition (ICPR 2026)에 참가하였다. 발표를 위해 참석했던 해외 학회 중 일본이 아닌 다른 국가를 방문한 건 처음이었는데 유럽, 그중에서도 문학의 중심지로 유명한 프랑스에서 여러 나라의 연구를 볼 수 있다는 사실에 긴장과 설렘을 안고 학회 준비를 했다. 이번에 내 발표는 포스터 세션이었는데 구두 영어 발표는 한 적이 있었지만 포스터 영어 발표는 처음이었기에 포스터 구성부터 발표 스크립트까지 쉬운 단어들을 통해 효율적으로 청자에게 전달하는 구조를 많이 고민했던 것 같다.

ICPR 학회장에서는 여러 세션을 통해 학회의 역사와 주요 인사들에 대한 이야기를 들을 수 있었는데 정말 글로벌하게 다양한 국가의 연구자들이 참여하며 오래된 전통을 가지고 있는 학회라는 것을 느낄 수 있었다. 학회 프로그램 중 가장 기억에 남았던 부분은 갈라 디너인데, 맛있는 저녁 식사와 함께 마지막 즈음에는 신나는 노래를 틀어줘서 학회에 참석한 사람들이 자유롭게 움직였다. 학회 참석자뿐만 아니라 일행을 초대할 수 있어서 남녀노소 할 것 없이 즐겁게 어울리는 모습을 보았는데, 다들 눈치 보지 않고 흥겹게 즐기는 것을 보니 다양한 국가에서 참석했지만 연구를 향한 순수한 마음과 열정으로 하나로 묶인 연구자들이라고 느꼈다.

더불어 숙소 위치가 학회장과 매우 가까웠기에 학회 전후 시간들을 활용해 교수님, 순혁이, 정인 선배와 같이 주변 명소에 들를 수 있었다. 같이 움직이는 멤버들이 손발이 척척 맞아서 좋은 장소들을 볼 수 있었다. 개인적으로는 역사적 건물과 유물이 주는 위엄에 감명을 받았던 것 같다. 연구를 열심히 하다 보면 앞에 당장 눈앞에 주어진 일에 매몰되는 일상을 살기 마련인데, 프랑스 학회를 통해 연구 속 낭만에 대해 좀 더 생각해보고 충전될 수 있는 시간이 되었다.

마지막으로 대학원 생활 초반의 나를 생각한다면 영어라는 건 참 어렵고 힘들고 안 풀릴 것만 같은 숙제였다. 아직도 어려운 것은 마찬가지지만 연구실의 다양한 경험들을 통해 영어로 농담을 하고 자유롭게 내 의견을 말할 수 있게 된 지금이 잘 실감 나지 않는다. 소중한 기회를 통해 대체 불가능한 사람으로 성장하도록 훈련시켜 주시는 교수님께 매우 고마운 마음을 전한다.

[발표후기]

이번 학회에서 포스터 발표한 논문은 “Whitecon: Semi-Supervised Domain Adaptation Regression Through Whitening Transform And Dual Consistency”이다. 문제 상황은 이미 많은 양의 레이블 데이터를 확보한 source domain과 새롭게 예측하고 싶지만 source와는 다른 feature distribution을 보이며 다량의 unlabeled 데이터와 소량의 labeled 데이터를 가진 semi-supervised domain adaptation (SSDA) 상황이다. 더불어 기존 연구들은 분류를 위주로 진행되어 왔지만 현업에서는 연속적인 실수를 예측하는 회귀 문제 또한 중요하기에 나는 SSDA for Regression이라는 문제를 가정하였다. 방법론인 Whitecon은 주로 두 가지 모듈인 Domain-specific Whitening Transform (DWT)와 dual consistency regularization으로 이루어져 있다. 첫 번째 DWT는 batch normalization layer 대신에 whitening layer를 사용한 것으로 기존에 분류를 위한 domain adaptation 방법론에서 사용된 바 있으며, domain shift를 해결하는 데 유용하다는 것이 알려져 있다. 하지만 내가 회귀에 DWT를 도입한 이유는 다음과 같다. 회귀는 ordinary least squares를 가정하는데, DWT를 적용하면 regressor 파라미터의 분산이 작아진다는 것을 수학적으로 간단히 입증했고, 이를 통해 안정적인 회귀 학습이 가능하다는 것이 핵심이다. 두 번째 dual consistency regularization은 weak, strong, mixup augmentation을 사용해 prediction 및 feature 분산의 일관성 정규화를 통해 target unlabeled data를 align하여 unlabeled 데이터를 많이 활용할 수 있다. 실험 결과 비교 방법 대비 가장 높은 성능을 달성했으며, 두 가지 모듈이 성능에 중요한 역할을 함을 볼 수 있었다. 더불어 수학적 입증이 실제와 일치하는지 보기 위해 실험적으로 Whitecon의 regressor 파라미터 분산이 비교 방법론 대비 가장 작은 것을 확인할 수 있었다.

질문 1) 사용한 데이터셋에 대해 간단히 설명해 줄 수 있는지?

답변 1) 총 세 개 데이터셋을 사용했는데 두 개는 얼굴의 각도를 예측하는 데이터 셋으로 domain을 여자, 남자로 구분했고, 나머지 한 개는 물체의 각도를 예측하는 데이터 셋으로 real, toy, realistic이라는 domain으로 구분했다.

질문 2) dual consistency regularization 내부의 개별 loss 가중치는 어떻게 정했는지?

답변 2) grid search를 통해 최적의 하이퍼파라미터를 셋팅했다.

질문 3) target label %를 조정하는건 어떤 의미를 가지는지?

답변 3) semi 셋팅이기에 target label을 좀 더 가진다면 각 방법론들의 성능이 어떻게 되는지를 우리는 주목할 필요가 있다. Whitecon의 경우 20%에서 upper bound인 target 100% 성능에 도달하며, 30%에서는 심지어 upper bound를 넘는 결과를 볼 수 있었다.

포스터 발표는 학회 첫날에 진행되었는데, 생각보다 많은 인원들이 내 포스터에 질의를 해줘서 주어진 세션 시간 이후에도 질문이 이어졌고, 끝나고 나서는 목이 약간 쉬었다는 것을 느낄 수 있었다. 목은 아팠지만 자유로운 질의 분위기이기에 연구 이야기와 더불어 어디서 왔는지 등 스몰톡을 통해 링크드인을 서로 교환하는 유익한 시간이었다.

내 포스터 세션이 아닌 다른 포스터 세션에서는 교수님이 재미있는 미션을 하나 주셨다. 다른 포스터 발표자와 같이 사진을 찍어보라는 것이었는데 당당하게 사진 찍자고 요청하는 내 모습이 무척 재밌게 느껴졌다. 더불어 내친김에 여러 영어 질문을 하였는데 마지막으로는 해당 연구가 블루오션이라고 느끼는지도 발표자들에게 꼭 질문했다. 다음 연구 주제에 대해 고민할 수 있는 좋은 기회였으며, 적재적소에 필요한 영어 단어를 쓰는 것이 익숙해졌다고 느껴지는 뿌듯한 경험이었다.

[청취후기]

1. Sequential Enumeration in Large Language Models

LLM이 항목을 순서대로 세는(counting/enumeration) 작업을 실제로 안정적으로 수행할 수 있는지를 체계적으로 검증한 연구로 LLM이 단어의 글자 수나 문장의 단어 수를 세는 기초적인 열거 과제에서는 자주 틀린다는 점이 관찰되어 왔지만 기존 연구들은 다양한 프롬프트 전략과 여러 모델에 걸쳐 이 능력을 체계적으로 분석하지 못했다. “명시적으로 세라”고 지시했을 때만 높은 정확도를 보였고, 지시가 없으면 어떤 모델도 스스로 세는 전략을 쓰지 않았다. 또한 수열을 평가하는 naming이 수열을 만들어내는 production보다 더 어려웠으며, 모델 크기가 커질수록 능력이 점진적으로 좋아졌음을 확인했다. 결론적으로 LLM은 세기 절차를 체계적이고 강건하게 수행하지 못하며, 신경망식 접근과 기호적(symbolic) 추론 사이에는 여전히 간극이 존재한다는 것을 보였다.

질문-나) 명시적으로 세라는 것은 CoT를 하는 것이라고 봐도 무방한지?

답변-발표자) CoT라고 보는 것과는 다른 것 같다. CoT는 차근차근 생각해보라는 것이고 제안 방법론은 셈이라는 지시를 준 것이다.

2. Sketch-CLIP: Efficient CLIP Adaptation for Few-Shot Sketch Classification

기존 CLIP 적응 기법은 대부분 자연 이미지에 맞춰져 있어, 스케치 특유의 도메인 특성(선 위주 구조)을 충분히 반영하지 못한다는 한계가 있다. CLIP을 스케치 도메인에 적은 파라미터와 적은 라벨로 적응시키는 방법을 제안하며, CLIP의 강력한 시각 및 언어 표현력을 살리면서 스케치 도메인에 맞게 가볍게 조정해, few-shot 스케치 분류에서 기존 방법 대비 높은 정확도와 학습 효율을 달성하였다.

질문-나) 기존 이미지가 아닌 스케치 이미지를 잘 예측하기 위한 제일 중요한 모듈이 뭐라고 생각하는지?

답변-발표자) CLIP의 Text와 Visual 인코더는 freeze 시키면서 RCB 그리고 GAB라는 레이어를 훈련시켰는데 해당 모듈이 high frequency에 대해 잘 포착하고 attention을 더 잘하게 때문이라고 생각한다.

3. When GNNs Meet MoE: From Structural Design to Representation-Level Analysis

Mixture of Experts (MoE)는 모델 용량과 계산 효율의 균형을 맞추는 강력한 패러다임이지만 그래프 신경망 (GNN)에의 통합은 아직 충분히 연구되지 않았고, 기존 연구는 대부분 MoE를 메시지 전달 과정에만 적용해 GNN 내부의 다른 학습 요소를 간과했다. 이 논문은 MoE를 GCN·GIN·GAT의 세 지점인 공통 투영 층, GIN의 self-loop 가중치, GAT의 어텐션 가중치에 각각 통합해 그래프의 노드 분류로 그 효과를 체계적으로 비교한다. 그 결과 MoE의 효과는 붙이는 구성요소와 그래프 유형에 크게 좌우되어, 투영 기반 MoE가 가장 일관된 성능 향상을 주고 특히 이종성 그래프에서 효과적인 반면, 표현 수준 분석에서 MoE가 노드 간 쌍별 유사도를 낮춰 over-smoothing을 완화한다는 점 즉 성능을 넘어 표현 다양성을 높이는 새로운 이점을 실증했다.

4. Layer-Wise LoRA Fine-Tuning: A Similarity Metric Approach

기존 LoRA는 모든 레이어에 균일하게 저랭크 업데이트를 적용한다. 하지만 실제로는 모든 레이어가 적응(adaptation)에 똑같이 기여하는 것은 아니며, 이 점이 반영되지 않는다는 한계가 있다. 해당 방법론은 미세조정 과정에서 내부 표현이 얼마나 변하는지를 유사도(similarity) 지표로 측정해, 적응에 가장 크게 기여하는 핵심 레이어를 선별한다. 그리고 그 레이어에만 LoRA를 선택적으로 적용한다. 이 방식은 기존 저랭크 기법과 호환되며, 성능을 유지하면서 학습 파라미터를 최대 50% 추가로 줄였다. encoder-only에서는 성능 저하가 거의 없었고, decoder-only 모델의 수학 추론·코딩 과제와 멀티모달 구조로의 확장에서도 경쟁력 있는 결과를 보였다. 핵심 발견은 모든 레이어가 적응에 똑같이 기여하지는 않는다는 것이며, 이를 이용해 추가적인 파라미터 효율을 얻을 수 있음을 보였다.

5. Physics-Guided 3D Convolutional Learning for Accurate Springback Error Prediction in Single Point Incremental Forming

Single Point Incremental Forming(SPIF)은 별도의 금형 없이 CNC 공구로 판재를 조금씩 눌러 성형하는 유연하고 저비용의 냉간 성형 공정이다. 그러나 성형이 끝난 뒤 재료가 원래 형상으로 되돌아가려는 스프링백(탄성 복원) 때문에 완성품이 CAD 설계와 어긋나, 특히 항공 등 정밀 부품에서 정확도가 떨어지는 문제가 있다. 기존 시뮬레이션은 정확하지만 매우 느리고, 점 시퀀스나 2D 이미지 기반 딥러닝 방법은 복잡한 3차원 공간 관계를 충분히 담아내지 못하는 한계가 있었다. 해당 방법론은 physics를 결합한 3D convolutional learning을 제안한다. 국소 형상을 3차원으로 표현하고, 물리 기반 제약을 학습에 반영함으로써 스프링백 오차를 더 정확하게 예측하는 것을 목표로 한다. 즉, 데이터만으로 학습하는 순수 딥러닝의 한계를 물리 지식으로 보완하고, 2D를 넘어 3D 공간 구조를 직접 다뤄 예측 정확도를 높이는 접근이다.

질문-나) 데이터 셋을 새롭게 제안하고, PINN이라는 기존 방법론을 해당 데이터셋에 application했다는 것으로 볼 수 있는지?

답변-발표자) 맞다. Application 논문이다.