[학회 후기]2026 INFORMS Annual Meeting에 구진이 형, 재영이 형과 함께 참석하였다. 대표적인 산업공학 학회인 만큼 전통적인 최적화 연구부터 인공지능을 활용한 문제 해결까지 다양한 연구를 접할 수 있었다. 평소 주로 접하던 인공지능 연구와는 또 다른 관점에서 문제를 정의하고 해결하는 접근들을 살펴보며, 연구의 시야를 넓힐 수 있는 시간이었다.특히 전통적인 최적화 문제에 AI를 접목한 연구들이 흥미로웠다. 익숙한 인공지능 기술이 산업공학의 다양한 문제와 연결되는 모습을 보면서, 방법론 자체의 발전뿐만 아니라 이를 어떤 문제에 어떻게 활용하는지도 중요하다는 생각이 들었다. 또한 같은 기술이라도 해결하고자 하는 문제와 제약 조건에 따라 접근 방식이 달라질 수 있다는 점에서, 내 연구 역시 다른 분야의 관점에서 바라볼 필요가 있겠다고 느꼈다.학회 기간에는 고려대학교 네트워킹 행사에도 참석하였다. 오랜만에 미국에 있는 선후배들을 만나 서로의 근황을 나누고, 각자의 자리에서 어떤 연구와 일을 하고 있는지 들을 수 있어 반가웠다. 평소에는 멀리 떨어져 있어 자주 만나기 어려운 사람들과 학회를 계기로 한자리에 모일 수 있다는 점이 뜻깊었다. 연구 발표와 세션 참석을 넘어, 오랜 인연을 다시 만나 이야기를 나누는 것 역시 국제학회가 주는 즐거움 중 하나라는 생각이 들었다.학회 일정 틈틈이 구진이 형, 재영이 형과 함께 샌프란시스코의 여러 명소를 둘러본 것도 좋은 기억으로 남았다. 날씨가 좋아 도시의 풍경을 즐기며 구경하기에 좋았고, 연구실을 벗어나 함께 새로운 장소를 경험하면서 한층 여유롭게 이야기를 나눌 수 있었다. 특히 마지막 날 교수님과 함께 일몰 시간에 맞춰 금문교 유람선을 탔던 순간이 기억에 남는다. 해가 지는 풍경 속에서 금문교를 바라보며 학회 일정을 마무리할 수 있어 더욱 특별했다. 유람선 관람 후에는 게 전문 레스토랑에서 함께 식사하며 즐거운 시간을 보냈는데, 이번 학회에서 오래 기억에 남을 추억 중 하나가 될 것 같다.이번 INFORMS 참석은 연구 성과를 발표하는 동시에, 다른 분야의 연구를 접하고 사람들과의 인연을 이어 갈 수 있었던 시간이었다. 새로운 연구에서 얻은 자극과 오랜만에 만난 선후배들과의 대화, 그리고 교수님과 함께한 동행들과의 추억이 어우러져 더욱 뜻깊게 느껴졌다. 좋은 기회를 마련해 주신 교수님과 학회 일정을 함께한 구진이 형, 재영이 형에게 감사한 마음을 전한다.[발표 후기]2026 INFORMS Annual Meeting에 참가하여 “Measuring Missing Fine-Details for Out-of-Distribution Detection”을 주제로 연구 성과를 발표하였다. 이번 학회는 그동안 진행해 온 연구를 국제학회에서 소개하고, 연구의 문제의식과 핵심 아이디어를 다른 연구자들에게 전달할 수 있는 뜻깊은 기회였다. 특히 실험 결과를 제시하는 것뿐만 아니라, 기존 방법이 어떤 상황에서 어려움을 겪는지, 그리고 이를 해결하기 위해 왜 새로운 관점이 필요한지를 하나의 흐름으로 설명하고자 하였다.이번 발표에서 가장 중요하게 전달하고 싶었던 부분은 ‘분류를 잘못한 데이터라고 해서 학습 분포에서 벗어난 데이터는 아니다’라는 점이었다. 연구를 진행하면서는 다양한 실험과 세부적인 분석에 집중하게 되지만, 발표에서는 그 결과들을 나열하기보다 연구의 출발점과 제안 방법 사이의 연결을 명확하게 보여주는 것이 중요하다고 생각하였다. 이에 기존 방법의 한계를 먼저 설명하고, 예측 클래스에 의존하지 않는 정보를 활용해야 하는 이유와 fine-detail 정보에 주목한 배경을 차례로 전달하는 데 중점을 두었다.이러한 과정은 연구를 청중의 입장에서 다시 정리해 보는 계기가 되었다. 익숙하게 사용하던 개념이라도 연구 배경이 다른 사람에게 설명하려면 그 의미와 필요성을 보다 직관적으로 전달해야 했다. 특히 저해상도 이미지를 통해 세부 정보가 사라지는 상황을 만들고, 이를 특징 공간에서 하나의 방향으로 찾는다는 아이디어를 중심으로 방법론을 설명하고자 하였다. 복잡한 수식이나 구현 내용을 모두 담는 것보다, 각 구성 요소가 어떤 문제를 해결하기 위해 필요한지를 전달하는 것이 중요하다는 점을 다시 생각하게 되었다.다만 발표 시간의 제약으로 질의응답을 진행하지 못한 점은 아쉬움으로 남았다. 청중이 연구의 어떤 부분에 관심을 갖는지, 제안한 접근을 다른 관점에서는 어떻게 바라보는지 직접 들어볼 기회가 없었기 때문이다. 이번 경험을 바탕으로 앞으로는 제한된 시간 안에서도 연구의 핵심을 더욱 간결하고 명확하게 전달하고, 연구에 대한 다양한 의견을 나눌 수 있도록 준비하고자 한다. 연구 성과를 정리하여 발표하는 데서 나아가, 문제를 발견하고 해결해 온 과정을 돌아볼 수 있었다는 점에서 의미 있는 학회 참석이었다.[청취 후기]이번 INFORMS는 총 4일간 진행되었으며, 아침 8시부터 세션이 시작되어 매우 다양한 주제의 연구를 접할 수 있었다. 그중 가장 기억에 남는 발표는 Google DeepMind의 “AI for Math: from a gold medal at IMO to research”였다. 평소 관심을 갖고 있던 AI 에이전트의 추론 능력이 수학 문제 해결을 넘어 실제 연구에 어떻게 활용되고 있는지 궁금하여 참석하였고, AI가 수학자의 연구를 돕는 방향으로 발전하고 있다는 점에서 흥미롭게 들었다.발표에서는 2024년 국제수학올림피아드(IMO)에서 은메달 수준의 성과를 달성한 것부터, 이후 Gemini Deep Think를 활용하여 금메달 수준에 도달하기까지의 발전 과정을 소개하였다. 특히 경시대회 문제를 해결하는 능력과 전문적인 수학 연구를 수행하는 능력 사이에는 차이가 있다는 점이 인상적이었다. 수학 연구에서는 주어진 문제의 답을 찾는 것뿐 아니라, 관련 문헌을 폭넓게 살펴보고 긴 증명 과정을 일관되게 이어 가야 하기 때문이다. 이러한 차이를 설명하며 AI의 역할을 문제 풀이에서 연구 수행으로 확장해 나가는 흐름을 보여주었다.이를 위한 접근으로 자연어 기반의 수학 연구 에이전트인 Aletheia가 소개되었다. Aletheia는 Gemini Deep Think를 기반으로 풀이와 증명을 생성하고, 이를 검증한 뒤 수정하는 과정을 반복하며 다양한 도구를 적극적으로 활용한다. 한 번의 응답으로 정답을 제시하는 데 그치지 않고, 중간 결과를 점검하고 부족한 부분을 보완하면서 연구를 진행한다는 점이 흥미로웠다. 또한 박사과정 수준의 문제와 미해결 문제에 도전하고, 독립적인 연구 논문 생성과 오랫동안 해결되지 않았던 추측의 해결 사례까지 소개한 점에서 AI의 활용 범위가 어디까지 확장될 수 있을지 생각해 보게 되었다.이번 발표를 통해 인공지능의 추론 능력은 단순히 정답률만으로 평가하기보다, 복잡한 문제를 해결하는 과정에서 얼마나 지속적으로 탐색하고 검증할 수 있는지도 중요하다고 느꼈다. 특히 생성·검증·수정의 반복과 도구 활용을 결합하는 방식은 수학뿐 아니라 다른 분야의 연구에도 연결될 수 있는 접근이라는 생각이 들었다. 앞으로 AI가 연구자를 대신하는 도구를 넘어, 연구자와 함께 아이디어를 탐색하고 검증하는 협력자로 어떤 역할을 하게 될지 기대하게 만든 발표였다.

샌프란시스코에서 개최된 2026 INFORMS Annual Meeting에 참석하였다. 사전에 확인한 학회 프로그램을 보면 굉장히 많은 발표가 예정되어 있음을 알 수 있었다. 개인적으로는 참석했던 학회 중 가장 큰 학회였던 것 같아서 설레는 마음으로 학회에 참석하였다. 전반적인 내용 중에 가장 눈에 띈 것은 헬스케어와 관련된 키워드였다. 학회 기간 내내 모든 시간대에 헬스케어 세션이 있다고 느껴질 만큼 관련 내용이 많다고 생각했다. 전반적으로, 헬스케어 분야에서는 AI의 예측 성능 자체보다 그 예측을 실제 운영과 의사결정에 어떻게 연결할지, 그리고 현장에서 믿고 쓸 수 있는지에 관심이 모여 있었다. 많은 사람들이 헬스케어에 집중하고 있는 만큼 차세대 먹거리가 이 쪽으로 모이지 않을까 하는 생각이 들었다.   [발표 후기] Inverse Lithography Technology 문제에서 확률적 모델을 활용하여 마스크를 생성하는 내용에 대해 발표를 진행하였다. 마스크 최적화는 반도체 공정에서 큰 비용을 차지하고 있는 만큼 매우 중요한 분야이다. 사실 마스크는 정답이 하나로 정해진 것이 아니고 그 정답이 여러 개인 문제가 된다. 이는 빛의 회절 때문에 발생하는데, 정답이 여러 개라면 확률적 모형으로 접근하는 것이 맞지만, 기존의 연구들은 대부분 결정론적으로 수행하였다. 몇몇 확률적 모형도 모델의 성능을 위해 사용한 것일 뿐 정답이 여러 개인 특성을 모델링하기 위해 사용되진 않았다. 이런 관점에서 내가 제안한 모델은 확률적 모델로 마스크를 생성하는 task였으며, 특히 이 때 마스크는 정답이 여러 개인 부분이 있고 그렇지 않은 부분이 동시에 존재하는데, 정답이 여러 개인 영역에만 집중적으로 노이즈를 주입하는 방식으로 좋은 성능을 달성했다. 시간 제약으로 따로 질의응답 시간을 가지진 못했다. 일부 참석자들이 내 발표에 계속 관심을 가지고 사진을 찍는 모습을 보았는데, 대부분 마이크론의 임직원 이였던 점도 흥미로웠다.   [청취 후기]1. Optimization with Feedforward Neural Network Constraints (The Pennsylvania State University) 학습이 끝난 신경망을 surrogate로 최적화 모형에 제약식으로 넣어 푸는 문제를 최적화하는 내용이었다. 발표는 선택지를 세 축으로 나눠 설명했다. 원래 문제가 LP, MILP, NLP 중 무엇인지, activation이 ReLU인지 smooth 함수인지, 그리고 신경망을 solver에 full space, reduced space, gray box 중 어떤 방식으로 넘기는지다. ReLU의 경우 Big-M, SOS1, convex hull, complementarity 정식화를 쓸 수 있고, bound를 얼마나 tight하게 잡느냐가 계산 성능을 크게 좌우한다고 했다. ReLU와 MILP 조합은 이미 많이 성숙했지만 smooth activation이나 비선형 문제는 아직 연구가 적다는 진단이었다. 실제로는 임베딩 기법보다 네트워크 구조, 학습 데이터, 해 검증이 결과를 더 크게 좌우한다는 말이 인상적이었다.2. Embedding Single-head Attention Architecture for Optimization (Virginia Tech) 이 발표는 Attention을 최적화 모형에 넣기 위한 방법을 연구한 내용이다. Attention head를 수리계획 모형으로 정식화 하였는데, 입력이 연속 변수일 때는 아주 작은 규모에서도 풀기 어려웠지만, 입력을 binary 선택 변수로 두면 다룰 수 있는 MILP가 된다는 것을 보여주었다. 이를 노드 간 상호작용 비용이 있는 최단경로 문제와 UAV 정찰 문제에 적용했고, 기존 회귀 기반 surrogate보다 일관되게 더 좋은 해를 찾았다. 대신 풀이 시간은 더 길었다. Attention을 최적화 안에 넣는 것이 가능하고, 요소 간 상호작용이 의사결정을 좌우하는 문제에서 특히 효과적이라는 점을 보여준 발표였다. 최적화 분야를 잘 알진 못하지만 보통 휴리스틱한 모형이나 강화학습을 많이 사용하는 것으로 알고 있었는데, attention을 이용하여 최적화 경로 안에서 요소들간 상호작용을 잡아내었다는 것이 흥미로웠다.   이번 학회는 이런 내용 뿐 아니라 다양한 기업체의 전시도 볼 수 있었다. 또한 'Korea University IME Global Gathering'에 참석하여 고려대학교 졸업생과 재학생 간의 다양한 이야기를 나눌 수 있는 귀한 시간도 가질 수 있었다. 교수님과 함께 참석한 고재영, 임새린 연구원과 함께 금문교를 비롯하여 샌프란시스코의 다양한 볼 거리를 볼 수 있었던 부분도 뜻 깊었다. 특히, 발표 전 진행된 리허설에서 교수님의 코멘트를 통해 어떤 부분을 강조하고 어떻게 말해야 청취자들이 잘 들을 수 있을까 고민하고 준비했던 부분이 발표에 큰 도움이 되었다. 앞으로도 어떤 발표든 이런 부분을 잘 새기면 좋을 것 같다. 

2026년도 INFORMS Annual Meeting은 미국 샌프란시스코에서 개최되었다. 샌프란시스코는 학회 기간 내내 10~20도 사이의 선선한 기온과 화창한 날씨가 이어져 활동하기에 더없이 좋은 환경이었다. 세계 각국의 연구자들이 모이는 대규모 국제학회에서 연구 성과를 발표하고 다양한 연구를 접할 수 있다는 기대감을 안고 학회에 참석하였다.이번 학회에서 발표한 주제는 '반도체 장비 데이터를 활용한 이상 탐지'였다. 발표를 준비하면서 가장 중점적으로 고민했던 부분은 연구 내용을 단순히 설명하는 것이 아니라, '왜 이 연구를 시작했으며, 왜 이러한 방법을 제안했고, 실험을 통해 궁극적으로 무엇을 확인했는가'를 청중에게 명확하게 전달하는 것이었다. 교수님께서도 이러한 연구의 흐름과 논리적인 설명을 지속적으로 강조하셨기에, 발표자료를 구성하고 수정하는 데 많은 시간을 할애하였다. 특히 청중이 연구의 배경부터 제안 방법, 실험 결과까지 자연스럽게 이해하고, 발표가 끝난 뒤에도 연구의 필요성과 핵심적인 기여를 기억할 수 있도록 고민하였다.이러한 준비 과정은 단순히 학회 발표를 위한 경험을 넘어, 좋은 발표란 무엇인지 다시 생각해 볼 수 있는 소중한 기회였다. 이전에는 발표자료에 어떤 내용을 담을 것인지에 집중했다면, 이번에는 듣는 사람의 입장에서 어떤 순서와 방식으로 설명해야 연구의 핵심이 효과적으로 전달될 수 있는지를 고민하게 되었다. 이러한 경험은 앞으로 회사에서 업무를 수행하거나 다양한 발표를 준비할 때에도 큰 도움이 될 것이라 생각한다. 무엇보다 충분한 고민과 준비를 통해 발표를 완성해 나가는 과정에서 스스로에 대한 자신감도 얻을 수 있었다.이번 학회에서는 인공지능 기술을 최적화 및 의사결정 문제에 접목하는 연구들이 눈에 띄었다. 특히 강화학습, LLM 등을 다양한 산업공학 문제에 활용하는 연구들을 접할 수 있었으며, 여러 세션의 발표를 청취하면서 산업공학 분야의 최신 연구 동향과 발전 방향을 살펴볼 수 있었다. 또한 고려대학교 산업경영공학과에서 주최한 'Korea University IME Global Gathering'에도 참석하였다. 이 자리에서는 고려대학교 졸업생과 재학생, 교수님들을 비롯하여 여러 대학의 연구자들이 한자리에 모여 반갑게 인사를 나누고 서로의 연구 활동과 경험을 공유하는 뜻 깊은 시간을 가졌다.한편, 이번 학회에서 가장 크게 아쉬움을 느낀 부분은 영어 의사소통 능력이었다. 발표 자체는 영어 대본을 충분히 연습하고 숙지함으로써 어느 정도 준비할 수 있었지만 자연스러운 발음과 강세에 익숙하지 않아 준비한 내용을 청중에게 온전히 전달하지 못했을 수도 있다는 아쉬움이 남았다. 특히 발표 후 질의응답 시간에는 한 연구원의 질문을 정확하게 이해하지 못해 생각했던 내용을 충분히 답변하지 못한 점이 가장 아쉬웠다. 또한 다른 연구자들의 발표를 청취하면서도 영어를 완전히 이해하지 못해 흥미로운 연구 내용을 놓치는 경우가 있었다. 국제학회에서의 발표와 학술적 교류를 위해서는 연구 역량 뿐만 아니라 자신의 생각을 자유롭게 표현하고 상대방의 의견을 정확하게 이해할 수 있는 영어 실력이 중요하다는 것을 다시 한번 체감하였다.이번 학회는 연구 성과를 발표하는 것 뿐만 아니라 효과적인 발표와 의사소통의 중요성을 배우고 스스로의 부족한 점을 돌아볼 수 있었던 뜻 깊은 경험이었다. 이번에 얻은 자신감과 아쉬움을 바탕으로 앞으로는 말하고자 하는 바를 더욱 명확하게 전달하는 능력을 기르고, 영어로도 자유롭게 소통할 수 있도록 꾸준히 노력하고자 한다. 마지막으로 좋은 기회를 마련해 주시고 발표 준비 과정에서 아낌없이 지도해 주신 김성범 교수님과 함께 학회를 준비한 연구원들에게 감사의 마음을 전한다.

1. 올해 INFORMS 학회는 샌프란시스코에서 열렸다. 2003년 처음 INFORMS에 참석한 이래, 샌프란시스코에서 학회를 맞은 것은 2005년과 2014년에 이어 이번이 세 번째다. 기온은 10~20도 사이로, 걷기 좋은 날씨를 만끽하며 즐거운 6일을 보냈다.2. 이번에도 반가운 사람들을 많이 만났다. 먼저 2005년부터 2009년까지 근무했던 University of Texas (UTA)의 동료 교수들, 학생들과 만나 서로의 근황을 나누고 단체 사진도 찍었다. 그때나 지금이나 Victoria Chen 교수님은 나의 영원한 롤모델이다. 지도교수이신 Kwok Tsui 교수님과는 저녁을 함께했다. 교수님께서 지난해 내가 몸담았던 UTA로 옮겨 연구하고 계신다는 사실이 조금은 묘하게 느껴졌다. Data Mining과 QSR(Quality, Statistics, and Reliability) 비즈니스 미팅에서는 비슷한 분야를 연구해 온 Jan Shi, Qian Hwang, Kaibo Wang, Zhijun Zhang, Paul Brooks, Jing Li 등 오랜 친구들과 반갑게 인사를 나눴다. 1999년에 처음 만나 27년째 우정을 이어 오고 있는 현석이, 면석이와도 식사 자리와 여러 모임에서 모처럼 많은 이야기를 나눴다. 한 시절 동고동락했던 친구들이라 언제 만나도 반갑다. 고려대 산업경영공학과에서도 누구나 편하게 들를 수 있는 Korea University IME Global Gathering을 열었다. 고려대 졸업생과 재학생, 교수님들은 물론 포스텍, 카이스트, 연세대 산업공학과 학과장님들을 비롯해 50명이 넘는 분이 찾아주셨다. 우리 학과가 마련한 자리에서 여러 학교의 연구자들이 처음 인사를 나누고 서로의 연구와 관심사를 이야기하는 모습을 보니 더욱 뜻깊었다. 조지아텍 동문 모임도 빼놓을 수 없다. 졸업한 지 20년이 넘어 재학생들과 이야기하다 보면 세대 차이를 느낄 때도 있지만, 같은 학교를 다녔다는 것만으로도 이야깃거리는 금세 생긴다. 한국의 여러 대학에서 활약하는 동문들을 먼 이국땅에서 만나고, 재학생들에게 요즘 학교 이야기를 듣는 시간은 언제나 즐겁다. 3. INFORMS는 산업공학과 경영과학의 거의 모든 분야를 아우르는 대형 학회다. 올해는 어떤 주제가 많이 다뤄졌는지 궁금해 클로드에 초록집을 넣고 키워드를 빈도순으로 정리해 달라고 했다. Data, Optimization, Learning, Demand, Systems, Optimal, Design, Decisions, Policy, Information, Operational, Network, Uncertainty, Cost, Service, Risk 등이 차례로 나왔다. AI는 여전히 가장 큰 흐름이지만, 이번 학회에서는 다양한 문제를 풀기 위한 도구로 자리를 잡아 가고 있다는 인상을 받았다. 머신러닝과 강화학습이 자주 등장하고 LLM에 대한 언급도 많았는데, 이들 기법을 최적화 모델이나 의사결정 과정에 녹여 낸 연구가 많았다. AI 알고리즘 자체를 연구하기 보다는, 기존 방법론의 어느 부분을 AI로 보완할 수 있는지에 대한 관심이 한층 구체화된 듯하다. 오히려 optimization, design, decisions, uncertainty 같은 단어들이 전통 산업공학 연구가 다시 활발해지는 것 같다. Supply Chain, 수요 예측, 에너지, 의료 등 다양한 응용 분야에서 불확실성과 위험을 다루는 데 최적화와 확률모형이 폭넓게 쓰이고 있었다. 산업공학의 뿌리인 최적화, 확률모형, 시스템 설계가 다시 무게를 얻고 있으며, 앞으로도 이들 방법론과 AI가 서로를 보완하는 연구가 이어질 것 같다.4. 우리 연구실에서는 학생 세 명이 반도체 공정 데이터 분석과 분포 외(out-of-distribution, OOD) 탐지를 주제로 발표했다. 학회에 올 때마다 느끼지만 우리 학생들의 발표는 어디에 내놓아도 손색이 없다. 다만 영어로 질문을 주고받거나 처음 만난 연구자에게 말을 건넬 때 조금 더 자신감을 가져도 좋겠다는 생각이 들었다. 발표를 잘 마친 만큼, 발표장 밖에서도 먼저 다가가 자기 연구를 이야기하고 상대의 연구에 대해 묻는 경험을 많이 쌓았으면 한다.5. 샌프란시스코 시내를 다니며 웨이모(Waymo)를 여러 번 탔다. 웨이모는 앱으로 차량을 호출하면 운전석이 빈 차가 승객을 태우러 오는 자율주행 서비스다. 차량에 달린 카메라와 라이다, 레이더로 주변 상황을 파악하며 주행한다. 2023년 피닉스에서 처음 타 본 뒤 이번이 두 번째인데, 그사이 기술이 많이 발전했다는 느낌을 받았다. 특히 가파른 언덕길이 많은 샌프란시스코 시내를 운전자 없이 자연스럽게 오르내리는 모습이 인상적이었다.. 무인자동차가 일상의 교통수단이 되는 날도 그리 멀지 않았다는 생각이 들었다. 테슬라도 샌프란시스코 베이 지역에서 차량 호출 서비스를 운영하고 있다. 다만 이 지역의 테슬라 차량에는 필요할 때 운전에 개입하는 안전 운전자가 동승한다. 이번에는 타 보지 못했는데, 다음에 기회가 된다면 직접 타 보고 웨이모와 승차 경험이 어떻게 다른지 비교해 보고 싶다.

9월 14일부터 9월 16일까지 3일간 로보시지에서 진행한 Physical AI 교육에 참여했다.최근 들어 VLA(Vision-Language-Action)에 조금씩 관심이 생기고 있었다. 특히 나는 diffusion을 중심으로 연구하고 있다 보니, VLA에서도 action space를 생성하거나 추론하는 과정에 diffusion 계열 방법론이 활용된다는 점이 꽤 흥미롭게 느껴졌다. 논문으로만 볼 때는 아직 조금 멀게 느껴지는 분야였는데, 마침 좋은 기회로 실제 로봇을 직접 만지고 데이터를 수집해볼 수 있는 교육에 참여하게 되었다.(1) 교육 후기 및 느낀점이번 교육에서는 mobile manipulator인 LeKiwi를 활용해 calibration, teleoperation, 데이터 수집, 모델 학습 및 추론, 그리고 Isaac Sim을 이용한 simulation까지 Physical AI의 전체적인 흐름을 직접 경험해볼 수 있었다. 첫째 날과 둘째 날에는 실제 LeKiwi를 가지고 calibration과 teleoperation을 수행했다. Leader arm을 사람이 직접 움직이면 follower arm이 그 움직임을 따라가고, 이를 이용해 물체를 집고 옮기는 task의 데이터를 직접 수집했다. 사실 교육 전에는 로봇 학습에서도 결국 좋은 모델을 만들고 잘 학습시키는 것이 가장 중요하지 않을까 생각했다. 그런데 직접 해보니 오히려 데이터를 어떻게 만드는지가 생각보다 훨씬 중요했다.예를 들어 같은 물체를 집어 옮기는 단순한 task라고 하더라도, gripper를 언제 열지, 어떤 방향으로 먼저 움직일지, 물체에 어떻게 접근할지 등 사람이 선택할 수 있는 방법은 여러 가지가 있었다. 사람 입장에서는 모두 성공하는 행동이지만, 적은 수의 데이터로 imitation learning 모델을 학습할 때는 이런 차이가 오히려 모델 입장에서 혼란이 될 수 있었다. 그래서 데이터를 수집할 때는 어느 정도 자신만의 규칙을 정하고 일관성 있게 수행하는 것이 중요하다는 것을 알게 되었다. 직접 해보기 전에는 성공한 데이터면 다 좋은 데이터 아닌가라고 생각했는데, 실제로는 같은 성공 데이터 안에서도 행동 방식이 얼마나 일관적인지가 꽤 중요했다. 반대로 너무 똑같은 조건에서만 데이터를 모으는 것도 문제가 되었다. 로봇이 학습할 때 보지 못했던 위치에 물체가 있거나, 작은 오차로 인해 trajectory가 조금만 어긋나도 스스로 복구하지 못하는 경우가 있었다. 결국 모든 데이터를 완벽한 데이터로만 구성하는 것이 항상 좋은 것은 아니었다. 다양한 초기 위치에서 시작해보거나, 실패한 상태에서 다시 정상적인 행동으로 돌아오는 recovery 데이터도 필요했다. 이 부분이 특히 인상 깊었다. 결국 Physical AI에서는 단순히 데이터의 개수보다 모델이 어떤 상태들을 학습 과정에서 경험했는가가 굉장히 중요하다는 생각이 들었다.수집한 데이터로는 imitation learning 기반의 ACT와 경량 VLA 모델인 SmolVLA를 직접 학습하고 추론해보았다. 모델 학습 자체는 기존에 해오던 딥러닝 실험과 크게 다르지 않았지만, 차이가 있다면 결과가 바로 눈앞의 로봇 움직임으로 나타난다는 점이었다. 이미지 모델에서는 성능이 몇 퍼센트 떨어져도 숫자로만 느껴질 때가 많은데, 로봇에서는 데이터가 좋지 않거나 모델이 잘못 학습되면 로봇이 엉뚱한 곳으로 움직이거나 물체를 제대로 잡지 못하는 모습이 바로 보였다. 그래서 데이터와 모델의 관계가 훨씬 더 직접적으로 느껴졌다. 이미지 모델에서는 성능이 몇 퍼센트 떨어져도 숫자로만 느껴질 때가 많은데, 로봇에서는 데이터가 좋지 않거나 모델이 잘못 학습되면 로봇이 엉뚱한 곳으로 움직이거나 물체를 제대로 잡지 못하는 모습이 바로 보였다. 그래서 데이터와 모델의 관계가 훨씬 더 직접적으로 느껴졌다. 또 재미있었던 점은 VLA나 end-to-end 모델만 배운 것이 아니라 YOLO 기반 환경 인식과 rule-based control, teaching 기반 제어 방식도 함께 경험했다는 것이다. 이 과정에서 과연 모든 문제에 VLA가 필요한가라는 생각도 들었다. 예를 들어 물체의 위치가 어느 정도 정해져 있고, 동일한 동작을 계속 반복하는 작업이라면 굳이 큰 학습 모델을 사용할 필요 없이 rule-based 방식이 훨씬 안정적이고 효율적일 수도 있다. 그렇다면 VLA가 정말 필요한 순간은 언제일까, 내가 느끼기에는 결국 환경과 task가 복잡해질수록 사람이 모든 상황을 rule로 정의하기 어려워지는 지점에서 학습 기반 모델의 장점이 커지는 것 같다. 다양한 물체를 다루거나 여러 task를 하나의 모델로 수행하거나, 예상하지 못한 상황에 대응해야 할수록 사람이 직접 rule을 만드는 방식에는 한계가 생길 수밖에 없다. 그래서 앞으로 Physical AI 연구에서는 단순히 잘 정리된 benchmark에서 높은 성능을 내는 것보다 실제 환경에서 얼마나 버틸 수 있는지가 더 중요하지 않을까 하는 생각이 들었다. 실제 환경에서는 물체 위치도 달라질 수 있고, 로봇이 조금 흔들릴 수도 있으며, 카메라에 물체가 가려지거나 예상하지 못한 상황이 계속 발생할 수 있기 때문이다.셋째 날에는 NVIDIA Isaac Sim을 활용해 simulation 환경을 직접 구성해보았다.중력, 질량, 마찰력, collision 등의 물리 속성을 직접 설정해보고, 그에 따라 물체가 어떻게 움직이는지 확인했다. 이후에는 Isaac Sim 안에 구현된 LeKiwi를 직접 teleoperation하면서 simulation 상에서 데이터를 수집해보았다. 그동안 simulator라고 하면 이미 잘 만들어져 있는 가상환경 안에서 로봇을 실행하는 정도로 생각했는데, 실제로는 현실 세계와 비슷한 환경을 만들기 위해 상당히 많은 것을 직접 정의해야 했다. 물체의 질량이나 마찰계수, joint, 좌표계, collision 등을 제대로 설정하지 않으면 우리가 생각하는 것처럼 자연스럽게 움직이지 않았다. 결국 현실을 simulation으로 옮기는 것 자체가 하나의 큰 문제이며 따라서 Sim2Real이 왜 어려운지에 대해서도 어느정도 알 수 있는 계기가 되었다. 기존에는 누군가 만들어놓은 dataset을 받아서 모델을 학습하고 성능을 비교하는 경우가 대부분이었다면, Physical AI에서는 사람이 로봇을 어떻게 움직이는지, 어떤 상태에서 데이터를 수집하는지, 환경을 어떻게 구성하는지 자체가 이미 모델의 성능을 결정하는 중요한 요소였다. 결국 이번 교육을 통해 Physical AI에서는 모델 구조뿐 아니라 데이터 수집, 환경 설계, 제어 방식, 실패 상황에 대한 대응까지 전체 시스템을 함께 고려해야 한다는 것을 알 수 있었으며. 앞으로 관련 연구를 바라볼 때에도 단순히 benchmark 성능만 보는 것이 아니라, 실제 환경에서 어떤 데이터를 사용했고 어떠한 변화를 견딜 수 있는지까지 함께 살펴보는 것이 중요하겠다라고 생각 할 수 있었다.(2) 본인 연구와의 연관성 및 추후 해결해보고 싶은 연구 질문요근래 가지고 있었던 하나의 질문이 있었다. 나는 현재 Diffusion inverse problem을 연구하고 있는데, invere problem에서는 관측값이 불완전하거나 손상되어 있는 상황에서 prior를 이용해 원본을 복원하려고 한다. 그렇다면 이런 관점을 Physical AI에서 바라보면 어떻게 생각해볼 수 있을까?자세한 예시는 아래와 같다.가령, VLA가 컵을 집어서 다른곳을 옮겨라라는 task를 잘 수행한다고 하자. 그런데 컵의 손잡이나 물체의 일부가 다른 무언가에 의해 가려져 있다면 어떨까? 사람은 컵의 전체 모습을 보지 못하더라도 지금까지의 경험을 바탕으로 대략적인 형태를 예상하고 행동할 수 있다. 그렇다면 VLA 역시 현재 관측된 정보만을 그대로 이용하는 것이 아니라, 모델이 학습하면서 얻은 prior를 통해 보이지 않는 상태를 어느 정도 추론하면서 행동할 수 있어야 하지 않을까라는 예시이다. 물론 이것을 단순히 diffusion inverse problem과 같은 문제라고 말하기는 어렵다. image에 대해서 inverse problem를 해결하는 과정은 손상된 measurement로부터 clean image를 복원하는 것이 주된 목표지만, Physical AI에서는 상태를 추론하는 것에서 끝나지 않고 실제 action까지 이어져야 한다. 더 어려운 점은 잘못된 action이 다음 observation 자체를 바꿔버린다는 것이다. 그럼에도 내가 흥미롭게 느끼는 공통점은 불완전한 관측과 prior를 함께 이용해 보이지 않는 상태를 추론한다는 점이다.따라서 앞으로 조금 더 고민해보고 싶은 질문은 다음과 같다.부분적으로 관측되거나 가려진 환경에서, Physical AI가 학습한 prior와 현재의 observation을 함께 이용하면 VLA가 더 강건하게 행동할 수 있을까?  아직은 상당히 막연한 아이디어이고 실제 연구 문제로 만들기 위해서는 많은 간극을 메워야 할 것이다. 하지만 이러한 부분까지 잘 수행한다면 우리는 미래에 더욱 더 로봇이 우리의 일상에 녹아들 것이며 이번 교육에서 실제 로봇이 작은 환경 변화에도 쉽게 실패하는 모습을 보며 내가 연구하고 있는 분야와 Physical AI 사이에 많은 접점이 있을 수 있겠다라고 생각해볼 수 있었다. 이번 교육을 계기로 이 질문을 하나의 열린 연구 질문으로 남겨두고, 앞으로 조금씩 구체화해보고 싶다.(3) 감사의 인사마지막으로 이런 좋은 교육 기회를 만들어주신 교수님과 종국이 형에게 감사의 말씀을 전하고 싶다. 특히 해외 학회에서 직접 Physical AI 분야의 흐름과 중요성을 경험하고 돌아온 뒤, 단순히 요즘 이 분야가 중요하다라고 이야기하는 것에서 끝나는 것이 아닌 실제로 연구실 학생들과 후배들이 직접 경험할 수 있도록 교육까지 연결한 모습은 너무나 존경스러운 모습이었다. 사실 연구를 하다 보면 내 연구 하나를 따라가는 것만으로도 벅찰 때가 많은데, 새로운 흐름을 계속 공부하고 그것을 주변 사람들에게 전달하며 함께 성장할 수 있는 기회를 만든다는 것은 쉽지 않은 일이라 생각한다. 나도 언젠가는 후배들에게 내가 전해 받은 선한 영향을 물려줄 수 있는 그러한 사람이 되고 싶다.좋은 양질의 교육을 진행해주신 로보시지 관계자들에게도 감사드리고, 교육이 원할하게 진행될 수 있도록 준비하고 도와준 연구실 선배들과 동기들에게도 고마운 마음을 전하며 이번 교육 후기를 마친다.

(1) 개요 9월 14일부터 16일까지 3일간 로보시지에서 진행된 Physical AI 교육에 참여하였다. 평소 컴퓨터 비전 분야를 공부하며 이미지나 영상 데이터를 다루는 연구를 주로 해왔기에, 인식 결과가 곧바로 물리적인 동작으로 이어지는 로봇 제어 분야는 다소 낯설게 느껴졌다. 그동안은 모델의 출력이 숫자나 라벨로 끝나는 경우가 대부분이었는데, 이번 교육에서는 그 출력이 실제 로봇팔의 움직임으로 나타난다는 점에서 색다른 경험이 될 것이라 기대하며 참여하게 되었다. 교육을 듣기 전에는 로봇 제어와 딥러닝을 결합하는 과정이 기존에 익숙했던 모델 학습 파이프라인과 크게 다르지 않을 것이라 예상했다. 하지만 실제로는 하드웨어 연결과 캘리브레이션, 조작을 통한 데이터 수집, 학습, 실기 추론까지 각 단계마다 고려해야 할 요소가 상당히 많았고, 이 모든 과정이 서로 맞물려 있다는 것을 몸으로 느낄 수 있었다. (2) 로봇을 처음 다뤄보며 가장 먼저 진행한 것은 리더 암과 팔로워 암의 연결 및 캘리브레이션이었다. 이론적으로는 단순히 두 로봇의 좌표계를 맞추는 작업이라 생각했지만, 실제로 진행해 보니 관절 각도가 미세하게 어긋나 있으면 팔로워 암의 움직임이 부자연스러워지는 것을 확인할 수 있었다. 캘리브레이션이 끝난 뒤 처음으로 리더 암을 움직여 팔로워 암이 따라오는 모습을 보았을 때, 소프트웨어로만 다루던 모델과는 전혀 다른 종류의 긴장감을 느꼈다. 이후에는 물체를 정해진 위치로 옮기는 작업을 반복하며 텔레오퍼레이션에 익숙해지는 시간을 가졌다. 처음에는 손의 움직임과 화면 속 로봇의 반응 사이에 미묘한 시차가 있어 어색했지만, 반복할수록 점차 로봇을 마치 내 팔처럼 다룰 수 있게 되었다. 이 과정에서 로봇 조작이라는 것이 단순한 기술적 문제가 아니라 사람의 숙련도에 따라 결과물의 질이 달라지는 일종의 기술(skill)에 가깝다는 생각이 들었다. (3) 데이터 수집과 학습, 그리고 예상치 못한 실패들 본격적인 데이터 수집 단계에서는 컵을 집어 정해진 트레이 위에 올려놓는 작업을 반복하여 학습 데이터를 모았다. 평소 연구에서는 데이터의 양과 다양성을 늘리는 것이 성능 향상의 핵심이라 여겨 왔기에, 이번에도 최대한 다양한 위치와 각도에서 시도해 보려 했다. 하지만 동료와 함께 수집한 데이터를 합쳐 학습시켜 보니, 오히려 각자의 조작 습관 차이 때문에 로봇의 움직임이 애매하게 섞여 나오는 문제를 겪었다. 한 사람은 컵을 비교적 빠르게 잡았고 다른 사람은 천천히 접근하는 경향이 있었는데, 이 차이가 그대로 모델에 반영되어 로봇이 머뭇거리는 듯한 동작을 보이기도 했다. 이 경험을 통해 데이터의 양적 확장이 항상 좋은 결과로 이어지는 것은 아니며, 오히려 누가, 어떤 방식으로 시연했는지에 따라 데이터의 성격 자체가 달라질 수 있다는 점을 깨달았다. 이미지나 텍스트 데이터에서는 크게 신경 쓰지 않았던 '데이터를 만든 주체'라는 요소가 로봇 학습에서는 성능에 직접적인 영향을 준다는 사실이 인상 깊었다. 학습된 모델을 실제 로봇에 올려 추론해 보았을 때, 컵의 위치가 학습 데이터와 조금만 달라져도 로봇이 엉뚱한 지점으로 접근하는 모습을 보며, 그동안 벤치마크 수치로만 이해했던 '일반화 실패'라는 개념을 훨씬 체감 있게 이해하게 되었다. (4) Isaac Sim에서 다시 만난 로봇 마지막 날에는 Isaac Sim을 통해 가상 환경을 구성하고, 실제 리더 암으로 시뮬레이션 속 로봇을 조작해 보는 실습을 진행하였다. 물체의 재질이나 마찰, 카메라 시점 등을 하나씩 설정해 보면서, 실제 환경을 가상에서 재현하는 일이 생각보다 세심한 작업이라는 것을 알게 되었다. 특히 실제 물리 환경에서는 신경 쓸 필요 없었던 요소들—예를 들어 물체가 바닥을 뚫고 지나가거나 비정상적으로 튕기는 현상—을 하나씩 조정해야 했는데, 이 과정에서 시뮬레이션 환경 구축 자체가 하나의 전문 영역이라는 것을 느꼈다. 이틀간 실제 로봇으로 씨름했던 경험이 있었기에, 시뮬레이션의 편리함이 더욱 크게 다가왔다. 현실에서는 데이터 한 번 수집할 때마다 물체를 직접 정리하고 로봇 상태를 점검해야 했지만, 가상 환경에서는 버튼 하나로 초기 상태로 되돌릴 수 있었다. 다만 화면 속에서 매끄럽게 동작하는 로봇이 실제 환경에서도 동일하게 움직일 것이라는 보장은 없다는 이야기를 들으며, Sim-to-Real이라는 주제가 단순한 이론적 화두가 아니라 실제로 극복해야 할 현실적인 간극이라는 점을 새삼 체감하였다. (5) 교육을 마치며 3일간의 교육을 통해 그동안 컴퓨터 비전 연구자로서 막연하게 상상해 왔던 Physical AI의 실체를 직접 확인할 수 있었다. 특히 인상 깊었던 것은, 모델의 인식 성능이 아무리 뛰어나도 그 인식 결과를 실제 동작으로 정확히 옮기는 제어 과정이 뒷받침되지 않으면 전체 시스템은 제대로 작동하지 않는다는 점이었다. 인식과 행동이 분리된 두 문제가 아니라 하나로 연결된 파이프라인이라는 것을 실습을 통해 체감할 수 있었다. 또한 데이터를 수집하는 사람의 입장이 되어 보면서, 평소 당연하게 활용하던 공개 데이터셋 뒤에도 이처럼 수많은 선택과 시행착오가 있었을 것이라는 생각을 하게 되었다. 앞으로 관련 연구를 진행하게 된다면, 모델 구조 개선뿐 아니라 데이터가 만들어지는 과정 자체에도 좀 더 관심을 가져야겠다는 다짐을 하게 된 계기였다. 끝으로 3일간 실습을 세심하게 지도해 주신 로보시지 관계자분들과, 이런 값진 기회를 마련해 주신 교수님께 감사드린다. 또한 실습 내내 아낌없이 도움을 주신 허종국 연구원님께도 깊이 감사드리며 후기를 마친다.

9월 14일부터 사흘 동안 로보시지 Physical AI 교육을 받았다. 교육은 간단한 이론 설명 뒤에 바로 로봇을 만져 보는 실습 위주로 진행되었다. 조별로 LeKiwi 로봇을 한 대씩 받아 사흘 내내 붙들고 있으면서 로봇 조종, 데이터 수집, 모델 학습, 추론을 차례로 해보았고, 마지막 날에는 Isaac Sim도 다뤄봤다. Physical AI는 요즘 여기저기서 많이 듣는 주제지만, 나에게는 직접 해 볼 기회가 없던 분야였다. 또한, 평소에는 누군가 이미 정리해 둔 데이터셋을 받아서 모델을 돌리는 일이 대부분이었는데, 학습 데이터를 내 손으로 처음부터 만들어 본 건 이번이 처음이었다.[교육 내용 정리]1일차에는 Physical AI 전반에 대한 소개를 듣고 실습에 들어갔다. 먼저 두 로봇 팔 관절 범위를 맞춰주는 캘리브레이션 작업을 해보았고, leader arm을 움직여서 follower arm을 조종하는 텔레오퍼레이션을 해보았다. 조작이 어느 정도 손에 익은 뒤에는 주사위를 집어 박스에 넣는 task를 반복 시연하면서 데이터를 모았고, 이 데이터로 imitation learning 기반 ACT 모델 학습을 해보았다.2일차에는 학습시켜 놓은 모델 추론을 돌려보았다. 그리고 추가적으로 recovery 데이터에 대해서 알게 되었다. 항상 같은 자세에서 시작해 깔끔하게 성공하는 시연만 모으면, 로봇이 한 번 삐끗했을 때 거기서 되돌아오지 못하게 된다. 그래서 물체 위치나 로봇 시작 자세를 일부러 바꿔 가며, 놓친 상태에서 다시 집는 데이터도 같이 넣어 줘야 한다. 이는 imitation learning에서 오래전부터 다뤄 온 covariate shift 문제라고 한다. 작은 오차 때문에 학습 때 보지 못한 상태에 들어가면 거기서 또 오차가 생기고, 오차가 계속 누적이 되는 것이다. Recovery 데이터는 이 문제를 데이터 쪽에서 메우는 방법인 셈이다. 평소 개인 연구로 covariate shift 문제를 다루고 있는데, 항상 주어진 데이터를 놓고 학습 쪽에서만 shift를 해결하려 해 왔다. 데이터 쪽에서 접근하는 방식을 직접 경험해보니 참신했다.3일차에는 NVIDIA Isaac Sim 실습을 했다. 시뮬레이터 안에 LeKiwi와 물체를 올려두고 물리 설정을 바꿔 가면서 움직여 보기도 하였고, 실물 없이도 텔레오퍼레이션으로 데이터를 모으는 경험을 해보았다. 시뮬레이션에서는 데이터를 훨씬 편하게 모을 수 있지만, 마찰이나 접촉처럼 물체를 집을 때 중요한 물리 현상들은 실제와 차이가 나기 쉽다. 이러한 sim-to-real gap도 어떻게 보면 결국 분포 변화 문제라, 실물 데이터를 모으는 수고를 시뮬레이션이 어디까지 대신해 줄 수 있을지도 궁금해졌다. 이후에는 학습시킨 모델을 실제 로봇에 올려서 추론해보는 것으로 교육이 마무리되었다.3일 중 개인적으로 가장 기억에 남는 건 데이터를 모으던 시간이다. 한 번 시연할 때마다 물체를 다시 놓고, 로봇 원위치시키고, 중간에 실수를 하면 지우고 다시 찍어야 한다. 또한, 매번 제멋대로 움직이면 학습이 잘 안 된다고 해서, 어떤 순서로 물체에 다가가서 어떻게 집을지 미리 정해 놓고 최대한 비슷하게 반복해야 했다. 논문에서 '에피소드 수백 개를 수집했다'고 짤막하게 지나가는 문장 뒤에 얼마나 많은 시간과 인내가 녹아있는지 느낄 수 있었다. 이렇게 사람 손이 많이 가는 일이다 보니, 여러 기관의 로봇 데이터를 한데 모으는 Open X-Embodiment 같은 시도가 왜 나왔는지도 이해가 되었다. 이번 교육을 듣고 나니 데이터 수집으로 고생하고 있을 로봇 연구자들을 응원하는 마음이 생겼다.[마치며]사흘이 금방 지나갔다. 교육 전에는 Physical AI라고 하면 머릿속에 로봇이 작업을 진행하는 데모 영상 정도만 떠올랐는데, 이제는 그 영상 뒤에서 누군가 leader arm을 붙잡고 같은 동작을 수십 번 반복하는 모습이 먼저 그려진다. 친절하고 쉽게 교육을 진행해주신 로보시지 강사분들, 교육 준비와 세팅에 애써 준 연구원들, 이러한 교육 기회를 마련해 주신 교수님께 고맙다는 말씀 전하며 후기 글 마친다.

(1) 개요 2026년 9월 14일부터 16일까지 3일간 RoboSEasy에서 진행한 Physical AI 교육에 참여하였다. 그동안 연구를 하면서 모델을 학습시키고 결과를 분석하는 과정은 익숙했지만 로봇을 직접 움직여 데이터를 만들고 그 데이터로 학습한 모델이 다시 실제 로봇을 움직이게 하는 과정은 처음 경험해 보았다. 평소에 관심은 있었지만 직접 수행을 해보니 이 분야에 더욱 흥미가 생기게 되었다. 교육 전에는 Physical AI라고 하면 기존의 AI 모델에 로봇과 같은 하드웨어가 더해진 정도로 생각했던 것 같다. 하지만 직접 실습해 보니 생각보다 훨씬 많은 요소가 서로 연결되어 있었다. 리더 암과 팔로워 암을 연결하는 것부터 시작해서 로봇을 캘리브레이션하고, 텔레오퍼레이션으로 데이터를 수집하고, 모델을 학습한 뒤 다시 실제 로봇에서 추론하기까지의 과정은 따로 떨어져 있는 과정이 아니라 하나의 과정이었다. 마지막 날에는 Isaac Sim에서 직접 환경을 구성하고 실제 리더 암으로 시뮬레이션상의 로봇을 움직이며 데이터를 수집해 보면서 실물 로봇에서 시작한 과정이 시뮬레이션까지 어떻게 확장되는지도 경험할 수 있었다. 무엇보다 이번 교육을 통해 Physical AI를 설명으로 이해하는 것과 실제 로봇을 직접 다뤄 보는 것에는 꽤 큰 차이가 있다는 것을 느꼈다. 3일이라는 짧은 시간이었지만, 적어도 로봇 학습이 어떤 흐름으로 이루어지고 그 안에서 어떤 문제를 고민해야 하는지는 이전보다 훨씬 구체적으로 그려지게 되었다. (2) 데이터 만들기 가장 기억에 남았던 부분은 텔레오퍼레이션을 통해 학습 데이터를 직접 수집했던 과정이다. 사람이 리더 암을 움직이면 팔로워 암이 그 움직임을 따라가고, 내가 수행한 행동이 그대로 학습 데이터가 된다. 처음에는 정해진 작업을 여러 번 반복하면 되는 비교적 단순한 과정이라고 생각했다. 그런데 직접 데이터를 모아 보니 생각보다 신경 써야 할 부분이 많았다. 교육을 들으며 좋은 데이터를 수집하기 위해서는 일관성있게 수집해야 한다는 말씀을 들었다. 하지만 같은 물체를 집어 같은 위치로 옮기는 작업이라도 매번 팔을 움직이는 경로가 조금씩 달랐고, 물체에 접근하는 방향이나 그리퍼를 닫는 시점도 일정하게 유지하기 어려웠다. 한 번은 자연스럽게 수행했던 동작이 다음번에는 불필요하게 길어지기도 하고, 조작 과정에서 잠시 머뭇거리는 행동도 그대로 데이터에 남았다. 이 과정을 반복하면서 로봇 학습에서는 좋은 데이터를 많이 모으는 것부터가 큰 문제라는 생각이 들었다. 우리가 일반적으로 사용하는 데이터셋은 이미 누군가 수집하고 정제한 결과이기 때문에 데이터를 만드는 과정에 대해서는 크게 생각하지 않는 경우가 많다. 하지만 로봇에서는 내가 어떻게 움직였는지가 바로 데이터가 되기 때문에 데이터의 품질에 대한 책임이 훨씬 직접적으로 느껴졌다. (3) 데이터로 모델을 학습한 후, 추론해보기 직접 수집한 데이터로 모델을 학습시키고 실제 로봇에서 추론해 보는 과정도 인상적이었다. 내가 연구하는 시계열 분야에서는 성능을 확인할 때 예측 그래프를 확인하거나, 특정 metric이 얼마나 좋아졌는지를 통해 결과를 확인하는 경우가 대부분이었다. 하지만 이번 교육에서는 결과가 실제로 눈앞에서 바로 로봇의 움직임으로 나타났다. 학습한 모델이 물체(주사위)를 잡기 위해 움직이는 모습을 처음 봤을 때는 내가 수집한 데이터가 실제 행동으로 이어진다는 것이 신기했다. 하지만 모델이 기대만큼 잘 움직이지 않는 경우를 보면서 기존에 숫자로만 보던 모델의 실패가 실제 환경에서는 훨씬 직접적인 문제라는 것도 느꼈다. 물체의 위치가 조금 달라지거나 시작 상황이 바뀌면 로봇이 엉뚱한 방향으로 움직이기도 했고, 사람이 보기에는 아주 작은 환경의 차이가 모델에게는 큰 차이가 될 수 있었다. 그래서 이 과정에서 데이터를 일관성 있게 수집하는 것이 중요하다는 것을 한번 더 느끼게 되었다. 또한 이 부분에서 일반화에 대해 다시 생각하게 되었다. 기존의 머신러닝에서도 학습 데이터에만 잘 맞는 모델이 아니라 보지 못한 데이터에서도 잘 동작하는 모델을 만드는 것이 중요하다. 로봇에서도 본질적으로는 같은 문제이지만, 실제 환경에서는 변화할 수 있는 요소가 훨씬 많았다. 물체의 위치나 카메라에서 보이는 모습, 로봇의 초기 자세 등 여러 조건이 조금씩 달라질 수 있기 때문이다. 결국 모델 구조를 바꾸는 것만으로 모든 문제를 해결하기보다 모델이 실제로 마주칠 수 있는 상황을 데이터에 얼마나 잘 담아내느냐도 상당히 중요하겠다는 생각이 들었다. 앞으로 Physical AI를 연구하게 된다면 ‘어떤 모델이 좋은가’뿐만 아니라 ‘어떤 데이터를 모아야 좋은가’를 같이 고민해야겠다는 생각이 들었다. (4) 실제 로봇과 시뮬레이션 마지막 날에는 Isaac Sim을 이용해 가상환경을 직접 만들어 보고, 리더 암과 그 안에서 로봇을 연결해 움직여 보았다. 바닥과 물체를 배치하고 물리적인 조건을 설정하는 과정도 흥미로웠지만, 개인적으로 가장 기억에 남은 것은 실제 리더 암을 움직여 시뮬레이션상의 팔로워 암을 조작하는 것이었다. 손으로 움직이는 장치는 현실에 있는데 그 결과는 화면 속 로봇에서 나타나는 것이 처음에는 조금 어색하면서도 재미있었다. 앞선 이틀 동안 실제 로봇으로 데이터를 직접 모아 보았기 때문에 시뮬레이션을 사용하는 이유도 더 잘 이해할 수 있었다. 실물 로봇으로 데이터를 수집하는 것은 생각보다 많은 시간과 노력이 필요했다. 하나의 에피소드를 수집할 때마다 물체를 다시 놓고 로봇의 상태를 확인해야 했고, 잘못 수집한 경우에는 다시 해야 했다. 다양한 환경을 만들어 보려고 하면 그만큼 실제 공간과 물체도 준비해야 한다. 하지만 시뮬레이션에서는 환경이나 물체의 위치를 비교적 자유롭게 변경하고 다시 시작할 수 있었다. 그래서 현실에서 모든 경우의 데이터를 직접 모으는 것이 어렵다면 시뮬레이션이 유용할 수 있겠다는 생각이 들었다. 하지만 화면 속에서 그럴듯하게 움직이는 것과 실제 로봇이 잘 움직이는 것은 별개의 문제일 수도 있겠다는 생각도 들었다. 결국 시뮬레이션은 현실을 완전히 대신한다기보다는 현실에서 얻기 어려운 경험과 데이터를 보완해 주는 역할에 더 가까워 보였다. 실물 로봇과 시뮬레이션을 모두 경험해 본 덕분에 Sim-to-Real이라는 문제가 왜 계속 중요하게 다뤄지는지도 이전보다 훨씬 잘 이해할 수 있었다. (5) 교육을 마치며 이번 교육에서 가장 크게 느낀 점은 Physical AI에서는 모델과 데이터, 그리고 실제 환경을 따로 생각하기 어렵다는 것이었다. 좋은 모델을 사용한다고 해서 로봇이 바로 원하는 행동을 하는 것도 아니었고, 데이터를 많이 모은다고 반드시 좋은 결과가 나오는 것도 아니었다. 어떤 환경에서 어떤 방식으로 행동을 보여주었는지, 그 데이터에 어떤 상황들이 포함되어 있는지가 실제 로봇의 행동에 그대로 영향을 주었다. 개인적으로는 그동안 이미 만들어진 데이터를 가지고 모델을 개선하는 연구를 주로 접해 왔기 때문에, 내가 직접 데이터를 만드는 사람의 입장이 되어 본 것이 좋은 경험이었다. 직접 수집해 보니 기존에는 당연하게 사용하던 데이터셋 하나가 만들어지기까지 얼마나 많은 선택이 들어가는지도 생각해 보게 되었다. 또한 처음에는 Physical AI가 현재 하고 있는 연구와는 조금 다른 분야라고 생각했지만, 교육을 마친 뒤에는 오히려 기존에 고민해 왔던 일반화, 데이터의 다양성, 학습 데이터와 테스트 환경의 차이와 같은 문제들이 로봇에서도 그대로 중요하게 나타난다는 점이 흥미로웠다. 다만 로봇에서는 그 문제가 화면 속 결과가 아니라 실제 움직임으로 나타난다는 점에서 더욱 재미있는 분야라는 생각이 들었다. 마지막으로 3일 동안 실습을 원활하게 진행할 수 있도록 교육을 준비하고 지도해 주신 RoboSEasy 직원분들과 새로운 경험을 할 수 있는 기회를 주신 교수님께 감사드린다. 또한 교육을 진행하는 과정에서 큰 도움을 주신 허종국 연구원님께 감사드리며 후기를 마친다.

2026년 9월 14일~16일, 총 3일 18시간 동안 로보시지(Roboseasy)라는 기업에서 우리 연구실을 대상으로 로봇 및 physical AI 교육을 해주었다. ETRI 과제를 통해 강화학습은 많이 접해보았지만, 이와는 또 다른 개념인 physical AI 에 대해 처음 접해보게 되었다. 최근 로봇 및 physical AI가 많은 분야에서 각광받는 만큼, 이번 교육이 좋은 경험이라고 생각이 들었고 열심히 참여하였다. 교육은 기본적인 이론 강의 이후 직접 로봇을 작동해보며 데이터를 수집하고, 수집한 데이터를 통해 직접 모델을 학습 및 추론해보는 식으로 진행되었다. 교육을 들은 대부분의 인원이 낯선 분야였는데, roboseasy 강사분이 이해하기 쉽게 알려주시고 실습도 step by step으로 다 설명해주셔서 잘 따라갈 수 있었던 것 같다. 나는 재우, 다빈이와 같은 조였고 셋이서 머리를 맞대며 실습하는 시간이 가장 기억에 남고 하나의 좋은 경험 및 추억이 된 것 같다. <주요 교육 내용 및 후기>1일차에는 기본적으로 physical AI가 무엇이고, 어떻게 발전해왔는지에 대한 이론 설명부터 시작했다. 낯선 내용임에도 전반적으로 흥미있게 다가왓다. 이 후, 직접 lekiwi를 통해 실습을 진행하였다. Leader arm과 follow arm 두 가지의 로봇이 있는데, 각각 관절 동작 범위를 미리 세팅한 후, teleoperation을 통해 leader arm으로 follow arm을 작동시키는 실습을 했다. 조 별로 먼저 주사위를 집어서 통 안에 집어넣는 대결을 했을 때가 가장 기억에 남는다. Teleoperation을 충분히 익힌 후에는 직접 주사위를 박스에 넣는 task를 해보며 데이터를 수집하였다. 50개의 에피소드를 수집하였는데, 사실 50개면 그렇게 많은 에피소드 수도 아닌데 생각보다 오래 걸렸고 이런 연구를 하는게 정말 쉽지는 않겠다 라는 생각을 했다. 수집한 데이터를 허깅페이스에 업로드하는 과정에서 우리의 모든 데이터가 증발하는 이슈가 생겨 이 부분이 너무 아쉬웠다.2일차에는 학습한 모델을 가지고 추론을 먼저 해보았다. 우리는 데이터가 날라가 직접 학습은 못해서 성호 조의 체크포인트를 다운 받아 추론을 하였는데, 추론 성능이 꽤 괜찮아서 놀랍기도 하고 신기하기도 하였다. 이 후에는 pc를 통해 로봇을 제어하는 것을 실습하였다. 또한 이번에는 정상적인 에피소드만 수집하는 것이 아니라, 실패했을 경우를 대비해 recovery 에피소드도 추가로 수집하였다. Recovery 에피소드의 예시는 주사위를 못 집었을 때를 가정하고 다른 부분에서 에피소드를 수집하여 다시 주사위를 집어서 박스 안에 넣는 것이다. 이렇게 보완된 데이터를 가지고 act 모델 뿐만 아니라 small-VLA 모델도 학습을 하는 시간을 가졌다.3일차에는 우선 가장 기대가 되었던 IsaacSim에 대한 수업이 진행되었다. 이 부분도 제공해주신 github에 step by step으로 실습 내용이 나와있어서 어렵지 않게 실습할 수 있었다. 중력, 마찰력 등 물리적인 제약을 현실과 동일하게 걸어두고 이를 시뮬레이션 해보는 것이 제일 신기하고 흥미롭게 다가왔던 것 같다. 그리고는 2일 차에 학습했던 모델에 대해 다시 추론해보는 시간을 가졌다. 이 역시 우리 조 로봇 성능이 꽤 좋아서 놀라웠고, 주사위와 학습 때 못봤던 같은 색의 스펀지 공을 같이 놓았을 때에도 주사위를 먼저 인식하는 모습을 보고 로봇 AI 의 능력이 정말 대단하다고 느꼈다. 사실 우리가 수집했던 데이터의 품질이 그리 좋지 않다고 생각했기 때문이다. 그렇게 마지막 실습을 하면서 3일 간의 교육이 마무리 되었다.이번 기회에 로봇과 physical AI에 대해 접해보며 많은 것을 알아갈 수 있었다. 점점 로봇의 능력이 대단해지고 있다는 것을 체감할 수 있었으며, 해당 분야의 중요성을 뼈저리게 느꼈다. 좋은 교육을 해주신 로보시지 분들께 감사드리고, 무엇보다 이런 교육을 경험할 수 있게 해주신 교수님께 감사드린다. 또한, 교육이 원활하게 진행되도록 도와준 종국,성수,성호,동훈,성인 등의 동료 연구원들에게도 고맙다는 말을 전하고 싶다. 

(1) 개요 9월 14일부터 16일까지 3일간 진행된 로보시지(Roboseasy)의 Physical AI 교육에 수강생으로 참여하였다. 실제 로봇 하드웨어를 직접 제어하면서 센서 데이터를 수집하고, 그 모델의 추론 결과가 물리적 세계의 실체적인 움직임으로 나타나는 전 과정을 직접 다루어 볼 기회는 흔치 않았다. 특히 최근 주목을 받고 있는 VLA(Vision-Language-Action)나 피지컬 AI 영역은 하드웨어와 환경 설정의 복잡함 때문에 진입 장벽이 다소 높게 느껴지곤 했다. 이번 교육은 LeKiwi 로봇과 LeRobot CLI, Physical-Labs, 그리고 NVIDIA Isaac Sim에 이르기까지 현재 Physical AI 분야에서 활발히 사용되는 핵심 도구 스택과 파이프라인을 체계적으로 접할 수 있는 절호의 기회였다. 단순히 이론적인 설명이나 미리 준비된 데모를 구경하는 데 그치지 않고, 3인 1조로 구성된 환경에서 직접 캘리브레이션부터 데이터 수집, 모델 학습, 실제 로봇의 자율 구동 및 추론에 이르는 전 과정을 하나하나 수행하며 Physical AI의 작동 원리를 명확히 이해하고자 했다.(2) 데이터 수집과 작업 일관성의 중요성 교육 첫째 날과 둘째 날에는 LeKiwi 로봇의 정밀한 하드웨어 Calibration 작업을 시작으로, 리더 암(Leader Arm)을 직접 조작하여 팔로워 암(Follower Arm)을 동기화하여 제어하는 텔레오퍼레이션(Teleoperation)을 집중적으로 익혔다. 유선 및 무선 통신 환경을 모두 경험하며 연결 조건에 따른 제어 지연이나 조작감의 차이를 체감했고, 로봇팔을 이용해 목표 물체를 정밀하게 집어 지정된 위치로 옮기는 태스크를 수십 회 이상 반복하며 학습용 행동 데이터를 수집하였다. 초기에는 단순히 주어진 과제를 성공시키는 것에만 집중했으나, 회차를 거듭하고 모델 학습 결과를 확인하면서 조작자의 일관된 행동 패턴, 그리퍼를 여닫는 정확한 타이밍, 접근 방식, 관절의 이동 궤적 등 과 정립된 작업 규칙을 유지하는 것이 데이터의 품질과 모델 성능에 절대적인 영향을 미친다는 점을 깨달았다. 동일한 태스크라도 매번 어긋난 동선으로 수집된 데이터는 모델에게 혼란을 주는 노이즈가 될 수 있었다. 이에 따라 목표물 위치의 미세한 변형과 작업 환경 조건의 다변화를 정교하게 설계하여 데이터를 재구성하였고, 수집된 데이터를 Hugging Face Hub에 업로드한 뒤 ACT 및 SmolVLA 모델을 학습시켰다. 모델의 추론 결과를 실제 로봇에 적용했을 때, 데이터 수집 단계에서의 일관성과 정교함이 로봇의 동작 성공률 및 안정성과 직결되는 것을 직접 확인하며 '데이터의 품질이 모델의 성능을 결정한다'는 것을 피부로 느낄 수 있었다.(3) 가상 환경 시뮬레이션 및 파이프라인 확장 셋째 날에는 NVIDIA Isaac Sim 플랫폼을 활용해 가상 공간에서 로봇의 시뮬레이션 환경을 직접 구축하고 제어하는 실습을 진행하였다. 실제 하드웨어 환경에서는 장비의 손상 위험, 물리적 제약, 혹은 반복 작업의 피로도로 인해 쉽게 시도하기 어려웠던 다채로운 조건, 객체의 위치와 형태 변화, 마찰력, 중력 등의 물리 계수 조정을 가상 공간에서 자유롭게 설정해 볼 수 있다는 점이 매우 인상적이었다. 시뮬레이션을 활용한 대규모 데이터 생성이 갖는 가치와, 목적에 맞는 환경 설계의 중요성을 깊이 이해할 수 있었다. 비록 한정된 시간으로 인해 시뮬레이션 데이터로 학습한 모델을 실제 로봇까지 완전히 이식해 보는 단계까지 나아가지는 못해 아쉬움이 남았지만, 가상 환경 구축에 필요한 다양한 설정과 방법론에 대해서 알 수 있었다. 아울러 LeRobot CLI를 통한 커맨드 라인 제어부터 GUI 기반의 통합 환경인 Physical-Labs, 그리고 Isaac Sim을 활용한 시뮬레이션 영역에 이르기까지 서로 다른 도구들이 하나의 Physical AI 에서 어떻게 유기적으로 연결되는지 전체적인 기술 구조를 알 수 있었다.(4) 교육을 마치며 3일이라는 제한된 시간이었지만, 논문이나 이론으로만 접했던 VLA 모델과 로봇 제어 개념을 실제 하드웨어 조작과 데이터 기반 학습으로 구현해 본 매우 알찬 시간이었다. 막연하게 어렵게만 느껴졌던 Physical AI 분야에 대한 진입 장벽을 크게 낮출 수 있었고, 단순한 모델링을 넘어 데이터 수집 알고리즘, 로봇 제어, 시뮬레이션 환경 구축이 하나의 선순환 구조로 이어지는 전체 파이프라인의 흐름을 명확하게 파악하게 되었다. 이번 실습을 통해 얻은 데이터 일관성에 대한 감각과 로봇 제어 파이프라인에 대한 이해는 향후 로보틱스 관련 연구를 이해하는 데 있어 큰 도움이 될 것이라 생각한다. 짧은 기간 동안 알찬 교육 과정과 세심한 실습 지도에 힘써주신 로보시지 관계자분들과 강사님들, 그리고 이러한 기회를 마련해 주신 김성범 교수님과 허종국 선배님께 진심으로 깊은 감사의 말씀을 전한다.