Token이라는 용어를 이해하기 위해서는 먼저 이 단어가 인공지능 분야에서 사용되기 이전부터 가지고 있던 일반적인 의미를 살펴볼 필요가 있습니다. 일반적으로 token은 “a physical object, digital code, or symbol that stands for something else or acts as a substitute for money,” 즉 어떤 다른 대상이나 가치를 대신하여 나타내는 물체, 디지털 코드 또는 기호를 의미합니다. 여기서 가장 중요한 의미는 “something that stands for something else,” 즉 어떤 것을 대신하여 표현한다는 것입니다. 우리에게 친숙한 예가 과거 서울에서 사용되었던 bus token입니다. 서울에서는 1977년부터 시내버스 요금을 지불하기 위해 동전 모양의 token을 사용하였습니다. 승객은 현금을 직접 지불하는 대신 미리 구입한 token을 내고 버스를 이용할 수 있었습니다. 즉, 작은 금속 조각 자체가 화폐는 아니지만 일정한 버스 요금을 대신하는 물체였기 때문에 token이라고 불렀습니다. 서울의 bus token은 약 22년 동안 사용되다가 1996년 bus card가 등장한 이후 사용이 감소하였고, 1999년에 완전히 폐지되었습니다. 이러한 원래의 의미를 생각하면 인공지능에서 사용하는 token이라는 용어도 쉽게 이해할 수 있습니다. 인공지능 모델은 사람이 사용하는 문장이나 이미지와 같은 데이터를 그 자체로 이해하는 것이 아니라, 모델이 처리할 수 있는 작은 정보 단위로 변환합니다. 이때 원래 데이터의 일부를 대신하여 모델에서 처리되는 기본적인 정보 단위를 token이라고 할 수 있습니다. 과거의 bus token이 실제 버스 요금을 대신하였다면, AI의 token은 원래의 문자, 단어 또는 데이터의 일부를 대신하여 표현한다고 생각할 수 있습니다. 예를 들어 “I love artificial intelligence.”라는 문장을 LLM에 입력하면 모델은 전체 문장을 그대로 처리하지 않고 I | love | artificial | intelligence | . 와 같은 작은 단위로 나눕니다. 각각의 단위가 token입니다. 다만 하나의 token이 반드시 하나의 단어와 일치하는 것은 아닙니다. 긴 단어나 자주 사용되지 않는 단어는 여러 개의 subword token으로 나누어질 수 있으며, 구두점도 별도의 token이 될 수 있습니다. 이러한 token은 다시 token ID라는 숫자로 변환되고 embedding을 통해 vector로 표현되어 모델에서 계산됩니다. 따라서 대략적으로 original text → token → token ID → embedding → model의 과정을 거치게 됩니다. LLM에서 token이 특히 중요한 이유는 문장을 생성하는 과정 자체가 다음 token을 예측하는 과정, 즉 next-token prediction이기 때문입니다. 예를 들어 “The capital of France is”라는 문장이 주어지면 모델은 지금까지 주어진 token들을 바탕으로 다음에 나타날 token들의 확률을 계산합니다. 이때 Paris에 높은 확률을 부여하여 이를 선택하였다면 다시 그 다음 token을 예측합니다. 이러한 과정을 반복하면서 하나의 문장 또는 긴 답변을 생성합니다. 따라서 LLM을 단순화하면 “지금까지 주어진 token들을 이용하여 다음 token을 예측하는 모델”이라고 설명할 수 있습니다. 최근에는 token의 개념이 text를 넘어 image, time-series, tabular data 등 다양한 형태의 데이터로 확장되고 있습니다. vision transformer에서는 이미지를 여러 개의 작은 patch로 나누어 각각을 image token으로 처리할 수 있습니다. Time-series transformer에서는 하나의 time step을 token으로 사용할 수도 있고, 여러 시점을 하나의 patch로 묶어 temporal token 또는 patch token으로 사용할 수도 있습니다. Tabular transformer에서는 age, income, occupation과 같은 각각의 feature 또는 feature-value representation을 feature token으로 표현할 수 있습니다. 결국 일반적인 의미의 token과 인공지능에서의 token은 서로 동떨어진 개념이 아닙니다. bus token이 실제 화폐를 대신하여 버스 요금의 가치를 표현했던 것처럼, AI에서의 token은 원래 데이터의 일부를 대신하여 모델이 처리할 수 있는 형태로 표현한 기본적인 정보 단위입니다. 따라서 token의 핵심 개념은 분야가 달라져도 동일하게 representation 또는 substitute, 즉 “무언가를 대신하여 나타내는 것”이라고 이해할 수 있습니다. 이러한 관점에서 보면 text에서는 word나 subword가, image에서는 image patch가, time-series에서는 time step이나 temporal patch가, tabular data에서는 feature 또는 feature-value representation이 token의 역할을 할 수 있습니다. 특히 transformer는 서로 다른 형태의 데이터를 token sequence로 표현한 후 token들 사이의 관계를 attention을 통해 학습할 수 있다는 특징을 가지고 있습니다. 따라서 token은 transformer만의 개념은 아니지만, 현대의 transformer와 LLM을 이해하는 데 있어 가장 기본적이고 핵심적인 개념 중 하나라고 할 수 있습니다.

Visual prompt tuning(VPT)은 대규모로 사전학습된 vision transformer(ViT)를 새로운 downstream task에 효율적으로 적용하기 위해 제안된 parameter-efficient fine-tuning 방법이다. VPT를 이해하기 위해서는 먼저 transformer에서 vision transformer로, 그리고 대규모 사전학습 모델을 새로운 문제에 적용하는 pretrain-then-finetune paradigm으로 이어지는 흐름을 이해할 필요가 있다. Transformer는 원래 자연어 처리 분야에서 발전한 구조로, self-attention을 이용하여 입력 token들 사이의 관계를 학습한다. Vision transformer는 이러한 transformer의 아이디어를 이미지에 적용한다. 이미지를 일정한 크기의 patch로 나누고 각각의 patch를 하나의 token처럼 표현한 다음, transformer를 통해 patch들 사이의 관계를 학습한다. 충분히 큰 데이터로 사전학습된 ViT는 이미지에 포함된 다양한 시각적 특징을 표현할 수 있기 때문에, 이후 새로운 이미지 분류 문제와 같은 downstream task에 효과적으로 활용할 수 있다. 이러한 사전학습 모델을 활용하는 전통적인 방법은 pretrain-then-finetune 방식이다. 먼저 대규모 데이터로 하나의 범용 모델을 사전학습한 후, 관심 있는 새로운 task의 데이터를 이용하여 모델의 파라미터를 다시 학습한다. Full fine-tuning에서는 사전학습된 backbone의 거의 모든 파라미터를 업데이트하기 때문에 새로운 task에 대한 적응 능력은 높지만, 모델의 규모가 커질수록 상당한 계산 및 저장 비용이 발생한다. 특히 여러 개의 downstream task를 다루는 경우에는 각 task마다 거대한 모델의 파라미터를 별도로 학습하고 저장해야 한다는 문제가 있다. 여기에서 자연스럽게 등장하는 것이 parameter-efficient fine-tuning(PEFT)이다. 핵심 질문은 간단하다. 이미 대규모 데이터로 좋은 표현을 학습한 모델이 있는데, 새로운 task를 학습할 때 과연 모델 전체를 다시 학습해야 하는가? 그건 아니다. 기존 모델의 지식은 그대로 유지하면서 새로운 task에 필요한 극히 일부의 파라미터만 추가적으로 학습할 수 있다면 훨씬 효율적일 것이다. Visual prompt tuning은 바로 이러한 관점에서 등장하였다. Jia et al.이 ECCV 2022에서 발표한 VPT의 핵심 아이디어는 놀랄 만큼 단순하다. 사전학습된 ViT backbone의 파라미터를 freeze하여 변경하지 않고, 입력 공간에 소수의 학습 가능한 prompt token을 추가한다. 새로운 task를 학습할 때는 거대한 backbone 전체를 수정하는 대신 이 prompt와 classification head 등 소수의 파라미터만 학습한다. 원 논문에서는 전체 backbone 파라미터의 1% 미만에 해당하는 task-specific parameter만으로도 강력한 성능을 얻었으며, ViT-B를 사용한 24개의 downstream classification task 가운데 20개에서 full fine-tuning보다 높은 성능을 보고하였다. 따라서 VPT의 prompt는 자연어에서 우리가 사용하는 "이 이미지를 분류해라"와 같은 사람이 작성한 문장이 아니다. 모델이 학습 과정에서 스스로 최적화하는 learnable continuous vector, 즉 학습 가능한 token이다. 일반적인 ViT의 입력을 단순화하면 [CLS], x₁, x₂, …, xₙ과 같이 표현할 수 있다. 여기에서 x들은 image patch token이다. VPT에서는 여기에 [P₁, P₂, …, Pₘ]이라는 학습 가능한 prompt token을 추가한다. Backbone의 weight는 그대로 두면서 이 prompt를 학습함으로써, 사전학습 모델이 가지고 있는 표현을 현재의 downstream task에 적합한 방향으로 유도하는 것이다. 이 점이 VPT의 가장 흥미로운 부분이다. 기존의 fine-tuning이 모델 자체를 새로운 task에 맞게 변화시키는 방식이라면, VPT는 모델을 거의 그대로 유지하면서 모델에 들어가는 학습 가능한 입력을 변화시켜 원하는 지식을 끌어내는 방식이라고 이해할 수 있다. 즉, "모델을 어떻게 바꿀 것인가?"라는 문제를 "고정된 모델에 어떤 prompt를 주어야 하는가?"라는 문제로 전환한 것이다. VPT에는 대표적으로 VPT-shallow와 VPT-deep이라는 두 가지 방식이 있다. VPT-shallow에서는 transformer의 첫 번째 layer에 들어가는 입력에 prompt token을 추가한다. 이후 prompt가 image patch token들과 self-attention을 통해 상호작용하면서 downstream task에 필요한 정보를 유도한다. 반면 VPT-deep에서는 여러 layer에 각각의 learnable prompt를 추가한다. 따라서 prompt가 초기 입력 단계에서만 영향을 주는 것이 아니라 모델의 여러 representation level에 직접 개입할 수 있다. 원 논문의 실험에서는 전반적으로 VPT-deep이 더 강력한 성능을 보여주었다. VPT의 의미는 단순히 "학습할 파라미터의 수가 적다"는 데만 있지 않다. 대규모 pretrained backbone 하나를 여러 task가 공유할 수 있다는 장점이 있다. 예를 들어 100개의 서로 다른 vision task가 있다면 full fine-tuning에서는 사실상 100개의 task-specific model을 관리해야 한다. VPT에서는 거대한 backbone은 하나만 유지하고 각 task에 해당하는 작은 prompt와 head를 별도로 관리할 수 있다. 모델이 수십억 개의 파라미터를 가지는 foundation model 시대로 갈수록 이러한 특성은 더욱 중요해진다. VPT가 성공적인 결과를 보여주면서 다음 연구 질문도 자연스럽게 등장했다. "Prompt를 어디에 넣어야 하는가?", "몇 개의 prompt가 필요한가?", "모든 transformer block에 prompt가 필요한가?"와 같은 문제이다. 즉, VPT가 "prompt를 사용하자"는 가능성을 보여주었다면 이후의 연구는 prompt가 pretrained model에 어디에서, 어느 정도로 개입하는 것이 가장 효과적인가를 연구하기 시작했다고 볼 수 있다. 특히 중요한 문제 중 하나는 VPT의 효과가 pretrained backbone의 특성에 따라 달라질 수 있다는 점이다. Supervised learning으로 사전학습된 ViT에서 좋은 결과를 보였던 VPT가 MAE나 MoCo v3와 같은 self-supervised learning 기반 ViT에서는 반드시 동일하게 좋은 결과를 보이지는 않는다. Yoo et al.의 ICML 2023 연구에서는 이러한 현상을 분석하면서 prompt token이 어느 transformer block과 상호작용하느냐가 성능에 상당한 영향을 준다는 점을 보였다. 특히 MAE와 MoCo v3의 경우 prompt를 처음부터 개입시키는 것보다 상대적으로 뒤쪽 block에 삽입했을 때 classification 성능이 향상되는 현상을 관찰하였다. 이는 중요한 의미를 가진다. 모든 ViT에 대해 "prompt는 무조건 첫 번째 layer부터 넣어야 한다"거나 "모든 layer에 넣는 것이 가장 좋다"고 일반화하기 어렵다는 것이다. Pretraining 방법에 따라 각 layer가 형성하는 representation의 특성이 다를 수 있으며, downstream task에 적응하기 위해 prompt가 개입해야 하는 위치 역시 달라질 수 있다. 그러나 새로운 task나 새로운 pretrained model이 등장할 때마다 prompt를 어느 layer에 넣어야 하는지 일일이 실험하는 것은 비효율적이다. 이러한 문제를 해결하기 위해 gated prompt tuning 연구에서는 각 ViT block에 학습 가능한 gate를 두어 prompt에 대한 block의 개입 정도를 조절하도록 한다. 다시 말해 연구자가 prompt insertion point를 고정적으로 지정하기보다는, 어느 block이 task adaptation을 위해 중요한지를 학습 과정에서 결정하도록 하는 것이다. 이 방법은 FGVC와 VTAB image classification뿐 아니라 ADE20K semantic segmentation에서도 기존 VPT 변형보다 향상된 결과를 보고하였다. * FGVC(fine-grained visual classification): 유사한 세부 범주를 구별하는 fine-grained 이미지 분류 과제 * VTAB(visual task adaptation benchmark): 사전학습 비전 모델의 다양한 downstream task 적응 능력을 평가하는 벤치마크, 자연 이미지, 특수 도메인 이미지, 구조적 이미지 등 다양한 이미지 분류 task로 구성 * ADE20K: 이미지의 각 pixel을 객체/영역별로 분류하는 semantic segmentation용 대표 데이터셋 결국 visual prompt tuning의 발전 과정을 보면 하나의 일관된 연구 흐름을 발견할 수 있다. 처음에는 대규모 pretrained model을 새로운 task마다 모두 fine-tuning하는 것이 비효율적이라는 문제에서 출발하였다. VPT는 pretrained backbone을 고정하고 매우 적은 수의 learnable prompt만을 이용해서도 새로운 task에 효과적으로 적응할 수 있음을 보여주었다. 이후 연구에서는 단순히 prompt를 추가하는 것을 넘어 prompt의 길이, 위치, 삽입되는 layer, pretrained representation과 prompt의 상호작용을 어떻게 설계할 것인가가 중요한 연구 문제로 발전하였다. 실제로 이후 연구에서도 prompt initialization과 prompt length, self-supervised backbone에서의 성능 등이 VPT의 중요한 과제로 계속 다루어지고 있다. 따라서 VPT의 핵심을 단순히 "ViT에 몇 개의 token을 추가하는 방법"이라고 이해하는 것은 충분하지 않다. 더 본질적인 의미는 이미 대규모 사전학습을 통해 풍부한 지식을 가지고 있는 모델 자체를 크게 변경하지 않고, 소수의 task-specific parameter를 통해 그 지식을 원하는 downstream task에 맞게 유도한다는 것에 있다. 이러한 관점에서 VPT는 full fine-tuning에서 parameter-efficient adaptation으로 변화하는 흐름을 잘 보여주는 대표적인 방법론이며, 동시에 대규모 foundation model을 여러 task에 효율적으로 활용하기 위한 중요한 연구 방향을 제시한 방법이라고 볼 수 있다.

어느 멋진 도망 (나상천) 후기가끔 힘든 꿈을 꾼다. 시험을 보는데 첫 문제에서 막혀 한 발짝도 앞으로 나아가지 못하는 꿈, 이미 전역한 지 오래인데도 다시 군대에 입대하는 꿈, 비행기 출발 시간이 얼마 남지 않았는데 아직 집에서 짐도 싸지 못해 발만 동동 구르는 꿈. 꿈에서 깨고 나면 안도하면서도 한동안 마음 한구석이 무겁다. 이런 꿈들은 내 안에 아직도 과거의 내가 여러 모습으로 남아 있기 때문이라고 한다. 내 마음속에 꽁꽁 숨어 있는 그때의 나를 만나 괜찮다고, 이제는 다 지나갔다고 다정하게 이야기해 주고 싶다.나상천 작가가 실제 산티아고 순례길을 걸었던 경험을 바탕으로 쓴 소설 “어느 멋진 도망”을 우연히 알게 되었고, 지난주 내내 조금씩 읽다가 오늘에서야 마지막 장을 덮었다. 극적인 사건이나 숨 가쁜 전개가 있는 소설은 아니지만, 오히려 잔잔하게 흘러가는 이야기 속에서 읽는 내내 마음에 오래 남는 울림이 있었다. 빵빵한 노이즈 캔슬링 에어팟을 끼고 잔잔한 첼로 음악과 함께 읽으니 몰입감이 훨씬 컸다. 소설 속 인물 도로시가 작곡한 「말 대신」(경서)을 함께 찾아 들으며 읽는 것도 또 하나의 즐거움이었다. 나처럼 테스토스테론은 줄고 눈물은 많아진 중년 남성들에게 강력히 추천한다.어린 딸아이를 남겨둔 채 아내와 어머니를 하루 차이로 잃고 깊은 상실감에 잠겨 있던 저자는 33일 동안 800km의 산티아고 순례길을 걸었다. 그 길에서 얻은 깨달음은 의외로 단순하다. 멈출 줄 아는 것, 쉴 줄 아는 것, 그리고 나로 서는 것. 내가 나로 설 수 있어야 비로소 타인이 보인다는 말이 오래 남았다. '나를 안다'는 것이 무엇인지 젊었을 때는 막연하게만 느껴졌는데, 이제 만으로도 쉰셋이 되어가는 지금에서야 조금은 알 것 같다. 어쩌면 나를 안다는 것은 거창한 깨달음이 아니라, 애써 외면해 왔던 나를 있는 그대로 바라보고 받아들이는 일인지도 모르겠다. 이 책을 읽고 나니 당장이라도 산티아고 순례길을 떠나고 싶어진다. 특별한 이유가 있어서라기보다, 그 길을 걷다 보면 왜 걷는지에 대한 이유를 자연스럽게 알게 될 것만 같다. 지금은 현실적인 이유로 쉽진 않지만 언젠가는 순례길을 걸어 보고 싶다. 그리고 거기서 내 안 깊숙이 꽁꽁 숨어 있는 나를 만나, "이젠 괜찮다."며 가만히 토닥여 주고 싶다.

왜 “왜”가 중요할까? 우리가 어떤 일을 “하고 싶다”라고 생각해 보자. 예를 들어 어떤 사람이 “나는 인공지능을 공부하고 싶다”라고 말한다고 하자. 여기에서 중요한 것은 단순히 무엇을 하고 싶은가가 아니라, 그것을 왜 하고 싶은가를 스스로에게 묻는 과정이다. 처음에는 대답이 단순할 수 있다. “인공지능이 유망하니까.” 그러면 다시 질문할 수 있다. “왜 유망한 것이 중요한가?” “좋은 직업을 얻고 싶어서.” “왜 좋은 직업을 얻고 싶은가?” “돈을 벌고 싶어서.” “왜 돈을 벌고 싶은가?” “행복하고 안정적인 삶을 살고 싶어서.” 이처럼 “왜?”라는 질문을 반복해서 던지다 보면 어느 순간 더 이상 올라가기 어려운 지점에 도달하게 된다. 바로 그 지점이 그 사람의 궁극적인 목적, 혹은 삶의 근본적인 가치라고 할 수 있다. 어떤 사람에게는 그것이 행복일 수도 있고, 또 다른 사람에게는 인정, 자유, 사랑, 안정, 혹은 사회적 기여일 수도 있다. 흥미로운 점은 같은 질문을 하더라도 사람마다 멈추는 지점이 다르다는 사실이다. 어떤 사람은 한두 번의 질문만으로 자신의 목적에 도달하지만, 어떤 사람은 다섯 번, 여섯 번 이상 깊이 들어가야만 자신의 근본적인 이유를 발견한다. 이는 단순한 사고의 차이가 아니라, 그 사람이 살아온 환경과 경험, 가치관, 그리고 인생에서 중요하게 여겨 온 것들의 차이에서 비롯된다. 결국 인간의 행동은 겉으로 보기에는 비슷해 보여도, 그 내면의 동기는 매우 다르다. 예를 들어 두 사람이 모두 인공지능을 공부한다고 하자. 겉으로는 동일한 행동을 하고 있지만, 한 사람은 경제적 성공을 위해 공부할 수 있고, 다른 사람을 졸업을 위해서 일 수 있고, 또 다른 사람은 세상을 더 편리하게 만들고 싶어서 공부할 수 있다. 또 어떤 사람은 순수한 지적 호기심 때문에 인공지능을 공부할 수도 있다. 교육에서도 중요한 것은 단순히 “무엇을 배운다”가 아니라, “왜 그것을 배우는가”를 스스로 이해하도록 돕는 일이다. 자신의 목적을 분명히 인식한 사람은 어려움 속에서도 방향을 잃지 않으며, 배움과 행동에 더욱 깊은 동기를 부여할 수 있다. 우리 인간은 목적을 가진 존재라는 사실을 한시라도 잊지 말아야한다. 그리고 그 목적은 단순히 외부에서 주어지는 것이 아니라, 끊임없이 스스로에게 “왜?”를 묻는 과정 속에서 발견된다. 이 질문을 깊이 있게 던질 수 있을 때, 우리는 비로소 우리의 삶을 보다 주체적으로 이해하고 선택할 수 있게 된다.   Why “Why” Matters Imagine someone saying, “I want to study artificial intelligence.” What really matters is not just what they want to do, but why they want to do it. At first, the answer may sound simple. “Because AI has a bright future.” But then we can keep asking deeper questions. “Why does that matter to you?” “Because I want a good career.” “Why do you want a good career?” “Because I want to make money.” “Why is making money important?” “Because I want a stable and fulfilling life.” If we continue asking “why,” eventually we reach a point where there is no deeper answer left to give. That point reveals a person’s core motivation — the value or purpose that truly drives them. For some people, it may be happiness. For others, it could be freedom, recognition, love, security, or the desire to contribute to society. What is fascinating is that people stop at different points. Some discover their true motivation after only one or two layers of questioning, while others must dig much deeper before they understand what truly matters to them. These differences come from each person’s background, experiences, values, and the way they have lived their life. This is why two people can do the exact same thing for completely different reasons. Two students may both study artificial intelligence, yet one may do it for financial success, another simply to graduate, and another because they genuinely want to improve the world through technology. Someone else may study AI purely out of intellectual curiosity. The same principle applies to education. Education is not only about teaching what to learn, but also helping people understand why they are learning it. When people clearly understand their purpose, they are less likely to lose direction during difficult times, and they gain a much stronger sense of motivation in both learning and life. As human beings, we should never forget that we are purpose-driven creatures. Our deepest purposes are not simply handed to us from the outside; they are discovered through the ongoing process of asking ourselves “why.” And when we learn to ask that question honestly and deeply, we begin to live more intentionally, making choices that truly reflect who we are and what we value most.   Seoung Bum Kim. All Rights Reserved. No part of this document may be cited or reproduced without permission.

이번 학기 (2026년 1학기) 수업을 하고 있는 4학년 과목 "예측애널리틱스" 과제에 낸 문제인데 공감할 만한 답이 많아 공유해 봅니다. 학생들에게 항상 많은 것을 배웁니다. 문제: 인공지능 기술이 사회 전반에 깊숙이 자리잡고 있는 현시점에서, 인간으로서 우리가 가장 중요하게 지켜야 할 가치는 무엇인지 본인의 생각을 서술하시오. 1. “인간의 노고를 잊지 않는 자세”이다. 인공지능에게 부탁하면 어떤 결과물이든 단숨에 만들어낼 수 있는 시대지만, 그 결과물을 손수 일궈낸 사람의 시간을 알아보는 감수성을 잃지 말아야 한다.2. “자기 정체성”이라고 생각합니다. 세상의 수많은 과업을 AI에게 위임할 수 있을지 언정 나의 존재 이유를 찾는 일만큼은 오직 나 자신만이 할 수 있는 고유한 영역이기 때문입니다.3. “유연한 사고와 꿈을 갖는 마음”은 인공지능이 대체할 수 없는 인간 고유의 특성이라고 생각한다. 인공지능이 아무리 발전하더라도 유연하게 생각하고 꿈을 꾸는 능력은 인간만이 가질 수 고유한 특성이다. 4. 어떤 문제에 대한 정답을 빠르게 찾아내는 것이 아니라 아직 세상에 없는 것을 “궁금해 하는 태도”이다. 기술의 편리함에 매몰되어 질문하기를 멈출 것이 아니라 끊임없이 생각하고 궁금해 하는 호기심을 가져야 인공지능 시대에 인간이 인간으로서 주도권을 가지고 행동할 수 있는 힘이 생길 것이다.5. “중심”이라고 생각한다. 내 삶의 중심을 굳건히 유지하면서 시대의 발전 흐름을 받아들이는 것이 중요할 것 같다.6. “자비”라고 생각합니다. 자기 자비와 타인에 대한 자비는 AI 기술을 보다 인간적으로 사용하는 데에도 중요한 역할을 할 수 있다고 생각합니다. 자비의 가치가 존재할 때 기술은 단순히 효율과 이익만을 위한 도구가 아니라, 인간의 삶을 보호하고 사회 전체의 안정과 공존을 돕는 방향으로 활용될 수 있습니다. 7. “인간 소외 방지”라고 생각한다. AI를 어떻게 활용할지 결정하고 통제하는 주체는 인간이어야 하며, 기술 발전의 혜택과 중심에는 언제나 사람이 있어야 한다는 원칙을 잊지 말아야 한다.8. “비판적 사고”는 우리 인류가 수천 년, 또는 그 이상 발전시켜 온 매우 중요한 능력이자 가치로, AI 시대에 반드시 지켜야 할 핵심 가치임이 분명하다.9. “자신의 선택과 결정에 대해 책임질 수 있는 태도”를 유지하는 것이 무엇보다 중요하다고 생각한다.10 “타인에 대한 이해”라고 생각한다. 나 자신이 아닌 다른 모든 인간에 대한 이해가 가장 중요하다.11. “공감할 수 있는 사람”만이 살아남을 것이라 생각한다. 우리 모두 연민 해보자.12. 무엇을 할 수 있는 가보다 “무엇을 위해 사용해야 하는가”이다. 기술은 가치 중립적인 도구처럼 보일 수 있지만, 실제로는 누가 어떤 목적으로 설계하고 사용하는 지에 따라 사회에 전혀 다른 영향을 미친다.

모델 파라미터의 좋은 추정과 모델의 우수한 예측 성능은 서로 어떤 관계가 있을까? 머신러닝 모델링에서 파라미터에 대한 좋은 추정과 모델의 우수한 예측 성능은 서로 밀접하게 관련되어 있으나, 동일한 개념은 아니다. 전통적인 통계모형에서는 파라미터 추정량의 우수성을 주로 불편성(unbiasedness), 일치성(consistency), 효율성(efficiency)과 같은 성질로 평가해 왔으며, 이러한 성질은 대개 선형성(linearity), 독립성(independence), 등분산성(homoscedasticity; equal variance), 정규성(normality)등 비교적 강한 통계적 가정에 근거하여 증명된다. 예를 들어 선형회귀모형에서 최소제곱추정량은 Gauss–Markov 정리에 의해 선형 불편추정량 가운데 최소분산을 가지는 BLUE(best linear unbiased estimator) 성질을 갖지만, 이 역시 오차항에 대한 일정한 가정이 충족될 때 성립하는 결과이다. 따라서 전통 통계에서 말하는 “좋은 추정”은 비교적 강한 가정 위에서 정립된 개념이며, 이는 파라미터가 참값을 얼마나 정확하고 안정적으로 반영하는가에 초점을 둔다. 그러나 이러한 추정량의 우수성이 미래 데이터에 대한 높은 예측력을 직접적으로 보장하는 것은 아니다. 실제 예측 성능은 파라미터 추정의 정확성뿐 아니라 모형의 적절성, 변수 선택의 타당성, 데이터의 잡음 수준, 학습 데이터와 미래 데이터 간 분포의 일치 여부 등 다양한 요인에 의해 결정된다. 특히 예측이 주된 목적일 경우에는 추정량의 불편성 자체보다 편향(bias)과 분산(variance)의 균형을 적절히 조절하여 일반화 성능을 확보하는 것이 더욱 중요하다. 이러한 이유로 일부 편향을 허용하더라도 분산을 줄이는 ridge regression이나 LASSO와 같은 정규화(regularization) 기법이 실제 예측 문제에서 더 우수한 성능을 보이기도 한다. 이와 같은 차이는 뉴럴네트워크 기반의 딥러닝 모형에서 더욱 두드러진다. 딥러닝 모델은 수많은 파라미터를 포함하고 있으며, 각 파라미터가 선형회귀모형의 회귀계수처럼 독립적이고 명시적인 해석을 갖는 경우는 드물다. 또한 이러한 고차원 비선형 구조에서는 전통 통계모형과 같이 각 파라미터에 대해 불편성이나 최소분산성과 같은 고전적 성질을 엄밀히 부여하기도 어렵다. 하지만 이는 전통 통계이론이 중요하지 않다는 뜻이 아니라, 전통 통계이론이 주로 다루어 온 “강한 가정 하의 추정량 성질”만으로는 설명하기 어려운 영역이 확대되었음을 의미하는 것을 보는 것이 타당하다. 따라서 현대 딥러닝에서는 관심의 초점이 개별 파라미터 추정량의 고전적 최적성에서 모델 전체의 일반화 성능, 최적화의 안정성, 예측 불확실성, 강건성, 그리고 분포 변화에 대한 대응 능력으로 이동하고 있다. 그럼에도 불구하고 편향-분산 균형, 표본추출과 데이터 분포, 불확실성 정량화, 모델 검증과 비교, 실험설계와 같은 통계학적 사고는 여전히 핵심적인 역할을 수행한다. 결국 좋은 파라미터 추정은 신뢰할 수 있는 모델 구축의 중요한 기반이지만, 좋은 예측을 위해서는 강한 가정 아래의 추정량 성질만이 아니라 모델 구조, 정규화, 학습 전략, 그리고 일반화 가능성을 함께 고려해야 한다. 여전히 고전통계학은 매우 매우 중요하다.     Good parameter estimation vs. strong predictive performance In machine learning, good parameter estimation and strong predictive performance are closely related, but they are not the same thing. In traditional statistical models, the quality of an estimator has typically been evaluated in terms of properties such as unbiasedness, consistency, and efficiency. These properties are usually established under relatively strong statistical assumptions, including linearity, independence, homoscedasticity (equal variance), and normality. For example, in linear regression, the ordinary least squares estimator is known, by the Gauss–Markov theorem, to be the BLUE (best linear unbiased estimator), meaning that it has the smallest variance among all linear unbiased estimators. However, even this result holds only when certain assumptions about the error term are satisfied. In this sense, what traditional statistics calls a “good estimator” is a concept built on fairly strong assumptions, with the main focus on how accurately and stably the parameters reflect their true underlying values. That said, the statistical optimality of an estimator does not automatically guarantee strong predictive performance on future data. In practice, predictive accuracy depends not only on how well the parameters are estimated, but also on many other factors, such as whether the model is well specified, whether the chosen variables are informative, how noisy the data are, and whether the training and future data come from similar distributions. When prediction is the primary goal, it is often more important to manage the bias–variance tradeoff appropriately than to pursue unbiasedness alone. For this reason, regularization methods such as ridge regression and LASSO can sometimes outperform ordinary least squares in prediction tasks, even though they intentionally introduce some bias to reduce variance. This distinction becomes even more pronounced in neural network–based deep learning models. Deep learning models contain a very large number of parameters, and unlike regression coefficients in linear models, individual parameters rarely have a clear, independent, or directly interpretable meaning. In such high-dimensional and highly nonlinear settings, it is also difficult to assign classical properties such as unbiasedness or minimum variance to each parameter in any rigorous sense. However, this does not mean that traditional statistical theory is no longer important. A more accurate interpretation is that modern deep learning has expanded into domains that cannot be fully explained by the classical framework of estimator properties under strong assumptions. As a result, the focus in modern deep learning has shifted away from the classical optimality of individual parameter estimators and toward broader questions such as generalization performance, optimization stability, predictive uncertainty, robustness, and the ability to handle distribution shift. Even so, statistical thinking remains essential. Concepts such as the bias–variance tradeoff, sampling and data distributions, uncertainty quantification, model validation and comparison, and experimental design continue to play a central role. In the end, good parameter estimation remains an important foundation for building reliable models, but achieving strong predictive performance requires much more than favorable estimator properties under strong assumptions. It also requires careful consideration of model architecture, regularization, training strategy, and generalization ability. Classical statistics is still extremely important—indeed, it remains fundamental.   Seoung Bum Kim. All Rights Reserved. No part of this document may be cited or reproduced without permission.  

딥러닝 모델에서 개별 파라미터에 대한 구간추정이 중요할까?   선형회귀모델과 같이 파라미터 수가 적은 모델에서는 각 파라미터가 비교적 명확한 의미를 가지므로, 개별 파라미터에 대한 구간추정이 중요하다. 구간추정의 중요한 점은 단순히 하나의 추정값을 얻는 데(점추정)그치지 않고, 해당 효과가 얼마나 안정적이며 신뢰할 만한지를 함께 판단할 수 있다는 것이다. 예를 들어 선형회귀에서 회귀계수 는 다른 조건이 같을 때 설명변수 가 1단위 증가할 경우 반응변수가 평균적으로 얼마나 변하는지를 나타낸다. 이처럼 각 계수는 해석 가능한 의미를 가지기 때문에, 점추정값만 확인하는 것보다 신뢰구간까지 함께 살펴보는 것이 훨씬 중요하다.반면 딥러닝 모델의 파라미터는 수백만 개에서 수억 개에 이를 정도로 매우 많다. 따라서 전통적인 통계모형처럼 각 파라미터마다 신뢰구간을 계산하고 이를 개별적으로 해석하는 것은 현실적으로 매우 어렵다. 그 이유는 파라미터 수 자체가 방대할 뿐 아니라, 파라미터들 사이의 의존관계가 복잡하고 계산량 또한 매우 크기 때문이다. 이러한 특성 때문에 딥러닝에서는 개별 파라미터에 대한 구간추정보다, 모델이 산출하는 예측 자체의 불확실성을 추정하는 방식이 더 실용적이다.이때 불확실성은 크게 두 가지로 구분된다. 하나는 데이터 부족이나 모델의 지식 한계에서 비롯되는 epistemic uncertainty이며, 다른 하나는 데이터 자체의 잡음이나 측정오차에서 발생하는 aleatoric uncertainty이다. 전자는 더 많은 데이터를 확보하거나 모델을 개선함으로써 줄일 수 있는 반면, 후자는 데이터에 내재한 불확실성이므로 본질적으로 완전히 제거하기 어렵다.딥러닝에서 이러한 불확실성을 측정하는 대표적인 방법으로는 MC Dropout, Deep Ensemble, Bayesian neural network, Laplace approximation 등이 있다. MC Dropout은 추론 단계에서도 dropout을 반복 적용하여 예측값의 변동성을 측정하는 방법이며, Deep Ensemble은 여러 모델의 예측 결과 분산을 이용해 불확실성을 추정한다. 또한 회귀 문제에서는 평균뿐 아니라 분산까지 함께 예측하도록 설계하여 예측구간을 구성하기도 한다.결국 딥러닝에서는 “개별 파라미터가 어느 구간에 존재하는가”보다 “이 예측 결과를 얼마나 신뢰할 수 있는가”가 더 중요하다. 이러한 불확실성의 정량화는 모델의 과대확신을 줄이고, 예측 결과에 대한 해석력을 높이며, 특히 의료·금융·자율주행처럼 높은 신뢰성이 요구되는 분야에서 매우 중요한 의미를 가진다. Is interval estimation for individual parameters important in deep learning models? For models with a relatively small number of parameters, such as linear regression, each parameter usually has a clear and interpretable meaning. In such cases, interval estimation for individual parameters is important. Its value lies not only in obtaining a point estimate, but also in assessing how stable and reliable the estimated effect is. For example, in linear regression models, a regression coefficient represents the average change in the response variable associated with a one-unit increase in the explanatory variable , holding all other variables constant. Because each coefficient carries a direct interpretation, it is much more informative to examine its confidence interval in addition to its point estimate.In contrast, deep learning models often contain millions or even hundreds of millions of parameters. Consequently, computing a confidence interval for every parameter and interpreting each one individually  is not practically feasible. This is not only because the number of parameters is enormous, but also because the dependencies among them are highly complex and the computational burden is substantial. For this reason, in deep learning it is generally more practical to estimate the uncertainty of the model’s predictions rather than to perform interval estimation for each individual parameter.This predictive uncertainty is typically divided into two main types. The first is epistemic uncertainty, which arises from limited data or incomplete model knowledge. The second is aleatoric uncertainty, which comes from inherent noise in the data or measurement error. The former can often be reduced by collecting more data or improving the model, whereas the latter is intrinsic to the data and therefore difficult to eliminate completely.Several representative methods have been developed to quantify uncertainty in deep learning, including MC Dropout, Deep Ensembles, Bayesian neural networks, and Laplace approximation. MC Dropout measures predictive variability by repeatedly applying dropout at inference time, while Deep Ensembles estimate uncertainty from the variation across predictions made by multiple independently trained models. In regression tasks, models can also be designed to predict both the mean and the variance, allowing prediction intervals to be constructed directly.Ultimately, in deep learning, the more important question is not “Within what interval does each individual parameter lie?” but rather “How much confidence can we place in this prediction?” Quantifying uncertainty in this way helps reduce model overconfidence, improves the interpretability of predictions, and is especially valuable in high-stakes domains such as healthcare, finance, and autonomous driving, where reliability is critical. Seoung Bum Kim. All Rights Reserved. No part of this document may be cited or reproduced without permission.

TPT(test-time prompt tuning)는 Shu et al.이 2022년 NeurIPS에서 제안한 방법으로, 비전–언어 모델 (vision-language model)인 CLIP (contrastive language-image pretraining)이 테스트 시점에서 발생할 수 있는 분포 변경 (distribution shift) 문제를 완화하는 것을 목표로 한다. Distribution shift란 학습 데이터와 테스트 데이터의 분포가 달라져 모델 성능이 급격히 저하되는 현상이다. 이 방법의 특징은 모델의 모든 파라미터를 고정한 채, 텍스트 프롬프트 임베딩만을 테스트 시점에 미세 조정한다는 점이다. 각 테스트 샘플마다 동일한 초기 프롬프트에서 출발하여 엔트로피 최소화라는 (정답 라벨을 이용하지 않는) 비지도 목적함수를 통해 프롬프트를 최적화하며, 샘플 간에는 어떠한 정보도 공유하지 않는다. 이러한 설계는 잘못된 업데이트가 다음 샘플에 영향을 미치지 않도록 하여 매우 안정적인 성능을 보장하지만, 테스트 샘플들이 서로 강한 연관성을 가지는 현실적인 온라인 환경에서는 이전 샘플로부터 얻을 수 있는 유용한 정보를 활용하지 못한다는 구조적 한계를 지닌다. 직관적으로 비유하면, TPT는 매 문제를 풀 때마다 항상 새 공책을 꺼내 처음부터 푸는 학생과 같아서 실수는 적지만, 반복을 통해 축적되는 요령이나 패턴을 전혀 활용하지 못하는 방식에 해당한다. Online TPT는 기존 TPT의 한계를 극복하기 위한 자연스러운 확장 개념으로, 특정 단일 논문보다는 Wang et al. (ICLR 2021) 이후의 online test-time adaptation 계열 연구 흐름에서 파생된 접근으로 이해할 수 있다. 이 방식은 이전 테스트 샘플에서 최적화된 프롬프트를 다음 샘플의 초기값으로 사용함으로써, 테스트 샘플 간 정보를 공유한다. 이론적으로는 테스트 데이터의 분포 정보를 점진적으로 축적할 수 있다는 장점이 있지만, 여전히 엔트로피 최소화라는 비지도 목적함수를 사용하기 때문에 초기의 잘못된 예측이 프롬프트에 반영되면 그 오류가 연속적으로 누적된다. 그 결과 프롬프트가 과도하게 확신적인 (overconfident) 방향으로 붕괴되는 prompt collapse 현상이 발생하며, 실험적으로도 정확도가 급격히 떨어지는 문제가 존재한다. 이는 틀린 풀이를 계속 같은 노트에 적어 가며 복습하는 학생과 같아서, 처음에는 그럴듯해 보이지만 결국 전체 사고 과정이 왜곡되는 상황에 비유할 수 있다. DynaPrompt는 Xiao et al.이 2025년 ICLR에서 제안한 방법으로, TPT의 안정성과 Online TPT의 정보 활용 능력을 동시에 달성하는 것을 목표로 한다. 이 방법의 핵심은 단일 프롬프트가 아니라 여러 개의 온라인 프롬프트를 저장하는 프롬프트 버퍼를 도입하고, 각 테스트 샘플마다 엔트로피와 확률 차이라는 두 지표를 기준으로 현재 샘플에 가장 적합한 프롬프트만을 동적으로 선택해 업데이트한다는 점이다. 구체적으로는 예측 엔트로피와 입력 증강에 따른 확률 차이라는 두 지표를 활용하여, 현재 테스트 샘플에 대해 신뢰할 수 있으면서도 과도하게 확신적이지 않은 프롬프트만을 선별한다. 또한 적합한 프롬프트가 없을 경우 새로운 프롬프트를 생성해 버퍼에 추가하고, 오랫동안 사용되지 않은 프롬프트는 제거함으로써 오류 누적을 구조적으로 차단한다. 이러한 설계를 통해 DynaPrompt는 온라인 환경에서 테스트 데이터의 분포 정보를 선택적으로 활용하면서도 prompt collapse를 효과적으로 방지하며, 다양한 도메인 일반화 및 교차 데이터셋 실험에서 기존 TPT 계열 방법을 일관되게 능가하는 성능을 보인다. 비유하자면, DynaPrompt는 정답률이 높은 노트만 선별해 참고하고, 쓸모 없는 노트는 과감히 버리면서 학습하는 학생으로, 안정성과 적응력을 동시에 갖춘 현 시점에서 (2025년) 가장 현실적인 test-time prompt tuning 전략에 해당한다. Seoung Bum Kim. All Rights Reserved. No part of this document may be cited or reproduced without permission.

협동 미국 초등 교육에서 가장 강조하는 것은 협동이다. 첫째도 협동, 둘째도 협동이다. 한국 학교에서는 좀처럼 보기 어려운 합창, 오케스트라, 스포츠, 버디 프로그램, ‘스틱 투게더(Stick Together)’와 같은 협동 활동들이 개인 활동보다 우선시된다. 물론 학업에 대한 개인평가도 있었지만, 그 결과는 크게 중요하게 여겨지지 않았다. 그 때문인지 학업 경쟁의 분위기는 거의 느껴지지 않았다. (일부 인도나 중국 출신 학생들이 예외적으로 경쟁심을 보이긴 했다.) 오히려 학생들은 경쟁심보다는 협동심을 기르는 데 더 열중하는 듯했다. 학부모들끼리 만나면 학원 이야기가 아니라, 오케스트라에서 자녀가 맡은 역할이나 새로 시작한 축구팀의 코치 이야기를 열정적으로 나누는 모습이 인상적이었다. 반면 우리 사회는 ‘좋은 대학에 들어가야만 앞날이 보장된다’는 인식이 뿌리 깊다. 그러나 좋은 대학의 수가 몇 개 없다 보니 피 터지는 경쟁이 불가피하다. 이런 사회에서 아무리 협동의 가치를 외친들 무슨 소용이 있을까? 그렇게 자란 아이들이 사회에 나가 진정한 협동을 요구받을 때 과연 제대로 해낼 수 있을까? ‘남을 이겨야만 좋은 대학에 갈 수 있다’는 생각을 12년 동안 주입 받은 아이들이 성인이 되어 협동심을 발휘한다면, 오히려 그게 이상한 것이 아닐까?  물론 우리 사회의 구조적 한계 때문에 쉽게 바뀌기 어려운 점도 있다. 그러나 그럼에도 불구하고 조금씩이라도 변화가 일어나길 기대해 본다. 내가 몸담고 있는 교수사회에서도 진정한 협동연구는 거의 찾아보기 어렵다. 아이러니하게도, 같은 학과 교수들 사이에 오히려 더 협력이 없다. ‘남을 이겨야 한다’는 경쟁심으로 학창시절을 보낸 사람들이 협동심을 발휘한다면, 그것이야말로 이상한 일이다. 협력은커녕 싸움박질이나 하지 않으면 다행이 아닌가. 다른 사회 분야는 내가 직접 경험하지 않아 단정할 수 없지만, 대학 사회보다 더 하면 더했지 덜하지 않을 것 같다.   Seoung Bum Kim. All Rights Reserved. No part of this document may be cited or reproduced without permission.

양자 머신러닝 (Quantum Machine Learning) 양자 머신러닝 (quantum machine learning)이라는 주제를 소개하기 위해서는 먼저 양자역학에서 나오는 몇 가지 핵심 개념을 살펴볼 필요가 있다. 중첩(superposition), 얽힘(entanglement), 간섭(interference), 터널링(tunneling)이 네 가지 중요 개념으로, 중첩은 여러 가능한 상태가 동시에 존재할 수 있다는 개념이고, 얽힘은 두 상태가 강하게 연결되어 있어서 하나의 상태를 측정하는 순간 다른 상태도 함께 정해진다는 개념이며, 간섭은 입자의 파동함수가 여러 경로를 따라 진동하면서 서로 겹칠 때 위상 차이에 따라 확률 진폭이 강화되거나 상쇄되는 현상을 뜻한다. 터널링은 고전 물리학적으로는 절대 통과할 수 없는 장벽을 양자역학적으로는 확률적으로 통과할 수 있는 현상이다. 특히 2025년 노벨 물리학상 수상자들인 John Clarke, Michel Devoret, John Martinis는 초전도 회로 기반에서 거시적 양자 터널링과 에너지 양자화 현상을 입증한 공로로 수상했으며, 이들은 조셉슨 접합(Josephson junction)이라는 초전도 소자를 이용하여 손으로 만질 수 있는 크기의 회로에서도 양자 현상이 나타날 수 있음을 실험적으로 확인했다. 이어서 또 다른 핵심 개념인 큐비트의 개념을 이해한 뒤에 양자 머신러닝을 본격적으로 설명해 보겠다. 고전 컴퓨터에서 사용하는 비트(bit)는 정보를 0 또는 1 중 하나의 상태로만 저장하지만, 큐비트(quantum bit)는 중첩 상태로 0과 1이 동시에 존재할 수 있다. 큐비트의 수가 증가할수록 양자컴퓨터가 한번에 표현하고 연산할 수 있는 상태 공간(state space)의 크기는 지수적으로 커지며, 일반적으로 k개의 큐비트를 쓰면 동시에 표현 가능한 상태 수는 2k개이다. 예컨대 큐비트 하나만 있으면 동시 표현 가능한 상태는 0과 1 두 개이고, 큐비트 두 개면 4개, 다섯 개면 32개, 열 개면 1024개가 된다. 이제 양자 머신러닝을 살펴보자. 양자 머신러닝은 앞서 언급한 양자역학적 기법들을 머신러닝 문제 해결에 응용하여 효율성을 높이려는 연구 분야다. 예컨대 양자컴퓨터는 중첩과 얽힘 상태를 활용하여 데이터를 표현할 수 있고, k개의 큐비트가 있다면 2k개의 상태를 동시에 나타낼 수 있으므로 기존 컴퓨터보다 더 효율적인 데이터 표현이 가능해진다. 이를 활용한 알고리즘으로는 양자 PCA (quantum principal component analysis)가 있는데, 고차원 데이터를 저차원으로 임베딩할 때 필요한 큰 행렬 연산을 양자 기술을 적용해 계산 복잡도를 현저히 줄일 수 있다. 또, support vector machine의 내적 계산에도 양자 기술을 효율적으로 적용할 수 있고, 이미지 처리 분야에서 널리 쓰이는 합성곱신경망(convolutional neural network)에도 중첩과 얽힘 개념을 활용하면 적은 수의 파라미터로도 높은 표현력을 확보할 수 있다. 이미지 외에도 순서나 문맥 관계가 중요한 자연어 처리나 시계열 데이터에 대해서도 양자 임베딩이나 양자 회로 기반 처리를 통해 계산 복잡도를 낮출 수 있다. 종합적으로 보면, 최근 머신러닝의 흐름은 단순히 주어진 데이터를 모델에 넣는 것이 아니라 먼저 중요한 특징을 추출하고 인코딩(임베딩)한 뒤 그 표현을 이용해 모델링하는 것이다. 양자 머신러닝에서는 이 인코딩/임베딩 단계에 양자역학적 상태 표현을 활용하여 더 복잡한 패턴까지 효율적으로 추출할 수 있다. 이는 고전적 autoencoder 개념과 유사하지만, 양자 상태 표현을 쓰면 더 정교한 표현력을 기대할 수 있다. 다만 아직 양자 머신러닝은 초기 단계에 머물러 있다. 양자 하드웨어의 노이즈 제어와 큐비트 수의 제약을 극복하고, 기존 머신러닝 알고리즘을 양자 환경에 맞게 재설계하거나 양자 고유의 특성을 활용한 새로운 머신러닝 알고리즘을 개발하며, 기존 알고리즘과 양자 알고리즘의 결합에 대한 연구가 활발히 이루어져야 할 것이다. To introduce the concept of quantum machine learning, it is essential to begin with several foundational ideas from quantum mechanics. Four key principles—superposition, entanglement, interference, and tunneling—form the backbone of quantum theory. Superposition refers to the ability of a quantum system to exist in multiple possible states simultaneously. Entanglement describes a deep connection between two or more quantum states, where measuring one instantly determines the state of the other, regardless of distance. Interference occurs when the wave functions of particles overlap along different paths, leading to the amplification or cancellation of probabilities depending on their phase differences. Finally, tunneling refers to the phenomenon in which a particle can pass through an energy barrier that would be insurmountable under classical physics. Notably, the 2025 Nobel Prize in Physics was awarded to John Clarke, Michel Devoret, and John Martinis for their groundbreaking work demonstrating macroscopic quantum tunneling and energy quantization in superconducting circuits. Using a special superconducting device known as the Josephson junction, they provided experimental evidence that quantum phenomena can occur in electrical circuits large enough to be seen and handled—bridging the gap between the quantum and classical worlds. Before delving into quantum machine learning itself, it is helpful to understand another essential concept: the qubit (quantum bit). In classical computing, a bit stores information as either a 0 or a 1. In contrast, a qubit can exist in a superposition of both 0 and 1 at the same time. As the number of qubits increases, the state space—the total number of possible combinations the system can represent—grows exponentially. Generally, a system with k qubits can represent 2k states simultaneously. For example, one qubit can represent two states (0 and 1), two qubits can represent four states, five qubits thirty-two states, and ten qubits 1,024 states. This exponential scaling is what gives quantum computing its immense potential power compared to classical systems. Now, let’s go over quantum machine learning. Quantum machine learning is an emerging field that seeks to leverage quantum-mechanical phenomena to make machine learning algorithms faster and more efficient. Quantum computers can represent and manipulate data using the principles of superposition and entanglement, allowing them to encode and process information in fundamentally new ways. With k qubits, a quantum system can represent 2k states simultaneously, enabling far richer and more compact data representations than those achievable on classical computers. Several algorithms illustrate this potential. quantum principal component analysis (Quantum PCA), for instance, applies quantum computation to reduce the dimensionality of high-dimensional data, drastically lowering computational complexity compared to classical PCA. Similarly, quantum methods can accelerate the inner product computations used in support vector machines (SVMs). In the field of computer vision, quantum convolutional neural networks have been proposed to achieve comparable accuracy with significantly fewer parameters by exploiting quantum properties like superposition and entanglement. Beyond images, quantum computing techniques are also being explored for complex sequential data such as natural language and time series, where contextual and temporal relationships play a crucial role. Quantum embeddings and circuit-based representations can reduce computational costs while preserving important structural dependencies. Taken together, the recent trend in machine learning emphasizes not simply feeding raw data into a model but first extracting meaningful features through encoding (or embedding) processes. Quantum machine learning fits naturally into this paradigm by using quantum states as an enhanced representational space for feature extraction. In a sense, it parallels the idea of an autoencoder, but with the added expressive power of quantum mechanics, allowing for more intricate and efficient pattern representation. That said, quantum machine learning is still in its infancy. To realize its full potential, future research must focus on overcoming the practical challenges of quantum hardware—including noise, limited qubit counts, and decoherence—while also redesigning classical algorithms to suit quantum architectures. Furthermore, developing entirely new algorithms that exploit uniquely quantum characteristics, and advancing hybrid quantum-classical approaches that blend the strengths of both computing paradigms, will be critical to the next stage of progress in this field. Seoung Bum Kim. All Rights Reserved. No part of this document may be cited or reproduced without permission.