김성범 교수님

이번 발표는 여러 출력변수를 동시에 예측하는 상황에서, 예측의 불확실성을 어떻게 신뢰할 수 있는 영역으로 표현할 것인지 다룬 multi-output conformal prediction 발표였습니다. Conformal prediction(CP)의 기본 개념과 validity, efficiency에서 출발하여, 출력 간 의존관계를 반영하는 방법, 데이터에 맞게 예측영역의 형태를 유연하게 만드는 방법, 입력 조건에 따른 coverage 차이를 줄이는 방법으로 설명을 확장하였습니다. 세 편의 논문을 개별적으로 나열하지 않고, 기존 접근의 한계와 이를 해결하려는 후속 연구를 연결하여 연구 흐름을 잘 보여 주었습니다.

최근 다양한 AI 모델이 출시되면서 예측 정확도와 함께 모델의 신뢰성이 더욱 중요해지고 있습니다. 점예측(point prediction)이 얼마나 정확한지도 중요하지만, 예측에 어느 정도의 불확실성이 있는지를 나타내는 구간예측(prediction interval), 나아가 다변량 예측영역(prediction region)도 중요합니다. 이러한 관점에서 5페이지에서 점예측의 한계를 적절한 예제와 함께 설명한 것은 매우 좋았습니다.

소개한 세 논문의 핵심도 분명하게 정리할 수 있습니다. 첫 번째 논문인 Messoudi 등의 연구(Pattern Recognition, 2021)는 출력별 오차 점수의 의존관계를 copula로 모델링하여, 여러 출력이 동시에 예측영역에 포함되도록 출력별 임계값을 조정하는 접근입니다. 출력 간 관계를 무시할 때 발생하는 비효율을 줄이는 것이 핵심입니다.

두 번째 논문인 Feldman 등의 연구(JMLR, 2023)는 표현학습을 통해 출력을 다루기 쉬운 잠재공간으로 옮기고, 그곳에서 방향 분위수 회귀를 수행한 뒤 원래 공간으로 변환하여 유연한 예측영역을 구성합니다. 여기에 conformal calibration을 적용해 유한 표본에서 marginal coverage를 보장합니다. 출력 분포가 복잡할 때 고정된 직사각형이나 볼록한 영역에 포함되는 불필요한 공간을 줄이려는 연구입니다.

세 번째 논문인 Dheur 등의 연구(ICML, 2025)는 CDF 기반 점수와 잠재공간 기반 점수를 제안하고, 아홉 가지 다변량 conformal 방법을 공통 체계에서 비교합니다. C-PCP는 입력별 점수 분포를 이용해 점수를 상대적인 순위로 변환하고, L-CP는 가역 생성모델의 잠재공간에서 직접 보정합니다. 유한 표본 marginal coverage를 유지하면서, 추가 가정 아래 점근적 conditional coverage를 달성하는 것이 중요한 기여입니다.

발표 구성에서 특히 좋았던 점은 대부분의 설명을 질문으로 시작했다는 것입니다. 덕분에 방법론을 따라가면서도 지금 무엇을 해결하려는지에 대한 근본적인 질문을 놓치지 않을 수 있었습니다. 세 논문을 통해 출력 간 의존성에서 영역의 형태로, 다시 입력 조건별 신뢰성으로 발전하는 흐름을 보여 준 점도 좋았습니다.

다만 “조건부 coverage를 보장하는 것이 왜 중요한가?”라는 더 근본적인 질문에는 충분한 설명이 필요했습니다. 24페이지에서 marginal coverage의 한계를 짚었지만, 이것이 실제 의사결정에서 어떤 문제를 일으키는지까지 설명했다면 설득력이 더 높아졌을 것입니다. 예를 들어 전체 교통 상황의 90%가 평상시이고 10%가 극심한 정체 상황이라고 합시다. 평상시 coverage가 95%, 정체 상황에서는 45%여도 전체 coverage는 90%입니다. 전체적으로는 목표를 달성했지만, 정작 불확실성이 크고 예측이 중요한 상황에서는 절반 이상을 놓치는 셈입니다. 이러한 예제를 통해 평균적인 보장만으로는 특정 조건에서의 신뢰성을 판단하기 어렵다는 점을 추가 설명하면 더욱 좋을 것 같습니다.

중요한 연구 주제를 적절히 선정하고, 질문을 중심으로 세 논문의 연결 관계를 명확하게 전달한 좋은 발표였습니다. 앞으로는 지금의 구성력에 “왜 이 성질이 실제로 중요한가?”, “어떤 가정에서 보장되는가?”에 대한 스스로의 설명을 더하기 바랍니다. 수고 많았습니다.

김성수

이번 세미나는 Conformal Prediction에 대해 진행되었다. Conformal prediction 이란, 하나의 “값”을 예측하는 것이 아닌, “구간”을 예측하는 Task이다. 이때, 본 논문에서는 단순하게 하나의 Y에 대한 구간이 아닌, “여러 Y(Multi-output)”의 구간을 동시에 예측하는 Task에 대해 소개한다. 다만, 아무래도 여러 Y를 예측하다보니, 각 Y의 의존관계를 고려할 필요가 있다. 이에 따라, 첫번쨰 논문은 Coupla 기법을 활용하여 분포를 각 변수의 개별 분포와 변수 간 의존 구조로 분리하여 해결한다. 두번째 연구는 가능한 예측 영역(구간) 정의의 중요성을 언급한다. 이에 따라, 복잡한 영역에서도 이를 잘 정의하기 위해 표현학습을 활용한다. 세번째 연구는 극단적인 데이터에 대한 학습 문제를 다룬다. 데이터가 주로 분포하는 구간은 데이터가 많아 학습이 용이하지만, 한 쪽으로 치우친 데이터는 학습이 어렵다. 이에 따라, 해당 방법론은 치우친 데이터를 측정하는 지표와 이들을 스케일링 할 수 있는 기술을 개발하여 해당 문제를 해결한다.

이번 세미나를 통해 Conformal Prediction이라는 개념을 처음으로 접할 수 있었다. 개인적으로는 현실 문제 의사결정에 있어 굉장히 중요한 주제라고 생각하며, 꽤나 흥미롭게 들을 수 있었다. 비록 이번에는 Conformal Prediction의 대략적인 개념과 해결해야 하는 문제상황 정도만 이해했지만, 향후에는 해당 분야에서 쓰이는 통계적 개념 등 더 심층적으로 이해해보고 싶다. 유익한 세미나를 준비해준 이용우 연구원님께 고맙다는 말을 전하며 세미나 후기를 마친다.

심세진

이번 세미나는 multi-output conformal prediction을 다뤘다. 모델이 y=”도착까지 40분”이라는 점 하나만 주면 그게 얼마나 믿을 만한지 알 수 없으니 범위로 y=”도착까지 40±5분” 주자는 것을 시작점으로 한다. conformal prediction은 그 범위가 "90% 확률로 정답을 담는다"를 실제로 지키도록 만드는 절차다. 따로 떼어둔 보정 데이터에서 예측이 얼마나 빗나갔는지를 모아 크기순으로 줄 세운 뒤, 90% 지점의 오차를 예측값에 ±로 붙인다. 좋은 예측 영역은 90%를 커버해야 하고 동시에 범위가 넓지 않아야 한다. 문제는 예측할 값이 여러 개일 때 생긴다. 트럭, 버스, 승용차, 오토바이의 도착시간을 각각 90%로 맞춰도 넷이 동시에 맞을 확률은 65.6%로 떨어진다. 그렇다고 넷을 동시에 90% 덮으려 각 범위를 무작정 넓히면 영역이 커져 무의미해진다. 결국 출력끼리 서로 얽혀 있는 관계(트럭이 막히면 버스도 막힌다)를 어떻게 반영해 좁고 정확한 영역을 만들 것인가가 해당 분야의 문제다.

첫 번째 Copula 기반 CP는 각 출력의 예측 오차가 서로 얼마나 함께 커지는지를 copula로 추정해, 목표 joint coverage를 각 출력에 몇 %씩 배분할지 계산한다. 두 번째 ST-DQR은 예측 영역을 직사각형처럼 고정된 모양으로 그리면 정답이 없는 영역까지 포함되어 부피만 커진다고 보고, 데이터를 잠재공간으로 보내 거기서 영역을 그린 뒤 디코더로 되돌려 실제 분포 모양을 따라가는 영역을 만든다. 마지막 generalized conformity score는 오차 점수의 분포가 입력에 따라 달라져 하나의 임계값으로는 입력별 coverage가 어긋난다는 점을 지적하고, 점수를 입력과 무관하게 정규화해 입력별로도 목표 coverage가 지켜지도록 만든다.

예측 값 하나가 아니라 보장된 범위를 내놓는다는 관점 자체가 새로웠다. 회귀에서 불확실성을 다루는 연구를 자주 보는데, 그쪽이 모델의 분산 자기 추정에 의존한다면 conformal prediction은 보정 데이터에서 실제 오차를 세어 구간을 만든다는 점이 흥미로웠다. 생소한 분야를 차근히 풀어 설명해준 이용우 연구원에게 고맙다는 이야기를 전하며 후기를 마친다.

장현성

신경망 모델들은 대부분 특정한 값을 예측하도록 모델링됩니다. 예를 들어, 어떤 class에 속할지나, 다음에 올 값이 무엇일지 예측하는 것입니다. 하지만 신경망은 정답을 맞추기 위해 정답에 가까운 예측을 근사하므로 항상 예측 오차 (에러)를 수반합니다. 이러한 예측의 불확실성은 실제 환경의 의사결정 상황과 일치하지 않을 수 있으므로 모델의 예측을 얼마나 신뢰할 수 있는지에 대해 알 수 있는 안전 장치가 필요합니다.

이와 관련하여 발표에서는 모델 예측의 불확실성을 나타내기 위해 conformity (동조성)를 활용한 conformal prediction 접근법을 소개합니다. 모델 예측값의 오차 범위를 나타내기 위해서는 사용자가 원하는 신뢰수준에 맞게 coverage 임계값을 선택하여 정합니다. 예를 들어, 모델의 예측 신뢰도가 90%의 신뢰수준 하에 있게하고 싶다면 예측 영역 오차 100-90=10%에 해당하는 백분위 수를 선택합니다. 보시다시피 임계값을 잘 선택하는 것이 굉장히 중요한데, 임계값은 원하는 신뢰수준에 따라 정해지게 됩니다. 그래서 이 coverage 임계값을 잘 선택하기 위하여 오차 범위를 계산하는 토대인 예측 공간을 어떻게 구성하는가가 관건입니다.

발표에서 첫 번째로 소개하는 Copula 기반 접근방식은 데이터가 나타내는 결합 분포를 그대로 사용하지 않고 변수 간 상관 관계를 고려하여 데이터의 표현 공간을 모델링합니다. 두 번째로 소개하는 ST-DQR은 데이터의 표현 공간을 Copula 기반 방법보다 유연하게 잠재 공간으로 투영하여 empirical하게 구성합니다. 마지막으로 소개하는 L-CP는 더 나아가 표현 공간을 초구체 상으로 투영한다음 복원하여 정교한 오차 범위를 표현합니다. 추가로 설명하는 C-PCP는 임계치에 해당하는 참조 샘플의 CDF 기반 오차 최단거리를 반지름으로 하여 표현 공간을 분할합니다.

개인적으로 L-CP 방식이 인상깊습니다. 초구체 정규화는 용어는 복잡해보이지만, 데이터의 평균과 표준편차로 standard normalization을 수행한다음 자신의 크기 (2-norm)로 나누는 간단한 연산과정입니다. 초구체 정규화를 수행하면 개별 데이터들은 크기 정보가 1로 동일해지고 방향 정보만 남는데, 이러한 방향 정보만 가지고도 높은 성능 향상을 이뤘다는 점이 신기했습니다. 이를 통해 개별 데이터의 중요도 (크기)보다는 데이터들이 주로 나타내는 방향이 더 중요할 수도 있다는 단서를 얻을 수 있습니다. 내적보다는 cosine similarity와 비슷하다고도 볼 수 있겠습니다.

두 가지 궁금한 점은 ST-DQR의 실험 결과에서 relative area of quantile regions가 전부 1인데 이것이 의미하는게 뭔지 궁금합니다. 그리고 효율적인 예측 영역을 설정하기 위해선 몇의 신뢰수준을 써야하는지 그 값이 뭔지 묻고 싶습니다.

발표 페이지 한 장의 밀도가 높은 발표였습니다.
좋은 발표 감사합니다.