입학 후 첫 세미나 주제로 explainable AI를 준비하였다. 주제 선정 시 주변에 조언을 많이 구했는데, 세미나를 준비하는 과정이 큰 공부가 된다는 의견에 평소 궁금했지만 자세히 공부해보지 못했던 분야를 택했다. XAI는 이미 연구실 내부, 외부적으로 좋은 강의들이 많이 있어서 세미나 구성에 대해 많은 고민을 했다. 분명하게 정한 목표는 내가 설명하고자 하는 내용은 청자가 꼭 쉽게 이해할 수 있는 세미나를 만들자였다. 이번 세미나에서 준비한 LIME, SHAP 뿐만 아니라 최근에 등장한 XAI 방법론들도 많이 있지만, 관련 내용을 처음 공부하는 내가 가장 잘 전달할 수 있는 내용으로 준비하고자 하였다.
LIME과 SHAP은 모델에 상관없이 사용할 수 있다는 장점 때문에 가장 많이 사용되는 XAI 방법론들이다. 모델의 특성을 사용하지 않기 때문에 어떤 모델에든 사용할 수 있는 것인데, 모델의 특성을 사용하지 않고 LIME과 SHAP이 어떻게 예측에 대한 설명을 제공하는 것인지 쉽게 설명하고자 하였다.
세미나를 준비하는 과정에서 어려움을 많이 느꼈지만 돌아보니 좋은 공부가 되었던 것 같다. 세미나를 준비하기 전에는 혼자만의 힘으로 자료를 만들고 영상을 찍는다는 것이 이렇게 어려운 일인지 몰랐는데 모든 과정을 다 겪고보니 지난 세미나들을 준비해주신 다른 연구원분들이 대단하다고 느껴진다. 스스로 보아도 부족함이 많은 세미나지만 XAI에 관심이 있는 분들께 조금이라도 도움이 되길 바란다.

​

Decision Tree, Linear Regression 등의 모델과 달리 신경망 기반의 모델은 예측에 대한 사후 분석이 매우 어렵다. eXplainable AI(XAI) 는 간단한 모델 뿐만 아니라 복잡한 모델마저도 해석하기 위해 많은 연구가 이루어졌다. 대표적인 CAM, Grad-CAM 은 예측에 대한 근거를 히트맵으로 시각적으로 보여주지만, 구조적 제약이 따른다. Attention Score Map 또한 거의 Transformer 구조에서만 사용가능하다. LIME 이나 SHAP 은 모델 구조에 상관 없이 적용할 수 있는 XAI 방법론들이다. 실제 구현하는 단에서는 구조적으로 많은 차이를 가지겠지만, 기본적인 원리는 모델과 상관이 없다.
LIME 은 특정 예측값에 대한 근거를, 복잡도가 낮은 Surrogate Model 에서 찾는다. 이때 Surrogate Model 의 구축은 해당 모델의 복잡도와, 인접한 instance 의 예측에 따라 모델링 되어지는데, 개인적으로 Trust Region 기반의 최적화와 많은 부분 닮지 않았나 생각한다.
SHAP 은 게임이론에 근거하여 모든 조합에 대한 변수 기여도를 계산한다. 이러한 방식은 변수 조합의 개수에 따라 계산복잡도가 기하급수적으로 커진다는 단점이 존재한다.
LIME 이나 SHAP을 처음 봤을 때, 수학적으로 매우 복잡할 것 같은 어려움 때문에, 포기하고 보지않았었는데, 오늘 세미나로 쉽게 이해할 수 있었다.

이번 세미나는 'Introduction to XAI(eXplainable AI)'를 주제로 진행되었다. XAI란 explainable AI의 줄임말로, 머신러닝 알고리즘이 예측한 결과를 사람이 이해할 수 있도록 해석을 제공하는 방법론이다. XAI는 주로 모델 내부의 예측과정을 사람이 이해하기 어려운 모델로서 해석력이 낮은 블랙박스(Black box) 모델의 해석을 도와준다. XAI는 다양한 기준에 따라 여러 방법론으로 나뉘는데, 본 세미나에서는 모델의 특성을 이용하지 않기에 모델 종류에 상관없이 적용 가능한 model-agnostic 알고리즘에 집중하였다. 대표적 model-agnostic 알고리즘 중 하나인 LIME(Local Interpretable Model-agnostic Explanations)은 local surrogate model을 통해 특정 관측치 하나의 예측에 대한 해석을 제공한다. 이때, local surrogate model이란 전체 데이터셋이 아닌 측정 관측치에 대한 예측 설명 시 사용할 수 있는 해석 가능 모델을 말한다. LIME은 좋은 설명 모델을 찾기 위해 1)해석할 수 있는 단순한 모델과 2)해석하고자 하는 모델의 예측과 유사하게 예측하는 모델 이 두 가지 조건을 가지고 최적화 과정을 거친다. 또다른 model-agnostic 알고리즘 중 하나인 SHAP(SHapley Additive exPlanations)은 Shapley values를 기반으로 예측값에 대해 각 피처가 미치는 기여도를 측정하여 예측에 대한 해석을 제공한다. 이때, Shapley values란 게임이론을 바탕으로 모든 조합에서 각 플레이어의 기여도를 계산 및 가중평균한 값을 말한다. 그러나 SHAP는 계산해야하는 피처 조합의 수가 많아지는 경우 연산 시간이 길어진다는 단점을 가진다.

이번 세미나를 통해 XAI의 대표적 두 가지 알고리즘에 대해 깔끔히 정리해볼 수 있었다. 단순한 개념뿐만 아니라, 구체적 수식 및 예시까지 이해하기 쉽게 설명해주어 기존의 다양한 XAI 영상들보다 한층 더 유익하였다. 청자의 이해를 위해 자료 하나하나 정성을 담았다는 것이 세미나를 시청하는 내내 여실히 느껴졌으며, 이를 위해 고생해준 혜령언니에게 감사한 마음을 전하고 싶다.

금일 세미나는 'Introduction to XAI(eXplainable AI)" 주제로 진행되었다.
머신러닝 알고리즘이 예측한 결과를 사람이 이해할 수 있도록 해석을 제공하는 방법론을 explainable AI라고 하며, 이는 해석력이 낮은 모델의 해석을 도와준다. 대표적으로 회귀 분석 및 의사결정 나무 등의 모델은 해석력이 높으며, 인공신경망은 해석력이 낮은 모델로 분류되는데, 해석력과 예측 정확도는 trade-off 관계를 가진다. XAI는 크게 적용 가능 범위, 설명 대상 범위, 데이터 유형 등에 따라 구분될 수 있다. 이번 세미나에서는 범위를 좁혀 모델의 특성을 이용하지 않고, 모델과 무관하게 적용 가능한 model-agnostic에 다룬다. 대표적인 방법론인 LIME과 SHAP에 대해 소개한다. 먼저 LIME은 관측치 하나에 대한 설명 모델을 추정하여 블랙 박스 모델 해석을 제공한다. 설명 모델은 해석할 수 있는 단순한 모델이어야 하며, 해석하고자 하는 모델의 예측과 설명 모델 예측의 차이가 적은 모델을 추정한다. 다음은 shapley values를 기반으로 예측 값에 대한 각 피쳐의 기여도를 계산하는 방법인 SHAP 방법론이다. 모델의 피쳐의 marginal contribution을 계산하여 가중 평균한 값이 shapley value이다. 여기서 marginal contribution은 피쳐의 전체 집합에 대해 가능한 모든 부분 집합마다 피쳐 존재 여부에 따른 기여도 변화량을 의미한다.

평소 SHAP에 대해 익히 들어왔으나 정확한 메커니즘에 대한 이해가 부족했는데, 이번 세미나를 통해 SHAP에 대해 직관적이고, 명료한 이해를 할 수 있었다. 난해한 수식과 이론을 이해하기 쉽게 도식과 예시로 설명해주었기 때문이다. 발표자의 세미나 준비를 가까이 지켜보면서 고심하는 모습들을 보았는데, 그 흔적들이 자료에 고스란히 담겨진 것을 찾아볼 수 있었다. 아마도 유사한 주제로 교수님의 강의와 이민재 연구원의 세미나가 일전에 진행되었기 때문에 적지 않은 부담이었을텐데, 본인만의 방식으로 세미나를 풀어나간 모습이 보기 좋았다. 세미나를 준비해준 혜령이에게 고마운 마음을 전하면 후기를 마무리한다.

이번 세미나는 Explainable AI(XAI) 를 주제로 진행되었다. XAI는 머신 러닝 알고리즘이 예측한 결과를 사람이 이해할 수 있도록 해석을 제공하는 방법론이다. 이는 해석력을 통해서 좀더 이해해볼 수 있는데, 복잡한 모델일수록 그 복잡도 때문에 해석력이 낮고, 이말은 모델 안에서 어떤 parameter들이 계산되는지 쉽게 이해할 수 없게 흐른다는걸 뜻한다. 그렇기 때문에 XAI는 이러한 모델에 대해 각 Parameter가 어떤 작용을 했는지 사람이 이해할 수 있는 방향으로 제시해줄 수 있는 것이다. 이번 세미나에서는 모델에 상관없이 적용 가능한 Model-agnostic 방식인 LIME, SHAP에 대해 설명해주었다.
Lime은 전체 데이터셋이 아니라 특정 관측치에 대한 예측 설명시 효과적으로 사용될 수 있는 방법으로, 전체를 봤을 때는 알아내기 힘든 parameter의 관계를 local한 영역으로 좁혔을 때는 각 parameter별로 어느정도 영향이었는지 알아낼 수 있다는 접근이다. 특정 x에 대해 유사한 값을 같는 z를 만들고, 이를 전체 모델이 예측한 값과, local의 간단한 모델(설명모델)이 예측한 값을 갖도록 맞추도록 학습한 다음, 이 간단한 모델을 통해 이해를 제공하는 것이다. SHAP는 Shapley value라는 것에 기대는 방법론인데, 게임이론을 바탕으로 게임에서 각 플레이어의 기여도에 따라 상금을 공정하게 할당한다는 것이다. 이 기여도는 Marginal contribution이라는 값으로 계산하며, 이를 모델로 적용하면 각 Paramter가 Shapley value에서 플레이어로 연결된다. 즉 각 parameter가 얼마나 기여했는지에 대한 이해를 제공한다.
산업현장에서는 아주 높은 성능을 보이는 분류 모델 자체를 바라긴 하겠지만, 의외로 이러한 설명을 제공해주는 로직을 굉장히 원할 수 있을 것 같다. Sensor Data는 끝없는 데, 결과값에 대한 해석이 전혀 이뤄지지 못할 때, 모든 parameter를 다 집어넣은 모델을 만든다음, 이러한 XAI를 이용한다면 어떤 parameter들이 중요했는지 쉽게 알아낼 수 있지 않을까. 그런 점에서 오히려 산업 현장에서 폭넓게 사용가능한 아주 재밌는 주제가 아닐까 싶다. 세미나가 진행되는 내내 이해하기 쉽도록 구성이 정말 깔끔했던 것 같다. 또 Shapley value는 이렇게 설명하기까지 많은 고민을 했지 않을까 느껴질 정도로 잘 설명되었는데, 마치 보드게임의 설명서처럼 재밌기까지 했던 것 같다. 재미있는 주제를 알기쉽게 알려준 혜령이에게 감사의 말을 전한다.

금일 세미나는 헤령이가 xai에 대해 설명해주었다. xai 연구 분야는 머신러닝의 의사결정에 어떠한 부분이 큰 기여를 하였는지를 밝히는 것으로, 딥러닝 활용 측면에서 아주 중요한 분야이다. 산학 프로젝트 진행에 있어 자주 활용하고자 하는 분야였는데, 이번 세미나를 통해 xai에 대해 기초를 잘 다질 수 있었다. 특히, 이번 세미나에선 임의의 머신러닝(딥러닝) 모델에도 해석력을 갖출 수 있는 대표적인 Lime, shap을 배웠다. 이전에는 잘 이해하지 못하였던 local surrogate model 개념을 직관적으로 쉽게 이해해볼 수 있어 큰 도움이 되었다. 장표가 정갈하고 예뻐 이해하기 편했다. 게임이론을 근거하여 만들어진 Shap도 본 세미나를 통해 쉽게 이해할 수 있었다. 구체적인 예시를 직접 전부 만들어 설명해주었는데 본받아야겠다. 이해하기 쉬웠다. 세미나 준비에 많이 신경써 준 혜령이에게 감사의 말씀을 전하며, 세미나 후기를 마치도록 한다. 고생하셨습니다~

평소 궁금했던 XAI에 대해 기초부터 잘 이해할 수 있는 세미나였다. XAI는 어떤 예측모델의 예측 결과에 대해, 무엇을 근거로 그 결과가 나왔는지에 대한 해석을 제공하기 위한 연구분야이다. 예측모델의 주류가 선형회귀나 의사결정나무와 같이 단순한 모델에서 인공신경망 같은 복잡한 모델로 옮겨가면서 XAI의 역할이 중요해지고 있다. XAI 방법론에는 해석 대상인 모델이 무엇이든 적용 가능한 Model-agnostic 방법론과, 특정 종류의 모델에만 적용 가능한 Model-specific한 방법론이 있다. 이번 세미나에선 Model-agnostic 류의 대표 방법론인 LIME과 SHAP을 다뤘다.
LIME은 전체 데이터셋이 아닌 특정 관측치에 대한 예측 해석을 제공한다. 해석용 모델을 여러가지 상정한 뒤 최적화를 통해 해석력이 가장 좋은 모델을 구하게 된다. 최적화는 두 가지를 고려하는데 첫째는 복잡한 모델보단 단순한 모델을 선호한다는 것이며, 둘째는 해석용 모델의 예측이 해석 대상인 모델의 예측과 유사해야 한다는 것이다. 둘째 기준은, 해석하고자 하는 관측치 주변의 값들을 해석 대상인 모델에 넣었을 때의 결과값 vs 주변값들을 차원축소한 값을 해석용 모델에 넣었을 때 결과값을 비교하여 나오는 loss를 최소화하는 식으로 학습하게 된다. 이 최적화 문제를 통해 구한 해석용 모델을 통해 변수와 결과 간 관계를 구하게 된다.
SHAP은 게임이론 기반의 Shapley value를 이용해 각 변수가 예측값에 미치는 기여도를 측정하여 해석 제공하는 방법론이다. Shapley value를 각 변수가 갖는 기여도라고 보면 되는데, 변수의 Marginal contributions를 가중평균하여 구하게 된다. Marginal contributions는 해당 변수가 없을 때 가능한 모든 부분집합의 예측값 vs 그 부분집합에 변수를 추가했을 때의 예측값 간의 차이이다. LIME보다는 직관적인 방법론이지만 변수의 수가 많아지면 연산량이 너무 늘어난다는 한계가 있다.
세미나를 들으면서 현재 진행 중인 프로젝트 등 많은 경우에 적용해보기 좋을 것 같다고 생각했다. 바쁜 와중에도 듣는 사람이 이해하기 쉽도록 열심히 세미나를 준비해준 혜령이에게 감사 인사를 남긴다.

오늘 세미나는 Explainable AI (XAI)관련 설명이 이루어졌다. 해석력을 갖춘 AI가 왜 필요한지 배경 설명을 시작으로 해석력이 높을수록 모델 구조가 단순(의사결정나무, 회귀모델 = White box 모델)한 경향성을 타파하고, 예측력이 높고 해석력이 낮은 모델 (Black box)에 해석력을 제공할 수 있는 알고리즘이 설명되었다. 이때 random forest가 black box 모델 중 하나로 설명되었는대, 이로써 해석력이라는 것이 변수 중요도를 확인할 수 있는가랑 별개로 개별적인 관측치에 대한 예측값에 대한 설명(해석)이 이루어져야 함을 알 수 있었다. 세부적인 설명으로는 model-agnostic한 XAI모델인 LIME, SHAP가 소개되었다. LIME은 Local surrogate model을 해석하고자하는 모델의 예측과 유사하게 예측되면서도 단순한 복잡도의 모델로 찾아낼 수 있도록 최적화식을 구성하고 이를 사용하여 해석을 진행한다고 한다. SHAP는 게임이론 내 플레이어의 기여도(Shapley value)를 구하는 방식을 XAI에 차용하여 해석에 활용하였다. 디테일하게 XAI 관한 세미나를 진행해 준 혜령이에게 고마움을 전한다.

이번 세미나는 "Introduction to XAI(eXplainable AI)"를 주제로 진행되었다.

XAI는 중요한 분야라고 생각한다. machine learning 분야의 model이 복잡해질수록 model을 해석하기 어려워지게 되며 이를 Black Box라고 부르기도 한다. 하지만 결과에 대한 이유를 알려준다는 것은 단순히 정확도가 높은 것을 넘어서 model의 신뢰도를 높여줄 수 있을 것이다.
Black Box model을 해석하기 위하여 LIME(Local Interpretable Model-agnostic Explanations)과 SHAP(SHAPley value) 등을 이용하게 된다. 이때 LIME은 Local approximation 생성을 통해 해석을 하고, SHAP은 Shapley Values를 기반으로 예측 값에 대해 각 피처가 미치는 기여도를 측정하여 예측에 대한 해석을 제공한다.

프로젝트에서 직접 이용해보기는 했지만 이론적으로 부족하고 궁금했던 점들이 해소되었던 세미나였다. 좋은 세미나를 진행해준 혜령이에게 고맙다는 말을 전한다!

오늘 세미나는 explainable AI를 주제로 혜령이가 진행했다.

딥러닝 모델 성능이 다양한 분야에서 효과를 보고 있는 요즘 딥러닝을 해석하고자 하는 연구가 활발히 이루어지고 있다. 그동안의 Explainable AI 주된 연구는 딥러닝 예측결과에 대한 근거를 살펴보는 데 초점을 두었다. 대표적으로 recurrent neural network에서는 attention mechanism을 적용, convolutional neural network에서는 class activation mappling이 그 예다. 하지만 이는 해당 모델 구조에 적합한 해석 방법, 즉 model-specific 방법론이다. 이는 XAI를 적용 가능 범위로 나눈것이다. 요즘에는 모델구조에 관계없이 해석할 수 있는 방법론 Model-agnostic 방법론이 대세다. XAI를 설명 대상 범위로도 나눌 수 있는데 (1) Global 해석은 모델이 예측하는 모든 결과를 설명(decision tree)하고 (2) Local은 하나의 예측결과에 대해 설명하는 방법(LIME 등)을 말한다.

오늘은 Model-agnostic 대표방법론으로 LIME(local interpretable model-agnostic explanations), SHAP을 자세히 소개해 주었다. 한가지 궁금한 점은, 발표중에 인공신경망 (black box) -> 랜덤 포레스트 -> SVM -> 그래프모형 -> KNN -> 의사결정나무 -> 회귀분석 (white box) 순으로 해석이 용이한 정도를 정의했는데 그 기준이 궁금하다. 요즘 인공신경망 기법에 대한 해석이 활발히 이루어지고 있고, 랜덤포레스트로부터 중요 규칙이나 설명변수도 분석하는 시도 역시 이루어지고 있기 때문이다. 해석(interpretation) 혹은 설명(explanation)을 어떻게 정의하느냐 달라질 것 같은데 그 기준을 정리해보는 것도 좋을 것 같다.

오늘 세미나로 전반적인 설명가능한 AI기법에 대해 살펴봤다. 세부적인 방법론을 공부하고 전반적인 방법론 특징을 정리하는 건 어려운데 수고많았을 것 같다. 수고한 만큼 개인연구로도 잘 연결지어 연구성과로 발전시키면 좋겠다.

이번 세미나는 Introduction to XAI를 주제로 진행되었다. 평소 궁금했던 LIME과 SHAP에 대해 정말 처음부터 자세하게 작동원리를 설명해준 고마운 세미나였다. XAI는 머신러닝 알고리즘이 예측한 결과를 사람이 이해할 수 있도록 해석을 제공하는 방법론으로 주로 해석력이 낮은 모델의 해석을 도와준다. 보통 해석력은 예측 정확도와 Trade-off 관계에 있기 때문에 최근 주로 사용되는 인공 신경망의 경우도 해석력이 낮은 Black box 모델이다. XAI에도 관점에 따라 종류가 나뉘어 지는데 이번 세미나에서는 모델에 상관없이 적용가능한 Model-agnostic의 종류로 LIME과 SHAP에 대해 알아보았다. 먼저 LIME은 하나의 관측치에 대한 해석을 제공하는 방법론이다. 따라서 특정한 하나의 관측치를 포함하는 Local surrogate model을 통해 해석할 수 있는 단순한 모델, 해석하고자 하는 모델의 예측과 유사하게 예측되는 모델을 만들고 이를 통해 해석을 제공하게 된다. SHAP은 Shapley values를 기반으로 예측값에 대한 각 변수의 기여도를 측정하여 예측에 대한 해석을 제공하는 방법론이다. 즉, 각 변수가 포함된 경우와 포함되지 않는 경우의 예측값의 차이를 모든 경우에 대해 구하고 이를 가중 평균하여 Shapley values를 구하고 이를 통해 모델에 대한 해석을 제공한다. 다만, SHAP은 변수의 수에 따라 연산 시간이 오래 걸릴 수 있다는 단점이 있어 이를 보완하기 위한 다양한 형태의 SHAP 구조도 계속 제안되고 있다. 이번 세미나는 LIME과 SHAP에 대해 친절한 예시와 함께 세부적인 내용까지 알 수 있어서 정말 많은 도움이 되었다. 특히 현업에서의 활용 측면에서 LIME과 SHAP은 모델에 관계없이 적용 가능하기 때문에 이번 세미나를 계기로 잘 숙지하고 있어야겠다는 생각이 들었다. 좋은 내용으로 세미나를 준비해준 혜령이에게 감사의 말을 전한다.

이번 세미나는 "Introduction to XAI"라는 주제로 진행되었다. XAI는 예측력은 좋지만 설명력이 부족한 딥러닝 계열의 모델들의 단점을 해결하기 위해 주로 연구가 진행되어왔다. 이번 세미나에서는 XAI의 대표적인 모델인 LIME과 SHAP에 대해 소개되었다. LIME은 복잡한 모델의 예측 결과를 단순한 모델을 통해 근사한 후 단순한 모델을 통해 모델에 해석력을 부여하는 기법이다. LIME은 관측치 하나에 대한 설명을 제공할 수 있으며 모델의 형태에 제약 없이 사용할 수 있다는 장점이 있다. 다음으로 소개된 SHAP은 Shapley Value를 기반으로 하는 모델이다. Shapely Value는 각 플레이어의 기여도에 따라 상금을 공정하게 분배하기 위한 방법을 의미한다. 각 플레이어의 존재 여부에 따라 상금의 차이를 계산하고 이를 모두 더해 각 플레이어의 기여도를 계산한다. 이를 모델의 해석 측면에서 바라보면 각 플레이어는 feature가 되고 상금은 모델의 예측 결과가 된다. 따라서 SHAP에서는 각 feature의 유무에 따라 모델의 예측 결과의 변화량을 계산하여 각 feature의 예측에 대한 기여도를 측정하게 된다. 하지만 Shapely Value는 데이터의 차원이 커짐에 따라 계산량이 늘어나기 때문에 직접 계산하는 것이 어렵다. 이를 해결하기 위해 LIME과 Shapely Value를 결합한 Kernel SHAP, DeepLift와 Shapely Value를 결합한 DeepSHAP등이 제안되었다. 이번 세미나를 통해 LIME과 SHAP에 대한 자세한 설명을 들을 수 있어 의미 있는 세미나였다. 특히 자세한 예시와 직관적인 설명이 관련된 내용을 이해하는 데 많은 도움이 되었다. 세미나를 위해 고생해준 혜령이에게 감사의 뜻을 전한다.

이번 세미나는 “Introduction to XAI”를 주제로 진행되었다. 설명할 수 있는 AI를 의미하는 eXplainable AI는 해석력이 낮은 모델의 해석을 도와주기 위하여 제안된 분야이다. 특히, 내부 과정을 사람이 이해하기 어려운 인공신경망과 같은 모델들을 black-box model로 부르며 해당 모델들을 설명해주기 위한 방법론들이 제안되었다. 이번 세미나에서는 여러 모델에 적용이 가능한 model-agnostic 방법론들을 위주로 살펴보았다. LIME(Local Interpretable Model-agnostic Explanations)은 전체 관측치가 아닌 관측치 하나의 주변만을 기준으로 해석을 제공하는 방법론으로, 기존 모델과 설명 모델의 예측 차이가 작으며 모델이 덜 복잡하도록 설명 모델을 선정하여 해석을 진행한다. SHAP(SHapley Additive exPlanations)은 Shapley Value를 기준으로 각 피처가 예측에 미치는 기여도를 측정하여 해석하는 방법론이다. 특히, Shapley Value는 각 플레이어의 기여도에 따라 전체 게임의 상금을 공정하게 할당하기 위한 상금 분배 이론으로 플레이어 존재 여부에 따른 상금 변화량의 가중 평균으로 계산된다. SHAP 알고리즘을 처음 공부할 때 Shapley Value의 개념을 이해하는데에 많은 어려움이 있었는데, 그림을 통한 예제로 설명해주어서 쉽게 이해할 수 있었다는 점이 가장 좋았다. 어려운 내용을 이해하기 쉽게 설명해주어 LIME과 SHAP 알고리즘의 개념을 다시 한 번 살펴보고 이해할 수 있어 유익한 세미나였다.

이번 세미나는 eXplainable AI를 주제로 혜령이가 발표해 주었다.

딥러닝이 해석이 어려운 블랙박스 모델이기 때문에 이를 해결하기 위한 연구가 꾸준히 이루어지고 있다. 이러한 XAI 분야는 크게 적용 가능 범위(Model-agnostic, Model-specific), 설명 대상 범위(Global, Local)으로 크게 나눌 수 있다. 이번 세미나에서는 Model-agnostic한 방법론 중 LIME과 SHAP에 대해 소개했다.

LIME(Local Interpretable Model-agnostic Explanations)는 Local Surrogate Model을 통해서 관측치 하나의 예측에 대한 해석을 제공한다. 여기서 Local Surrogate Model은 하나의 관측치에 대한 결정경계를 관측치의 주변에서 추정하게 된다. 비선형 그래프를 확대를 하면 선형처럼 보이고 이는 설명하기가 쉽다는 원리를 이용한 것이다. 여기서 이 Local Surrogate Model은 해석할 수 있는 단순한 모델이고 전체 데이터셋에 대한 모델과 유사하게 예측해야한다는 가정을 가지고 있다. 이를 위해 LIME은 위 조건을 충족하는 모델을 찾아야하고 최적화 문제로 치환되게 된다.


SHAP는 Shapley Values를 기반으로 예측 값에 대한 각 변수가 미치는 기여도를 측정하여 예측에 대한 해석을 제공한다. Shapley values는 게임 이론을 바탕으로 게임에서 각 플레이어의 기여도에 따라 상금을 공정하게 할당하기 위한 방법이다. 여기서 플레이어가 있을 때와 없을 때의 상금 변화량을 통해 기여도가 계산되는데 이를 딥러닝으로 치환한다면 하나의 입력 변수를 뺐을 때의 성능 변화량이 된다. 하지만 모든 경우의 수에 대해서 기여도 계산이 필요해서 시간이 오래 걸린다는 단점이 있다. 때문에 Kernel SHAP, Deep SHAP, Tree SHAP 등 다양한 변형이 등장하게 되었다.

이번 세미나를 통해서 LIME과 SHAP에 대해 다시 한 번 정리를 할 수 있게 되었다. 예시를 잘 들어놔서 이해하기 편했다. 좋은 세미나를 만들어준 혜령이에게 감사를 전하며 세미나 후기를 마친다.

금일 세미나는 XAI를 주제로 진행되었다. XAI는 해석력이 낮은 모델의 예측 결과를 사람이 이해할 수 있도록 해석을 도와주는 방법론을 말한다. 해석력이 낮은 모델은 대표적으로 인공신경망이 있다. 반면 회귀 분석이나 의사결정 나무는 해석력이 높은 모델로 간주된다. 해석력이 낮은 모델에 XAI를 적용하여 모델이 무엇을 근거로 하여 예측하였는지 파악할 수 있다. 이를 통해 모델에 대한 신뢰성을 확보하고 더 나아가 모델 학습 과정과 사용한 데이터의 이상 여부까지 알 수 있다. 본 세미나에서는 LIME과 SHAP을 소개한다. 프로젝트나 연구를 수행하면서 모델의 예측 결과에 대해 해석할 수 있는 XAI를 활용하는 것이 다양한 인사이트를 제공한다는 것을 경험하였다. 금일 세미나를 통해 대표적인 XAI 방법론에 대해 정리할 수 있었다. 유익한 세미나를 준비해준 혜령 언니에게 감사의 말을 전한다.