해당 세미나는 전반적인 생성모델의 흐름에 대한 내용을 다루었다. VAE와 GAN을 선두로 생성형 AI에 많은 관심이 생기기 시작하였다. 이후 transformer를 기반으로 한 언어생성모델(GPT,BERT) 그리고 디퓨젼 모델 기반의 DALLE2와 Stable diffusion이 등장하며 산업에 혁명을 일으킬 연구분야로 대두되었다. 그 중에서도 이번 세미나는 고전 생성모델 기법들을 시작으로 VAE와 GAN까지의 내용을 담고 있다.

< Machine>
[1] Gaussian Mixture Model : 여러 개의 가우시안 분포를 선형결합하여, 데이터를 가장 잘 설명하는 확률분포를 찾는 방법이다. GMM은 clustering, anomaly detection 그리고 음성/악센트 인식 등과 같은 분야에 활용된다고 한다.
[2] Hidden Markov Model : 통계적인 Markov chain을 기반으로 한 모델로, 거기에 보이지 않는 상태인 hidden state가 존재하는 모델이다.
[3] Latent Dirichlet Allocation : 토픽 모델링에 사용되는 모델로, 각 문서에 어떠한 주제들이 존재하는지 분포를 확인하는 방법이다.

< Deep>
[1] Boltzmann Machines : 모든 node들이 연결되어 있는 ‘완전 그래프’ 형태의 모델. Input 데이터를 나타내는 visible unit 그리고 찾고자 하는 확률 분포를 나타내는 hidden neuron 으로 구성되어 있으며, node의 구성을 물리학을 사용해 구축한다.
[2] Restricted Boltzmann Machine : 기존 Boltzmann machine의 비효율성을 해결하기 위해 몇몇 제약사항을 적용한 모델이다. 제약사항으로 유사한 node끼리는 연결하지 않는 규칙이 포함된다. 이를 통해 확률분포 추정이 쉽도록 도와준다
[3] Deep Belief Network : FFN에서 신경망의 층 수가 증가하며 발생하는 gradient vanishing 을 해결하기위해 개발된 방법으로, 사전학습된 RBM 을 가장 마지막 층에 쌓아 구성한 신경망 모델이다.
[4] Deep Boltzmann Machine : DBN과 달리 방향성이 없으며, 데이터의 기본적인 특성을 파악하는데 좋은 성능을 보여 음성/객체 인식에 활용된다고 한다.
[5] Variational AutoEncoder : 입력 데이터를 잘 묘사하는 latent vector를 만들고, 해당 Latent vector를 바탕으로 다시 원본 데이터를 복원하는 것을 목적으로 한 모델이다. 이때 loss term으로 생성된 데이터와 입력 데이터가 유사하도록 하는 reconstruction error, 그리고 정규분포를 따르도록 하는 regularization error가 존재한다.
[6] GAN (DCGAN, CGAN : GAN은 데이터를 생성하는 generator 그리고 생성된 데이터 실제/거짓인지를 판별하는 discriminator로 구성된 모델이다. DCGAN의 경우 blur로 인한 이미지 생성이 불안정하는 문제가 있어 GAN 구조에 CNN을 결합한 모델이며, CGAN은 원하는 이미지를 생성하도록 GAN에 y-label을 함께 넣어 학습하는 모델이다.

현재 디퓨젼 모델 관련 연구를 진행중인데, 연구를 진행하는 과정에서 related works로 다양한 생성 모델들에 대한 언급을 본 적이 있었으나, 직접적으로 공부를 해보지는 못하였다. 이번 세미나를 통해 전반적인 생성모델의 발전 흐름에 대해 이해를 할 수 있었다는 점과 추가적으로 예전에 사용되었던 모델들에 대해 배울 수 있어 큰 도움이 되었다. 이런 유익한 세미나를 준비해준 구진형께 감사의 말을 전하며, 세미나 후기를 마친다.

이번 세미나는 생성 모델에 대하여 진행되었다. 최근 생성 모델이 AI에 대해 공부를 하지 않던 사람들에게조차 굉장히 주목받고 있는데 그 시작이 되었던 VAE부터 GAN까지 초기 모델에 대하여 주로 다루었다. 크게 머신러닝 기반의 방법론들과 딥러닝 기반의 방법론으로 나누어 설명하였다. 우선 머신러닝 기반의 생성 모델로 GMM, HMM, LDA를 설명하였다. 딥러닝 기반 방법론 대비 단순하다는 장점을 가지고 있어서 보다 유연하게 적용이 가능하지만 그만큼 고차원 데이터에서 성능 발휘가 어렵다고 한다. 보통 딥러닝 관련 논문을 읽고 공부할때 개인적으로 수식에 집중하지 않고 모든 것은 뉴럴넷의 학습에 맡기게 되는데 머신러닝 기반의 방법론들은 확률과 분포를 기반으로 하여 좀 더 수학적으로 풀어나가는 것이 신기하였다. 실제론 탄탄한 이론적 배경 없이 새로운 방법론을 적용해 보고 무조건 높은 성능이 도출되기만을 바라는 연구 방향을 반성하고 보다 심도 있게 공부를 진행해야겠다는 생각이 들었다. 다음으로 딥러닝 기반의 방법론인 BM, RBM, DBN, DBM, VAE, GAN에 대한 설명이 진행되었다. 딥러닝 기반의 방법론들이므로 전체적으로 계산 복잡도가 높고 학습이 쉽지 않다는 특징이 있었다. VAE 이후는 자세히 공부한 적이 있기 때문에 이해하기 쉬웠으나 앞의 방법론들은 대략적으로만 알고 있었기 때문에 이번 기회에 더 찾아봐야겠다는 생각이 들었다. 최근 생성모델이 굉장히 빠르게 발전하고 있지만 이전에 발전해 왔던 모델들을 알고 있는 것도 굉장히 중요하다는 생각이 들어서 본 세미나를 통해 개요를 파악하고 각각의 모델들에 관하여 공부한다면 많은 도움이 될 것 같다. 이처럼 유익한 세미나를 준비해 주신 정구진 연구원에게 고맙다는 인사를 전하며 이상으로 세미나 후기를 마친다.

이번 세미나는 생성 모델에 대한 폭넓은 내용을 다루었습니다. VAE와 GAN을 중심으로, 머신러닝과 딥러닝 기반의 여러 모델들을 상세하게 소개하였다. 먼저, Gaussian Mixture Model, Hidden Markov Model, Latent Dirichlet Allocation과 같은 머신러닝 기반의 방법론을 다루면서, 이들이 clustering, anomaly detection, 음성/악센트 인식과 같은 다양한 분야에 활용되는 방법을 설명하였다. 그 다음으로는 Boltzmann Machines, Restricted Boltzmann Machine, Deep Belief Network, Deep Boltzmann Machine, Variational AutoEncoder, 그리고 다양한 GAN 변형에 대한 딥러닝 기반의 방법론을 다뤘다. 각 모델의 구조와 작동 원리, 그리고 응용 사례에 대해 자세하게 설명하면서, 딥러닝 기반의 방법론이 가진 계산 복잡성과 학습 어려움에 대해 강조하였다. 세미나를 통해 딥러닝과 머신러닝 기반의 방법론 간의 차이뿐만 아니라, 각 모델이 해결하려는 문제와 그 특성에 대한 심층적인 이해를 얻을 수 있었다. 또한, 세미나를 통해 강조된 수학적인 풀이와 활용 가능성은 추후 개인 연구에 적용할 때 큰 도움이 될 것으로 예상한다. 이러한 유익한 정보를 전달해준 구진이형에게 감사드리며 이상으로 세미나 후기를 마친다.

생성 모델에 관한 세미나를 청취하였다. 생성형 모델인 ChatGPT와 Diffusion 모델이 여러 분야에서 우수한 성능으로 이목을 집중시키고 있는 상황에서, 본 세미나가 여러 연구원들에게 많은 도움이 될 것 같다. 연도별 생성 모델 연구 트렌드를 소개하는 흥미로운 시작으로 머신러닝, 딥러닝 기반 다양한 생성 모델들의 컨셉, 장단점, 주로 사용되는 분야들을 이해할 수 있었다. 저 같은 경우 관심있는 연구의 대부분들이 "구분"에만 관련되어 있는데, 요즘 활발하게 연구 되고 있는 트렌드들을 살펴보면 생성형 연구 쪽에도 지속적인 관심을 가질 필요가 있다는 생각을 하고 있다. 생각만 하고 있었는데, 이렇게 좋은 세미나 덕분에 관심도를 다시 한번 일으킬 수 있어서 고마운 마음이 들었다. 좋은 세미나를 준비하느라 고생하신 구진이 형에게 감사의 말씀을 전하며 세미나 후기를 마치도록 한다.

이번 세미나는 Generative Model의 기초에 대해 진행되었다. Diffusion과 GAN이 발전하면서 Generative Model은 최고의 전성기를 누리고 있다. 하지만 이러한 알고리즘들은 단시간에 개발된 알고리즘들이 아닌, 여러 시행착오를 거치면서 탄생하였다. 본 세미나에서는 이러한 과거 시행착오들에 대해 소개한다. 세미나 초반에는 머신러닝 기반 알고리즘들을 소개한다. 여러 개의 가우시안 분포를 혼합한 GMM, 마코비안 성질 기반의 HMM, 빈도수 기반의 LDA가 그러하다. 이후에는 딥러닝 기반 알고리즘들을 소개한다. 볼츠만 머신에서 출발하여, 생성모델을 공부했다면 누구나 들어본 VAE, 그리고 적대적 학습 기반의 GAN을 소개하며 세미나가 마무리된다. 본 세미나를 청취하면서 생성모델의 과거 연구 동향을 살펴볼 수 있었다. 자세하게 하나하나 정확한 동작원리까지 공부하기는 어려웠지만, 어떠한 과정이 있었는지 흐름정도는 짚고 넘어갈 수 있었다. 또한 추후 생성모델의 기초 및 변천사가 궁금한 사람이 있다면, 해당 세미나를 꼭 추천하고 싶다. 유익한 세미나를 준비해준 정구진 연구원님께 고맙다는 말을 전하며 세미나 후기를 마친다.

무엇보다도 발표자료가 참 깔끔하고 직관적으로 만들어져 시간 가는 줄 모르고 들을 수 있던 세미나였다. 개인적으로 발표를 들을 때는 (본인이 할 때에도 마찬가지이지만) 발성 어조나 사용하는 어휘도 굉장히 중요하게 고려를 하는데, 본 세미나는 40여분의 시간 동안 일관된 어조와 좋은 어휘로 진행되어서 배울 점이 많았던 것 같다.

그 외에도 생성모델의 발전 흐름을 짚어주는 기초 세미나였기 때문에, 딱 나 같은 사람을 위한 세미나가 아니었을까 싶다. Discriminative model을 연구하는 입장에서도, ML-based로 소개된 일부 테크닉들은 적극 차용해서 연구에 이용할 수도 있겠다는 생각이 들었다. 굳이 데이터를 생성하는 목적이 아니더라도, 주어진 샘플이 어떤 가우시안에서 기인하였는지를 확인하는 아이디어를 잘 이용해볼 수도 있겠다 싶다. 다만 DL-based 모델 중 VAE와 GANs은 현재까지도 다양한 분야에서 응용되어 사용되기에 관심을 가지고 청취하였는데, 해당 부분은 인터넷에 보조자료가 많아서인지 설명이 많이 생략되어 개인적으로는 아쉬웠다. 해당 부분은 스스로 좀 더 공부해볼 예정이다.

마지막 결론 부분에서는 기존 생성모델의 장단점도 정리하여 비교해주셨는데, 해당 파트를 보고 왜 GANs 이 특히나 생성모델 연구 분야에서 독보적인 지위를 가지고 발전해왔는 지를 알 만 했다. 학습 시간도 빠르고 생성된 이미지 품질도 좋다는 측면에서 그러하고, 적대적 학습방식 프로토콜 자체가 "특징벡터를 생성"해내는 discriminative model 분야에서도 활발히 이용되어 왔기 때문이다 (특정 성질을 가지는 벡터를 생성하고자 GANs의 학습 방식과 objective function을 유연하게 바꾼 연구가 꽤나 있다).

기초적인 생성모델의 전반을 다루어준 정구진 연구원님께 감사하다는 말씀 드리며, 비단 생성모델을 연구하는 분들 뿐 아니라 다른 사람들도 적극 청취하여서 연구 아이디어를 얻어가면 좋겠다는 생각이 든다.