금일 세미나는 Human Pose Estimation에 관한 연구실 내 두번째 세미나였다. 앞서 진행된 조용원 연구원의 Introduction to Human Pose Estimation 세미나에 이어서 한다는 것은 적지 않은 부담이었다. 그럼에도 이와 별개로 이번 세미나 역시 유익한 내용을 전달하기 위해 부끄럽지만 나름대로 진심을 다했다.

소속 연구실은 해당 연구를 주력으로 하는 Computer vision 랩실이 아니지만, 산업공학도의 관점에서 보더라도 Human pose estimation은 기존 산업에 놓인 다양한 문제점을 해결하는 상당히 매력적인 연구 주제였다. 특히, 발표 자료 준비를 하면서 다양한 도메인에서 HPE의 쓰임을 절감할 수 있었는데, 아직 제조 분야에서의 활용도는 그리 높지 않은 듯하다. 아직은 학문을 이해하고, 쫓아가는 입장이지만, 머지않은 시점에 제조 분야에서 HPE를 접목한 연구를 할 수 있도록 부단히 고민을 해봐야겠다.

발표 자료 제작과 세미나 준비 내내 역점을 두었던 부분은 맥락 있는 구성이었다. 본 세미나에서 다룬 논문들을 관통하는 키워드 역시 “Context” 즉, 맥락이기도 하다. 맥락과 흐름 그리고 디테일 모두 놓치고 싶지 않았기에 적지 않은 시간동안 고민하였지만, 욕심만큼 표현하고 전달하는데 있어 부족함이 있었던 것 같다. 관련하여 연구원분들의 가감없는 피드백을 받고 싶다.

HPE에 관한 최근 연구 동향은 성숙해진 2D pose estimation 분야를 넘어 3D pose estimation, 3D shape prediction 분야로 나아가고 있다. 다음 세미나에서는 3D pose 및 3D shape 추정에 관한 내용을 다룰 수 있는 기회를 만들어보고자 한다. 특히, 본 세미나의 주제 선정과 준비하는데 도움을 주신 조용원 연구원께 고마움 마음이 크다. 마지막으로 장시간 발표를 경청해주신 모든 연구원들께 감사함을 전한다.

​

이전에 용원이 형이 진행했던 세미나에 이어 약 반년 만에 Human Pose Estimation(HPE) 관련 세미나가 진행되었으며, 이전 세미나에서 HPE 의 카테고리 중 다루지 못했던 Heatmap based approach 와 Top-down based approach 를 위주로 다루었다.

세미나 도입부에서 딥러닝 이전 부터 존재해왔던 HPE 방법론의 동향과 연대기, 활용성 및 주요 이슈(ex. 폐색현상) 등을 설명하였는데, 지루하지 않고 매우 깔끔해서 인상 깊었다. Histogram of Gradients(HoG) 나 Pose Machine 등 현재에는 잘 쓰이지 않는 방법론까지 정리하여 세미나에 자연스럽게 녹아든 것이 매우 좋았다.

메인으로 다루었던 Convolutional Pose Machine(CPM) 과 Open Pose 는 둘 다 Heatmap based approach 로써 각 관절이 위치할 확률에 대한 likelihood 를 높이는 것이 목적이다. 관절의 위치를 확률화하기 위해서 Gaussian Fitting 을 통해 레이블 값을 변환한다. CPM 은 Receptive Field 를 넓혀가며 관절의 개별 위치는 context 정보를 활용해 찾기가 더 용이하다는 아이디어에서 나왔으며, 같은 형태의 스테이지를 여러번 반복한다. 매우 간단한 아이디어이며 Single Person 에서 탐지력도 좋지만 Multi-Person에서 탐지력이 떨어지며, 이를 극복한 것이 OpenPose이다. 탐지하고자 하는 객체가 많을 경우, 관절의 연결에 따른 경우의 수는 기하급수적으로 많아진다. Open Pose 는 이러한 문제를 Part Affinity Fields 라는 별도의 모듈을 통해 위치 정보와 방향 정보를 잘 표현하는 벡터 공간을 유추하여 Bipartite Matching 을 수행하는 것이 Key Point 이다.

설명하기에 복잡한 개념이나 수식이 상당히 많았을 것 같은데, 핵심만 연결하여 잘 구성된 세미나인 것 같다.

이번 세미나는 'Intermediate Human Pose Estimation'이라는 주제로 진행되었다. Human Pose Estimation(HPE)의 핵심 task는 인체 부분 중 머리, 몸체, 팔, 다리와 같은 주요 관절의 위치를 올바르게 추정하는 것이다. HPE는 크게 2D 혹은 3D pose estimation 문제로 나뉘는데, 본 세미나는 2D pose estimation에 중점을 두어 진행되었다. 2D pose estimation의 입력 데이터로는 일반적으로 RGB 이미지를 사용하며, 모델을 통해 결과적으로 관절 좌표(x,y)를 추출한다. 이를 통해 추정한 좌표와 정답 좌표간 유사성을 모델의 평가지표로 사용한다. 2D pose estimation은 추정하고자 하는 사람의 수(single person/multi-person)에 따라 다양한 세부 방법론이 존재하는데, 본 세미나에서는 single person/multi-person 각 갈래에 속해있는 Heatmap-based approach와 Bottom-up approach를 다루었다. Single person estimation 문제에서 활용되는 접근법인 Heatmap-based approach는 이미지 내 사람 한 명의 관절별 좌표를 각 관절이 나타날 확률로 구성된 heatmap으로 변환해, heatmap representation을 추정하는 방법론이다. 이는 CNN을 통해 feature map에서 관절이 있을법한 부분이 높은 확률을 갖도록 학습하게 한다. 이와 관련한 대표적 알고리즘으로 'Convolutional Pose Machines(CPM)'를 소개해주었다. CPM은 convolution 연산의 receptive field를 통해 얻은 신체 구조 정보와, stage를 반복하여 추출한 context 정보를 활용해 관절의 정확한 위치를 추정한다. 그러나 해당 모델로 여러 사람의 관절을 탐지하는데에는 어려움이 따른다. Multi-person estimation 문제에서 활용되는 접근법인 Bottom-up approach는 이미지 내 여러 사람의 관절을 먼저 감지하고 서로 연결하여 모든 사람의 자세를 추정하는 방법론이다. 이와 관련한 대표적 알고리즘으로 'OpenPose'를 소개해주었다. 이는 관절별 좌표를 Part Affinity Fields(PAFs)를 통해 추정하는 방법론이다. PAFs는 CPM에서와 달리, 두 관절 사이의 연결을 2차원 벡터로 인코딩할 수 있는 필터를 학습할 수 있게끔 하여 동일 인물 내 관절 연결을 용이하게 하였다.

이전에 진행되었던 용원오빠의 'Introduction to Human Pose Estimation' 세미나와 해당 세미나를 통해 HPE 전반을 톺아볼 수 있어 유익한 시간이었다. 특히 의문점을 가진 채로 자칫 지나칠 수 있는 부분까지 놓치지 않고 설명해주어, 내용을 이해하는데 일말의 어려움이 없었다. 세미나를 준비하느라 고생해준 상민오빠에게 감사하며, HPE에 진심인 오빠의 향후 연구를 응원한다.

이번 세미나는 Human Pose Estimation에 대한 주제로 진행되었다. 제목 그대로 인간의 자세에 대해 분석하고 예측하는 분야로, 그 핵심 Task는 인체부분의 주요 관절의 위치를 올바르게 추정하는 것이 되겠다. 현재의 연구동향은 세가지로 Contour-based/Skeleton-based/volume-based 모델이 있는데, 주요하게 쓰이는건 뒤 두가지로, Skeleton-based는 골격의 "관절"중심의 데이터로 사용하는 것이고, volume-based는 polygonal이나 mesh 데이터를 통해서 3D형태로 예측하는 것을 말한다. 이 분야가 어려운 이유는, 이미지 내에서 사람이 다른 객체에 의해 가려지거나 사람끼리 겹쳐있는 경우가 빈번하기 때문이다.
이번 세미나에서는 2D Pose Estimation에 대해 주요하게 소개해주었는데, 먼저 평가지표는 예측한 관절의 좌표와 실제 관절 좌표의 거리라 임계값 아래라면 정답으로 반영하여 그 숫자를 세는 PCK, 자세의 유사성을 가지고 계산하는 OKS가 있었다. 앞서 이야기된것처럼 이 예측 Task는 그 난이도만큼 좌표를 그대로 추정하여 Test하는 Direct Regression에서는 성능이 좋지 않아 Heatmap-based과 같이 관절이 나타날 확률로 접근하는 것이 최근의 주요 방법론으로 많이 쓰인다.
Convolutional Pose Machines(CPM)은 CNN을 사용한 Human pose Estimation으로 먼저 Stage1에서는 이미지를 Convolution 연산하여 가져온다음 결과값에서 heatmap을 관절수 만큼 예측하고, 이를 context Feature로서 실제값과 비교하며, Stage2에서 다시 image Feature와 합쳐서 이를 실제값과의 비교로 loss값을 계산한다. 논문에서는 이러한 과정을 stage6까지 반복진행하여 학습한다.
한사람이 아니라 여러사람이 있을 때는, (Multi person Pose Estimation) 대표적으로 Openpose라는 논문이 있는데, 이 논문은 Bottom-up 방식을 사용한다. 즉 사람을 찾고 관절을 찾는 Top-down이 아닌, 관절을 찾고 사람을 추정하는 방식이고, 해당 Openpose논문에서는 이 문제에 대한 속도 문제를 대폭 개선했다는데 큰 장점이 있었다. 관절의 위치 자체는 높은 성능으로 찾을 수 있으나, 특정한 인물만의 관절끼리 연결하는 것이 어려운 문제로, 이를 제대로 수행하기 위해 제안한 Part Affinity Fields(PAFs)가 논문의 핵심 포인트라고 할 수 있다. 이는 앞서 설명한 CPN으로 Feature가 나온다면 이를 가지고 연결하는 방향으로 vector를 형성할 수 있도록(사람의 관절의 연결방향과 일치되도록) 반복해서 학습하는 형태였다.
Human Pose Estimation은 이미지 내에 있는 Object를 분리해서, 관절을 예측하고 그 사이를 연결해주는 과정이 아직은 많은 아이디어를 적용할 수 있는 재밌는 분야로 보였다. 세미나를 들으면서 상민이가 마치 역사를 쓰듯이 그 줄기대로 하나하나 짚어줘서 맥락이 잘 잡힌 느낌이 들었다. 매우 흥미로운 주제인 것 같다. 이해하기 쉽게 잘 설명해준 상민이에게 감사를 전한다.

금일 세미나에서는 상민이가 딥러닝 기반 사람의 자세 추정 분야를 소개해주었다. 사람의 자세 추정에 관한 내용은 매번 들을 때마다 생소한 느낌이 있어 완변하게 이해했던 적이 별로 없었는데, 이번 세미나는 도입부부터 결론까지 정말 쉽게 핵심 부분이 잘 정리되어 있어서 편하게 청취할 수 있었다. 사람 자세 추정에 대한 연구의 흐름을 과거부터 지금까지 잘 정리해준 부분은 정말 재미있게 청취하였다. 과거 연구 내용에 대한 조사가 이해하기 쉽지 않았을 텐데, 세미나 준비를 위해 많이 조사한 흔적이 느껴졌다. 또한, 사람의 자세 추정을 위한 입력 변수와 출력 변수를 명확하게 짚어주어(연구 흐름도별로 전부 정리해줌) 좋았으며, 평가지표 소개까지 완벽한 세미나였다. 방법론적으로의 소개도 깔끔하게 정리되어 있는데, 과거의 direct regression부터 최신 open pose 방법론까지 장단점과 등장 배경이 잘 정리되어 있다. 세미나 장표가 너무 깔끔하게 잘 정리되어 의외였는데, 이곳 저곳 정성이 가득 담겨있다. 좋고 멋진 세미나였다. 본받아야겠다. 고생해준 상민이에게 감사의 말씀을 전하며, 세미나 후기를 마치도록 한다.

이번 세미나는 "Intermidiate Human Pose Estimation"이라는 주제로 진행됐다. Human pose estimation은 신체 부위 중 팔, 다리와 같은 관절의 위치를 올바르게 추정하는 것을 목적으로 하며 피트니스 혹은 실버산업 등 다양한 분야에 활용될 수 있는 연구이다. 연구는 크게 2D와 3D pose estimation으로 나눌 수 있으며 2D pose estimation은 이미지 내 존재하는 사람 수에 따라 single person과 multi-person으로 구분할 수 있다. 이번 세미나에서는 single person estimation 중 heatmap-based approach를 활용하는 Convolution Pose Machines와 multi-person estimation 중 bottom-up 방식을 활용하는 OpenPose에 대해서 소개되었다. 관절의 정확한 위치를 바로 탐색하는 것은 매우 어려운 문제이다. 따라서 Convolution Pose Machines는 관절의 정답 값이 주어지면 해당 값을 중심으로 가우시안 분포를 활용해 smoothing 시킨 heat map을 정답 값으로 활용한다. 이미지에서 CNN을 통해 특징을 추출하고 해당 특징을 통해 관절이 존재할 것으로 예상되는 heatmap을 예측하게 된다. 다음으로 소개된 Open Pose는 이미지내에 존재하는 모든 관절에 대해 먼저 탐지하게 되며 이때 Convolution Pose Machines에 활용된다. 이후 서로 다른 사람의 관절이 연결되는 것을 막기 위해 이미지의 방향 정보까지 담고 있는 Part Affinity Field를 추정하여 관절이 올바르게 연결될 수 있도록 하게 된다. OpenPose는 이전에 제안되었던 DeepCut에 비해 추정에 필요한 시간을 크게 단축해 동영상에서도 현재까지 많이 활용되고 있다. 오늘 세미나를 통해 Human Pose Estimation의 모델들의 자세한 원리에 대해 알 수 있어 의미 있는 세미나였다. 특히 전반적인 연구 흐름과 모델의 세세한 부분까지 설명해주어 세미나 내용을 이해하는 데 많은 도움이 되었다. 세미나를 위해 고생해준 상민이에게 고마움을 전한다.

이번 세미나는 Intermediate Human Pose Estimation을 주제로 진행되었다. 이전에 HPE 모델에 대해 조사해본 적이 있어서 더 관심 있게 들을 수 있었다. HPE는 인체 부분 중 관절의 위치를 올바르게 추정하는 문제이다. 사람의 자세를 추정함으로써 영상의 이해력을 높일 수 있고 이를 통해 자세 교정, 행동 인식, 이상 행동 감지 등에 활용될 수 있기 때문에 중요한 분야라는 생각이 들었다. 이러한 중요성 때문인지 굉장히 예전부터 연구가 되어 왔음을 알 수 있었다. 물론 최근에는 딥러닝을 통해 더 좋은 성능의 HPE 모델이 연구되고 있다. HPE의 계층도를 잘 설명해준 덕분에 HPE에 대한 전체적인 연구 방향을 파악할 수 있었다. 전체적으로 2D와 3D로 나눌 수 있고, 2D는 다시 Single/Multi person으로 나뉘며 각각은 Direct regression/Heatmap-based와 Top-down/Bottom-up으로 다시 나눌 수 있다. 이번 세미나는 Single person에서의 Heatmap-based 방식과 Multi-person의 Bottom-up 방식에 대해 소개되었다. Heatmap-based 방식의 모델은 관절별 좌표를 직접 예측하는 Direct regression과는 달리 각 관절이 나타날 확률을 추정한다. 따라서 이미지가 주어지면 CNN을 통해 feature map을 추출하고 여기에서 관절이 있을 법한 부분이 높은 확률을 갖도록 학습하는 방식이 된다. 이 방식의 대표적인 연구로 Pose Machines가 소개되었다. 이 모델의 특징은 convolution 연산을 거친 관절수만큼의 heatmap을 context feature로 활용하여 다시 이미지 feature와 결합하는 것이다. 이것을 stage 6까지 반복하는 학습 과정을 거친다. Multi-person 문제에서는 기존의 top-down 방식이 사람을 먼저 인식하고 각 사람의 자세를 추정하는 것인데, 사람 인식이 안되거나 많을 경우의 단점을 극복하고자 bottom-up 방식이 등장하였고 OpenPose가 대표적인 모델이다. 따라서 OpenPose에서는 이미지에서 관절을 먼저 인식하고 서로 연결하여 각 사람의 자세를 추정한다. HPE에 대해 굉장히 자세하면서도 알기 쉽게 설명해준 세미나였다. 전체적인 계층도부터 대표적인 모델의 구조와 작동 방식까지 정말 많이 공부하고 준비한게 느껴졌다. HPE 분야가 중요한 문제이지만 쉽지 않은 분야라고 생각되는데 상민이의 HPE 연구가 잘 진행되길 응원한다.

오늘은 Intermediate Human Pose Estimation에 대한 세미나가 진행되었다. 해당 세미나를 듣기 전에는 해당 분야에 대해 접할 기회가 적어 ‘자세를 추정하는 것이 왜 필요하고 중요한 것인가?’ 궁금증이 있었는대, 이를 해결해주는 세미나였다. 더불어 세부적인 알고리즘 설명으로 single person pose estimation, multi person pose estimation에 대한 대표적 모델 설명이 진행되었다. 관심 분야가 아니면 디테일한 설명을 접하기 어려운대 이렇게 세미나를 진행해준 상민이에게 고마움을 전한다.

이번 세미나는 "Intermediate Human Pose Estimation"을 주제로 진행되었다.

인간의 자세를 추정하는 것은 인간의 행동을 인식하고 예측하는 등 다양한 task가 존재하기 때문에 딥러닝 이전부터 CV분야에서 연구가 활발하게 이루어지고 있었다. 과거 기하학 등 여러가지 Pose Estimation 방법이 있었지만, 현재는 Skeleton, Volume 등을 이용하여 가상 현실, CG 제작 등 다양한 활용 분야가 존재한다. 이때 Skeleton 또는 Volume을 예측하기 위하여 관절 좌표를 예측하며 2d pose estimation, 3d pose estimation를 진행하게 된다. 더 나아가 하나의 객체의 관절 좌표를 추정하는 것 뿐만 아니라 여러가지 객체의 관절 좌표를 추정하는 것 까지 많은 발전이 이루어졌다.

pose estimation의 전반적인 흐름부터 재미있는 예제까지 볼 수 있어 흥미로운 세미나였다. 좋은 세미나를 진행해준 상민이에게 감사의 말을 전하며, 잘 쌓아 올려서 좋은 연구 성과도 볼 수 있기를 기대한다.

오늘 세미나는 Intermediate Human Pose Estimation을 주제로 상민이가 진행했다. 본 세미나를 듣기 이전에는 이미지를 이용하여 좌표를 예측하는 문제가 과연 얼마나 어려울지 감이 오지 않았다. 이번 세미나로 Human Pose Estimation주제에 다양한 관점과 연구동향을 살펴볼 수 있었다. 상민이 석사경진대회 발표 때 이 Human Pose Estimation 응용을 응급 상황에 적용할 계획으로 말해준 것 같은데 현실적으로 매우 중요하고 유용한 연구주제 인 것 같다. Application에 대한 기여가 뚜렷하니 좋은 연구성과로 이어지면 좋겠다. 특히 오늘 세미나는 상민이 발표 스킬이 돋보였다. 마지막 동영상에서 즐거운 음악으로 stop한 것이 인상적이다. 마지막까지 즐겁게 들을 수 있었다. 많은 내용을 명료하지만 자세히 설명하는 것은 어려운데 수고 많았을 것 같다. 두고두고 필요할 때마다 청취해야갰다.

이번 세미나는 “Intermediate Human Pose Estimation”을 주제로 진행되었다. Human Pose Estimation은 사람의 인체 부분 중 각 관절의 위치를 올바르게 측정하는 task를 진행하며 다양한 분야에서 활발하게 활용되고 있다. 특히 2D Pose Estimation은 RGB 이미지를 입력으로 받아 각 관절의 x, y좌표를 출력하고, 이를 기반으로 자세를 추정한다. 평가지표로는 관절 추정 좌표와 정답 좌표간의 거리를 기반으로 정답을 판단하며 정답 관절의 수의 비율인 Percentage of Correct Key Points (PCK)와 Average Precision (AP)를 사용한다. Single Person Pose Estimation 중 Heatmap-based 방법은 정확한 관절의 좌표 대신 관절이 나타날 확률을 heatmap의 형태로 추정하는 방법론이다. 대표적으로 활용되는 Convolutional Pose Machines 방법론은 다른 부위의 관절 정보도 함께 포함한 후 타겟 관절을 잘 추정하고자 학습한다. 하지만 해당 방법론은 이미지 내에 여러 사람들이 존재할 때에는 여러 사람의 관절 좌표를 탐지하기에 어려움이 있다는 단점을 갖고 있다. 이를 개선한 Multi Person Pose Estimation 중 Bottom-up approach는 한 이미지 내의 관절을 먼저 감지한 후 사람의 자세를 추정하는 방법론이다. 특히 OpenPose 알고리즘은 Part Affinity Fields (PAFs)를 추정하여 동일 인물 내의 관절 간 연결을 올바르게 표현하고자 하였다. 본 방법론은 기존 선행 연구의 개별 이미지를 처리하는데 발생한 속도 문제를 대폭 개선하였다는 특징도 갖고 있다. Human Pose Estimation 분야의 전반적인 흐름을 파악하고 구체적인 방법론들에 대해서도 살펴볼 수 있어 의미있는 세미나였다.

이번 세미나는 intermediate human pose estimation을 주제로 상민이가 발표해 주었다. 그 중에서 지난 번 용원이형의 세미나에서 소개되지 못했던 Heatmap-based approach와 Bottom-up approach를 설명했다.

Human pose estimation은 과거부터 컴퓨터 비전 분야에서 중요한 task였으며 딥러닝의 발전으로 그 성능이 크게 향상 되었다. 이러한 HPE 는 중요 관절들의 좌표를 찾는 문제로 치환하여 문제를 해결하는 skeleton-based model과 3D-mesh 데이터를 통해 사람의 형태를 예측하는 volume-based model, 크게 두 분야로 연구가 되고 있다.

이번에 소개된 Heatmap-based approach와 Bottom-up approach는 모두 skeleton-based model로 관절의 좌표를 예측하기 위한 방법론들이다. 먼저 heatmap-based approach은 single person estimation에서 쓰이는 방법론이다. 간단하게 관절 별 좌표 대신 각 관절이 나타날 확률을 이미지의 격자마다 추정하여 관절이 있는 격자를 예측한다. 이를 여러 stage 진행하며 학습이 진행된다.

Bottom-up approach에 대표적인 방법론은 Openpose인데 top-down과 bottom-up의 가장 큰 차이는 관절을 먼저 찾을 것인가 사람을 먼저 찾을 것인가에 있다. 전자는 관절을 먼저 찾고 알맞는 스켈레톤형상을 만들게 된다. 이 때 사람이 여러명이라면 관절을 어떻게 연결할 것인가의 문제가 생기게 되는데, 이를 part affinity fields를 추정하여 해당 문제를 해결한다.

이번 세미나를 통해서 Human Pose Estimation에 대해 더 자세히 알 수 있게 되었다. 세미나를 준비해준 상민이에게 감사를 전하며 세미나 후기를 마친다.

금일 세미나는 human pose estimation을 주제로 진행되었다. Human pose estimation은 인체의 머리, 몸, 팔, 다리 등의 관절 위치를 올바르게 추정하는 것이 목표이다. Human pose estimation은 contour-based model, skeleton-based model, volume-based model 순으로 발전해오고 있다. 최근에는 skeleton-based model과 volume-based model이 주로 연구되고 있다. Skeleton-based model은 신체 골격 구조를 구성하는 관절과 그들 간의 연결로 이루어진 모델이며 일반적으로 17개의 관절을 사용하여 전체의 pose를 구성한다. Volume-based model은 3D mesh 데이터를 활용하여 3D pose나 3D body shape 추정하는 task에 주로 사용된다. Human pose estimation에서의 challenges로드는 occlusion 문제가 있다. 이는 추정해야하는 pose가 다른 물체에 의해 가려지는 현상을 의미하며, 이로 인해 관절의 올바른 추정이 어렵다. 이외에도 인접한 사람들간의 관절 위치 중복, 카메라의 각도 및 빛으로 인한 문제등이 있다. 그럼에도 불구하고 human pose estimation은 다양한 분야에서 활용된다. 본 세미나는 human pose estimation의 다양한 갈래 중 2D pose estimation을 중심으로 진행한다. Human pose estimation은 생소한 분야라고 생각했는데 금일 세미나에서 쉽게 설명해주어 흥미롭게 청취할 수 있었다. 최신의 연구 내용들과 더불어 과거부터의 연구의 동향도 다루고 있어서 유익한 세미나였다.