부산 벡스코에서 열린 한국BI데이터마이닝 추계학술대회에 참가하였다.

Big data platform 세션에서 IT서버장애 예측을 위한 통계적 알고리즘에 대한 발표가 있었다.
 
서버장애는 OS장애, DB장애, network장애, 그리고 application 장애와 같은 종류로 나타날 수 있다.

서버상태를 알려주는 12개의 변수를 이용해 최소 30분전에 이러한 현상을 예측하는 것이 연구의 목적이었다.
 
연구자는 변수간의 비를 이용한 technical index를 제안하고 이를 이용해 reference distribution을 생성하였다.

이를 통해 p-value를 계산하여 임계치 이하의 값이 나오면 이상이라고 판정하는 알고리즘을 제안하였다.

예측 모델링시 도메인 지식을 이용해 초기 변수를 그대로 이용하지 않고 그들의 비를 이용해 새로운 index를 만들어 사용한 점이 흥미로웠다.

같은 세션에서 빅데이터 분석을 위한 슈퍼 컴퓨팅 환경에서 R의 병렬처리에 관한 발표가 있었다.

병령처리 방법에는 크게 OPENMP와 MPI 두가지가 있다.

OPENMP는 공유메모리를 이용하고 쓰레드 기준 병렬처리 방식으로 사용하기 편리하다는 장점이 있다.

MPI는 분산메모리를 이용하고 프로세스 기준 병렬처리 방식으로 CPU간 커뮤니케이션이 필요하여 OPENMP보다 사용법이 까다롭지만 최적화에서 더 나은 성능을 보여준다고 알려져 있다.

발표를 통해 실제 슈퍼 컴퓨터에서 script를 이용해 R의 병렬처리를 어떻게 실행했는지 알 수 있었다.