[학회 후기]

2025년 대한산업공학회 추계 학술대회는 카이스트에서 2일간 개최되었으며, 오랜만에 방문한 캠퍼스는 평지 위로 깔끔하게 배치된 건물들과 맑은 날씨 덕분에 더욱 쾌적하게 느껴졌다. 호수 주변으로 거위들이 천천히 지나가는 모습이 인상적이었고, 전체적으로 포근하고 차분한 분위기를 느낄 수 있었다. 개인적으로는 졸업을 앞두고 있어 연구실에서 참여하는 마지막 학회가 될 것 같아 아쉬운 마음이 남기도 했다. 그러나 이번 학회를 통해 다양한 산업공학 분야의 연구 방향과 최신 흐름을 접할 수 있었으며, 여러 연구자들의 발표를 들으며 많은 인사이트를 얻을 수 있었다. 짧지만 의미 있었던 경험이었고, 앞으로의 연구를 생각하는 데에도 긍정적인 자극이 되는 시간이였다. 

[발표후기]

주제: 거대 언어 모델과 인간 피드백 기반 강화학습을 활용한 게임 레벨 생성

이번 발표에서는 게임 레벨 생성 자동화 기술의 한계를 해결하기 위한 새로운 접근법인 MarioPref 프레임워크를 소개했다. 게임 개발 과정에서 레벨 설계는 많은 시간과 인력이 요구되는 핵심 작업이지만, 이를 자동화하기 위한 기존 연구들은 충분한 양질의 데이터가 필요하다는 문제점이 있다. 실제 데이터에는 오류가 많거나 규칙을 충족하지 못해 정상적인 플레이가 불가능한 경우가 존재하기 때문에, 자동 생성 모델을 그대로 적용하기 어렵다는 한계가 있었다.

MarioPref는 이러한 문제를 해결하기 위해, 품질이 낮은 슈퍼 마리오 브라더스 레벨 데이터와 조건 프롬프트를 활용해 조건을 만족하는 플레이 가능한 레벨을 생성하는 것을 목표로 한다. 레벨에서 결함이 있는 부분을 마스킹하고 복원하는 과정을 통해 먼저 구조를 보완하고, 이후 인간 피드백 기반 강화학습(RLHF)을 적용하여 플레이 가능성과 조건 충족률을 더욱 향상시켰다.

실험 결과는 긍정적이었다. 비록 데이터 품질이 낮았음에도, 입력된 조건을 잘 반영하면서 실제로 플레이 가능한 레벨을 충분히 생성할 수 있음을 확인했다. 이를 통해 데이터가 부족한 상황에서도 인간 피드백을 활용하면 콘텐츠 품질을 효과적으로 끌어올릴 수 있다는 점을 실증적으로 보여주었다.

질문 1. 인간 피드백은 시간이 많이 들 것 같은데, 실제로는 어느 정도 소요되나요?
실제 실험에서 100개의 피드백을 생성하는 데 약 2시간 정도가 필요했습니다. 이를 기준으로 계산하면 1,000개를 수집하는 데 약 20시간가량 소요될 것으로 예상됩니다.
다만 이번 연구에서는 100개 수준의 피드백만으로도 성능 향상을 확인할 수 있었지만, 사람이 직접 맵을 확인하고 평가해야 한다는 점은 여전히 시간 비용이 드는 요소입니다. 따라서 향후에는 피드백 과정을 더 효율화할 수 있는 도구나 자동화 기법의 도입이 필요하다고 생각합니다.

질문 2. 마리오 게임은 플레이 로그 등 다양한 데이터를 활용할 수 있는데, 다른 방식의 피드백도 가능하지 않을까요?
맞습니다. 마리오 게임은 플레이 로그나 다양한 통계 데이터를 활용할 수 있는 장점이 있습니다. 그러나 이번 연구에서는 실제 게임 레벨 생성 상황을 가정해 사람이 직접 선호를 표현하는 형태의 피드백을 중심으로 진행했습니다.
다른 형태의 피드백, 예를 들어 플레이 데이터 기반 난이도 검증이나 자동 플레이어를 활용한 품질 평가 등도 충분히 적용 가능한 방법이며, 향후 연구에서 확장할 수 있는 방향이라고 생각합니다.

[청취후기]