넷마블(대표 권영식)이 5일 미국 LA에서 개최된 컴퓨터 그래픽 분야 세계 최고 권위 행사인 '시그라프 2019(SIGGRAPH 2019)'에서 음성에 맞춰 자연스러운 얼굴 애니메이션을 자동으로 생성하는 '다중작업 방식 음성기반 얼굴 애니메이션(Multi-Task Audio-Driven Facial Animation, 이하 MTADFA)'을 발표했다.

MTADFA는 넷마블이 자체 개발한 딥 뉴럴 네트워크인 멀타넷(MulTaNet)을 활용한다. 실험 데이터에서 제공하는 서로 다른 캐릭터 14명의 음성-얼굴 애니메이션을 동시에 학습해 더 많은 캐릭터의 얼굴 애니메이션을 확장 생성할 수 있다.

개별 캐릭터를 따로 학습시켜야만 하는 기존 방식은 인공지능에 충분한 데이터를 제공하지 못해 최종 생성된 애니메이션에서 떨림 현상이 발생하거나 새로운 언어에 대한 동기화가 맞지 않는 문제점이 있었다. 넷마블은 이를 해결하고 진화시키는데 초점을 맞췄다.

오인수 넷마블 AI센터 실장은 “성 입력에 맞춰 자연스러운 얼굴 애니메이션을 자동 생성해주는 기술 개발을 통해 이용자에게 더 높은 생동감과 몰입감을 제공하는 모바일 게임을 개발할 수 있다”며 “많은 시간과 노력이 필요한 아트 제작 과정도 자동화할 수 있어 개발 효율성이 더욱 향상될 것”이라고 말했다.