🎮 외노자의 강제 휴식과 AI 프로젝트 - MDM 기반 애니메이션 생성 및 학습 툴 개발

한 달 쉬는 일이 쉽지 않은 외노자 인생에, 뜻밖의 강제 휴식이 생겼습니다. 마침 4월 3일, NIPA-Google ML Bootcamp 참가자를 4월 5일까지 모집한다는 소식을 듣고 바로 등록! 이후 KB 프로젝트 종료와 동시에 부트캠프 참여가 시작됐습니다.

🧠 AI? 배우고 싶었지만…

“AI를 제대로 배워보고 싶다!”는 생각으로 참여했지만, 아쉽게도 커리큘럼은 간단한 이론 설명 수준. 하지만 좋은 팀원들을 만난 건 큰 수확이었습니다.저를 포함해 4명이 팀을 꾸려, 그동안 머릿속에서만 맴돌던 아이디어를 직접 만들어보기로 했습니다.

🎮 프로젝트 개요: 생성형 AI 기반 게임을 위한 모션 생성 AI 모델 개발

제가 생각했던 아이디어는 “생성형 AI 모델을 활용한 게임 서비스 개발”입니다. 그중에서도 개인적으로 혼자 해결하기 어려웠던 부분인 모션 생성 모델을 R&D 하기로 결정했습니다.

---

🤖 모델 선택: Motion Diffusion Model (MDM)

다양한 모션 생성 AI 모델을 검토했으며, MotionCLIP과 MDM(Motion Diffusion Model) 중
최종적으로 MDM을 선택했습니다. 선택한 이유는 다음과 같습니다:

✔️ 시간 구간별로 학습 데이터 구성 및 학습 가능
✔️ 추후 라벨링 기반의 세분화된 재학습에 용이

 

🛠️ 개발 과정 요약

초기에는 모델 개선을 목표로 했으나, 부트캠프 기간이 3주, 그 중 2~3일은 환경 세팅, 2일은 발표 준비로 소요되었기에 최종적으로는 기존 모델에 추가 데이터 학습 및 개선 성능 검증으로 목표를 조정했습니다.

⚙️ 시스템 구조 흐름

• 초반: Frontend → Backend → AI Model Server
• 후반: Frontend → AI Model Server (시간 관계로 구조 단순화)

(초기 설계)

Backend는 멀티 에이전트 + Celery 기반 Task Manager까지 구현은 완료했지만, MDM의 데이터 포맷 이슈로 인해 최종 연동은 하지 못한 점이 아쉬웠습니다. 소스는 모두 공개했으니 참고해보세요!

📦 프로젝트 리스트

총 4개의 레포지토리로 구성된 프로젝트를 진행했습니다:

• MDM_Model
  • MDM Fork 기반
  • API 기능 추가, 결과는 HumanML3D 포맷으로 출력
• Dataset Building Tool for MDM
  • 애니메이션 데이터 생성/뷰어/라벨링 도구
  • 현재는 MDM_Model과 직접 연동 가능
• pose_detect
  • 영상에서 포즈 데이터를 추출하는 툴
• backend
  • Front와 MDM_Model 간 Task 관리 서버 (현재는 미적용)

🎬 결과 및 시연

 

 

• 처음엔 Gemma3 기반 모델로 테스트하다가, 데모용으로 Gemini로 교체
• 한글 입력도 영어로 자연스럽게 변환되어 처리됨
• 원래는 GLB 캐릭터 스킨에 모션을 적용할 계획이었지만, 시간 부족으로 본만 따로 생성
  • 이 부분은 개인적으로 작업해 마무리 예정
• Backend 역시 Gemma3와 같은 On-Premise 구조로 재설계 및 연동 예정

 

🚀 성능 및 활용 팁

• MDM 모델 학습 시간: RTX 4090 기준 약 1일
• 실행시 GPU 메모리 사용량: 약 1GB 이하 → 누구든 GPU만 있으면 쉽게 테스트 가능

💡 GPU 리소스가 부족하다면 Vast.ai를 활용해 저렴하게 사용할 수 있습니다!

후다닥!! 내용 대충 정리하고 openai로 블로그에 맞게 변경했는데.. 저 아이콘들은 괜찮은 듯 하지만 별로네요 -_-a 그래도 없는 것보다는 좀 좋은 듯.. :)