유튜브, OTT, 인터넷방송 등 미디어 플랫폼의 콘텐츠에 접근하는데 한계가 있는 농인을 위해 실시간 감정 수화 번역을 제공하는 “AI 수화 아바타”를 구현하는 것이 목적이다. 이 프로젝트는 농인들이 주류 미디어 플랫폼에서 자막만을 지원받는 상황에서, 영상의 음성과 감정을 수화로 전달하여 자막의 한계를 극복하는 것을 목표로 한다.
- 주제선정 배경
- 청각장애인들은 뉴스나 방송에서 매체의 내용과 분위기를 수어 통역사를 통해 전달 받는다. 이때 자막 뿐 아니라 수어도 제공하는 이유는 자막으로 전달하기 힘든 비언어적 표현을 전달할 수 있기 때문이다. 하지만 주류 미디어 플랫폼에서는 자막만을 지원하여 농인들의 콘텐츠 접근성이 떨어진다.
- 개발 내용
- SW
- 음성 데이터 추출: 브라우저 버전에서는 영상 음성 파일을 추출하고, 모바일 버전에서는 실시간 음성 출력 스트림을 덤프한다.
- 수어 토큰 변환: 수화어 변환 API를 사용하여 수어로 번역하고, 동작 데이터셋을 통해 아바타 동작을 구현한다.
- 감정 정보 추출: 감정 인식 AI를 활용하여 감성 정보를 추출한다.
- 수어 생성: 언리얼 엔진을 사용하여 아바타를 렌더링한다
- SW
- 개발 환경
- 개발 언어: Java, Python, C++
- 사용 IDE: Android Studio, Unreal Engine
- 주요 라이브러리: pandas, scikit-learn
이 프로젝트는 [라이센스 명시]에 따라 사용됩니다.