지스트(광주과학기술원)는 융합기술학제학부 소속 ‘팀 지스트’가 ‘페스티벌 나다 2023’에서 청각장애인도 즐길 수 있는 음악과 공연 기술을 선보인다고 22일 밝혔다.

2012년 시작된 국내 최대 배리어프리 음악축제인 \'페스티벌 나다\'는 장애를 가진 관객을 위한 전시·체험을 지원한다. AI, 미디어아트 등 첨단 기술을 접목해 청각장애인도 즐길 수 있는 라이브 공연을 진행한다.

올해는 부산 해운대구 부산시청자미디어센터에서 25, 26일 열린다.

팀지스트는 청각장애인을 위한 ‘음악·댄스 실감가시화 기술’을 개발하는 연구팀으로 융합기술학제학부 홍진혁 교수가 김경중, 이지현, 송은성 교수와 함께 지도하고 있다.

크라잉넛, 배희관밴드의 라이브 공연에는 팀지스트가 개발한 AI 수어 댄서 ‘소리토끼’가 출연해 흥을 더할 예정이다.

청각장애인이 노래를 시각적으로 즐길 수 있도록 가사를 토대로 수어 댄스를 생성하는 AI 기술이 적용됐다.

아울러 5개 부스를 마련해 청각장애인을 위한 실감가시화 기술을 흥미로운 콘텐츠로 선보일 예정이다.

▲AI 수어 댄서 소리토끼 ▲소리를 보고 만지고 느끼고 만들어 보는 도구인 비즈햅 신시사이저 ▲다양한 소리 캐릭터가 등장하는 음악 교육 및 악기 연주 프로그램인 비즈(Viz)-스테이지 음악 교육 도구▲시각과 촉각으로 즐기는 댄스 게임인 댄스 위드 저스트댄스 ▲치아를 통해 음악을 듣는 구강형 골전도 마우스피스가 전시된다.

홍진혁 교수는 “이번 축제에 참여하게 되어 청각장애인 관객의 생생한 피드백을 들을 수 있는 좋은 기회를 얻었다”며

“팀지스트는 기술을 개발하는 데만 그치지 않고 연구실 밖에서 다양한 실증을 지속해 나갈 것”이라고 밝혔다.

이번 연구는 지스트가 주관하고 ㈜씨케이머티리얼즈랩, 한국과학기술원, 세종대학교, ㈜핸드스피크가 공동연구기관으로 참여해 수행됐다. 한국콘텐츠진흥원의 청각장애인의 음악 향유를 위한 음악·댄스 실감가시화 기술 개발 사업의 지원을 받았다.

/권형안 기자