프랑스 인공지능 연구소 키우타이(Kyutai)가 미렐로(Mirelo) 팀과 함께 여러 악기가 섞인 음악을 자동으로 채보해 MIDI로 변환하는 오픈웨이트 모델 ‘뮤스크립터(MuScriptor)’를 공개했다. 자동 음악 채보(AMT)는 오디오 녹음을 음표 같은 기호 정보로 바꾸는 기술로, 단일 악기 채보는 이미 상당한 수준에 이르렀지만 여러 악기가 뒤섞인 전체 믹스를 옮기는 일은 여전히 어려운 과제로 남아 있었다. 뮤스크립터는 다양한 장르의 실제 다악기 녹음을 학습해 이 간극을 메우는 것을 목표로 삼았다.
뮤스크립터는 디코더 기반 트랜스포머 구조로, 짧은 오디오 구간의 멜 스펙트로그램을 입력받아 음높이·타이밍·악기 정보를 담은 MIDI형 토큰을 자기회귀 방식으로 예측한다. 사실상 채보를 언어 모델링 과제로 바꾼 셈이다. 허깅페이스에는 스몰(1억300만), 미디엄(3억700만, 기본값), 라지(14억) 등 세 가지 크기의 가중치가 공개됐다. 추론 코드는 MIT 라이선스지만 가중치는 CC BY-NC 4.0 라이선스여서 상업적 이용은 제한된다.
학습은 세 단계로 진행된다. 사전학습에는 약 145만 개의 MIDI 파일을 학습 중 실시간으로 오디오로 합성해 사용했으며, 음높이 이동과 템포·강약 변화, 악기 무작위화, 250종 이상의 사운드폰트 등을 조합해 사실상 무한에 가까운 오디오 변형을 만들어냈다. 미세조정 단계에서는 17만 건의 실제 녹음으로 이뤄진 내부 데이터셋을 활용했는데, 여기에는 음표 주석이 정렬된 1만1000시간 이상의 오디오가 포함된다. 마지막으로 사람이 직접 검증한 300개 트랙으로 강화학습 후처리를 거쳐 더 깔끔한 채보를 선호하도록 다듬었다.
성능 평가에서 뮤스크립터는 실제 데이터의 힘을 뚜렷이 드러냈다. 라지 모델 기준으로 372개 보류 트랙을 대상으로 한 자체 평가에서, 악기까지 맞혀야 하는 가장 엄격한 지표인 멀티 F1이 48.2점을 기록해 기준선 모델 YourMT3+의 21.9점을 크게 앞섰다. 합성 데이터만으로 학습했을 때는 온셋·멀티 지표가 약했지만, 실제 녹음 데이터를 더하자 모든 지표가 약 20점씩 뛰었고, 강화학습 후처리가 온셋 타이밍을 한층 더 다듬었다. 교차 데이터셋 시험에서도 합창 데이터셋의 프레임 F1이 51.0에서 80.7로 오르는 등 같은 경향이 확인됐다.
출력이 표준 MIDI 형식이라 활용 폭도 넓다. 프로듀서는 믹스에서 베이스라인을 MIDI로 추출해 편집할 수 있고, 음악학자는 옛 녹음을 편집 가능한 악보로 바꿔 분석에 쓸 수 있다. 개발자는 악기 조건을 지정해 드럼만 따로 채보하는 것도 가능하다. 다만 가중치가 비상업 라이선스라 상업 배포가 제한되고, 토큰화 과정에서 강약(벨로시티) 정보가 빠지며, 합창처럼 까다로운 스타일에서는 온셋·오프셋 정확도가 낮게 유지되는 점은 한계로 지적됐다.
저작권자 © STORIUM 무단전재 및 재배포 금지
