Minifusion에서 라이브 음색 변환 시스템 베타버전 공개 ETC.

Minifusion에서 신경망 기반으로 실시간으로 한 악기의 소리를 다른 악기처럼 변환해주는 라이브 음색 변환 시스템 베타버전을 공개했습니다. 새롭게 공개된 라이브 음색 변환 시스템 Minifusion 프로젝트는 런던 퀸메리대학교의 박사과정 연구자인 Franco Caspe가 자신의 연구의 일환으로 개발한 것이며 이번 베타는 사용자 의견을 받아 기능을 발전시키기 위한 단계입니다.

Minifusion은 신경망을 활용해 실시간 음색 변환을 수행합니다. 즉, 한 사운드를 연주하거나 발성하면 즉시 다른 악기나 음색으로 변환할 수 있으며, 예를 들어 비트박싱을 실제 드럼 사운드로, 일렉 기타를 보우드 스트링 계열의 음색으로 바꿀 수 있습니다. 공식 웹사이트에서 이러한 데모 영상도 확인할 수 있습니다.

플러그인을 받기 위해서는 개발자가 준비한 짧은 설문을 작성하고 이메일 주소를 제공하면 됩니다. 설문은 1분 이내로 완료할 수 있으며, Minifusion 같은 제품에 대한 선호도만 묻는 내용입니다.

Minifusion은 macOS(M1 이상)와 Windows 11 및 10(향후 업데이트는 10에서 보장되지 않음)을 지원하며, AU·VST3 포맷으로 제공됩니다. 또한 BRAVE 모델과의 호환성을 갖추고 있어 사용자가 직접 모델을 학습해 기능을 확장할 수도 있습니다. 사이트에서는 기술적 측면에 관심 있는 사람들을 위해 현재 데이터셋도 공개하고 있습니다.

개발자는 이 기술이 사운드 디자인, 라이브 퍼포먼스, 아이디어 스케치 작업에 도움이 될 수 있다고 보고 있으며, 특히 연주하기 어려운 악기나 음색을 빠르게 테스트해 볼 수 있다는 점이 유용합니다. 예를 들어 실연이 어렵거나 MIDI 키보드에서도 표현이 까다로운 악기 아이디어를 목소리로 빠르게 시도해 보는 방식입니다.

Minifusion은 아직 초기 단계지만, 기존 아이디어를 확장하거나 새로운 소리를 탐색하는 데 도움을 줄 수 있는 잠재력을 가지고 있어 앞으로의 발전이 기대되는 프로젝트입니다.

https://minifusion.live