반도체 제조사 NVDIA는 Fugatto”(Foundational Generative Audio Transformer Opus 1)라 불리는 새로운 생성형 AI 모델을 발표하면서 이 AI 모델이 음악뿐만 아니라 짖어대는 트럼펫이나 야옹거리는 색소폰과 같이 한 번도 들어본 적 없는 새로운 소리를 생성해내거나 기존 음악의 변형이나 분리에도 활용할 수 있다고 밝혔습니다.

이 모델은 음악, 음성, 소리를 자유롭게 조합하여 생성할 수 있는데 사용자의 프롬프트에 따라 음악 클립을 생성하고, 기존 음악에 악기를 추가하거나 제거하며, 악기와 보컬의 스템을 분리할 수도 있습니다. 무엇보다도 가장 차별되는 포인트는 완전히 새로운 영역을 탐구하여 창의적인 개념을 실현할 수 있는 독창적인 소리 생성 능력이라고 합니다.

Fugatto는 음악 제작자가 곡의 초기 아이디어로 다양한 실험을 해보거나 스타일, 악기, 음성을 테스트하는 데 사용할 수 있습니다. 사용자는 Fugatto에 특정 프롬프트를 제공하여 사운드를 생성하거나 기존 멜로디에 오디오 효과를 적용할 수도 있습니다.

예를 들어, 한 시연에서는 신스 라인을 Fugatto에 업로드한 후 드럼 파트를 추가하도록 요청했으며, 또 다른 시연에서는 간단한 피아노 멜로디를 여성 보컬의 오페라 스캣 스타일로 변환하도록 지시했습니다. 결과는 다소 로우파이 느낌을 가지고 있지만 인상적입니다.

Fugatto를 일반 공개 여부나 세부사항은 아직 밝히지 않았습니다.

https://blogs.nvidia.com/blog/fugatto-gen-ai-sound-model/