Baru-baru ini peneliti Google telah menciptakan kecerdasan buatan (AI) yang dapat menghasilkan karya musik dari input teks, mirip dengan bagaimana ChatGPT dapat mengubah perintah teks menjadi sebuah cerita dan DALL-E menghasilkan gambar dari perintah tertulis. Program AI ini dapat mengubah input teks menjadi musik berdurasi hitungan menit.

Model AI itu bernama MusicLM dan penelitian itu dipublikasikan di Github. Serangkaian sampel yang diproduksi menggunakan model tersebut juga telah diunggah. Sampel itu disebut MusicCaps yang pada dasarnya merupakan kumpulan data yang terdiri dari 5,5 ribu pasangan musik-teks, dengan deskripsi teks yang disediakan oleh para peneliti.

“Kami memperkenalkan MusicLM, model yang menghasilkan musik fidelitas tinggi dari deskripsi teks seperti 'melodi biola yang menenangkan didukung oleh riff gitar yang terdistorsi'. MusicLM menampilkan proses pembuatan musik kondisional sebagai tugas pemodelan sequence-to-sequence hierarkis, dan menghasilkan musik pada 24 kHz yang konsisten selama beberapa menit,” menurut publikasi itu.

Melodi 5 Menit

Sampel yang ada meliputi klip berdurasi 30 detik serta musik berdurasi 5 menit yang terdengar seperti lagu pada umumnya. Sampel tersebut dibuat dari deskripsi paragraf panjang. Semakin jelas instruksi yang diberikan, semakin baik musiknya. Selain itu, contohnya juga mencakup genre, getaran, dan bahkan instrumen tertentu.

“Audio dihasilkan dengan memberikan urutan perintah teks. Ini memengaruhi bagaimana model melanjutkan token semantik yang berasal dari keterangan sebelumnya, ” kata para peneliti.

Story Mode

Ada juga demo “story mode” di mana model ini pada dasarnya diberikan beberapa input teks dengan durasi waktu untuk setiap jenis musik yang perlu dibuat.

“Eksperimen kami menunjukkan bahwa MusicLM mengungguli sistem sebelumnya baik dalam kualitas audio maupun keakuratan terhadap deskripsi teks. Selain itu, kami mendemonstrasikan bahwa MusicLM dapat dikondisikan pada teks dan melodi yang dapat mengubah melodi siulan dan senandung sesuai dengan gaya yang dijelaskan dalam keterangan teks,” catat para peneliti.