Щоб нейромережа могла щось зробити з музикою, її треба спочатку перетворити на дані. Найпростіший варіант — MIDI: кожна нота як подія з висотою, тривалістю і гучністю. Або piano roll — двовимірна матриця "висота × час", де клітинка вказує, чи звучить нота. Зручно для CNN, але тембр і живість виконання — губляться.
Революцію зробили нейронні аудіокодеки. EnCodec від Meta і SoundStream від Google стискають 44 000 семплів аудіо за секунду до ~75 дискретних токенів — а це означає, що генерацію музики можна трактувати як мовне моделювання. Саме на цьому будуються MusicGen і MusicLM: граєш у токени як у слова.
Але є проблема, яку токени погано вирішують: музика поліфонічна. Кілька голосів звучать одночасно, і кожен має власні залежності від інших. Текст — лінійний. Музика — ні. Саме тут з'являється ідея музичних графів.
Музичний граф — це мережа, де вузли це ноти, а ребра — типи зв'язків між ними. Onset-ребра з'єднують ноти, що починаються одночасно. Consecutive-ребра — послідовні ноти в одному голосі. During-ребра — ноти, що звучать всередині тривалості іншої. Гармонічні ребра — ноти одного акорду. Граф бачить структуру там, де послідовність токенів сліпа.
Центральна фігура цього напрямку — Еммануїл Каристінаіос з Університету Йоганна Кеплера в Лінці (Австрія). Під керівництвом Герхарда Відмера він захистив дисертацію "Symbolic Music Analysis with Graph Neural Networks" у 2024 році і побудував цілу екосистему графових інструментів для музики.
Його ChordGNN (ISMIR 2023) використовує графову нейромережу для римського аналізу акордів — тобто визначення гармонічних функцій у тональному контексті. Новий алгоритм edge contraction pooling групує ноти в акорди, а акорди — у прогресії. Результат перевершив попередні CNN і CRNN-моделі.
GraphMuse — Python-бібліотека 2024 року для символьної обробки музики через графи, побудована на PyTorch Geometric. А AnalysisGNN (2025) — уніфікована модель, що одночасно аналізує каденції, тональність, фразову структуру та метричну позицію в партитурі. Тобто одна мережа чує форму твору цілком.
Паралельно KAIST у Кореї ще у 2019 році застосував графові нейромережі для моделювання виразного фортепіанного виконання: модель вчилась передбачати людські відхилення темпу і гучності від нотного запису. По суті — вчилась розуміти інтерпретацію.
Music Transformer від Google Brain (ICLR 2019) заклав фундамент трансформерного підходу. Механізм відносної уваги зі skewing-процедурою дозволяє моделі вловлювати ритмічні патерни і самоповторення. Перший доказ, що трансформери можуть утримувати довготривалу структуру в MIDI.
Jukebox від OpenAI (2020) пішов далі — пряма генерація аудіо на 44 кГц із вокалом. Трирівневий VQ-VAE і до 5 млрд параметрів. Навчався на 1,2 млн пісень. Знав стилі артистів, жанрові патерни, базові мелодії. Але рендер 1 хвилини займав ~9 годин, а вокал залишався нерозбірливим.
MusicLM від Google (січень 2023) перетворив описи тексту на музику через спільний ембединг-простір. "Меланхолійне фортепіано з дощем у фоні" — і модель генерує саме це. Навчалась на 280 тисячах годин музики. Але акордові прогресії і форму пісні не контролювала — а це означає, що "розуміння" структури залишалось поверхневим.
MusicGen від Meta (NeurIPS 2023) спростив архітектуру до одноетапного трансформера і перевершив MusicLM у людських оцінках якості. Відкритий код (MIT), ваги під CC-BY-NC. Мінус — без вокалу: тренувався на інструментальній музиці після відділення голосу.
Suno і Udio заповнили цю прогалину комерційно: повні пісні з текстом і вокалом, до 8–15 хвилин. Архітектури закриті, але результат вражає. 2 млн платних підписників Suno генерують 7 млн пісень на день. Відкрита альтернатива — YuE від HKUST (лютий 2025, Apache 2.0) на базі LLaMA 2.
Тепер до питання розуміння. MusicTheoryBench (ACL 2024) — 372 питання з гармонії, ритму, контрапункту. GPT-4 з ланцюжком міркувань набрав 69,9% на питаннях знань і ледве перевищив випадковий рівень у завданнях на музичне міркування. LLaMA2-7B — фактично 33%, тобто вгадував.
ZIQI-Eval — понад 14 тисяч питань по 56 підкатегоріях музики. Середній F1 по 16 протестованих LLM: 58,68. GPT-4 — найкращий результат F1 63,04 на розумінні. Більшість моделей між 30 і 50. Грубо кажучи: жодна модель не склала б іспит на музичному факультеті.
MuChoMusic (ISMIR 2024, номінація Best Paper) перевірив мультимодальні моделі на реальних треках. Навіть найкращі відповіли правильно менш ніж у 50% випадків. Дослідники виявили: моделі часто ігнорують аудіосигнал і відповідають на основі тексту. Тобто вони "слухають" питання, але не музику.
ChatMusician (ACL Findings 2024) спробував вирішити це інакше: LLaMA2-7B донавчили на 4 млрд токенів ABC-нотації, трактуючи музику як "другу мову". Слухачі в 76% випадків віддали перевагу його генерації перед GPT-4. Але сама команда визнала: "залишається значна територія для підкорення".
Окремий острів — музичні онтології: Music Ontology (Queen Mary University of London, 2007), DOREMUS (148 тис. творів, 26 тис. артистів), Polifonia (EU Horizon 2020, 15 онтологій). Формалізоване знання про музику у вигляді графів існує вже давно. Але прямої інтеграції з LLM у рецензованій науці практично немає. Очевидний незайнятий простір.
Підсумок парадокс: моделі вже генерують музику, яку важко відрізнити від людської — але не розуміють, чому I–IV–V–I звучить завершено, не можуть утримати форму пісні довше 90 секунд і не чують поліфонію так, як чує її людське вухо. Графові нейромережі — найближчий підхід до справжнього структурного розуміння. Але відповідь ще попереду.