Технології

Розроблений додаток для розпізнавання мелодії по відео без звуку

Піаніно

Про незвичайну технологію розповіли дослідники Вашингтонського університету. Алгоритм на основі штучного інтелекту дозволяє розпізнати і відтворити мелодію, навіть якщо її зовсім не чутно: він орієнтується тільки на відео натискання клавіш на фортепіано.

Нейромережа Audeo розроблена командою вчених Вашингтонського університету. Вона здатна не тільки ідентифікувати мелодію без прослуховування звукового ряду, але і відтворювати її за допомогою електронних інструментів. Для навчання дослідники використовували 172 тисячі кадрів, складених по відео гри на піаніно Пола Бартона.

Читайте також:  HUAWEI запатентувала методику видалення подряпин з дисплеїв смартфонів

Перше відео-це ролик з віддаленим звуком, продемонстрований нейромережі:

Друге відео показує відтворений нейромережею звук:

Перше, що робить нейромережа, — це аналізує, які клавіші натискає людина, а після цього фіксує порядок, визначаючи окремі ноти і їх розташування. Також алгоритм здатний бачити силу натискання на кожну клавішу і час її утримання, що дозволяє не тільки правильно ідентифікувати мелодію, але і скопіювати стиль гри піаніста, а також акустичні характеристики інструменту.

“Ми сподіваємося, що наше дослідження відкриє нові способи взаємодії з музикою. Наприклад, Audeo може бути розширено до віртуального піаніно з камерою, що записує тільки руки людини. Крім того, помістивши камеру поверх справжнього піаніно, ПЗ може допомогти вчитися студентам-новачкам”, — заявляють дослідники.

Читайте також:  AMD вперше за 15 років обійшла Intel на ринку десктопних процесорів

Після того як роботу програми протестували, з’ясувалося, що вона набагато ефективніша за існуюючі додатки для розпізнавання музики. Наприклад, SoundHound володіє точністю близько 86%, в той час як у Audeo вона вже зараз приблизно 93%. На думку дослідників, в майбутньому їм вдасться поліпшити цей показник.

Джерело: sciencedaily.com