Технології

Розроблений додаток для розпізнавання мелодії по відео без звуку

Піаніно

Про незвичайну технологію розповіли дослідники Вашингтонського університету. Алгоритм на основі штучного інтелекту дозволяє розпізнати і відтворити мелодію, навіть якщо її зовсім не чутно: він орієнтується тільки на відео натискання клавіш на фортепіано.

Нейромережа Audeo розроблена командою вчених Вашингтонського університету. Вона здатна не тільки ідентифікувати мелодію без прослуховування звукового ряду, але і відтворювати її за допомогою електронних інструментів. Для навчання дослідники використовували 172 тисячі кадрів, складених по відео гри на піаніно Пола Бартона.

Читайте також:  Творці браузерів повстали проти нової технології Google

Перше відео-це ролик з віддаленим звуком, продемонстрований нейромережі:

Друге відео показує відтворений нейромережею звук:

Перше, що робить нейромережа, — це аналізує, які клавіші натискає людина, а після цього фіксує порядок, визначаючи окремі ноти і їх розташування. Також алгоритм здатний бачити силу натискання на кожну клавішу і час її утримання, що дозволяє не тільки правильно ідентифікувати мелодію, але і скопіювати стиль гри піаніста, а також акустичні характеристики інструменту.

“Ми сподіваємося, що наше дослідження відкриє нові способи взаємодії з музикою. Наприклад, Audeo може бути розширено до віртуального піаніно з камерою, що записує тільки руки людини. Крім того, помістивши камеру поверх справжнього піаніно, ПЗ може допомогти вчитися студентам-новачкам”, — заявляють дослідники.

Читайте також:  Комп'ютери на Windows 10 отримають одну з фішок нових Xbox

Після того як роботу програми протестували, з’ясувалося, що вона набагато ефективніша за існуюючі додатки для розпізнавання музики. Наприклад, SoundHound володіє точністю близько 86%, в той час як у Audeo вона вже зараз приблизно 93%. На думку дослідників, в майбутньому їм вдасться поліпшити цей показник.

Джерело: sciencedaily.com