Технології

Нейромережу навчили нескінченно покращувати якість зображень з низькою здатністю

Нейромережа

У серіалах і фільмах про поліцію часто показують, як з відео і фотографій низької якості вдається отримати детальне зображення людини або номерного знака автомобіля.

Невідомо, чи були в руках у спецслужб такі технології раніше, але з появою нейромереж це стало реальністю. Дослідники з Каліфорнійського університету в Сан-Дієго і NVIDIA наочно продемонстрували роботу такого алгоритму.

Нейромережа

Розроблена нейромережа вміє кодувати растрове зображення наднизького дозволу в цілком якісну картинку. На відміну від вже існуючих алгоритмів, здатних підвищувати роздільну здатність, новий алгоритм здатний працювати не тільки з фіксованою роздільною здатністю, але і з різними масштабами без чітких обмежень по роздільній здатності.

Читайте також:  Нові флагмани Samsung будуть коштувати менше попередників

Одним з головних досягнень розробників стало те, що для поліпшення якості вихідного зображення нейромережа аналізує і описує не всю картину цілком, а різні її фрагменти. Вказується, що при отриманні координат певного місця на зображенні відповідна локальна функція використовує кодоване представлення ознак на навколишній області і відтворює передбачувані пікселі. В результаті це дозволяє рендерити зображення довільного дозволу.

Приклади роботи нейромережі представлені у відео:

Для навчання нейромережі використовувався датасет DIV2K, що складається з тисячі фотографій в дозволі 2k і зменшених в два, три і чотири рази версій. Перед алгоритмом стояло завдання спочатку зменшити роздільну здатність зображення, а потім повернути його у вихідне, повністю відновивши оригінал.