У серіалах і фільмах про поліцію часто показують, як з відео і фотографій низької якості вдається отримати детальне зображення людини або номерного знака автомобіля.
Не пропустіть
Невідомо, чи були в руках у спецслужб такі технології раніше, але з появою нейромереж це стало реальністю. Дослідники з Каліфорнійського університету в Сан-Дієго і NVIDIA наочно продемонстрували роботу такого алгоритму.
Розроблена нейромережа вміє кодувати растрове зображення наднизького дозволу в цілком якісну картинку. На відміну від вже існуючих алгоритмів, здатних підвищувати роздільну здатність, новий алгоритм здатний працювати не тільки з фіксованою роздільною здатністю, але і з різними масштабами без чітких обмежень по роздільній здатності.
Одним з головних досягнень розробників стало те, що для поліпшення якості вихідного зображення нейромережа аналізує і описує не всю картину цілком, а різні її фрагменти. Вказується, що при отриманні координат певного місця на зображенні відповідна локальна функція використовує кодоване представлення ознак на навколишній області і відтворює передбачувані пікселі. В результаті це дозволяє рендерити зображення довільного дозволу.
Приклади роботи нейромережі представлені у відео:
Для навчання нейромережі використовувався датасет DIV2K, що складається з тисячі фотографій в дозволі 2k і зменшених в два, три і чотири рази версій. Перед алгоритмом стояло завдання спочатку зменшити роздільну здатність зображення, а потім повернути його у вихідне, повністю відновивши оригінал.
