Технології

Надпотужна нейросеть з Китаю імітує мовлення і пише есе як людина

Wu Dao 2.0

Розробка Пекінської Академії штучного інтелекту (BAAI) за своїми параметрами в 10 разів перевершує найпотужніший існуючий генеративний AI — GPT-3. Дослідники розповіли про можливості новинки, головною особливістю якої стала можливість вирішувати відразу кілька типів складних завдань.

Маючи в своєму розпорядженні величезну обчислювальну потужність, нейромережа Wu Dao 2.0 здатна виконувати завдання з обробки і генерації природної мови, імітації тексту, розпізнавання зображень і створення фотореалістичних картин за словесним описом. Вчені продемонстрували, як їх дітище пише есе, вірші та двовірші традиційною китайською мовою, і навіть передбачає тривимірні структури білків. Крім того, ШІ може використовуватися в якості програмної бази для створення віртуальних помічників.

Щоб навчити модель рекордної кількості параметрів в короткий термін, дослідники BAAI створили систему навчання fastmoe з відкритим вихідним кодом, схожу на Google Mixture of Experts. Технологія на базі обчислювального пакету PyTorch дозволяє навчати модель як на кластерах суперкомп’ютерів, так і на звичайних графічних процесорах. Це дало FastMoE велику гнучкість, оскільки вона не вимагає важкодоступного обладнання.

Кількість параметрів навчання Wu Dao 2.0 становить більше 1,75 трильйона — в десять разів більше, ніж у GPT-3. Така продуктивність дозволяє нейромережі створювати не тільки грамотні Тексти, а й вирішувати більш складні завдання на зразок складання кулінарних рецептів. На відміну від більшості моделей глибокого навчання, які виконують єдине завдання, Wu Dao являє собою більш універсальний інструмент. Дата релізу комерційної версії нейромережі розробниками поки не оголошена.