Специалисты Пекинской академии искусственного интеллекта объявили о создании генеративной нейронной сети глубокого обучения Wu Dao 2.0 с рекордными свойствами.
Её мощность намного больше, чем у ближайших конкурентов — Open AI GPT-3 и Google Switch Transformers.
Мощность нейросетей условно измеряется в количестве параметров обучения. То есть, это число факторов, которые нейросеть может использовать в процессе своей работы. Для примера: в линейном уравнении y = ax + b параметрами выступают переменные a и b — от них зависит решение уравнения. Чем больше параметров использует нейросеть, тем она «умнее» и тем точнее результат её работы.
Нейросеть Open AI GPT-3 использует 175 миллиардов параметров — такая мощность позволяет ей генерировать осмысленные тексты, создавать музыку и программный код.
Количество параметров Wu Dao 2.0 превышает 1,75 триллиона — то есть, она в 10 раз мощнее, чем GPT-3. С новой китайской нейросетью по числу параметров может сравниться только Google Switch Transformers с её 1,6 триллионами параметров. Нейросеть от Google способна подбирать пропущенные слова в тексте и формулировать «естественные» ответы на вопросы человека.
Новая китайская нейросеть мультимодальна — она может выполнять множество разнородных задач. Wu Dao 2.0 пишет эссе, стихи и двустишия на традиционном китайском языке, распознаёт изображения и генерирует их по словесному описанию, имитирует речь, создаёт кулинарные рецепты, а также предсказывает трёхмерную структуру белков, подобно AlphaFold.
Для обучения Wu Dao 2.0 учёные использовали почти пять терабайтов изображения и текстов, включая 1,2 терабайта текстов на китайском и английском языках. Разработкой уже заинтересовались 22 компании, включая Xiaomi.
По словам председателя академии, Wu Dao 2.0 — это «источник питания для будущего реального искусственного интеллекта, с мегаданными, вычислительной мегамощью и мегамоделями».
