ИИ поумнеет в 100 раз: крупнейший в мире чип создаст нейросети «больше человеческого мозга»

Фото: скриншот

Компания Cerebras Systems разработала новую кластерную систему, которая может создавать искусственные нейронные сети, превосходящие по некоторым параметрам человеческий мозг. Об этом сообщает сайт TechRadar.

Человеческий мозг содержит около 100 трлн синапсов — соединений между нейронами, которые служат для передачи нервных импульсов между клетками. На данный момент самые масштабные модели искусственного интеллекта (такие как Switch Transformer от Google) имеют примерно 1 трлн параметров, которые можно условно сравнить с синапсами. Система Cerebras с самыми крупными в мире чипами Wafer-Scale Engine 2 (WSE-2) способна поддерживать модели ИИ с более чем 120 трлн параметров.

Самые большие модели искусственного интеллекта современности работают на системе из десятков процессоров (GPUs), изначально разработанных для видеоигр. Cerebras Systems решила пойти по иному пути и выпустила WSE-2 специально для ИИ. Один такой чип со стороной в 21 см содержит 2,6 трлн транзисторов и 850 тыс. ядер, оптимизированных для искусственного интеллекта. Для сравнения: самый большой графический процессор имеет диаметр менее 3 см, 54 млрд транзисторов и в 123 раза меньше ядер. Инженеры Cerebras Systems использовали собственную инновационную технологию и собрали воедино множество машин CS-2, работающих на базе WSE-2. Как подчеркнул директор компании Эндрю Фелдман, они в 100 раз превзошли самую крупную из ранее существующих нейросетей.

"Последние несколько лет показали нам, что для моделей обработки естественного языка (NLP) понимание масштабируется напрямую с параметрами — чем больше параметров, тем лучше результаты. Изобретения Cerebras, которые обеспечат 100-кратное увеличение количества параметров, смогут преобразовать полностью всю отрасль. Впервые мы сможем исследовать модели размером с мозг", — прокомментировал Рик Стивенс, заместитель директора Аргоннской национальной лаборатории.

Гигантский чип WSE-2 сыграл решающую роль в создании кластерной системы, однако ее работа была бы невозможной без других новых технологий, а именно:

• Weight Streaming обеспечивает быструю потоковую передачу данных при реализации ПО и увеличивает производительность за счет разделения памяти и вычислений. Благодаря ей система может хранить параметры вне кристалла без задержек, которые свойственны кластерам.
• Информацию хранит внешний кейс MemoryX, который расширяет встроенную память SRAM с 40 ГБ до 2,4 ПБ.
• SwarmX позволяет кластерам CS-2 достигать почти линейного масштабирования производительности и позволяет одновременно подключать до 192-х систем из 163 млн ядер, совместимых с ИИ.
• Алгоритм нового типа под названием Selectable Sparsity помогает CS-2 быстрее обрабатывать запросы, сокращая объем вычислительной работы, необходимой для достижения решений.

"Эта комбинация технологий позволит пользователям разблокировать нейронные сети размером с мозг и с легкостью распределять работу по огромным кластерам ядер, оптимизированных для ИИ. Таким образом, Cerebras устанавливает новый стандарт размера модели, вычислительной мощности кластера и простоты программирования", — отмечают представители компании.

Пока лишь немногие организации способны использовать AI-системы с масштабом с человеческий мозг, однако Cerebras заложила основу для большого технологического прорыва в этой сфере. Новая кластерная система потенциально способна открыть перед людьми возможности, выходящие за рамки воображения.

Ирина Скиба / Skibair
Журналист ARDinform