Учёные построили самый большой в мире компьютерный чип — монстра, начинённого 4 триллионами транзисторов. По словам его создателей, однажды этот массивный чип будет использоваться для запуска чудовищно мощного суперкомпьютера с искусственным интеллектом (ИИ).
Новый Wafer Scale Engine 3 (WSE-3) — это третье поколение суперкомпьютерной платформы Cerebras, предназначенной для работы в системах искусственного интеллекта, таких как GPT-4 от OpenAI и Claude 3 Opus от Anthropic.
Чип, включающий 900 тысяч ядер искусственного интеллекта, состоит из кремниевой пластины размером 8,5 на 8,5 дюймов (21,5 на 21,5 сантиметра) — как и его предшественник WSE-2 2021 года.
Новый чип потребляет столько же энергии, что и его предшественник, но вдвое мощнее, сообщили представители компании в пресс-релизе. Предыдущий чип, напротив, включал 2,6 триллиона транзисторов и 850 тысяч ядер искусственного интеллекта — это означает, что компания примерно придерживалась закона Мура, который гласит, что количество транзисторов в компьютерном чипе примерно удваивается каждые два года.
Для сравнения, одним из самых мощных чипов, используемых в настоящее время для обучения моделей искусственного интеллекта, является графический процессор (GPU) Nvidia H200. Однако графический процессор-монстр Nvidia имеет ничтожные 80 миллиардов транзисторов, что в 57 раз меньше, чем у Cerebras.
Чип WSE-3 однажды будет использоваться для питания суперкомпьютера Condor Galaxy 3, который будет базироваться в Далласе, штат Техас, сообщили представители компании в отдельном заявлении, опубликованном 13 марта.
Строящийся суперкомпьютер Condor Galaxy 3 будет состоять из 64 «строительных блоков» системы искусственного интеллекта Cerebras CS-3, работающих на чипе WSE-3. При объединении и активации вся система будет производить 8 эксафлопс вычислительной мощности.
Затем, в сочетании с системами Condor Galaxy 1 и Condor Galaxy 2, вся сеть достигнет в общей сложности 16 экзафлопс.
(Операций с плавающей запятой в секунду (FLOPs) — это измерение, которое рассчитывает производительность числовых вычислений системы, где 1 exaFLOP равен одному квинтиллиону (1018) FLOPs.)
Напротив, самым мощным суперкомпьютером в мире на данный момент является суперкомпьютер Frontier Национальной лаборатории Ок-Ридж, который генерирует примерно 1 экзафлопс мощности.
По словам представителей компании, суперкомпьютер Condor Galaxy 3 будет использоваться для обучения будущих систем искусственного интеллекта, которые в 10 раз больше, чем GPT-4 или Gemini от Google. Например, согласно слухам, GPT-4 использует около 1,76 триллиона переменных (известных как параметры) для обучения системы; Condor Galaxy 3 может обрабатывать системы искусственного интеллекта примерно с 24 триллионами параметров.
