Новітній суперкластер Huawei, створений на базі інноваційної архітектури Peerium, здатен об’єднати масив із 1 мільйона обчислювальних прискорювачів у єдиний суперкомп’ютер для тренування нейромереж масштабом до 40 трильйонів параметрів.
Суперкластер Huawei та виклики епохи мультитрильйонних моделей
Глобальні перегони у сфері штучного інтелекту підійшли до фундаментальної фізичної перешкоди: класичні архітектури об’єднання серверів у дата-центрах вичерпують свій потенціал масштабування. Тренування великих мовних моделей нового покоління вимагає скоординованої роботи сотень тисяч графічних процесорів, проте їхня реальна ефективність різко падає через мережеві затримки при міжсерверному обміні даними. У відповідь на цей інженерний виклик корпорація Huawei презентувала нову парадигму суперкомп’ютерних кластерів під назвою Peerium.

Офіційний реліз нової технології відбувся на щорічній конференції Huawei CONNECT. Представники компанії заявили, що суперкластери на базі Peerium спроектовані для навчання базових моделей штучного інтелекту з обсягом параметрів від 10 до 40 трильйонів. Для порівняння: передові західні флагмани — обчислювальна стійка NVIDIA GB200 NVL72 або надвеликий процесорний масив Cerebras CS-3 — наразі оптимізовані переважно для моделей масштабу в 1 трильйон параметрів.
Як зазначив Ляо Хен (Liao Heng), головний науковець напівпровідникового підрозділу HiSilicon (Huawei), упродовж найближчих двох років у Китаї розпочнуть активну роботу щонайменше 6–7 передових дослідницьких лабораторій ШІ. Кожна з них планує тренувати моделі безпрецедентного масштабу, що робить інфраструктуру на мільйон ядер критично необхідною для глобального технологічного суверенітету.
Проблема навчання моделей мультитрильйонного масштабу полягає не лише в теоретичній обчислювальній продуктивності процесорних ядер (TFLOPS), а й у мережевому бар’єрі узгодження ваг нейромережі. Якщо затримка передачі градієнтів перевищує час безпосередніх обчислень, дорогі прискорювачі більшу частину робочого часу просто очікують синхронізації пакетів від сусідніх вузлів.
Три фундаментальні опори Peerium: як мільйон чипів працюють як один комп’ютер
У традиційній схемі дата-центрів прискорювачі розміщуються в окремих блейд-серверах і передають інформацію через стандартні комутатори Ethernet або InfiniBand. При збільшенні розміру кластера до десятків тисяч вузлів більша частина часу витрачається на очікування синхронізації пакетів між серверами. Архітектура Peerium долає ці затримки завдяки трьом ключовим технологічним принципам.
Першим елементом є вкладений паралелізм (nested parallelism). Завдання ієрархічно розбивається на групи обчислювальних операцій: локальні шари нейромережі обробляються кластерами чипів усередині шасі, міжстійковий рівень керує агрегованими тензорами, а глобальна синхронізація виконується на рівні макромодулів SuperPoD. Це нагадує злагоджену корпоративну структуру, де оперативні питання вирішуються на рівні автономних команд, не завантажуючи генеральне керівництво.
Другим принципом стала уніфікована адресація пам’яті (unified memory addressing). Кожен обчислювальний процесор має прямий доступ до пам’яті прискорювачів у сусідніх стійках без необхідності проміжного копіювання через оперативну пам’ять центрального хост-сервера. Третім елементом є прямі однорангові інтерконекти (peer-to-peer interconnects), які забезпечують миттєву пряму комунікацію між процесорними матрицями.
Ця концепція об’єднує пам’ять мільйона чипів у спільний віртуальний простір місткістю в десятки петабайтів із мікросекундним відгуком, відкриваючи можливість безперервної обробки мільйонних контекстних вікон без збоїв у швидкодії.

«Коли один мільйон процесорів працюють як єдиний комп’ютер, це закладає основу для набагато ефективнішого навчання та інференсу ШІ. Я розглядаю UnifiedBus як магістральний шлях для майбутньої епохи штучного інтелекту.»
Ерік Сюй (Eric Xu), змінний голова ради директорів Huawei
UnifiedBus проти InfiniBand: прорив у швидкості міжстійкового обміну
Найбільш вузьким місцем сучасних суперкомп’ютерів залишається смуга пропускання між окремими серверними стійками. Наприклад, в архітектурі NVIDIA внутрішньостійковий зв’язок забезпечується шиною NVLink, але міжстійкові з’єднання покладаються на оптичну мережу InfiniBand. У такій конфігурації пропускна здатність міжстійкового обміну становить близько 200 ГБ на секунду.
Ерік Сюй (Eric Xu), змінний голова ради директорів Huawei, підкреслив: із такою низькою смугою пропускання у 200 ГБ/с технічно неможливо змусити 1 мільйон процесорів функціонувати як єдиний комп’ютер без катастрофічної втрати синхронізації градієнтів під час навчання моделей на десятки трильйонів параметрів.
Щоб подолати цей бар’єр, фахівці Huawei створили власну оптичну магістраль інтерконекту — шину UnifiedBus. Вона забезпечує швидкість передачі даних між стійками до 800 ГБ на секунду, що вчетверо перевищує можливості InfiniBand. Ерік Сюй впевнений, що запуск подібних монолітних систем відкриє шлях до наступного етапу еволюції систем генеративного інтелекту (AGI).
Оптична комутація на базі кремнієвої фотоніки та технології спектрального ущільнення каналів (WDM) істотно скорочує енерговитрати на передачу кожного гігабайта інформації, дозволяючи з’єднувати цілі зали серверів в єдину оптичну сітку без накопичення затримок.
Ієрархічний розподіл обчислювальних графів дозволяє системі розраховувати тензорні операції без зупинки всього кластера.
Чотирикратне зростання міжстійкової швидкості усуває мережеві затримки під час синхронізації ваг гігантських мовних моделей.
Прямий доступ процесорів до оперативної пам’яті сусідніх стійок усуває навантаження на хост-сервери та прискорює обмін даними.
Масове паралельне масштабування дає змогу компенсувати обмеження літографії за рахунок координації мільйона обчислювальних ядер.
Atlas 950 SuperPoD та практичне розгортання на 256 000 карт
Практичною апаратною основою для реалізації архітектури Peerium став новий обчислювальний модуль Atlas 950 SuperPoD. Ця система об’єднує в єдиному рідинному контурі охолодження понад 8 000 спеціалізованих прискорювачів штучного інтелекту Ascend 950DT. Завдяки модульній структурі кілька блоків SuperPoD об’єднуються у гігантські суперкластери.
На сьогодні інженери вже розгорнули та тестують прототип суперкластера, що містить 256 000 обчислювальних плат. Перші результати випробувань демонструють помітно вищу ефективність використання апаратної потужності у порівнянні зі стандартними кластерами. Про те, як алгоритми ШІ рухаються до самостійної еволюції, читайте у нашому матеріалі про рекурсивне самовдосконалення штучного інтелекту.
Використання прямого рідинного охолодження безпосередньо на кремнієвих кристалах усуває ризик термічного тротлінгу, забезпечуючи показник ефективності енерговикористання дата-центру (PUE) на рівні нижче 1.15 навіть при граничних пікових навантаженнях.
- Цільовий діапазон: Тренування фундаментальних систем штучного інтелекту обсягом від 10 до 40 трильйонів параметрів.
- Система Atlas 950: Об’єднує понад 8 000 спеціалізованих прискорювачів Ascend 950DT в єдиному шасі SuperPoD.
- Практичні тести: В робочому режимі вже тестується макрокластер із 256 000 обчислювальних карт.
- Мережевий інтерконект: Оптична шина UnifiedBus забезпечує пропускну здатність до 800 ГБ/с між серверними стійками.
Геополітичне значення та стратегія компенсації санкцій
Створення суперкластера Peerium та шини UnifiedBus має вирішальне значення в умовах жорстких санкційних обмежень на імпорт передового напівпровідникового обладнання. Не маючи доступу до літографічних установок класу EUV, розробники обрали шлях архітектурної компенсації: вони компенсують меншу щільність транзисторів окремого чипа масивним масштабуванням обчислювальної мережі.
Якщо технологія підтвердить високу відмовостійкість при довготривалому навчанні моделей, світовий ринок отримає потужну альтернативну платформу високопродуктивних обчислень, здатну скласти реальну конкуренцію абсолютній монополії провідних компаній Кремнієвої долини.
Ця стратегія доводить, що вирішальним фактором у сучасному суперкомп’ютингу стає не лише мініатюризація окремого транзистора, а передусім мистецтво системної інтеграції, фотоніки та глобальної координації мільйона паралельних вузлів.



