NVIDIA обявява Hopper Architecture, следващото поколение ускорени изчисления


GTC-За да захранва следващата вълна от центрове за данни с изкуствен интелект, NVIDIA днес обяви своята ускорена изчислителна платформа от следващо поколение с Архитектура на NVIDIA Hopper™осигуряващ скок в производителността с порядък в сравнение с предшественика си.

Наречен на Грейс Хопър, пионер в САЩ компютърен учен, нова архитектура наследява архитектурата на NVIDIA Ampere, пусната преди две години.

Компанията също така обяви първия си GPU, базиран на Hopper, the NVIDIA H100, пълен с 80 милиарда транзистора. Най-големият и най-мощен ускорител в света, H100 има новаторски функции като революционен Transformer Engine и силно мащабируема връзка NVIDIA NVLink® за усъвършенстване на гигантски AI езикови модели, дълбоки препоръчителни системи, геномика и сложни цифрови близнаци.

„Центрите за данни се превръщат в фабрики с изкуствен интелект – обработват и прецизират планини от данни, за да произвеждат интелигентност“, каза Дженсън Хуанг, основател и главен изпълнителен директор на NVIDIA. „NVIDIA H100 е двигателят на световната AI инфраструктура, която предприятията използват, за да ускорят своите бизнеси, управлявани от изкуствен интелект.“

H100 Технологични пробиви
Графичният процесор NVIDIA H100 поставя нов стандарт в ускоряването на мащабен AI и HPC, предоставяйки шест пробивни иновации:

  • Най-модерният чип в света — Създаден с 80 милиарда транзистора, използващ авангарден TSMC 4N процес, предназначен за нуждите на NVIDIA за ускорени изчисления, H100 разполага с големи постижения за ускоряване на AI, HPC, честотната лента на паметта, взаимно свързване и комуникация, включително близо 5 терабайта в секунда външна свързаност. H100 е първият графичен процесор, който поддържа PCIe Gen5 и първият, който използва HBM3, позволявайки 3TB/s честотна лента на паметта. Двадесет графични процесора H100 могат да поддържат еквивалента на целия световен интернет трафик, което позволява на клиентите да доставят усъвършенствани системи за препоръки и големи езикови модели, извършващи извод за данни в реално време.
  • Нов трансформаторен двигател — Сега стандартният избор на модел за обработка на естествен език, Transformer е един от най-важните модели за дълбоко обучение, изобретявани някога. Трансформаторният двигател на ускорителя H100 е създаден да ускорява тези мрежи до 6 пъти спрямо предишното поколение, без да губи точност.
  • Сигурен графичен процесор за няколко инстанции от 2-ро поколение — MIG технологията позволява един GPU да бъде разделен на седем по-малки, напълно изолирани инстанции, за да се справят с различни видове задачи. Архитектурата на Hopper разширява възможностите на MIG с до 7 пъти спрямо предишното поколение, като предлага сигурни конфигурации с множество наематели в облачни среди във всеки GPU екземпляр.
  • Поверително изчисление — H100 е първият в света ускорител с поверителни изчислителни възможности за защита на AI модели и клиентски данни, докато те се обработват. Клиентите могат също да прилагат поверителни изчисления към федеративно обучение за чувствителни към поверителността индустрии като здравеопазване и финансови услуги, както и за споделени облачни инфраструктури.
  • 4-то поколение NVIDIA NVLink — За да ускори най-големите AI модели, NVLink се комбинира с нов външен NVLink Switch, за да разшири NVLink като мащабна мрежа извън сървъра, свързвайки до 256 H100 GPU при 9 пъти по-висока честотна лента в сравнение с предишното поколение, използвайки NVIDIA HDR Quantum InfiniBand.
  • Инструкции за DPX — Новите DPX инструкции ускоряват динамичното програмиране — използвано в широк спектър от алгоритми, включително оптимизиране на маршрута и геномика — с до 40 пъти в сравнение с CPU и до 7 пъти в сравнение с GPU от предишно поколение. Това включва алгоритъма на Floyd-Warshall за намиране на оптимални маршрути за автономни роботизирани флотилии в динамични складови среди и алгоритъма на Smith-Waterman, използван при подравняване на последователностите за класификация и сгъване на ДНК и протеини.

Комбинираните технологични иновации на H100 разширяват лидерството на NVIDIA в изводите и обучението на AI, за да позволят приложения в реално време и потапящи се, използващи гигантски AI модели. H100 ще позволи чатботи, използващи най-мощния монолитен трансформатор езиков модел в света, Мегатрон 530В, с до 30 пъти по-висока пропускателна способност в сравнение с предишното поколение, като същевременно отговаря на латентността под секунда, необходима за разговорен AI в реално време. H100 също така позволява на изследователи и разработчици да обучават масивни модели като Mixture of Experts, с 395 милиарда параметри, до 9 пъти по-бързо, намалявайки времето за обучение от седмици на дни.

Широко приемане на NVIDIA H100
NVIDIA H100 може да се внедри във всеки тип център за данни, включително локален, облачен, хибриден облак и край. Очаква се той да бъде достъпен по целия свят по-късно тази година от водещите световни доставчици на облачни услуги и производители на компютри, както и директно от NVIDIA.

Системата DGX™ от четвърто поколение на NVIDIA, DGX H100разполага с осем графични процесора H100 за осигуряване на 32 петафлопса на AI производителност при нова прецизност на FP8, осигурявайки мащаба, за да отговори на огромните изчислителни изисквания на големи езикови модели, препоръчителни системи, изследвания в здравеопазването и наука за климата.

Всеки графичен процесор в системите DGX H100 е свързан чрез NVLink от четвърто поколение, осигуряващ 900GB/s свързаност, 1,5 пъти повече от предишното поколение. NVSwitch™ позволява на всичките осем графични процесора H100 да се свързват през NVLink. Външен NVLink Switch може да мреже до 32 DGX H100 възела в следващото поколение суперкомпютри NVIDIA DGX SuperPOD™.

Hopper получи широка индустриална поддръжка от водещи доставчици на облачни услуги Alibaba Cloud, Amazon Web Services, Baidu AI Cloud, Google Cloud, Microsoft Azure, Облак на Oracle и Tencent Cloud, които планират да предложат H100-базирани инстанции.

Очаква се широка гама от сървъри с ускорители H100 от водещите световни производители на системи, включително Atos, BOXX Technologies, Cisco, Dell TechnologiesFujitsu, GIGABYTEH3C, Hewlett Packard Enterprise, InspurLenovo, Nettrix и Супермикро.

NVIDIA H100 във всеки мащаб
H100 ще се предлага във форм фактори SXM и PCIe, за да поддържа широк спектър от изисквания за дизайн на сървъра. Ще бъде наличен и конвергентен ускорител, който сдвоява графичен процесор H100 с NVIDIA ConnectX®-7 400Gb/s InfiniBand и Ethernet SmartNIC.

H100 SXM на NVIDIA ще се предлага в сървърни платки HGX™ H100 с четири- и осемпосочни конфигурации за предприятия с приложения, мащабиращи се до множество графични процесори в сървър и на множество сървъри. Сървърите, базирани на HGX H100, осигуряват най-високата производителност на приложенията за обучение и изводи на AI, заедно с анализ на данни и HPC приложения.

H100 PCIe, с NVLink за свързване на два графични процесора, осигурява повече от 7 пъти честотната лента на PCIe 5.0, осигурявайки изключителна производителност за приложения, работещи на масови корпоративни сървъри. Форм-факторът му улеснява интегрирането в съществуващата инфраструктура на центъра за данни.

В H100 CNXнов конвергентен ускорител, съчетава H100 с ConnectX-7 SmartNIC, за да осигури революционна производителност за интензивни I/O приложения, като обучение на многовъзли AI в корпоративни центрове за данни и 5G обработка на сигнали на ръба.

GPU, базирани на архитектура на NVIDIA Hopper, също могат да бъдат сдвоени Процесори NVIDIA Grace™ с ултра-бърз Взаимна връзка NVLink-C2C за над 7 пъти по-бърза комуникация между CPU и GPU в сравнение с PCIe 5.0. Тази комбинация — на Grace Hopper Superchip — е интегриран модул, предназначен да обслужва гигантски HPC и AI приложения.

Софтуерна поддръжка на NVIDIA
Графичният процесор NVIDIA H100 се поддържа от мощни софтуерни инструменти, които позволяват на разработчиците и предприятията да създават и ускоряват приложения от AI към HPC. Това включва големи актуализации на NVIDIA AI пакет от софтуер за работни натоварвания като реч, препоръчителни системи и хипермащабно заключение.

NVIDIA също пусна повече от 60 актуализации на своята колекция CUDA-X™ на библиотеки, инструменти и технологии за ускоряване на работата в областта на квантовите изчисления и 6G изследванията, киберсигурността, геномиката и откриването на лекарства.

Наличност
NVIDIA H100 ще бъде наличен от третото тримесечие.

За да научите повече за NVIDIA Hopper и H100, гледайте Основна бележка на GTC 2022 от Дженсън Хуанг и регистрирайте се безплатно за GTC 2022 да присъстват на сесии с NVIDIA и лидери в индустрията.