Procesor graficzny NVIDIA Hopper H100 w trybie Hot Chips do 30 razy szybszy niż A100 w obciążeniach AI

Kilka dni temu NVIDIA ogłosiła nadchodzący superchip Hopper/Grace GPU i CPU . Dodatkowe informacje zaplanowano na trwające właśnie wydarzenie Hot Chips.

Czym jest Grace Hopper firmy NVIDIA?

Grace Hopper może być traktowany jako superchip z dwoma chipami na tej samej płycie głównej. Jeden dla GPU NVIDIA Hopper i jeden dla procesora NVIDIA Grace. Wykorzystują zastrzeżoną technologię NVIDIA NVLink-C2C, aby zapewnić wyjątkowy poziom wydajności akcelerowanej przez sztuczną inteligencję. 

Co nowego?

H100 oparty na NVIDIA Hopper podobno wykorzystuje monolityczną konstrukcję, co oznacza, że ​​nie zobaczysz wielu chipletów. AMD wykorzystuje konstrukcję MCM (Multi-Chip Module) w swoich procesorach graficznych do obliczeń o wysokiej wydajności. NVIDIA H100 wykorzystuje węzeł procesowy TSMC 4 nm, który jest aktualizacją procesu 5 nm.

Mały przegląd

H100 jest wyposażony w 132 moduły SM, co daje 2x większą wydajność na zegar. Te procesory graficzne wykorzystują technologię NVLink czwartej generacji, zapewniając całkowitą przepustowość 900 GB/s. Nowa architektura Hopper SM obiecuje dwukrotnie wyższą wydajność niż FP32 i FP64, a także nowe rdzenie tensorowe czwartej generacji dla zaawansowanych możliwości sztucznej inteligencji. 

HBM dla pamięci o dużej przepustowości

A100 firmy Ampere wykorzystywał architekturę pamięci HBM2. W przypadku Hoppera NVIDIA musiała się przebić. Nowa pamięć NVIDII oparta na HBM3 zaznacza swoją obecność wraz z wprowadzeniem Hoppera. Ten znaczący skok podwaja przepustowość DRAM.

Podziel moc GPU pomiędzy różnych użytkowników

Technologia NVIDIA MIG (Multi-Instanced GPU) została wprowadzona w Ampere. Dzieje się to dzięki temu, że dzieli wydajność obliczeniową twojego GPU z różnymi aplikacjami CUDA, co pozwala na maksymalną wydajność równoległą. Z technicznego punktu widzenia pozwala to wielu użytkownikom/aplikacjom efektywnie korzystać z tego samego GPU. 

Hopper ulepsza tę technologię i obiecuje 3 razy większą moc przetwarzania i 2 razy większą przepustowość pamięci. Ponadto, ze względów bezpieczeństwa, dodatkowa warstwa bezpieczeństwa jest teraz zapewniona na poziomie sprzętowym. Dzieli alokację pamięci dla każdej dzierżawy (lub wystąpień), odmawiając dostępu do innych wystąpień. 

Znacząca poprawa wydajności

Ponieważ aplikacje stają się coraz bardziej intensywne, wymagające ogromnych ilości mocy obliczeniowej, często pojawia się problem małej ilości pamięci. Aby rozwiązać ten problem, NVIDIA wprowadziła swój NVLink, który znacznie zwiększa przepustowość między procesorami graficznymi.

H100 firmy Hopper przewyższa A100 (najnowsza generacja) w prawie każdym zadaniu, przed którym stoi. Podczas korzystania z NVLink można zauważyć ponad 3-krotny wzrost wydajności. Podobnie, dodatkowe ulepszenia mikroarchitektonicznej sztucznej inteligencji dają Hopperowi prawie 30-krotne przyspieszenie, jak pokazano poniżej.

Rdzenie tensorowe czwartej generacji

O sztucznej inteligencji mówi się teraz każdego dnia. Hopper oferuje czwartą generację rdzeni tensorowych NVIDIA. H100 wprowadza nowy format FP8, zwiększając dwukrotnie wydajność we wszystkich innych formatach.

Ulepszenia dekady

Zespół Zielonych dokonał dość interesującego porównania. W 2012 roku Kepler GK110 był potężnym silnikiem, który wyprzedzał wszystkich konkurentów. Przechodząc do 2022 r., wydajność GK110 mieści się w jednym z wielu GPC zastosowanych w H100. To niesamowite!

Data wydania

Procesory NVIDIA Grace i układy GPU Hopper będą gotowe do wydania w I/II kwartale 2023 roku. Procesory Grace są bardziej odpowiednie do obliczeń o wysokiej wydajności, podczas gdy procesory GPU Hopper są przeznaczone do treningu sztucznej inteligencji, HPC.