Maszyny wirtualne A3 są teraz dostępne w prywatnej wersji zapoznawczej w Google Cloud, obsługiwane przez procesory graficzne NVIDIA H100

Podczas wydarzenia I/O poświęconego sztucznej inteligencji firma Google ogłosiła , że ​​klienci Google Cloud będą mogli rozpocząć korzystanie z maszyn wirtualnych A3 napędzanych procesorami graficznymi NVIDIA H100 w ramach prywatnej wersji zapoznawczej. Gigant wyszukiwania powiedział, że jego nowe maszyny A3VM były „krokiem naprzód” dla klientów opracowujących zaawansowane modele uczenia maszynowego.

Kluczowe cechy maszyn wirtualnych (VM) GPU A3 są następujące:

• 8 procesorów graficznych H100 wykorzystujących architekturę Hopper firmy NVIDIA, zapewniających 3-krotną przepustowość obliczeniową
• Dwusekcyjna przepustowość 3,6 TB/s między 8 procesorami graficznymi A3 za pośrednictwem NVIDIA NVSwitch i NVLink 4.0
• Skalowalne procesory Intel Xeon czwartej generacji nowej generacji
• 2 TB pamięci hosta za pośrednictwem modułów DIMM DDR5 4800 MHz
• 10-krotnie większa przepustowość sieci dzięki naszym sprzętowym jednostkom IPU, wyspecjalizowanemu stosowi komunikacyjnemu procesorów graficznych między serwerami i optymalizacje NCCL

Korzystając z tych maszyn wirtualnych, firmy, które muszą trenować złożone modele uczenia maszynowego, mogą to zrobić znacznie szybciej. Są zbudowane z myślą o wymagających modelach AI, które są odpowiedzialne za dzisiejszą generatywną sztuczną inteligencję .

„Maszyny wirtualne Google Cloud A3, napędzane procesorami graficznymi NVIDIA H100 nowej generacji, przyspieszą szkolenie i obsługę generatywnych aplikacji sztucznej inteligencji” — powiedział Ian Buck, wiceprezes ds. obliczeń hiperskalowych i wysokowydajnych w firmie NVIDIA. „Po niedawno uruchomionych instancjach G2 Google Cloud z dumą kontynuujemy naszą współpracę z Google Cloud, aby pomóc przekształcać przedsiębiorstwa na całym świecie dzięki specjalnie stworzonej infrastrukturze AI”.

Według Google, jego nowe superkomputery A3 mogą zapewnić do 26 exaFlops wydajności AI i są pierwszą instancją GPU, która wykorzystuje specjalnie zaprojektowane jednostki IPU 200 Gb/s z transferami danych między GPU, które mogą ominąć hosta procesora. Umożliwia to dziesięć razy większą przepustowość sieci, przyspieszając działanie.