Firma Intel podwoiła wydajność FP8 GPT3 w swoim chipie AI Gaudi 2 w najnowszych testach porównawczych MLPerf

Firma Intel opublikowała aktualizację wyników szkolenia MLPerf Training 3.1 z listopada 2023 r. i zapewniła wzrost wydajności o 103% w porównaniu z prognozami z czerwca wynoszącymi 90% . Tylko trzy akceleratory przesyłają obecnie wyniki GPT-3 do MLPerf: Intel, NVIDIA i Google – co sprawia, że ​​Intel Gaudi 2 jest obecnie jedyną realną alternatywą dla procesorów graficznych NVIDIA (czy to już w ogóle właściwe określenie?) dla obciążeń MLPerf AI .

Intel prezentuje konkurencyjny stosunek ceny do wydajności w stosunku do wiodących chipów Hopper firmy NVIDIA w najnowszym rozwiązaniu MLPerf 3.1

Intel od razu zauważył, że Xeon jest jedynym procesorem, który również podaje wyniki treningu w teście MLPerf Benchmark. Bez zbędnych ceregieli, oto prezentowane slajdy:

Jak widać, zespół Intela Gaudiego początkowo przewidywał wzrost wydajności o 90% w 8PR, ale był w stanie zapewnić 103% wzrost wydajności w branżowym benchmarku GPT-3, skracając czas szkolenia w minutach (w 384 akceleratorach) z 311,94 minut lub Z 5,2 godziny do nieco ponad 2 godzin lub 153,58 minut. Firma Intel zaprezentowała także kilka slajdów, które miały pomóc w podejmowaniu decyzji w oparciu o TCO (całkowity koszt posiadania), pokazując, że chip Gaudi 2 oferuje podobną wydajność do NVIDIA H100, a jednocześnie ma niższy koszt serwera, co czyni go konkurencyjnym pod względem ceny/wydajności.

Na GPTJ-99 Gaudi 2 błyszczy jeszcze bardziej – wyprzedzając nowe chipy Hopper firmy NVIDIA. Podczas gdy dyskusja w czerwcu dotyczyła tego, że Gaudi 2 jest po prostu realną alternatywą dla chipów NVIDII i znacznie ustępuje H100 (tylko przegrywając ze starszym modelem A100), teraz chip Gaudi 2 pozostaje nieco w tyle za konfiguracjami H100 i GH200-96G. H100 jest zaledwie 9% szybszy, podczas gdy GH200-96G jest zaledwie 12% szybszy niż Gaudi 2 w testach wydajności serwera. Przewaga ta sięga 28% w testach porównawczych offline. W obu przypadkach Gaudi 2 uzyskał niemal dwukrotnie lepsze wyniki niż A100.

Na koniec Intel wskazał również, że Xeon to jedyny procesor, który obecnie poddaje się testom porównawczym MLPerf, i podkreślił swoje zaangażowanie w obciążenia AI.

Informacje o wynikach Intel Gaudi2:

Gaudi2 w dalszym ciągu jest jedyną realną alternatywą dla karty NVIDIA H100 na potrzeby obliczeń AI, zapewniając znaczny stosunek ceny do wydajności. Wyniki MLPerf dla Gaudi2 pokazały rosnącą wydajność treningową akceleratora AI: