Aktualizacja LLM Runner Llamafile zapewnia 10-krotny wzrost wydajności procesorów AMD Ryzen AVX-512

Najnowsza aktualizacja Llamafile znacznie poprawiła wydajność procesorów AMD Ryzen, wykorzystując ich możliwości AVX-512, zwiększając je nawet 10-krotnie.

Przyspiesz swoje potężne modele LLM dzięki najnowszej aktualizacji Llamafile: 10 razy większa wydajność na procesorach AMD Ryzen z obsługą AVX-512

Według Phoronix najnowsza aktualizacja Llamafile obejmuje teraz obsługę zestawu instrukcji AVX-512. Oznacza to, że procesory obsługujące AVX-512 odnotują znaczny wzrost wydajności podczas korzystania z oprogramowania. Donoszono, że dzięki tej aktualizacji nadchodzące procesory AMD Zen 4 „Ryzen” otrzymają dziesięciokrotną poprawę w szybkiej ocenie, co ostatecznie przełoży się na bardziej wydajną wydajność LLM podczas korzystania z narzędzia.

Llamafile to łatwe do wdrożenia narzędzie, które łączy model LLM z wymaganymi bibliotekami w jednym pliku wykonywalnym. Opracowany przez Mozilla Ocho, jego celem jest udostępnienie LLM szerszemu gronu odbiorców poprzez wykorzystanie zarówno wykonań CPU, jak i GPU. Narzędzie zyskało popularność wśród programistów, ponieważ eliminuje potrzebę stosowania kosztownych rozwiązań w celu uzyskania dostępu do LLM. Ponieważ jednak Llamafile jest wciąż na wczesnym etapie rozwoju, mogą pojawić się pewne niedokładności, które zostaną usunięte, gdy trend przetwarzania brzegowego nabierze tempa.

Według Phoronix nowy Llamafire 0.7 nie przeszedł jeszcze testów. Zapowiedzieli jednak plany przeprowadzenia w przyszłości testów zarówno na systemach AMD, jak i Intel. Dostęp do najnowszej wersji można uzyskać za pośrednictwem GitHuba, klikając ten link. Należy zauważyć, że obecnie tylko procesory AMD Ryzen obsługują instrukcje AVX-512 dla chipów klasy konsumenckiej. Z kolei firma Intel zdecydowała się nie wspierać tej funkcji, aby chronić sprzedaż swoich chipów Xeon. Daje to platformie AMD Ryzen przewagę dla użytkowników, którzy wymagają możliwości AVX-512 w swoich aplikacjach.