Phi-3.5-MoE firmy Microsoft konkuruje z Gemini 1.5 Flash, teraz dostępny w Azure AI Studio i GitHub

W zeszłym miesiącu Microsoft zaprezentował najnowocześniejszą rodzinę lekkich modeli AI Phi-3.5, które są wyposażone w szereg udoskonaleń. Wśród nich wyróżnia się Phi-3.5-MoE, oznaczający pierwszy model w serii Phi, który zawiera technologię Mixture of Experts (MoE).

Firma Microsoft ogłosiła, że ​​model Phi-3.5-MoE jest już dostępny w Azure AI Studio i GitHub za pośrednictwem bezserwerowego interfejsu API. Ta funkcja umożliwia deweloperom bezproblemową integrację modelu Phi-3.5-MoE z ich przepływami pracy i aplikacjami bez konieczności zarządzania jakąkolwiek podstawową infrastrukturą.

Model Phi-3.5-MoE, obok innych modeli Phi-3.5, jest dostępny w kilku regionach, w tym East US 2, East US, North Central US, South Central US, West US 3, West US i Sweden Central. Jako oferta bezserwerowa, deweloperzy korzystają ze struktury cenowej pay-per-use, która wynosi 0,00013 USD za 1000 tokenów wejściowych i 0,00052 USD za 1000 tokenów wyjściowych.

W różnych testach porównawczych AI, Phi-3.5-MoE wykazał lepszą wydajność w porównaniu do niemal wszystkich innych otwartych modeli w swojej kategorii, takich jak Llama-3.1 8B, Gemma-2-9B i Mistral-Nemo-12B, zwłaszcza wykorzystując mniej aktywnych parametrów. Microsoft twierdzi, że jego rywale wydajnościowi, jeśli nie nieznacznie przewyższają, Gemini-1.5-Flash firmy Google, jednego z wiodących modeli o zamkniętym kodzie źródłowym w tej domenie.

Model MoE obejmuje łącznie 42 miliardy parametrów, z których tylko 6,6 miliarda jest aktywowanych, obsługiwanych przez 16 ekspertów. Zespół Microsoft Research zaprojektował ten model od podstaw, aby zwiększyć wydajność, zwiększyć możliwości wielojęzyczne i wzmocnić protokoły bezpieczeństwa. Ponadto, zamiast polegać na konwencjonalnych technikach szkoleniowych, zespół Microsoft Phi opracował pionierską metodę szkoleniową znaną jako GRIN (GRAdient INformed) MoE. To podejście doprowadziło do znacznego ulepszenia wykorzystania parametrów i specjalizacji ekspertów, osiągając znacznie lepsze wyniki jakościowe w porównaniu z tradycyjnymi metodami szkoleniowymi.

Dzięki wyjątkowym wskaźnikom wydajności i dostępności Phi-3.5-MoE ma wzmocnić pozycję deweloperów i napędzać innowacje w ekosystemie AI. Jego model bezserwerowy i ceny oparte na zużyciu jeszcze bardziej likwidują bariery wejścia, umożliwiając większej liczbie deweloperów dostęp do zaawansowanych możliwości AI niż kiedykolwiek wcześniej.

Źródło: Microsoft

Źródło