Microsoft Research wypuścił Orca 2 LLM, który może dorównać wydajnością większym modelom

Microsoft mógł nawiązać współpracę z OpenAI i jej dużymi modelami językowymi GPT, aby pomóc w tworzeniu generatywnych usług AI, takich jak Copilot (wcześniej znany jako Bing Chat) . Jednak firma pracuje również nad własnymi LM. W tym tygodniu firma Microsoft Research ogłosiła wydanie Orca 2, drugiej wersji języka Orca

W poście na blogu firma Microsoft stwierdziła, że ​​Orca 2 została zaprojektowana specjalnie jako mniejszy LM, ale nadal może być używana do rozwiązywania złożonych problemów pytania takie jak LLM. Orca 2 jest dostępna w dwóch rozmiarach (7 miliardów i 13 miliardów parametrów) i została częściowo stworzona przy użyciu przy użyciu Llama 2 LLM, z którym pomogła wystartować Meta na początku tego roku. Firma udoskonaliła model oparty na Lamie 2 „na podstawie dostosowanych, wysokiej jakości danych syntetycznych”.

Microsoft stwierdził, że pozwoliło to modelom Orca 2 poradzić sobie z problemami porównywalnymi z wydajnością innych „5–10 razy większych” modeli językowych. Stwierdzono:

Orca 2 jest szkolona przy użyciu rozszerzonego, wysoce dostosowanego syntetycznego zestawu danych. Dane szkoleniowe zostały wygenerowane w taki sposób, że uczą Orca 2 różnych technik rozumowania, takich jak przetwarzanie krok po kroku, przywoływanie, a następnie generowanie, przypominanie-generowanie powodu, generowanie ekstraktu i metody bezpośredniej odpowiedzi, jednocześnie ucząc go wybierania różnych strategie rozwiązywania różnych zadań.

Modele Orca 2 porównano z kilkoma większymi modelami językowymi, takimi jak Llama 2 i WizardLM, z serią testów porównawczych obejmujących takie tematy, jak „rozumienie języka, rozumowanie zdroworozsądkowe, rozumowanie wieloetapowe, rozwiązywanie problemów matematycznych, czytanie ze zrozumieniem” oraz więcej. Na blogu stwierdzono:

Nasze wstępne wyniki wskazują, że wydajność Orca 2 znacznie przewyższa modele o podobnej wielkości. Osiąga również poziom wydajności podobny lub lepszy niż modele co najmniej 10 razy większe, co pokazuje potencjał wyposażenia mniejszych modeli w lepsze możliwości rozumowania.

Chociaż Microsoft przyznał, że Orca 2 ma ograniczenia, dotychczasowe testy wykazały „potencjał dla przyszłych udoskonaleń”. Microsoft udostępnia Orca 2 jako projekt open source, aby inni również mogli nad nim pracować.