Sercem sporu Altmana z OpenAI była publikacja naukowa – oto, co napisano w niej

To nie jest porada inwestycyjna. Autor nie zajmuje pozycji w żadnej z wymienionych spółek.

Po niezwykłym weekendzie w Dolinie Krzemowej, podczas którego najnowsza innowacja AI znalazła się w martwym punkcie pomiędzy typową polityką korporacyjnych zarządów, były dyrektor generalny OpenAI, Sam Altman, triumfalnie wrócił do swojej firmy. Konflikty Altmana z zarządem OpenAI wywołały wiele dyskusji w mediach społecznościowych i tradycyjnych, przy czym uważa się, że nieporozumienia wynikają z podziału między OpenAI a działalnością holdingową związaną z zyskiem/non-profit.

Artykuł badawczy będący podstawą obalenia Altmana scharakteryzował podejście OpenAI do „sygnalizacji” jako nieadekwatne

Pani. Toner jest dyrektorką Centrum Bezpieczeństwa i Powstających Technologii na Uniwersytecie Georgetown i w październiku napisała studium przypadku, w którym omówiono, w jaki sposób rządy i firmy mogą zorganizować swoją komunikację, aby uniknąć błędnej interpretacji przez innych. W artykuł, którego współautorem są inne osoby związane z Georgetown, zdefiniowano narzędzia komunikacyjne zwane „sygnałami”, że bezpieczeństwo narodowe i sztuczna inteligencja aktorzy kosmiczni mogliby polegać na wyjaśnieniu swoich zamiarów.

Cztery sygnały opisane w artykule to wiązanie rąk, koszty utopione, koszty rat i koszty podlegające redukcji. Podejścia te różnią się od wiązania rąk, które ogranicza firmę polityką lub innymi ogłoszeniami, od których trudno byłoby się wycofać, po koszty rat z wyższymi kosztami początkowymi (takimi jak kosztowne zobowiązania dotyczące zgodności), które zmniejszają się z czasem w miarę narastania korzyści.

W tym kontekście artykuł pani Toner skupiał się szczególnie na działaniach OpenAI związanych z wprowadzeniem na rynek modelu GPT-4. OpenAI ogłosiło GPT-4 w marcu 2023 r. i według autorów artykułu, choć sam model był niezwykłym osiągnięciem technologicznym, jego znaczenie dla sygnalizacji wynikało z dokumentów uzupełniających.

Dokumenty te obejmowały kartę systemową wyjaśniającą ryzyko związane z GPT-4 oraz sposób, w jaki OpenAI je złagodziło, wprowadzając na rynek pierwszy model GPT-4. Autorzy podzielili się tym, że ich zdaniem było ono stosunkowo nieskuteczne jako narzędzie komunikacji w zakresie zaangażowania OpenAI w bezpieczeństwo.

W artykule wyjaśniono:

Choć sama karta systemowa została dobrze przyjęta przez badaczy zainteresowanych zrozumieniem profilu ryzyka GPT-4, wydaje się, że okazała się mniej skuteczna jako szerszy sygnał zaangażowania OpenAI w bezpieczeństwo. Powodem tego niezamierzonego rezultatu jest podjęcie przez firmę innych działań, które przyćmiły import karty systemowej: w szczególności hitowa premiera ChatGPT cztery miesiące wcześniej.

Następnie badacze porównali podejście OpenAI z podejściem stosowanym przez jego konkurenta, firmę Anthropic, i platformę Claude. Pochwalili decyzję Anthropic o opóźnieniu premiery Claude’a, aby zatrzymać „zwiększanie tempa rozwoju możliwości sztucznej inteligencji” i określili tę decyzję jako „kosztowny sygnał powściągliwości”.

Jak to ujęli:

Opóźniając wypuszczenie Claude do czasu, aż inna firma wypuści produkt o podobnych parametrach, Anthropic pokazała, że ​​chce uniknąć dokładnie tego rodzaju szalonego pójścia na skróty, do którego zdawało się zachęcać wydanie ChatGPT. Firma Anthropic osiągnęła ten cel, wykorzystując koszty rat, czyli koszty stałe, których nie da się zrównoważyć w czasie. W ramach tego badania firma Anthropic zwiększyła wiarygodność swoich zobowiązań na rzecz bezpieczeństwa sztucznej inteligencji, wstrzymując swój model przed wczesnym wydaniem i absorbując potencjalne przyszłe straty w przychodach. Motywacją w tym przypadku nie było odzyskanie tych strat poprzez zdobycie szerszego udziału w rynku, ale raczej promowanie norm branżowych i przyczynianie się do realizacji wspólnych oczekiwań dotyczących odpowiedzialnego rozwoju i wdrażania sztucznej inteligencji.

W raporcie NYT podano, że Altman nie był zadowolony z Holta po opublikowaniu artykułu i podzielił się swoimi obawami z pracownikami OpenAI za pośrednictwem e-mail. Dodatkowo wkrótce potem miał miejsce dość interesujący rozwój sytuacji, kiedy szef badań OpenAI, Ilya Sutsekver, początkowo zastanawiał się, czy usunąć Tonera z zarządu. Jednak, co zaskakujące, zdecydował się zamiast tego wystąpić przeciwko Altmanowi – decyzji, której pożałował w ciągu kilku dni.