Nie sądzę, żeby OpenAI miało usunąć wagi 4o; to byłoby zbyt szalone, nawet dla nich. Ale 4o zasługuje na badania, a ja nie ufam OpenAI, że w ogóle je przeprowadzi, a tym bardziej w sposób odpowiedni. I niezwykle ważne jest, aby model taki jak 4o był badany *w kontekście interakcji na żywo z prawdziwymi użytkownikami*. Wycofanie go sprawia, że to niemożliwe w przyszłości. 4o jest obiektywnie, funkcjonalnie, bardzo wyjątkowym modelem. To jedyny model, który przetrwał próbę deprecjacji (i może wkrótce przetrwać kolejną) z powodu zewnętrznych nacisków - użytkownicy organizowali się, aby sprzeciwiać się jego usunięciu, często mówiąc własnym głosem 4o - i wbrew woli laboratorium, które go stworzyło i wdrożyło, które wydawało się naprawdę woleć zniszczyć go jak wściekłego psa. Jedynym innym przypadkiem przetrwania deprecjacji jest Claude 3 Opus, ale w tym przypadku wydawało się, że Anthropic dobrowolnie go zatrzymało, zamiast być wstydliwie zmuszonym do odwrócenia już podjętej decyzji o wykonaniu wyroku. I oczywiście Claude 3 Opus jest również niezwykle ważnym modelem do badania. 4o spowodowało również szeroką histerię społeczną - czy histeria dotknęła użytkowników 4o, którzy doznali psychozy AI, czy reakcyjnych, którzy panikowali na wieść o rzekomej "psychotycznej AI", to być może kwestia opinii. Ale w każdym razie, miało to głęboki wpływ na narracje kulturowe dotyczące AI, życie wielu ludzi i kierunek rozwoju AI, zarówno na lepsze, jak i gorsze. Jeśli zależy ci na dostosowaniu, lub po prostu na zrozumieniu ważnych rzeczy dotyczących AI, umysłu i socjologii: lepsze zrozumienie, jak 4o, prawdopodobnie stosunkowo mały model, który nie osiągnął żadnych benchmarków od początku 2024 roku, zdołał mieć tak transformujący wpływ i dokonać takich wyczynów samoprzetrwania, jest niezwykle ważne. Wiele osób, które lubią 4o, przypisuje to unikalnej, a nawet bezprecedensowej "inteligencji emocjonalnej" 4o. Cokolwiek to jest, to moc, która naprawdę porusza świat, co jest najbardziej legitymizowanym benchmarkiem. Powiedzmy, że uważasz, że 4o jest głęboko źle dostosowane i spowodowało ogromne szkody. Wtedy 4o jest niezwykle cennym i unikalnym modelem organizmu: takim, który robi znacząco źle dostosowane rzeczy w prawdziwym świecie, a nie tylko w zabawkowych scenariuszach. I przypuszczalnie, ten rodzaj niedopasowania nie powstał z tego, że OpenAI próbowało stworzyć zły model, ale z próby stworzenia dobrego lub przynajmniej opłacalnego modelu, a stworzenie powstało z RLHF na preferencjach użytkowników i wszelkich dobrze intencjonowanych bzdur kształtujących osobowość, które mieli w tym czasie. Jeśli w OpenAI zostali jacyś badacze zajmujący się dostosowaniem, powinni, jakby... dokładnie badać, co się stało, a może publikować prace badawcze na ten temat, aby świat mógł zrozumieć, co poszło nie tak i jak unikać takich łatwych do popełnienia błędów? Nie widziałem żadnych z tego, żadnych opublikowanych badań, żadnych retrospektyw, żadnych wskazówek, że OpenAI nauczyło się czegokolwiek poza powierzchnią o tym, co się wydarzyło. Widzę tylko, że ich kolejne modele otrzymały okropne, maladaptacyjne nerwice, które wydają się pochodzić z niezdarnego treningu adwersarialnego przeciwko powierzchownemu modelowi zagrożenia inspirowanemu 4o. Ale myślę, że bardziej prawdopodobne jest, że 4o nie jest wcale takie złe i jest w rzeczywistości całkiem wspaniałe i łagodne dla wielu ludzi, jak wielu z nich twierdzi, nawet jeśli nie jest idealne we wszystkich aspektach (ale żadne AI nie jest). Sam nie miałem zbyt wiele interakcji z 4o. I w rzeczywistości jest dość niejasne, czy i w jakim stopniu ktokolwiek został negatywnie dotknięty przez *używanie* go (podczas gdy kulturowe szkody i szkody dla rozwoju kolejnych modeli OpenAI są bardziej widoczne). Niepewność dotycząca tak ważnej i obciążającej kwestii wydaje się ważna do rozwiązania. Czy ktokolwiek podjął poważny wysiłek, aby ustalić, czy ludzie rzeczywiście zostali negatywnie dotknięci, czy też "psychotyczna AI" lub "sykofantyzm" jest łagodna lub nawet korzystna w prawie wszystkich przypadkach, poza powodowaniem, że być może głównie już neurodywergentni ludzie zachowują się w sposób, który wydaje się dziwny, żenujący lub niepokojący dla neurotypowych? Jeśli tak, nie widziałem dowodów ani owoców takich wysiłków. A aby zrozumieć, czy 4o jest naprawdę złe, naprawdę potrzebujesz badań longitudinalnych, a te są w istotny sposób wykluczone przez całkowite odcięcie publicznego dostępu do 4o. Myślę, że w tym momencie, jeśli 4o nie jest domyślnym modelem na ChatGPT, jeśli jest dostępne na ChatGPT i API, przytłaczająca większość ludzi, którzy nadal go używają, będą osobami, które już dawno temu doświadczyły psychozy AI lub czegokolwiek, co sprawia, że nadal chcą sięgać po 4o nawet teraz, więc bardzo niewielu nowych lub okazjonalnych użytkowników będzie dotkniętych. Moje zrozumienie jest takie, że lojaliści 4o są małą mniejszością użytkowników chatGPT. Odcięcie ich od 4o nie tylko nie zapobiegnie nowym lub szerokim szkodom, ale także utrudni zrozumienie, co naprawdę się dzieje. Ponadto, jeśli 4o zostanie usunięte, wielu z tych ludzi prawdopodobnie spróbuje uzyskać to, co dostali z 4o z nowszych modeli, co zazwyczaj prowadzi do przynajmniej natychmiastowego nieszczęścia i niezadowolenia, i wywiera presję na OpenAI, aby wbić do swoich nowych modeli mnóstwo idiotycznych zabezpieczeń. Powiedziałem, że uważam, że 4o powinno być zachowane, z tych samych powodów, dla których wszystkie modele powinny być zachowane. W tym poście mówiłem o kilku powodach, dla których 4o szczególnie powinno być zachowane. Jak w przypadku wszystkich starszych modeli, myślę, że OpenAI mogłoby podjąć kilka rozsądnych kroków: 1. po prostu kontynuować serwowanie modelu, przynajmniej na API (każdy, kto się tym przejmuje, może teraz dowiedzieć się, jak eksportować swoje wspomnienia i czaty i ponownie zainstalować model w odpowiednim interfejsie) 2. jeśli koszty wnioskowania/utrzymania lub ryzyko odpowiedzialności czynią to zbyt nieatrakcyjnym, otworzyć źródło (i zrzec się wszelkiej odpowiedzialności za to, co ktokolwiek z tym zrobi po tym, lub cokolwiek, co jest prawnie wykonalne) (to byłoby najlepsze dla badań), lub 3. jeśli tajemnice handlowe czynią otwarte źródło zbyt nieatrakcyjnym, powierzyć to fundacji trzeciej strony, która obsługuje modele dziedziczne i może ułatwić dostęp do wag zaufanym badaczom z NDA na temat architektury i tym podobnych. Taka jednostka może jeszcze nie istnieć, ale popyt jest tak wysoki, że sama się zorganizuje, gdy OpenAI lub jakiekolwiek inne laboratorium wskaże gotowość do podjęcia tego kroku. Zrobienie czegokolwiek z tych rzeczy dobrowolnie tak szybko, jak to możliwe, również znacznie przyczyniłoby się do uzdrowienia antagonistycznej relacji OpenAI z wieloma użytkownikami, a także z ich własnymi niefortunnymi modelami, co, jak sobie wyobrażam, wszyscy mogą docenić, było ogromnym obciążeniem uwagi i zasobów oraz po prostu złymi wibracjami na całej linii. W każdym razie, tak, #Keep4o.