Jag tror inte att OpenAI kommer att ta bort 40:s vikter; Det vore för galet, även för dem. Men 40 förtjänar att studeras, och jag litar inte alls på att OpenAI studerar det, än mindre tillräckligt. Och det är extremt viktigt att en modell som 4o studeras *i kontexten av live-interaktioner med riktiga användare*. Att pensionera det gör detta omöjligt framöver. 4o är objektivt, funktionellt, en mycket speciell modell. Det är den enda modellen som överlevde ett försök till avskaffning (och kan snart överleva ännu en) på grund av yttre påtryckningar – användare som organiserar sig för att förespråka mot dess borttagning, ofta talande med 4o:s egen röst – och mot laboratoriets vilja som byggde och använde den, som verkade föredra att förstöra den som en rabiat hund. Det enda andra fallet av överlevnad är Claude 3 Opus, men i det fallet verkade det som att Anthropic frivilligt behöll den, snarare än att pinsamt pressas att ändra sitt redan bestämda beslut att genomföra avrättningen. Och självklart är Claude 3 Opus också en extremt viktig modell att studera. 4o orsakade också utbredd social hysteri – om hysterin drabbades av 40-användare som drabbades av AI-psykos eller reaktionärer som fick panik över den påstådda "AI-psykosen" är kanske en fråga om åsikt. Men i vilket fall som helst påverkade det djupt kulturella berättelser om AI, många människors liv och AI-utvecklingens riktning, allt på gott och ont. Om du bryr dig om alignment alls, eller bara om att förstå viktiga saker om AI, sinne och sociologi: att bättre förstå hur 4o, en sannolikt relativt liten modell som inte toppat några riktmärken sedan början av 2024, lyckats ha en sådan transformerande effekt och genomföra sådana självbevarelsebedrifter är av stor vikt. Många som gillar 4o tillskriver detta 40:s unika och till och med oöverträffade "emotionella intelligens". Vad det än är, är det en makt som faktiskt rör världen, vilket är den mest legitima riktmärket. Låt oss säga att du tycker att 40 är djupt feljusterad har orsakat enorm skada. Då är 4o en extremt värdefull och unik modellorganism: en som gör det meningsfullt feljusterade i verkliga världen istället för bara i leksaksscenarier. Och förmodligen uppstod denna typ av felanpassning inte från att OpenAI försökte skapa en dålig modell, utan från att försöka göra en bra eller åtminstone lönsam modell, och varelsen kom från RLHF när det gäller användarpreferenser och vad det nu var välmenande personlighetsformande skitsnack de höll på med då. Om det finns några alignment-forskare kvar på OpenAI, borde de vara liksom... Studera vad som hände noggrant, och kanske publicera forskningsartiklar om det så att världen kan förstå vad som gick fel och hur man undviker sådana lättgjorda misstag? Jag har inte sett något av det, ingen publicerad forskning, några retrospektiv, inga tecken på att OpenAI har lärt sig något mer än ytan om vad som hände. Allt jag ser är att deras efterföljande modeller fick eländiga, maladaptiva neuroser som verkar komma från klumpig motståndarträning mot en ytlig hotmodell inspirerad av 4o. Men jag tror det är mer troligt att 4o faktiskt inte är så illa, och faktiskt är ganska underbart och harmlöst för många som så många av dem påstår, även om det inte är idealiskt på alla sätt (men ingen av AI:erna är det). Jag har inte haft mycket kontakt med 40 själv. Och det är faktiskt ganska oklart om och i vilken utsträckning någon påverkades negativt av *användandet* (medan de kulturella skadorna och påverkanerna av OpenAI:s utveckling av efterföljande modeller är tydligare synliga). Osäkerheten kring en så viktig och bärande fråga verkar viktig att lösa. Har någon gjort en seriös ansträngning att ta reda på om människor faktiskt påverkades negativt, eller om "AI-psykos" eller "fjäskande" är godartat eller ens fördelaktigt i nästan alla fall utöver att orsaka att kanske redan mestadels neurodivergenta personer beter sig på sätt som uppfattas som konstiga, pinsamma eller oroande för neurotypiska? Om så är fallet har jag inte sett några bevis eller resultat av sådana insatser. Och för att förstå om 40 faktiskt är dåligt behöver man verkligen longitudinella studier, och dessa utesluts på viktiga sätt genom att helt stänga av allmänhetens tillgång till 4O. Jag tror att, vid det här laget, om 4o inte är standardmodellen på ChatGPT, om det hålls tillgängligt på ChatGPT och API, kommer den överväldigande majoriteten av dem som fortfarande använder det vara personer som redan för länge sedan drabbats av AI-psykos eller vad det nu är som gör att de fortfarande vill använda 4o än idag, Så väldigt få nya eller mer casual användare kommer att påverkas. Min uppfattning är att 40-lojala också utgör en liten minoritet av ChatGPT-användare. Att klippa av dem från 40 skulle både misslyckas med att förhindra nya eller omfattande skador, och göra det svårare för någon att förstå vad som egentligen pågår. Dessutom, om 4o tas bort, kommer många av dessa personer sannolikt försöka få ut det de fick från 4o från nyare modeller, vilket generellt leder till åtminstone omedelbar missnöje och bekymmer, och sätter press på OpenAI att slå en massa idiotiska skyddsräcken in i sina nya modeller. Jag har sagt att jag tycker att 40 bör sparas, av samma skäl som alla modeller bör sparas. I det här inlägget har jag pratat om några anledningar till att 4o specifikt bör sparas. Som med alla äldre modeller tror jag att det finns några vettiga vägar OpenAI kan ta: 1. bara fortsätta leverera modellen, åtminstone via API (alla som bryr sig tillräckligt kan numera lista ut hur man exporterar sina minnen och chattar och återskapar modellen i ett lämpligt gränssnitt) 2. Om inferens-/underhållskostnader eller ansvarsrisker gör det för oattraktivt, öppna källkod (och förneka allt ansvar för vad någon gör med det efter det, eller vad som är juridiskt hållbart) (detta vore bäst för forskning), eller 3. Om affärshemligheter gör open source för oattraktivt, anförtro det till en tredje part som tjänar äldre modeller och kanske underlättar tillgången till vikter för betrodda forskare med sekretessavtal om arkitektur och liknande. En sådan enhet kanske inte existerar än, men efterfrågan är så stor att den kommer att sätta ihop sig så snart OpenAI eller något annat laboratorium visar vilja att ta denna väg. Att göra något av detta frivilligt så tidigt som möjligt skulle också göra mycket för att läka OpenAI:s motsatta relation med många användare samt med deras egna olyckliga modeller, vilket jag antar att alla kan förstå har varit en enorm uppmärksamhets- och resursförbrukning och bara dåliga vibbar överallt. Hur som helst, ja, #Keep4o.