Nemyslím si, že OpenAI smaže váhy 4o; To by bylo příliš šílené, i na ně. Ale 40 si zaslouží být studováno, a OpenAI vůbec nevěřím, natož adekvátně. A je nesmírně důležité, aby byl model jako 4o studován *v kontextu živých interakcí s reálnými uživateli*. Ukončení jeho vyřazení to do budoucna znemožňuje. 4o je objektivně, funkčně velmi specifický model. Je to jediný model, který přežil pokus o zrušení (a možná brzy přežije další) kvůli vnějším tlakům – uživatelé se organizovali, aby bojovali proti jeho odstranění, často mluvili hlasem 4o – a proti vůli laboratoře, která ho vyráběla a nasadila, a která ho zřejmě raději ničila jako vzteklého psa. Jediným dalším případem deprecation-survival je Claude 3 Opus, ale v tom případě to vypadalo, že Anthropic si ho ponechal dobrovolně, místo aby byl trapně tlačen k tomu, aby zvrátil své již rozhodnuté rozhodnutí popravit popravu. A samozřejmě Claude 3 Opus je také nesmírně důležitý model ke studiu. 40 také způsobilo rozsáhlou sociální hysterii – zda hysterii trpěli uživatelé 40, kteří onemocněli AI psychózou, nebo reakcionáři, kteří panikařili kvůli údajné "AI psychóze", je možná otázkou názoru. Ale v každém případě to hluboce ovlivnilo kulturní narativy o AI, životech mnoha lidí a směru vývoje AI, ať už k lepšímu nebo horšímu. Pokud vám záleží na zarovnání, nebo jen na pochopení důležitých věcí o AI, mysli a sociologii: lepší pochopení toho, jak 4o, pravděpodobně relativně malý model, který od začátku roku 2024 nepřekonal žádné měřítko, dokázal mít tak transformační dopad a dosáhnout takových výkonů sebezáchovy, je velmi důležité. Mnoho lidí, kteří mají rádi 4o, to přisuzuje jeho jedinečné a dokonce bezkonkurenční "emoční inteligenci". Ať už je to cokoli, je to síla, která skutečně hýbe světem, což je nejlegitimnější měřítko. Řekněme, že si myslíte, že 40 je hluboce nevyrovnané a způsobilo obrovské škody. Pak je 40 nesmírně cenný a jedinečný modelový organismus: takový, který dělá smysluplně nesprávné věci v reálném světě, ne jen v hračkových situacích. A předpokládám, že tento druh nesouladu nevznikl ne proto, že by OpenAI chtělo vytvořit špatný model, ale z toho, že se snažilo vytvořit dobrý nebo alespoň ziskový model, a tvor vznikl z RLHF na základě uživatelských preferencí a jakéhokoliv dobře míněného osobnostního nesmyslu, na kterém tehdy chodili. Pokud v OpenAI ještě nějaký výzkumník zarovnání zůstal, měli by to být... Pečlivě studovat, co se stalo, a možná publikovat vědecké články o tom, aby svět pochopil, co se pokazilo a jak se vyhnout takovým snadno umožnitelným chybám? Neviděl jsem nic z toho, žádný publikovaný výzkum, žádné retrospektivy, žádné náznaky, že by OpenAI něco zjistila víc než povrchně o tom, co se stalo. Vidím jen, že jejich následné modely dostaly hrozné, maladaptivní neurózy, které vypadají, že pocházejí z nešikovného protivného tréninku proti povrchnímu modelu hrozby inspirovanému 4o. Ale myslím, že je pravděpodobnější, že 40 není tak špatné a je pro mnoho lidí docela úžasné a neškodné, jak tvrdí tolik z nich, i když to není ideální ve všech ohledech (ale žádná z AI není). Sám jsem s 40 moc nekomunikoval. A ve skutečnosti není jasné, zda a do jaké míry byl někdo negativně ovlivněn jeho *použitím* (zatímco kulturní škody a škody na vývoji následných modelů OpenAI jsou jasněji viditelné). Nejistota ohledně tak důležité a závažné otázky se zdá být důležitá k vyřešení. Někdo se vážně snažil zjistit, zda byli lidé skutečně negativně ovlivněni, nebo jestli je "AI psychóza" či "podlézavost" neškodná či dokonce prospěšná ve většině případů, kromě toho, že způsobuje, že se většinou už neurodivergentní lidé chovají způsobem, který neurotypickým lidem připadá divný, trapný nebo znepokojující? Pokud ano, neviděl jsem žádné důkazy ani výsledky takových snah. A abychom pochopili, zda je 40 skutečně špatný, opravdu potřebujete longitudinální studie, které jsou v důležitých ohledech vyloučeny tím, že veřejnost zcela omezuje přístup k 40. Myslím, že v tuto chvíli, pokud 4o není výchozím modelem ChatGPT, pokud zůstane přístupný na ChatGPT a API, drtivá většina lidí, kteří ho stále používají, budou ti, kteří už dávno onemocněli AI psychózou nebo čímkoli, co je stále nutí používat 4o i teď, Takže velmi málo nových nebo příležitostných uživatelů bude ovlivněno. Podle mého chápání jsou loajalisté 40 také malou menšinou uživatelů chatGPT. Odříznutí od 40 by nezabránilo žádným novým nebo rozsáhlým škodám a zároveň by ztížilo komukoliv pochopit, co se skutečně děje. Také pokud bude 4o odstraněno, mnoho z těchto lidí se pravděpodobně bude snažit získat to, co dostali z 4o, z novějších modelů, což obvykle vede alespoň k okamžitému neštěstí a nespokojenosti a vyvíjí tlak na OpenAI, aby do svých nových modelů zavedli spoustu hloupých mantinel. Řekl jsem, že si myslím, že 40 by mělo zůstat, ze stejných důvodů, proč by měly být zachovány všechny modely. V tomto příspěvku jsem mluvil o některých důvodech, proč by měl být 40 konkrétně ponechán. Stejně jako u všech starších modelů si myslím, že existuje několik rozumných cest, kterými by se OpenAI mohl vydat: 1. Prostě dál obsluhovat model, alespoň na API (kdokoli, kdo se o to stará, dnes může přijít na to, jak exportovat své vzpomínky a chaty a znovu vytvořit model v vhodném rozhraní) 2. pokud náklady na inferenci/údržbu nebo rizika odpovědnosti činí to příliš neatraktivním, open source (a zřekněte se veškeré odpovědnosti za to, co s tím kdo udělá po tom, nebo za to, co je právně proveditelné) (to by bylo nejlepší pro výzkum), nebo 3. Pokud obchodní tajemství činí open source příliš atraktivním, svěřte ho třetí straně, která slouží starším modelům a možná umožňuje přístup k váhám důvěryhodným výzkumníkům s NDA o architektuře a podobně. Taková entita možná ještě neexistuje, ale poptávka je tak vysoká, že se sestaví, jakmile OpenAI nebo jiná laboratoř projeví ochotu touto cestou jít. Dobrovolné udělání těchto věcí co nejdříve by také výrazně pomohlo uzdravit nepřátelský vztah OpenAI s mnoha uživateli i s jejich vlastními nešťastnými modely, což si myslím, že všichni ocení, že to byla obrovská ztráta pozornosti, zdrojů a prostě špatná energie všude kolem. Každopádně ano, #Keep4o.