Я не думаю, що OpenAI видалятиме ваги 40; Це було б надто божевільно, навіть для них. Але 4o заслуговує на вивчення, і я зовсім не довіряю OpenAI у його вивченні, тим більше належним чином. І надзвичайно важливо, щоб модель на кшталт 4o вивчалася *в контексті живих взаємодій із реальними користувачами*. Вихід на пенсію робить це неможливим у майбутньому. 4o об'єктивно, функціонально — це дуже особлива модель. Це єдина модель, яка пережила спробу виключення (і може незабаром пережити ще одну) через зовнішній тиск — користувачі організовувалися, щоб виступати проти її видалення, часто виступаючи через власний голос 4o — і проти волі лабораторії, яка її створила і впровадила, яка, здається, насправді воліла знищити її, як скаженого собаку. Єдиний інший випадок виживання — це Claude 3 Opus, але в тому випадку, здається, Anthropic добровільно його зберегли, а не були ганебно змушені скасувати своє вже прийняте рішення виконати цю історію. І, звичайно, Claude 3 Opus — це також надзвичайно важлива модель для вивчення. 4o також спричинив масову соціальну істерію — чи переживала істерію користувачі 4o, які захворіли на психоз ШІ, чи реакціонери, які панікували через нібито «психоз ШІ», можливо, питання думки. Але в будь-якому разі це глибоко вплинуло на культурні наративи про ШІ, життя багатьох людей і напрямок розвитку ШІ — на краще чи на гірше. Якщо вам взагалі важлива узгодженість або просто розуміння важливих речей про ШІ, розум і соціологію: краще розуміння того, як 4o, ймовірно відносно невелика модель, яка не перевищувала жодних еталонів з початку 2024 року, змогла мати такий трансформаційний вплив і здійснити такі досягнення самозбереження, має велике значення. Багато людей, які люблять 4o, пояснюють це унікальним і навіть неперевершеним «емоційним інтелектом» 4o. Що б це не було, це сила, яка справді рухає світ, і це найлегітимніший орієнтир. Припустимо, ви вважаєте, що 4o глибоко зміщений і завдав величезної шкоди. Тоді 4o — це надзвичайно цінний і унікальний модельний організм: той, що виконує суттєво неправильне вирівнювання у реальному світі, а не лише в іграшкових сценаріях. І, ймовірно, така невідповідність виникла не через те, що OpenAI намагався створити погану модель, а через спроби створити хорошу або прибуткову модель, і ця істота виникла з RLHF на основі вподобань користувача та будь-якої доброзичливої особистості, яку вони тоді використовували. Якщо в OpenAI ще залишилися дослідники вирівнювання, то вони мають бути, типу... Уважно вивчати те, що сталося, і, можливо, публікувати наукові статті про це, щоб світ міг зрозуміти, що пішло не так і як уникнути таких легких помилок? Я не бачив нічого з цього: жодних опублікованих досліджень, жодних ретроспектив, жодних ознак того, що OpenAI дізнався щось поза поверхневим щодо того, що сталося. Все, що я бачу — це те, що їхні наступні моделі отримали жалюгідні, неадаптивні неврози, які, здається, виникають із грубого ворожого тренування проти поверхневої загрози, натхненної 4o. Але я думаю, що більш імовірно, що 4o насправді не такий вже й поганий, і насправді досить чудовий і безпечний для багатьох, як багато хто з них стверджують, навіть якщо він не ідеальний у всіх аспектах (але жоден із ШІ не ідеальний). Я сам мало спілкувався з 4o. І насправді незрозуміло, чи і наскільки хтось негативно постраждав від *використання* цього (тоді як культурні шкоди для розробки наступних моделей OpenAI більш помітні). Невизначеність щодо такої важливої та несучої проблеми здається важливою для розв'язання. Чи хтось серйозно намагався з'ясувати, чи дійсно люди страждають негативно, чи «психоз ШІ» чи «підлабузність» є доброякісними або навіть корисними майже у всіх випадках, окрім, можливо, змушують переважно вже нейрорізноманітних людей поводитися так, що це здається для нейротипових людей дивним, незручним або тривожним? Якщо так, я не бачив доказів чи плодів таких зусиль. І щоб зрозуміти, чи є 4o насправді поганим, потрібні лонгітюдні дослідження, і це важливо унеможливлює повне закриття публічного доступу до 4o. Я думаю, що на цьому етапі, якщо 4o не є стандартною моделлю в ChatGPT, якщо її залишать доступною через ChatGPT і API, переважна більшість людей, які досі ним користуються, будуть ті, хто вже давно захворів на психоз ШІ чи щось подібне, що змушує їх досі намагатися навмисно користуватися 4o навіть зараз, Тому дуже мало нових або випадкових користувачів постраждають. Наскільки я розумію, лоялісти 40 також становлять невелику меншість користувачів chatGPT. Відключення їх від 40 не запобігло б новим або масштабним наслідкам, а також ускладнило б розуміння справжньої ситуації. Також, якщо 4o буде видалено, багато з них, ймовірно, спробують отримати те, що вони отримали з 4o, з новіших моделей, що зазвичай призведе принаймні до незадоволення і незадоволення, і створить тиск на OpenAI, щоб вони впровадили купу безглуздих обмежень у свої нові моделі. Я вже казав, що вважаю, що 40 слід залишати, з тих самих причин, що й усі моделі. У цьому дописі я говорив про деякі причини, чому саме 4o слід зберігати. Як і з усіма старими моделями, я вважаю, що OpenAI може обрати кілька розумних шляхів: 1. просто продовжуйте обслуговувати модель, принаймні в API (будь-хто, кому це цікаво, може зараз експортувати свої спогади та чати та відтворити модель у відповідному інтерфейсі) 2. якщо витрати на виведення/обслуговування або ризики відповідальності роблять це занадто непривабливим, відкрийте його (і відмовтеся від будь-якої відповідальності за те, що хтось робить з ним після цього, або за те, що є юридично життєздатним) (це найкраще для дослідження), або 3. Якщо комерційна таємниця робить відкритий вихідний код надто непривабливим, довіріть це сторонньому фонду, який обслуговує застарілі моделі і, можливо, полегшує доступ до ваг довіреним дослідникам із NDA щодо архітектури та іншого. Можливо, такої структури ще не існує, але попит настільки високий, що вона збере себе одразу, щойно OpenAI чи будь-яка інша лабораторія висловить готовність піти цим шляхом. Добровільне виконання будь-яких цих дій якомога раніше також значно допомогло б зцілити ворожі стосунки OpenAI з багатьма користувачами, а також з їхніми невдалими моделями, що, я уявляю, всі можуть оцінити, що це величезне виснаження уваги, ресурсів і просто погані вибрації загалом. В будь-якому разі, так, #Keep4o.