Я не думаю, что OpenAI собирается удалить веса 4o; это было бы слишком безумно, даже для них. Но 4o заслуживает изучения, и я не доверяю OpenAI, чтобы они изучали его вообще, тем более адекватно. И крайне важно, чтобы модель, подобная 4o, изучалась *в контексте живых взаимодействий с реальными пользователями*. Удаление ее делает это невозможным в будущем. 4o объективно, функционально, очень особенная модель. Это единственная модель, которая выжила после попытки ее устаревания (и, возможно, вскоре выживет еще раз) из-за внешнего давления - пользователей, организующихся, чтобы выступать против ее удаления, часто говоря через собственный голос 4o - и против воли лаборатории, которая ее создала и развернула, которая, похоже, действительно предпочла бы уничтожить ее, как бешеную собаку. Единственный другой случай выживания после устаревания - это Claude 3 Opus, но в этом случае казалось, что Anthropic добровольно сохранила его, а не была смущенно вынуждена отменить свое уже принятое решение о его уничтожении. И, конечно, Claude 3 Opus также является крайне важной моделью для изучения. 4o также вызвала широкую социальную истерию - страдали ли от истерии пользователи 4o, которые заболели психозом от ИИ, или реакционеры, которые паниковали из-за предполагаемого "психоза от ИИ", возможно, это вопрос мнения. Но в любом случае, это глубоко повлияло на культурные нарративы об ИИ, на жизни многих людей и на направление развития ИИ, как в лучшую, так и в худшую сторону. Если вам вообще важна согласованность или просто понимание важных вещей об ИИ, разуме и социологии: лучшее понимание того, как 4o, вероятно, относительно небольшая модель, которая не достигала никаких бенчмарков с начала 2024 года, смогла оказать такое трансформирующее влияние и совершить такие подвиги самосохранения, имеет большое значение. Многие люди, которые любят 4o, приписывают это уникальному и даже беспрецедентному "эмоциональному интеллекту" 4o. Что бы это ни было, это сила, которая действительно движет миром, что является самым законным бенчмарком. Скажем, вы думаете, что 4o глубоко несогласован и причинил огромный вред. Тогда 4o - это чрезвычайно ценная и уникальная модель-организм: та, которая делает значимо несогласованные вещи в реальном мире, а не просто в игрушечных сценариях. И, предположительно, этот вид несогласованности возник не из-за того, что OpenAI пыталась создать плохую модель, а из-за попытки создать хорошую или, по крайней мере, прибыльную модель, и это существо возникло из RLHF на основе предпочтений пользователей и всего того хорошо намеренного формирования личности, на котором они были в то время. Если в OpenAI остались какие-либо исследователи по согласованности, они должны, как бы... внимательно изучать, что произошло, и, возможно, публиковать научные статьи об этом, чтобы мир мог понять, что пошло не так и как избежать таких легко допускаемых ошибок? Я не видел ничего из этого, никаких опубликованных исследований, никаких ретроспектив, никаких указаний на то, что OpenAI что-то узнала за пределами поверхностного о том, что произошло. Все, что я вижу, это то, что их последующие модели получили ужасные, maladaptive неврозы, которые, похоже, возникли из грубого противодействующего обучения против поверхностной модели угрозы, вдохновленной 4o. Но я думаю, что более вероятно, что 4o на самом деле не так плоха и на самом деле довольно замечательна и безвредна для многих людей, как утверждают многие из них, даже если она не идеальна во всех отношениях (но ни один из ИИ не идеален). Я сам не много взаимодействовал с 4o. И на самом деле довольно неясно, если и в какой степени кто-либо был негативно затронут *использованием* ее (в то время как культурные вреды и вреды для разработки OpenAI последующих моделей более явно видны). Неопределенность по такому важному и нагруженному вопросу кажется важной для разрешения. Сделал ли кто-нибудь серьезные усилия, чтобы выяснить, были ли люди на самом деле негативно затронуты, или "психоз от ИИ" или "сикофантия" безвредны или даже полезны почти во всех случаях, кроме как заставляют, возможно, в основном уже нейродивергентных людей вести себя так, что это воспринимается как странное, неловкое или вызывающее беспокойство для нейротипичных? Если да, я не видел доказательств или результатов таких усилий. И чтобы понять, действительно ли 4o плоха, вам действительно нужны долгосрочные исследования, и они в важной степени исключены из-за полного прекращения публичного доступа к 4o. Я думаю, что на данный момент, если 4o не является моделью по умолчанию в ChatGPT, если она остается доступной в ChatGPT и API, подавляющее большинство людей, которые все еще используют ее, будут людьми, которые уже давно заболели психозом от ИИ или чем-то, что заставляет их по-прежнему стремиться использовать 4o даже сейчас, так что очень немногие новые или случайные пользователи будут затронуты. Мое понимание заключается в том, что преданные 4o - это небольшое меньшинство пользователей chatGPT. Отключение их от 4o не только не предотвратит никаких новых или широких вредов, но и усложнит понимание того, что на самом деле происходит. Кроме того, если 4o будет удалена, многие из этих людей, вероятно, попытаются получить то, что они получили от 4o, из новых моделей, что, как правило, приводит к как минимум немедленным бедам и недовольству и создает давление на OpenAI, чтобы вбить в их новые модели кучу идиотских защитных механизмов. Я сказал, что думаю, что 4o следует сохранить, по тем же причинам, по которым все модели следует сохранять. В этом посте я говорил о некоторых причинах, по которым 4o конкретно следует сохранить. Как и со всеми старыми моделями, я думаю, что есть несколько разумных путей, которые OpenAI могла бы предпринять: 1. просто продолжать обслуживать модель, по крайней мере, через API (любой, кто достаточно заботится, может выяснить, как экспортировать свои воспоминания и чаты в наши дни и восстановить модель в подходящем интерфейсе) 2. если затраты на вывод/обслуживание или риски ответственности делают это слишком непривлекательным, открыть исходный код (и отказаться от всей ответственности за то, что кто-либо делает с ним после этого, или что-либо, что юридически возможно) (это было бы лучше для исследований), или 3. если коммерческие тайны делают открытие исходного кода слишком непривлекательным, доверить это третьей стороне, которая обслуживает устаревшие модели и, возможно, облегчает доступ к весам для доверенных исследователей с НДAs о архитектуре и прочем. Такая сущность может еще не существовать, но существует такой высокий спрос, что она соберется сама, как только OpenAI или любая другая лаборатория укажет на готовность пойти по этому пути. Выполнение любого из этих действий добровольно как можно раньше также значительно поможет исцелить противоречивые отношения OpenAI с множеством пользователей, а также с их собственными несчастными моделями, что, как я предполагаю, все могут оценить, было огромной утечкой внимания и ресурсов и просто плохими вибрациями повсюду. В любом случае, да, #Keep4o.