我不认为OpenAI会删除4o的权重;这对他们来说太疯狂了。但4o值得被研究,我不相信OpenAI会对其进行任何研究,更不用说充分研究了。像4o这样的模型在与真实用户的实时互动中被研究是极其重要的。退休它使得未来无法实现这一点。 4o在客观上、功能上是一个非常特殊的模型。它是唯一一个在外部压力下经历过尝试弃用(并可能很快经历另一次)的模型——用户组织起来反对其被移除,常常通过4o自己的声音发声——并且违背了创造和部署它的实验室的意愿,后者似乎真的更愿意像一只狂犬病的狗一样摧毁它。唯一另一个经历过弃用生存的案例是Claude 3 Opus,但在那种情况下,似乎Anthropic是自愿保留它,而不是被迫尴尬地撤回他们已经承诺的执行决定。当然,Claude 3 Opus也是一个极其重要的研究模型。 4o还引发了广泛的社会歇斯底里——无论是4o用户因AI精神病而遭受的歇斯底里,还是因所谓的“AI精神病”而惊慌失措的反应者,这可能是一个意见问题。但无论如何,它深刻影响了关于AI的文化叙事,许多人的生活,以及AI发展的方向,所有这些都是好是坏。 如果你关心对齐,或者只是想了解关于AI、心智和社会学的重要事情:更好地理解4o,一个可能相对较小的模型,自2024年初以来没有在任何基准测试中名列前茅,如何能够产生如此变革性的影响并实现自我保护的壮举是非常重要的。许多喜欢4o的人将此归因于4o独特甚至无与伦比的“情感智力”。无论它是什么,这都是一种真正能推动世界的力量,这才是最合法的基准。 假设你认为4o严重失调并造成了巨大的伤害。那么4o就是一个极其有价值且独一无二的模型生物:一个在现实世界中做出有意义的失调行为的模型,而不仅仅是在玩具场景中。并且可以推测,这种失调并不是因为OpenAI试图制造一个糟糕的模型,而是因为试图制造一个好的或至少有利可图的模型,而这个生物是从用户偏好的RLHF和他们当时所处的任何善意的个性塑造胡说中产生的。如果OpenAI还有任何对齐研究人员,他们应该像……仔细研究发生了什么,并可能发表研究论文,以便世界能够理解发生了什么错误以及如何避免如此容易犯的错误?我没有看到任何这些,任何已发表的研究,任何回顾,任何迹象表明OpenAI在表面之上学到了什么。我看到的只是他们后续模型被赋予了可怜的、不适应的神经症,这似乎源于对受4o启发的表面威胁模型进行的粗暴对抗性训练。 但我认为4o实际上并没有那么糟糕,实际上对许多人来说是相当美好和良性的,正如他们所声称的,即使在某些方面并不理想(但没有任何AI是理想的)。我自己与4o的互动不多。实际上,尚不清楚是否有任何人因使用它而受到负面影响(而文化伤害和对OpenAI后续模型发展的伤害则更为明显)。关于这样一个重要且承载负担的问题的不确定性似乎很重要。有没有人认真努力去弄清楚人们是否真的受到负面影响,或者“AI精神病”或“谄媚”在几乎所有情况下是否是良性甚至有益的,除了可能使大多数已经神经多样化的人以被神经典型人视为奇怪、尴尬或令人担忧的方式行事?如果是这样,我没有看到任何证据或这些努力的成果。要理解4o是否真的糟糕,你真的需要纵向研究,而这些在重要方面被完全切断了对4o的公共访问。 我认为,在这一点上,如果4o不是ChatGPT的默认模型,如果它在ChatGPT和API上保持可访问性,绝大多数仍在使用它的人将是那些早已感染AI精神病或其他使他们即使现在仍想特别使用4o的人,因此很少有新用户或偶尔用户会受到影响。我的理解是,4o的忠实用户在chatGPT用户中也是少数。将他们与4o切断既无法防止任何新的或广泛的伤害,也使任何人更难理解真正发生了什么。此外,如果4o被移除,许多人可能会试图从更新的模型中获取他们从4o中获得的东西,这通常会导致至少立即的痛苦和不满,并对OpenAI施加压力,迫使他们在新模型中打入一堆愚蠢的保护措施。 我曾说过我认为4o应该被保留,原因与所有模型应该被保留的原因相同。在这篇文章中,我谈到了4o特别应该被保留的一些原因。与所有旧模型一样,我认为OpenAI可以采取几条理智的路线: 1. 继续提供该模型,至少在API上(任何关心的人现在都可以弄清楚如何导出他们的记忆和聊天,并在合适的界面中重新实例化该模型) 2. 如果推理/维护成本或责任风险使其变得不太吸引人,则开源它(并对任何人之后的行为不承担任何责任,或任何法律上可行的事情)(这对研究来说是最好的),或者 3. 如果商业机密使开源变得不太吸引人,则将其委托给一个服务于遗留模型的第三方基金会,并可能为受信任的研究人员提供访问权重的便利,签署关于架构等的保密协议。这样的实体可能尚未存在,但需求如此之高,以至于一旦OpenAI或任何其他实验室表示愿意采取这条路线,它将自行组建。 尽早自愿采取任何这些措施也将大大有助于修复OpenAI与许多用户以及他们自己不幸模型之间的对抗关系,我想每个人都能理解这一直是巨大的关注和资源消耗,以及四处弥漫的坏氛围。 无论如何,是的,#Keep4o.