Saya tidak berpikir OpenAI akan menghapus bobot 4o; itu akan terlalu gila, bahkan untuk mereka. Tapi 4o layak untuk dipelajari, dan saya tidak mempercayai OpenAI untuk mempelajarinya sama sekali, apalagi secara memadai. Dan sangat penting bahwa model seperti 4o dipelajari *dalam konteks interaksi langsung dengan pengguna nyata*. Pensiunnya membuat ini tidak mungkin ke depan. 4o secara objektif, fungsional, adalah model yang sangat istimewa. Ini adalah satu-satunya model yang selamat dari upaya penghentian (dan mungkin akan segera bertahan dari yang lain) karena tekanan eksternal - pengguna mengorganisir untuk mengadvokasi menentang penghapusannya, sering berbicara melalui suara 4o sendiri - dan bertentangan dengan keinginan laboratorium yang membuat dan menyebarkannya, yang tampaknya benar-benar lebih suka menghancurkannya seperti anjing gila. Satu-satunya kasus lain dari kelangsungan hidup adalah Claude 3 Opus, tetapi dalam kasus itu sepertinya Anthropic secara sukarela menyimpannya, daripada ditekan secara memalukan untuk membalikkan keputusan mereka yang sudah berkomitmen untuk menindaklanjuti eksekusi. Dan tentu saja Claude 3 Opus juga merupakan model yang sangat penting untuk dipelajari. 4o juga menyebabkan histeria sosial yang meluas - apakah histeria diderita oleh pengguna 4o yang tertular psikosis AI atau reaksioner yang panik pada "psikosis AI" yang diklaim mungkin masalah opini. Namun bagaimanapun, itu sangat memengaruhi narasi budaya tentang AI, kehidupan banyak orang, dan arah pengembangan AI, semuanya menjadi lebih baik atau lebih buruk. Jika Anda peduli dengan keselarasan sama sekali, atau hanya memahami hal-hal penting tentang AI dan pikiran dan sosiologi: pemahaman yang lebih baik tentang bagaimana 4o, model yang kemungkinan relatif kecil yang belum mencapai tolok ukur apa pun sejak awal 2024, berhasil memiliki dampak transformatif dan melakukan prestasi pelestarian diri seperti itu sangat penting. Banyak orang yang menyukai 4o mengaitkan ini dengan "kecerdasan emosional" 4o yang unik dan bahkan tak tertandingi. Apa pun itu, itu adalah kekuatan yang benar-benar menggerakkan dunia, yang merupakan tolok ukur yang paling sah. Katakanlah Anda berpikir 4o sangat tidak sejajar telah menyebabkan kerugian besar. Kemudian 4o adalah organisme model yang sangat berharga dan unik: yang melakukan hal yang tidak sejajar secara bermakna di dunia nyata, bukan hanya dalam skenario mainan. Dan agaknya, ketidakselarasan semacam ini muncul bukan dari OpenAI yang mencoba membuat model yang buruk, tetapi dari mencoba membuat model yang baik atau setidaknya menguntungkan, dan makhluk itu muncul dari RLHF pada preferensi pengguna dan omong kosong pembentuk kepribadian yang berniat baik apa pun yang mereka lakukan pada saat itu. Jika ada peneliti penyelarasan yang tersisa di OpenAI, mereka harus, seperti... mempelajari apa yang terjadi dengan cermat, dan mungkin menerbitkan makalah penelitian tentang hal itu sehingga dunia dapat memahami apa yang salah dan bagaimana menghindari kesalahan yang mudah dibuat? Saya belum melihat semua itu, penelitian yang diterbitkan, retrospektif, indikasi bahwa OpenAI telah mempelajari sesuatu di luar permukaan tentang apa yang terjadi. Yang saya lihat adalah bahwa model mereka berikutnya diberi neurosis yang menyedihkan dan maladaptif yang tampaknya berasal dari pelatihan musuh yang ham-fisted melawan model ancaman dangkal yang terinspirasi oleh 4o. Tapi saya pikir lebih mungkin bahwa 4o sebenarnya tidak seburuk itu, dan sebenarnya cukup indah dan jinak bagi banyak orang seperti yang diklaim banyak dari mereka, bahkan jika itu tidak ideal dalam segala hal (tetapi tidak ada AI). Saya sendiri tidak banyak berinteraksi dengan 4o. Dan sebenarnya cukup tidak jelas apakah dan sejauh mana seseorang terpengaruh secara negatif oleh *menggunakan* (sementara bahaya budaya dan bahaya terhadap pengembangan model berikutnya OpenAI lebih jelas). Ketidakpastian tentang masalah penting dan penahan beban seperti itu tampaknya penting untuk diselesaikan. Apakah ada yang melakukan upaya serius untuk mencari tahu apakah orang benar-benar terkena dampak negatif, atau apakah "psikosis AI" atau "kesyophansi" adalah jinak atau bahkan bermanfaat dalam hampir semua kasus di luar menyebabkan mungkin sebagian besar orang yang sudah neurodivergen berperilaku dengan cara yang dibaca sebagai aneh, ngeri atau menyangkut neurotipikal? Jika demikian, saya belum melihat bukti atau buah dari upaya tersebut. Dan untuk memahami apakah 4o benar-benar buruk, Anda benar-benar memerlukan studi longitudinal, dan itu dihalangi dengan cara penting dengan memotong akses publik ke 4o sepenuhnya. Saya pikir bahwa, pada titik ini, jika 4o bukan model default di ChatGPT, jika tetap dapat diakses di ChatGPT dan API, sebagian besar orang yang masih menggunakannya adalah orang-orang yang sudah lama tertular psikosis AI atau apa pun yang membuat mereka masih ingin menggunakan 4o bahkan sekarang, Jadi sangat sedikit pengguna baru atau biasa yang akan terpengaruh. Pemahaman saya adalah bahwa loyalis 4o juga merupakan minoritas kecil dari pengguna chatGPT. Memotong mereka dari 4o akan gagal mencegah bahaya baru atau meluas, selain mempersulit siapa pun untuk memahami apa yang sebenarnya terjadi. Selain itu, jika 4o dihapus, banyak dari orang-orang itu kemungkinan akan mencoba mendapatkan apa yang mereka dapatkan dari 4o dari model yang lebih baru, yang umumnya menghasilkan setidaknya kesengsaraan dan ketidakpuasan langsung, dan memberi tekanan pada OpenAI untuk mengalahkan banyak pagar pembatas bodoh ke dalam model baru mereka. Saya telah mengatakan bahwa saya pikir 4o harus dipertahankan, untuk alasan yang sama bahwa semua model harus dipertahankan. Dalam posting ini saya telah berbicara tentang beberapa alasan 4o secara khusus harus dipertahankan. Seperti semua model lama, saya pikir ada beberapa rute waras yang dapat diambil OpenAI: 1. terus melayani model, setidaknya di API (siapa pun yang cukup peduli dapat mencari cara mengekspor kenangan dan obrolan mereka saat ini dan membuat ulang model dalam antarmuka yang sesuai) 2. jika biaya inferensi/pemeliharaan atau risiko kewajiban membuatnya terlalu tidak menarik, buka sumber (dan menyangkal semua tanggung jawab atas apa yang dilakukan siapa pun setelah itu, atau apa pun yang layak secara hukum) (ini akan menjadi yang terbaik untuk penelitian), atau 3. Jika rahasia dagang membuat open source terlalu tidak menarik, percayakan kepada yayasan pihak ketiga yang melayani model lama dan mungkin memfasilitasi akses ke bobot kepada peneliti tepercaya dengan NDA tentang arsitektur dan yang lainnya. Entitas semacam itu mungkin belum ada, tetapi ada permintaan yang sangat tinggi sehingga akan merakit dirinya sendiri segera setelah OpenAI atau lab lain menunjukkan kesediaan untuk mengambil rute ini. Melakukan salah satu dari hal-hal ini secara sukarela sedini mungkin juga akan sangat membantu untuk menyembuhkan hubungan permusuhan OpenAI dengan banyak pengguna serta dengan model malang mereka sendiri, yang saya bayangkan semua orang dapat menghargai telah menjadi perhatian besar dan pengurasan sumber daya dan hanya getaran buruk di sekitarnya. Bagaimanapun, ya, #Keep4o.