自OpenAI o1发布以来,网络上迎来了新一轮技能解密热潮,大家都想这么强大的模型是如何炼成的。
本日和大家分享一个破解o1奥秘的新思路。
reddit[1]上有一个机警的网友脑洞大开,想出了个绝妙的主张:为啥不让AI来逆向AI呢?他找来了Claude 3.5,开始了一场别开生面的"AI解密AI"大冒险!

他是这么做的:

网络信息:包罗了OpenAI的官方博客、员工推文,还有其他专家的评论。
喂饭AI:把网络到的信息都喂给了Claude。
展开对话:和Claude对话,不断调度问题。
得出结论:末了,Claude给出了一个可能的o1模型架构图。

Claude预测的o1模型架构看起来是这样的:

核心是"思维链"机制,就像人类解题时的思考过程。
可能有个超大的"思维库",存储各种解题路径。
用了强化学习,不断优化决策过程。
能同时天生多个解题思路,然后挑最好的。

虽然这只是AI的一个预测,但是不得不说,这个思路真的很酷!
前有Openai自己教自己,“自举进化”,后有Claude"逆向工程"o1的内部布局,“模拟创新”,人都不须要参与了,这画面切实其实太科幻了!

AI破解AI来自Claude协助的OpenAI o1模型架构图

虽然我们不知道Claude猜得对不对,但这种用AI研究AI的办法绝对是个新颖的考试测验,也是实现AGI之路,人类作为察看犹豫者的开始。

参考资料

[1]

reddit: https://www.reddit.com/r/LocalLLaMA/comments/1fgr244/reverse_engineering_o1_architecture_with_a_little/?share_id=eF5WUAnsBcemqmarLeHDi&utm_content=2&utm_medium=ios_app&utm_name=ioscss&utm_source=share&utm_term=1