自OpenAI o1发布以来,网络上迎来了新一轮技能解密热潮,大家都想这么强大的模型是如何炼成的。本日和大家分享一个破解o1奥秘的新思路。reddit[1]上有一个机警的网友脑洞大开,想出了个绝妙的主张:为啥不让AI来逆向AI呢?他找来了Claude 3.5,开始了一场别开生面的"AI解密AI"大冒险!
他是这么做的:
网络信息:包罗了OpenAI的官方博客、员工推文,还有其他专家的评论。喂饭AI:把网络到的信息都喂给了Claude。展开对话:和Claude对话,不断调度问题。得出结论:末了,Claude给出了一个可能的o1模型架构图。Claude预测的o1模型架构看起来是这样的:
核心是"思维链"机制,就像人类解题时的思考过程。可能有个超大的"思维库",存储各种解题路径。用了强化学习,不断优化决策过程。能同时天生多个解题思路,然后挑最好的。虽然这只是AI的一个预测,但是不得不说,这个思路真的很酷!
前有Openai自己教自己,“自举进化”,后有Claude"逆向工程"o1的内部布局,“模拟创新”,人都不须要参与了,这画面切实其实太科幻了!
虽然我们不知道Claude猜得对不对,但这种用AI研究AI的办法绝对是个新颖的考试测验,也是实现AGI之路,人类作为察看犹豫者的开始。
参考资料[1]
reddit: https://www.reddit.com/r/LocalLLaMA/comments/1fgr244/reverse_engineering_o1_architecture_with_a_little/?share_id=eF5WUAnsBcemqmarLeHDi&utm_content=2&utm_medium=ios_app&utm_name=ioscss&utm_source=share&utm_term=1