AI的下一波浪潮:跳出“参数越大越好”的思维定势

过去几年里,人工智能领域一直奉行着一个核心信念:模型越大,就越聪明。

更多的参数、更多的数据、更强的算力。这个策略确实带来了巨大的回报,让我们拥有了今天这些在写作、编程和翻译上无所不能的大型语言模型。

但是,在一片“大模型”的喧嚣中,一条相对安静的研究路线正在指向一个截然不同的未来:AI的进化,或许不一定非要依赖更庞大的身躯,而是需要学会“循环思考”。

插图

这就是“递归(Recursion)”的魅力。

什么是“递归”?

对于我们普通人来说,理解递归最好的例子就是玩数独游戏。

面对一个复杂的数独盘面,你不可能看一眼就瞬间在脑海里填满所有数字。你总是先推导出一个小线索,这个新线索又改变了你对整个盘面的认知,接着你再推导下一步。一步步地,最终的答案才会浮出水面。

这就是递归推理模型的直觉来源。我们不再要求AI“一口气”给出完美答案,而是允许它在得出最终结果前,通过内部的“草稿本”反复推敲、修正和完善自己的想法。

为什么现在的AI“巨兽”会遇到瓶颈?

今天的主流大语言模型非常强大,但它们的工作原理本质上是“文字接龙”——根据学习到的海量规律,一个词接一个词地生成内容。

当我们要求一个大模型“一步步思考”时,它是通过输出文字来进行的。也就是说,模型在“大声思考”。对于很多日常任务,这很管用。

但遇到迷宫导航、抽象模式匹配或是复杂的逻辑约束问题时,这种“脱口而出”的方式就显得力不从心了。这类问题需要的是记忆、反复更新和修正。

小个子的逆袭:2700万参数战胜千亿模型

这就是递归模型大放异彩的地方。

最近一个名为HRM(分层推理模型)的研究引起了广泛关注。与动辄拥有几百、几千亿参数的前沿大模型不同,HRM只有区区2700万个参数。它不靠死记硬背海量知识,而是利用精简的模块进行嵌套式的循环推理。

结果令人惊讶:在仅仅使用了大约1000个训练样本的情况下,这个“微型”AI在许多高难度的推理测试中,表现超越了体型是它成百上千倍的巨型模型。

甚至还有更极端的例子:TRM(微型递归模型)。它将架构精简到只有700万个参数,却在专门测试抽象逻辑的ARC-AGI基准测试中取得了惊人的准确率。

这并不是说这些小模型要取代今天的大模型,它们更像是专门解决复杂逻辑问题的“特种部队”。但这揭示了一个深刻的道理:在解决特定的推理问题时,一个懂得反复在内心推敲的小模型,可能比一个只凭直觉“单次作答”的庞然大物更有效率。

内部推敲 vs. 大声思考

你可能会问,现在我们用ChatGPT时,不也经常让它“一步步思考(Chain-of-thought)”吗?这有什么区别?

传统的“一步步思考”就像是一个人在大声自言自语,逻辑是通过说出来的每一个字构建的。而“递归推理”则像是一个人在开口说话前,先在脑子里默默把事情想通透。对于真正困难的问题,这种“内部循环”显然更具优势。

走向多智能体协作的未来

如果我们将这种思路推演到未来,AI的进步公式可能正在发生改变:

* 过去: 更多数据 + 更多参数 + 更多算力 = 更好的AI

* 未来: 更好的架构 + 反复的内部修正 + 智能记忆 = 更好的推理

更有趣的是,这种“递归”思想不仅适用于单个AI,还能用于多个AI的团队协作(多智能体系统)。

目前的AI团队协作,往往是一个AI写下长长的计划,发给另一个AI去审查,中间消耗了大量的文本。而未来,诸如Contextus等项目正在探索的 RecursiveMAS(递归多智能体系统),将允许AI们共享这种内部的“推敲状态”,用更少的语言、更高效的结构来共同解决问题。

AI的下一波浪潮,或许不再是单纯的体型比拼,而是架构的进化。巨型模型提供广阔的世界知识,而小巧的递归模块赋予它们更加深邃的逻辑思考能力。

科技的演进往往在意料之外,跳出参数的迷信,我们或许能看到一个更灵动、更高效的AI未来。

暂无评论

发送评论 编辑评论


				
|´・ω・)ノ
ヾ(≧∇≦*)ゝ
(☆ω☆)
(╯‵□′)╯︵┴─┴
 ̄﹃ ̄
(/ω\)
∠( ᐛ 」∠)_
(๑•̀ㅁ•́ฅ)
→_→
୧(๑•̀⌄•́๑)૭
٩(ˊᗜˋ*)و
(ノ°ο°)ノ
(´இ皿இ`)
⌇●﹏●⌇
(ฅ´ω`ฅ)
(╯°A°)╯︵○○○
φ( ̄∇ ̄o)
ヾ(´・ ・`。)ノ"
( ง ᵒ̌皿ᵒ̌)ง⁼³₌₃
(ó﹏ò。)
Σ(っ °Д °;)っ
( ,,´・ω・)ノ"(´っω・`。)
╮(╯▽╰)╭
o(*////▽////*)q
>﹏<
( ๑´•ω•) "(ㆆᴗㆆ)
😂
😀
😅
😊
🙂
🙃
😌
😍
😘
😜
😝
😏
😒
🙄
😳
😡
😔
😫
😱
😭
💩
👻
🙌
🖕
👍
👫
👬
👭
🌚
🌝
🙈
💊
😶
🙏
🍦
🍉
😣
Source: github.com/k4yt3x/flowerhd
颜文字
Emoji
小恐龙
花!
上一篇
下一篇