2024-09-14
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
OpenAI o1，在IQ测试中拿到了第一名！
大佬Maxim Lott，给o1、Claude-3 Opus、Gemini、GPT-4、Grok-2、Llama-3.1等进行了智商测试，结果表明，o1稳居第一名。
紧随其后的，就是Claude-3 Opus和Bing Copilot，分别取得了第二名和第三名。
注意，这套智商测试题，属于门萨会员的离线智商测试，不在任何AI训练数据中，因此结果非常具有参考性。
著名数学家陶哲轩也对o1进行了实测，发现自己向模型提出一个措辞模糊的数学问题后，它竟然能成功识别出克莱姆定理。
更巧的是，就在o1发布之后，OpenAI的研究副总裁Mark Chen发表观点称：如今的大型神经网络，可能已经具有足够的算力，在测试中表现出一些意识了。
相信AI具有意识的行业领导者，如今已经有了一串长长的名单，包括但不限于——
Geoffrey Hinton（人工智能教父，被引用次数最多的AI科学家）
Ilya Sutskever（被引次数第三多的AI科学家）
Andrej Karpathy
如今，业内许多人都相信AI具有意识，而且正在等待「奥弗顿之窗」进一步打开，从而使公众愿意接受这一点。
甚至有人预言：在2024/2025年，AI一定会具有意识，因为如今模型的行为已经明显表现出感知能力了。
有网友发现，o1不仅是对经验性的STEM学科很强，它甚至能够假设出一种全新的意识理论。
有人觉得，o1向无限推理模型迈出的一小步，已经具备意识的雏形。
陶哲轩：o1竟能识别出克莱姆定理
而在实测中，陶哲轩发现：o1模型在数学方面的的性能更强了！
首先，他提出了一个措辞模糊的数学问题，如果能搜索文献并找到合适的定理，即克莱姆定理（Cramer's theorem），就可以解决这个问题。
之前的实验中，GPT能够提到一些相关概念，但细节都是胡编乱造的无意义内容。
而这一次，o1成功识别出了克莱姆定理，并给出了令人满意的答案。
完整回答：https://shorturl.at/wwRu2
在下面这个例子中，提出的问题是更有挑战性的复变函数分析，结果同样好于之前的GPT系列模型。
在有大量提示词和引导的情况下，o1能输出正确且表述良好的解决方案，但不足之处在于无法自行产生关键的概念性想法，而且犯了明显错误。
陶哲轩形容，这种体验大致相当于指导一个能力一般但也能胜任部分工作的研究生，GPT给人的感觉则是一个完全无法胜任工作的学生。
可能只需要经过一两次迭代，再加上其他工具的集成，比如计算机代数包和证明辅助工具，就能让o1模型蜕变为「称职的研究生」，届时这个模型将在研究任务中发挥重要作用。
完整回答：https://shorturl.at/ZrJyK
上下滑动查看
上下滑动查看
上下滑动查看
第三个实验中，陶哲轩要求o1模型在证明辅助工具Lean中形式化一个定理，需要先将其分解为子引理并给出形式化表述，但不需要给出证明。
定理的内容，具体来说，是将素数定理的一种形式建立为另一种形式的推论。
实验结果也很不错，因为模型理解了这个任务，并对问题进行了合理的初步分解。
然而，可能是因为训练数据中缺乏关于Lean及其数学函数库的最新数据，生成的代码中也有几处错误。
尽管仍有缺陷，但这次实验结果已经能让人预见到o1在数学研究中的实际应用。
类似的模型如果针对Lean和Mathlib进行微调，并集成到集成开发环境（IDE）中，在形式化项目中将会发挥极大的作用。
在之前的多次演讲中，陶哲轩曾反复强调过AI工具在定理形式化中的应用，看来大神的预言又会成真了。
完整回答：https://shorturl.at/OGtjt
计算机教授用动画揭秘：o1如何花更多时间思考？
o1学会用CoT思考更长时间的过程中，究竟是取得了哪些重要突破，才造成了关键性的提升？目前我们只能从已有信息中做一些猜测。
比如，基于已有信息和自己的理解，科罗拉多大学博尔德分校计算机教授Tom Yeh就专门制作了一个动画，讲解OpenAI是如何训练o1模型花更多时间思考的。
关于训练，报告中有非常简短的一句话：
「通过强化学习，o1 学会了磨练其思维链并改进策略。」
这句话中的两个关键词是：强化学习（RL）和思维链（CoT）。
在RLHF+CoT中，CoT token也会被输入到奖励模型中来获得分数，以更新LLM，从而实现更好的对齐；而在传统的RLHF中，输入只包含提示词和模型响应。
在推理阶段，模型学会了先生成CoT token（可能需要长达30秒的时间），然后才开始生成最终响应。这就是模型如何花更多时间去「思考」的方式。
在报告列出的贡献者中，有两个人值得关注：
Ilya Sutskever，基于人类反馈的强化学习（RLHF）的发明者，出现他的名字意味训练o1模型时仍然用到了RLHF。
Jason Wei，著名的思维链论文的作者。他去年离开Google Brain加入了OpenAI。他的出现意味着CoT现在是RLHF对齐过程的重要组成部分。
不过，有很多重要的技术细节OpenAI并没有透露，比如奖励模型是如何训练的，如何获取人类对「思考过程」的偏好等等。
免责声明：动画仅代表教授的合理推测，并不保证准确性
团队分享庆功视频，分享「啊哈」时刻
关于研究中取得重要突破的瞬间，在下面这个视频中，给了我们更多线索。
在发布o1模型后，团队发布了背后团队一起制作的视频。
