衡量通用人工智能（AGI）的进展，一向是个棘手的问题。过去几年里，我们见过太多针对单一任务（比如下棋、写诗、识别猫狗）的评测，但它们拼在一起，似乎一点也不像“通用”。DeepMind 最近抛出了一套新思路——一个基于认知能力的框架，试图把碎片化的评测统一起来，同时他们还在 Kaggle 上开了场黑客松，邀请开发者一起造评测工具。
为什么需要新框架？
当前的 AI 评测生态，有点像是盲人摸象。有的 benchmark 测逻辑推理，有的测常识问答，有的测代码生成，但很少有人问：这些能力加在一起，离 AGI 还差多远？DeepMind 认为，真正有用的评测应该覆盖 认知的多个维度，比如推理、规划、学习效率、知识迁移等。他们的框架更像是画了一张“能力地图”，把 AGI 拆成可测量的组件。
这套框架并非凭空造轮子。它参考了心理学和认知科学中的经典分类，比如 Cattell-Horn-Carroll 智力理论。不过 DeepMind 做了工程化适配，把抽象的理论转化成具体可考的测试指标。举个例子，“知识迁移”这个维度，会要求 AI 在一个任务上学会技能后，在类似但不同的任务上复现，看它的泛化能力。
Kaggle 黑客松：让社区来填空
框架定了，但评测任务还没做完。DeepMind 的聪明之处在于，他们把“填空”环节交给了社区。黑客松的参赛者需要设计具体的评测任务，来覆盖框架中指定的认知维度。最终选出的任务会整合进公开的 AGI 评测基准。这种众包模式在机器学习圈并不新鲜，但用在 AGI 度量上，还是挺有野心的。
对开发者来说，这不仅是比赛。参赛者可以深入思考“什么才算真正的智能”，同时自己的设计可能成为行业标准的一部分。DeepMind 还提供了一些示例任务，比如：
- 适应性学习：给 AI 一个从没见过的交互环境，看它多快能掌握规则。
- 跨模态推理：给一段文字描述和一张图片，判断描述是否匹配。
- 因果理解：给出一个事件链条，问 AI “如果改变 A，B 会发生什么”。
每个任务都强调 不可预见的组合，防止模型单纯靠记忆刷分。
实际影响：为什么值得关注？
这个框架最直接的影响，是给研究社区提供了一个共同的参考系。过去各家自说自话，一个模型在某个 benchmark 上分数很高，但换个场景就失灵。如果 DeepMind 的框架能被广泛采纳，后续的论文和产品会更有对比价值。
对普通观察者而言，这套框架也提供了 判断“智能”的阶梯。比如当一家公司宣称自己的模型“接近 AGI”时，我们可以对照框架问：它在核心认知维度上究竟过了几关？哪些维度还差得远？这比看一堆分数更直观。
挑战与争议
当然，任何框架都免不了争议。有研究者指出，认知能力本身也是动态演变的，今天定义“智能”的标准，十年后可能就过时了。另外，这套框架更偏向“人类认知”，如果 AGI 的形态和人类完全不同（比如硅基生命），这套标尺可能不适用。
黑客松也有潜在问题：众包评测可能带来 质量参差不齐，如何保证任务之间的一致性？DeepMind 表示会设专家评审，但具体执行效果还要看后续。
但无论如何，这是一个切中痛点的尝试。AI 评测不该是玄学，我们需要更系统的方法来问：“机器真的变聪明了吗？” DeepMind 的框架给出了一个方向，而 Kaggle 上的开发者们，正在帮它落地。
评论
暂无评论
成为第一个评论的人