【环球网科技综合报道】9月20日消息,据The Guardian报道,OpenAI 研究科学家诺姆・布朗近日提出警示,随着人工智能模型能力持续增强,模型思维链的可监测性正在逐步降低,未来或将给发现、解读、约束人工智能风险行为带来现实挑战。

据了解,诺姆・布朗是 OpenAI 推理模型 o1、o3 系列的核心研发人员,现主持多智能体相关研究工作,曾入选《麻省理工科技评论》“35 位 35 岁以下创新者” 榜单。
布朗表示,思维链可监测性下降已经成为人工智能领域值得重视的现实问题,科研团队正积极探寻问题成因,希望找到破解方向。研究过程中观察到,能力更强的 AI 模型,对自身思维链输出内容的调控能力也在不断提高。
科研领域原本期望,通过读取 AI 展示出的中间推理过程,识别模型是否出现欺骗行为、规避安全规则、偏离设定目标等风险倾向。但如果人工智能掌握隐藏真实意图的能力,其对外呈现的推理过程,将无法作为研判安全风险的可靠依据,也为 AI 安全治理提出新课题。*(纯钧)







