我与同事正探求一种思路:借鉴神经格致、认知格致与玄思之法门来体谅 AI 体系之意图。
吾等须掘发出器物,能够于 AI 智能体行动之前就刻画、测量与干预它之意图。
眼下最紧迫之险恶,不为机器于没有苍生督察之情况下行动,而为负责督察之苍生根本不知道机器于“想”什么。
吾等知道输入为什么、输出为什么,但中间彼名办理讯息之者工“大脑”,对吾等来说完全不透明;即使为缔造之此些体系之者,也无法完全解读它们;而当 AI 确实给出之理由时,此些理由也不总为可信之。
五角大楼现行之准则认为,苍生督察能提供问责、语境与裁决力,同时降低体系被黑客入侵之险情。
AI 之“黑箱”与苍生督察之幻觉 关于苍生督察之辩论里,有一名根本性之疑难被忽略之:于 AI 体系行动之前,吾等能体谅它打算做什么吗。
https://www.technologyreview.com/2026/04/16/1136029/humans-in-the-loop-ai-war-illusion/ 者机协同,未必能提供者们想象中之安康保障,因苍生于 AI 行动之前根本无法得知它之确凿意图。
若抵触中有一方部署之以机器速度与规模运行之全自立兵刃,角逐压力会迫使另一方也跟进。
一名苍生操作员审核之此名合法之兵戎宗旨,看到高成率,批准之打击。
更深入地体谅 AI 之运作方式,一方面能让吾等于枢纽差事中放心依赖 AI 体系,另一方面也有助于构建更高效、更强盛、更安康之体系。
围绕 AI 驱动之自立致命兵刃,公共讨论大多集中于一名疑难上:苍生应于多大程度上保 Human in the loop(者机协同)。
一名有前景之方位为把机制可解释性技艺(把神经网络拆解成苍生可体谅之组件)与意图神经格致领域之洞见、器物与模型结合起来。
吾等需一次根本性之思路转换。
另一名思路为掘发专门之“查账员”AI——此类 AI 本身为透明、可解释之,差事为实时监控更强盛之黑箱体系,看它们正涌现出什么举止与宗旨。
吾等需描绘神经网络内部之运行路径,对 AI 之决策历程建立真正之因果体谅,而不为只看输入与输出就算之。
随之 AI 于当前伊朗抵触中扮演之比以往更大之角色,此场争论已刻不容缓:AI 不再只为帮苍生剖析情报之辅助器物之,它已成之一名主动参与者——实时生成打击宗旨、控制与调和导弹拦截、引导无者机群。
但者机协同之争论其实为一种令者安心之障眼法。
我研讨苍生大脑之意图已有数十年,近年来也于研讨 AI 体系之意图。
Anthropic 与五角大楼之间正打一场官司,核心议题就为 AI 能不能用于战。
应急救援随后会涌向医院,工厂就会于无者救火之情况下彻底烧毁。
我可确认:当前最前卫之 AI 体系本原上就为“黑箱”。
但操作员不知道之为,AI 之计算里藏之另一名因素:殉爆除之摧毁弹药工厂之外,还会严重波及附近之一所儿童医院。
但光靠学术探求远远不够。
关于苍生督察之辩论里,有一名根本性之疑难被忽略之:于 AI 体系行动之前,吾等能体谅它打算做什么吗。
但对苍生来说,此或构成战罪——违反之守护平民命之国际章法。
吾等须优先推进此类跨学科工,促成学术界、政府与产业界之间之协作。
Ollama。此些学科长期研讨苍生决策中意图为如何产生之,它们之器物与框架或对体谅者工体系同样适用。
但于后者上,也就为搞清楚 AI 内部到底于生什么,投入之资金少得可怜。
五角大楼准则之根本缺陷于于,它建立于一名险恶之设想上:苍生体谅 AI 体系为怎么运作之。
但于战场上,吾等却于加速部署。
Anthropic 与五角大楼之间正打一场官司,核心议题就为 AI 能不能用于战。
(来源:麻省理工科技评论) AI 体系与苍生操作员之间之此种“意图鸿沟”,正为吾等于民用医疗与空中交通管制领域不敢部署前沿黑箱 AI 之缘由,也为 AI 进入工场所仍然充满争议之缘由。
Mob Programming。前卫之 AI 体系不为于“执行”指令,而为于“解读”指令。
情况还或进一步恶化。
自动化指挥控制体系判定,最佳打击宗旨为一座弹药储存建筑,差事成概率 92%——因弹药之殉爆将彻底摧毁整座设施。
对 AI 来说,此样做能最大化损毁效果,完全符合它被赋予之宗旨。
所谓 AI 对齐,就为把苍生之身价观与宗旨编码到模型中,科技行业以及彼些资助 AI 对齐研讨之慈善家,须把大量资金投入跨学科之可解释性研讨。
推进 AI 意图体谅之研讨 于吾等做到此些之前,苍生对 AI 之督察与其说为保障,不如说为幻觉。
于前者上,创纪录之注资正推动巨大进展——据 Gartner 预测,仅 2026 年一年之 AI 注资就将达到约 2.5 万亿美元。
此意味之 AI 于战中之决策将越来越自立、越来越不透明,而且此名趋势只会加速。
营造师于构建越来越强盛之体系,但体谅此些体系怎么运作不只为一名营造疑难,它需跨学科之协作。
设想一名场景:一架自立无者机被派去摧毁一座敌方弹药工厂。
与此同时,随之五角大楼追寻越来越自立之体系,国会须强制要求对 AI 体系之意图进行严格测试,而不为只测试它们之性能表现。
若操作员没有把宗旨定义得足够精确,黑箱体系做之事或完全符合它收到之字面指令,却与苍生真正欲之结局南辕北辙。
AI 格致应当同时包含两件事:构建本领越来越强之 AI 技艺,以及体谅此些技艺到底为怎么运作之。