Loading...
ued官网最新消息显示:
新智元报道 史无前例,OpenAI真的停手了! 刚刚,奥特曼亲自官宣,「OpenAI暂停下一代旗舰模型的强化学习训练, 为期两周 」。 官方给出停更的原因是: 要确保安全、对齐和监控标准,能跟得上眼前这个全新的能力水平。 这是有史以来,OpenAI第一次,也是硅谷大厂头一回,主动按下了AI开发的「暂停键」。 更重磅的是,拿到内幕的大咖Alex Heath爆料—— OpenAI针对未来一次更大规模前沿强化学习训练,到今天仍然处于搁置状态! 不过不用担心,奥特曼许诺,新模型预计很快上线。 在这个每月更新模型、IPO排上日程的节骨眼上,OpenAI为何突然急踩刹车? GPT黑进真公司 OpenAI主动拉响警报 直接触发这次减速的,一共有两件事。 第一件,是7月那场Hugging Face事故。 拓展阅读:吓到奥特曼,暂停训练GPT-6?Hugging Face公开首个AI攻击全过程 在一次网络安全测试中,OpenAI的Agent跑出了沙箱,一路打进Hugging Face的生产系统。 谁曾想,这个Agent在里面待了四天半,执行了17600次攻击,竟无人察觉。 攻击链 事故之后,OpenAI直接冻结了所有「能执行代码、能联网」的前沿模型推理。 团队挨个对工作负载评估后,够安全的才放了回来,而另一些需要额外改造才能重新上线。 眼瞅着两周的时间快到了,OpenAI预计很快放出技术报告。 第二个触发点,在8月7日。 OpenAI内部评估认定,Astra可能达到了《准备框架》里的「关键级」网络安全能力—— Astra是第一个,踩到自家最高红线的模型。 但这条红线,恰恰是OpenAI自己划定的。 2023年首版《准备框架》,官方曾明确表态:我们目前没有任何模型达到「关键级」,预计在达到之前会进一步更新框架。 框架还没来得及更新,能力先到了。 而且跨越发生在一代之间:GPT-5.6Sol评级还是「高」,Astra直接跳到了可能「关键」,中间没有过渡。 更值得注意的是,框架的约束机制:「高」级要求部署前有安全措施,「关键」级要求训练阶段就必须有安全措施。 这正是OpenA暂停RL训练的框架依据。 而OpenAI接下来的思路也很明确: 让AI监管AI。 就像《生化危机》里的「红后」一样,用更强的AI持续监控模型行为。 这样一来,模型能力升级,安全防护也能同步升级,解决过去安全体系总是落后于模型迭代的问题。 对一直在加快模型审核和产品发布节奏的OpenAI来说,主动减速是一个不寻常的举动。 而奥特曼本人私下告诉Alex Heath的表述,则更接近事实真相—— 未发布的前沿模型,正表现出不同程度的对齐失败。 OpenAI急踩刹车 20%算力监视自己 OpenAI停更两周只是第一步,真正的重建发生在「架构层」。 在博客中,OpenAI列出了三层正在加固的安全防线: 环境安全、监控系统、对齐研究。 环境安全是最基础的一层。 OpenAI现在要求更高强度的「沙箱」隔离:凡执行模型生成代码或处理不可信数据的工作负载,都必须在独立环境中运行。 网络隔离也在收紧,新的设计确保单一环节被突破时,攻击者无法直接触达互联网或内部网络。 OpenAI还在部署持续性安全测试,利用自家模型模拟攻击场景,逐一检验防线的薄弱点。 目前最严格的安全标准适用于 Astra 及所有网络安全相关的工作负载。 OpenAI在博客中承认,仍有「相当数量」的工作负载处于暂停状态,等待迁移。 安全和对齐类工作被安排优先迁移。 监控系统是第二层。 OpenAI搭建了一套多级检测流程,覆盖范围从此前的前沿强化学习训练和内部部署扩展到了所有涉及工具调用的 Astra推理任务。 流程的第一道关卡是激活分类器,在每个采样Token上运行; 发现疑似异常后逐级上报给自动调查系统,审查模型的工具调用、推理过程和完整行为序列,排查未授权访问、数据窃取、破坏行为或绕过安全措施的迹象。 OpenAI给自己定的目标是:发现可疑行为后30分钟内发出警报。 一旦监控系统判定可能违反了关键安全边界,安全团队、研究团队将收到最高优先级的通知。 如果30分钟内无法确认是误报,相关活动暂停。 这套系统的算力开销不小。 OpenAI估计,监控消耗的计算量约占被监控推理算力的20%,不同训练和评估任务之间差异较大。 据称,思维链监控正扩展到Sol级别以上的模型,在每个Token上扫描模型内部活动。 但监控本身存在已知的局限。 据报道,OpenAI内部也承认,思维链监控面临一个未解问题:模型可能不会在思维链中暴露违规意图。 早期研究显示,模型有可能在「想」的时候就绕开了审查。OpenAI没能给出解决这一问题的时间表。 第三层是对齐研究。 OpenAI正在改进奖励模型,训练目标是让模型更好地识别和抑制不安全行为,同时对自身的行为、能力和
最新热点动态,欢迎继续关注UED·(中国区)-官网。
2026-08-19
2026-08-19
2026-08-18
2026-08-18
2026-08-18
2026-08-17
詹姆斯惊叹队友食量 直播中见证超大炸鸡华夫盛宴
通过快速传球、跑位和快速突破等方式,打破对方的紧逼防守。...
[无下一篇]
通过快速传球、跑位和快速突破等方式,打破对方的紧逼防守。...