OpenAI 推出稀疏模型突破大模型黑箱困境#

首次实现内部推理全过程可视化 OpenAI 研究团队开发的全新实验性大型语言模型——权重稀疏 Transformer，首次实现了大模型内部推理过程的完全可视化。该模型通过强制大部分权重为零，让每个神经元只连接极少数其他神经元，使模型内部结构变得可读、可追踪、可解释。虽然性能仅相当于 2018 年的 GPT-1 水平，但在简单任务测试中，研究人员能够清晰追踪完整的计算链条，包括模型如何编码、处理和输出信息的每个步骤。传统稠密神经网络将知识打碎在海量连接中，形成难以解读的复杂纠缠，导致模型成为无法解释的”黑箱”。OpenAI 研究科学家 Leo Gao 表示，虽然该技术目前无法扩展到 GPT-5 等超大规模模型，但团队相信未来几年内可能构建出与 GPT-3 性能相当且完全可解释的模型，为构建更透明、更安全的 AI 系统奠定基础。

MIT科技评论