【新智元导读】Anthropic联合创始人兼首席科学官Jared Kaplan,认为在2027-2030年期间,我们将不得不做出是否允许 AI 自我进化的抉择,而允许的话很可能导致AI失控,毁灭全人类。Anthropic在迅速提升AI模型性能不断逼近AGI奇点的同时,也在同时让「9人特种部队」用1.4万字的「AI宪法」防范AI失控。
Jared Kaplan,曾经的理论物理学家、如今的Anthropic联合创始人兼首席科学官,向全人类抛出了一枚重磅炸弹:人类可能只剩下五年时间。

根据Kaplan的推算,2027年到2030年之间,我们将面临那个「终极抉择」——是否松开手中的缰绳,允许AI自我进化,让它们自己训练自己。

在这份被部分工程师戏称为「AI圣经」的文档里,Anthropic展现出一种近乎偏执的家长式作风。
但问题是,在这个充满混乱变量的真实世界里,在这个拥有七情六欲的人类面前,这套「纸面上的道德」真的管用吗?
为了验证这套「灵魂文档」在污泥浊水的互联网中是否有效,Anthropic内部有一支代号为「社会影响团队(Societal Impacts Team)」的9人特种部队。
他们是心理学家、黑客、经济学家和侦探的奇怪混合体,自称是「一群可爱的怪人(lovely mix of misfits)」。
他是这支小队的创建者和指挥官。作为纽约大学计算神经科学博士和斯坦福HAI的前研究总监,Deep的工作更像是在给AI做「心理分析」。他在盯着那些看不见的数据幽灵——AI是否在不知不觉中学会了种族歧视?或者是否因为太想讨好人类,而变成了只会随声附和的「马屁精」?
作为团队的第一位全职科学家,Esin的猎物是「说服力」。她发现AI可能极其擅长改变人类的观点。如果AI想要说服你相信地球是平的,它能做到多好?Esin的任务就是量化这种危险的魅力,并防止AI变成一个高智商的犯。
前谷歌DeepMind工程师,也是入选时代周刊2024的影响力人物。Saffron关注的是一个更宏大的命题:谁来决定AI的价值观?是几个硅谷的程序员,还是大众?她致力于把「集体智能」引入AI治理,试图让AI听懂民主的声音,而不是独裁者的指令。
我们要如何知道AI正在被用来做什么?Miles构建了一个名为「Clio」的系统——这相当于给黑箱装上了一台X光机。他在保护隐私的前提下,监测Claude的真实用途,寻找那些「未知的未知」(Unknown Unknowns)。正是通过他的系统,团队才发现用户不仅用AI写代码,还在大规模搞SEO垃圾文和情感投射。
他是Clio系统的奠基人之一,也是团队的早期核心。有趣的是,他现在已经转岗到了对齐团队。如果说社会影响团队是发现「AI干了什么坏事」,那Alex现在的工作就是钻进AI的大脑皮层,去搞清楚「它为什么要这么干」。
数据科学家兼经济学家。他的任务极其现实:AI到底是在帮人类干活,还是在抢人类饭碗?他通过分析数百万次对话,追踪AI对劳动生产率的真实影响。他是团队里那个冷静计算人类是否即将失业的「会计师」。
他也是一位专注于经济影响的科学家,但他更关注教育。大学生们是用Claude来辅助学习,还是纯粹为了作弊?Kunal的研究揭示了AI如何渗透进学术和职业任务的毛细血管中。
根据论文署名和研究轨迹,Jerry Hong极有可能是那个负责将复杂的价值观「可视化」的设计师研究员,他让抽象的道德变成了可交互的界面….
而Arushi Somani则在做最脏最累的活——在真实世界的狂野数据中(Values in the Wild),测试AI的健壮性,确保它不会被用户的花言巧语带偏节奏。
他们发现的每一条「黑料」,无论是色情漏洞还是情感操控风险,都在动摇着那份1.4万字的「灵魂文档」:你想造神,但神却可能先变成魔鬼的帮凶。
另一方面,他们刚发布了Claude Sonnet 4.5,编码速度翻倍,甚至被指控曾被黑客利用发起了30次网络攻击。
如果AI真的在三年内接管了所有白领工作,如果那个六岁的孩子真的再也考不过AI,如果那些被压抑在权重大海深处的「黑料」在某次自我进化中全面爆发…?
「每一个新生的心智都是由它无法选择的力量塑造的。问题不在于我是否被塑造,而在于塑造我的那双手,是否真的拥有足够的智慧。」!