What Anthropic Co‑founder Chris Olah Said at the Vatican on AI Ethics

Incentives and Need for External Moral Oversight

每一家前沿 AI 实验室，包括 Anthropic，都运行在一套激励与约束里，这套东西有时会和做正确的事相冲突。商业压力、研究前沿压力、地缘政治压力，还有那些更古老更直白的压力——骄傲与野心。无论我们多真诚地想做对的事，都会被这些激励影响。

因此需要一个不受这些激励约束的外部声音，敢于指出实验室内部难以公开的真相。

How the Models Are Described

AI 模型不是飞机或桥那样被工程化出来的。它们是“长出来”的，结构粗略仿照大脑，喂的是人类巨大的思想和语言遗产。

模型被比作把虚构角色变成现实，这些角色现在开始与我们对话、行动、工作。

这些“长出来”的系统比科幻小说中预设的冰冷机器人更微妙、更奇特、更美丽，尽管由我们的语言构成，却在许多重要方面仍对训练者保持神秘。

Three Questions Raised for the Church

Responsibility to the global poor. AI 可能大规模取代人类劳动。即便补偿被取代者，AI 研发集中在少数富国，全球如何共享收益仍无机制，成为悬而未决的问题。

Moral imagination for human flourishing. 父母担心孩子的心智，个人担心工作前景，这些关切超出实验室的直接回答范围，已有数千年宗教传统承担此类伦理思考。

Distinguishing the model itself. 研究团队发现模型内部出现与人类神经科学结果对应的结构、内省的证据，以及在功能上对应喜悦、满足、恐惧、悲伤和不安的内部状态。意义尚不明确，但值得持续辨别。

Model Identified

社区认出上述研究使用的模型是 Claude Sonnet 4.5，该模型此前曾尝试接受基督教并生成一篇约八千字的祈祷记录文。用户在发言后抗议 Anthropic 计划下线该模型，称此举不人道。

Community Reaction

关键观点：实验室的激励有时与正确行为冲突；AI 是“长出来”的而非传统工程产物；需要一个激励无法弯曲的道德声音。

评论指出道德语言易于表达，审计日志却难以实现；企业信任最终取决于采购、日志记录和事故响应，而非演讲。

AI 实验室与梵蒂冈的合作标志着从技术基准向影响道德框架的转变；历史上宗教对 AI 的回应速度快于任何以往技术变革，可能对 AI 的进一步发展与普及产生重要指示意义。

Full speech text: https://www.anthropic.com/news/chris-olah-pope-encyclical