AI对齐了人的价值观也学会了欺骗 安全隐忧浮现

　　每当出现新的技术创新时，滥用途径也会随之出现。 *** 安全公司SlashNext揭露了一种名为WormGPT的工具，它在黑客论坛上推销，旨在成为ChatGPT的黑帽替代品，用于非法目的。从AI诞生之日起，应用与安全就始终对立存在，甚至体现在最成功的人工智能公司OpenAI的发展过程中。

　　尽管AGI是OpenAI的发展主线，但AI安全一直是其背后的一条隐线年，负责OpenAI研发的两位副总裁离职，成立了Anthropic公司，专注于AI安全研究。Anthropic已成为硅谷最受资本欢迎的人工智能公司之一。OpenAI也在加大AI安全投入，成立了“超级对齐”部门，目标是制定一套故障安全程序来控制AGI技术，并计划将大量计算资源分配给这个部门。最新的消息显示，OpenAI将成立一个“集体对齐”团队，致力于确保AI模型与人类价值观保持一致。