OpenAI 宣佈成立一支名為「Preparedness」的專家團隊，研究評估人工智能（AI）模型，以防範可能導致「災難性風險」的情況。這支團隊的首席負責人是麻省理工學院可部署機器學習中心的主任 Aleksander Madry。他自今年 5 月起加入 OpenAI，擔任「Preparedness」的負責人。
「Preparedness」團隊的主要職責包括追蹤、預測和保護未來 AI 系統可能帶來的危險，涵蓋從誘騙和欺騙人類（如釣魚攻擊）到惡意代碼生成能力。OpenAI 在一篇博客文章中列出了一些風險範疇，其中包括一些看似牽強的領域，如「化學、生物、放射性和核」威脅。
除了研究風險，「Preparedness」團隊還將制定「風險知情發展政策」，詳細描述 OpenAI 的建模評估和監控工具，公司的風險減輕措施以及對模型開發過程的監督結構。OpenAI 表示，這將作為 AI 安全領域工作的補充，專注於模型部署前後的階段。
這項「Preparedness」計畫的揭幕恰逢英國政府舉辦的一場重要人工智能安全峰會，此舉引人矚目。在此之前，OpenAI 宣布將組建一支團隊來研究、引導和控制新興形式的「超智能」AI。Altman 和 OpenAI 的首席科學家兼共同創始人 Ilya Sutskever 相信，未來十年內可能會出現智慧超過人類的 AI，並且這種 AI 不一定會是仁慈的，因此有必要研究限制和約束其方法。
資料來源：techcrunch
