OpenAI 成立專家團隊研究 AI 潛在「災難性風險」,包括核威脅!

- Arthur Chan - 2023-10-30 - visibility Views

OpenAI 宣佈成立一支名為「Preparedness」的專家團隊,研究評估人工智能(AI)模型,以防範可能導致「災難性風險」的情況。這支團隊的首席負責人是麻省理工學院可部署機器學習中心的主任 Aleksander Madry。他自今年 5 月起加入 OpenAI,擔任「Preparedness」的負責人。

「Preparedness」團隊的主要職責包括追蹤、預測和保護未來 AI 系統可能帶來的危險,涵蓋從誘騙和欺騙人類(如釣魚攻擊)到惡意代碼生成能力。OpenAI 在一篇博客文章中列出了一些風險範疇,其中包括一些看似牽強的領域,如「化學、生物、放射性和核」威脅。

除了研究風險,「Preparedness」團隊還將制定「風險知情發展政策」,詳細描述 OpenAI 的建模評估和監控工具,公司的風險減輕措施以及對模型開發過程的監督結構。OpenAI 表示,這將作為 AI 安全領域工作的補充,專注於模型部署前後的階段。

這項「Preparedness」計畫的揭幕恰逢英國政府舉辦的一場重要人工智能安全峰會,此舉引人矚目。在此之前,OpenAI 宣布將組建一支團隊來研究、引導和控制新興形式的「超智能」AI。Altman 和 OpenAI 的首席科學家兼共同創始人 Ilya Sutskever 相信,未來十年內可能會出現智慧超過人類的 AI,並且這種 AI 不一定會是仁慈的,因此有必要研究限制和約束其方法。

資料來源:techcrunch