Nvidia 推出 NeMo Guardrails,防止 AI 被利用於惡意行為及被玩壞!

- Arthur Chan - 2023-04-27 - visibility Views

於 2023 年,AI 已成為人們關注的焦點之一,科技巨頭正全力推動生成式 AI 革命。然而,這種新型 AI chatbot 時常表現不一並有可能會提供假資訊誤導別人。Nvidia 認為,他們的監督型代理工具「 NeMo Guardrails」可以解決這個問題,限制 AI 不說或不做我們不希望它做的事情,並成為防止 AI 被利用於進行惡意行為的一個關鍵。

Nvidia 的 NeMo 系統已經開發多年,2022 年意識到它對像 ChatGPT 這樣的大型語言模型有幫助,因此加快了 NeMo Guardrails 的開發,現在可以作為開源工具提供給開發人員使用。它包括三種監管機制:話題監管、安全監管和保護隱私監管,旨在限制 AI 不做出違反要求的行為或發言。

儘管如此,開發人員仍需警惕,因為使用者可以通過調整 AI 模型,讓其使用種族歧視言論、提供非法活動建議,甚至策劃如何消滅人類。NeMo Guardrails 的開發還需要不斷完善,這是 AI 研究中的熱門話題,但到目前為止尚未找到解決方案。現有的監管機制只是暫時的解決方案,直到我們找到編寫 AI 行為準則的方法。

資料來源:Nvidia