於 2023 年，AI 已成為人們關注的焦點之一，科技巨頭正全力推動生成式 AI 革命。然而，這種新型 AI chatbot 時常表現不一並有可能會提供假資訊誤導別人。Nvidia 認為，他們的監督型代理工具「 NeMo Guardrails」可以解決這個問題，限制 AI 不說或不做我們不希望它做的事情，並成為防止 AI 被利用於進行惡意行為的一個關鍵。
Nvidia 的 NeMo 系統已經開發多年，2022 年意識到它對像 ChatGPT 這樣的大型語言模型有幫助，因此加快了 NeMo Guardrails 的開發，現在可以作為開源工具提供給開發人員使用。它包括三種監管機制：話題監管、安全監管和保護隱私監管，旨在限制 AI 不做出違反要求的行為或發言。
儘管如此，開發人員仍需警惕，因為使用者可以通過調整 AI 模型，讓其使用種族歧視言論、提供非法活動建議，甚至策劃如何消滅人類。NeMo Guardrails 的開發還需要不斷完善，這是 AI 研究中的熱門話題，但到目前為止尚未找到解決方案。現有的監管機制只是暫時的解決方案，直到我們找到編寫 AI 行為準則的方法。
資料來源：Nvidia
