去年 11 月底,OpenAI 推出了 AI 聊天機器人程式 ChatGPT,其可回答連續性問題,且其知識庫相當強大,可謂「上知天文、下知地理」,僅上架 5 天,就已擁有 100 萬用戶。
據悉 ChatGPT 是 GPT 反覆運算出的第 3.5 個版本,於 2018 年時 GPT-1 誕生,2022 年 OpenAI 為給 GPT-4 收集用戶回饋,而發佈了 GPT-3.5,也就是如今的 ChatGPT。Microsoft 的 AI 大模型及強大算力是助力 OpenAI 的關鍵,OpenAI 曾為了讓 GPT-3 的表現更接近人類,用了 45TB 的資料量、及近 1 萬億個單詞來訓練它,即大約 1,351 萬本牛津詞典。
大模型及其高算力對應的是龐大的資金消耗,ChatGPT 一次運算就要花費 450 萬美元。據美國《財富》雜誌報導,2022 年 OpenAI 淨虧損總額達 5.45 億美元。此外,ChatGPT 測算生成一條資訊的成本在 1.3 美分左右,是目前傳統搜尋引擎的 3 – 4 倍,單次搜尋成本過於高昂。
由於研發門檻高,故註定主流的大多會由大型企業或其研究機構掌握,且成為相關企業的「護城河」。
模型是 AI 的靈魂,參數量越大、模型越複雜,所作出的預測就越準確。如今業界主流的 AI 生成類工具的大模型都是千億級、萬億級參數量的水準。這些 AI 生成類工具可以學習各行各業的各類資料,除了可以給出相較於小模型更準確的預測結果外,它也展現出驚人的泛化能力和遷移能力,產出的內容品質更高、更智慧。