指鹿為馬騙倒 AI ? 用一張「紙條」加註釋就能瞞騙 AI 物件辨識

- 軒仔 - 2021-03-15 - visibility Views
近年來,AI 與機器學習的發展和應用日漸普及,不過 AI 亦不是萬能,亦會有受騙的時候。近日 OpenAI 的研究員發現,若以照片進行物件辨識的 AI 竟然會被手寫標籤的內容而影響致誤判。在研究中發現,只要以人寫的「字串」標籤直接愛到原本要讓 AI 辨識的物件上,則會導致結果錯誤,並成功被引導致手寫的字串代表的物件。如在一顆青蘋果上,貼上了寫著「iPod」的紙標籤,AI 最後竟真的將其辨認為 iPod。這種明「指鹿為馬」的瞞騙行為,被研究員命名為「印刷攻擊」(typographic attacks)。
圖擷自OpenAI

研究員同時指出,這種「印刷攻擊」的成因,事源 AI 強大的視覺辨識技術,即人工智慧讀取文字的能力,特別是擁有手寫文字的照片,最容易成功瞞騙 AI 辨識出錯誤的結果。而這個小小的 Bug,實際上對依賴視覺辨識的各種設備,產生了高度風險。如 Tesla 的自動駕駛 AI,若讀取到被人刻意更改的錯誤標籤時,就有機會成功瞞騙 AI,作出錯誤的駕駛行為與判斷。

 

資料來源