誤判

中國阿里安全研究團隊發佈了一項新研究，只要簡單利用激光筆，就可讓自動導航用的 AI 模型失效。在這個研究中，他們設計了一種算法造成模擬光束，對AI模型作出「攻擊」，並有效地對現有基於 AI 的視覺系統 (如基於 AI 視覺的自動駕駛) 造成影響。 研究當中指出，只要利用簡單的激光筆，並不需要對 AI 模型作出物理攻擊，即能使 AI 對模型誤判。如上圖所示，被激光照射的路牌標示，AI 並不能正確地認出標示內容。當不同頻譜的光束射到同一物體上，AI 可能將該物體識別錯誤，比如停車標誌識

現在 AI 駕駛正發展得如火如荼，不過在這個領域上安全和可靠性一直備受關注。最近，有研究人員發現，只要簡單的一個方法，就能讓 TESLA 汽車的自動巡航系統錯誤判斷，從而變換線路，而且並不需要什麼駭客方式。 TESLA 的自動駕駛有多種能力，包括車道置中、自動泊車，以及在駕駛員同意後自動變道。這些功能都依靠車上的鏡頭、超聲波 Sensor、雷達來獲取環境信息，如障礙物、地形和車道變化等。車上的電腦再按照數據再以演算法來選擇最佳應對方式。   &