香港城市大學 × 資通安全研究所 打造韌性AI安全體系

AI與電動車（EV）技術進展一日千里，資安威脅已從虛擬世界蔓延至物理現實。面對日益複雜的攻擊手段，學術界的理論深度與產業界的實戰場域必須緊密結合。

鴻海研究院資安所與香港城市大學計算學院電腦科學系的深度合作，正是受此背景推動。做為全球頂尖技術研發機構，鴻海研究院提供如FoxBrain等內部開發的大語言模型做為實踐平台，使學術研究得以直接進入真實的產業應用中。

針對當前火熱的生成式AI安全，則雙方團隊提出「紅藍隊攻防」架構。紅隊負責「找威脅」，並透過香港城市大學團隊提出的「內在激勵紅隊設計」，利用強化學習手法，賦予系統自我評價能力，專注挖掘尚未被發掘的攻擊空間，進而擴大攻擊面的覆蓋率；在防禦端（藍隊），雙方開發「跨模態藍隊後綴防禦模組」，首創將強化學習應用於防禦模型的訓練，在不修改原模型的前提下，達成「即插即用」效果。雙方研究團隊更將檢測延遲優化至極低水平，確保在FoxBrain實際運作時，能有效抵禦越獄攻擊，並達成特定攻擊手段安全性提升28％的關鍵指標。

深化安全韌性

研究團隊還揭示了實體世界中的新型威脅，譬如，在「線上高精度地圖建構模型」中點，攻擊者僅需要透過手電筒或微小貼片產生擾動，就能引發深度學習網路的放大效應，導致模型誤判紅綠燈或停止標誌。這項研究意謂著，未來智慧電動車的感測器融合設計，不能僅依賴視覺模型，還必須正視物理世界的攻擊向量。

在測試標準方面，雙方發現，現有自駕模擬器在碰撞偵測上存在重大缺陷。透過開發針對模擬器本身的除錯技術，團隊找出許多漏報碰撞的「邊角案例」，並回饋給供應商，使虛擬測試能更精準反映真實物理環境。

除了技術成果，雙方亦建立「高主題多樣性紅隊資料集」等關鍵數位資產。對學界而言，這提供公平競爭的框架；對產業界，則能利用這些資料集對內部模型（如：FoxBrain）進行安全對齊，使其在面對惡意指令時更具韌性。

展望未來，資安戰場將朝向「AI對抗AI」發展，雙方已開始布局後量子密碼學，為多機器人協作系統開發具備長期防禦機制，為未來智慧工廠奠定安全基礎。

此外，針對下一階段的代理人安全，香港城市大學電腦科學系博士後研究員鄭翔指出，未來攻擊者的門檻會因AI工具大幅降低，雙方合作乃延伸至代理人隱私保護，防止企業核心系統提示詞或商業記憶遭非法竊取。

香港城市大學電腦科學系教授王聰強調，學術研究若不與產業場域互動，往往會流於理論而難以落地。資安所提供真實應用情境、性能指標與嚴苛的測試要求，使學、研團隊能在創新之際，兼顧成本控制和風險評估。這場合作，不僅催生了安全技術，更進一步演化出負責任、可演進的AI安全體系。