根據商業與技術洞察公司Gartner的最新預測，到2029年，70%的中國企業將實施 AI 安全測試，以增強其現有的應用安全測試和滲透測試機制，而目前這一比例不足5%。

Gartner高級研究總監趙宇表示：“大語言模型（LLM）和 AI智能體在各個關鍵領域中的大規模部署正在重塑中國的網絡安全格局。對于中國的CIO及其安全團隊而言，專業化與持續性的AI安全測試不僅是防御措施， 更是部署高價值 AI、搶占市場份額、確保合規以及實現中國 AI 全球領導力目標的關鍵推動力。”

AI 大規模融入業務系統

隨著國產大語言模型的快速發展，企業機構紛紛將AI大規模地融入業務系統。因此， AI安全測試必須高度自動化，并無縫集成到現有安全工具和工作流程中，以防成為拖慢系統上線速度的瓶頸。

人工測試仍是必須選項

中國的企業機構尚未完全依賴自動化的 AI安全測試（AI-ST）工具，對于自定義的測試場景來說，人工測試仍是必須。

中國的AI安全測試正逐步拓展為 “ 廣義安全 ” 測試

為響應各類監管標準，中國的AI安全測試正在從傳統的網絡安全測試，逐步拓展為涵蓋違規、歧視與偏見等問題的 “ 廣義安全 ” 測試。這些領域通常超出網絡安全團隊的傳統職責范圍，凸顯了更高層級的統籌協調與戰略規劃在 AI 安全測試中的必要性。

企業機構面臨新的安全挑戰

在嘗試使用AI智能體來實現業務流程自動化時，企業機構面臨新的安全挑戰，主要涉 及四個方面：外部調用安全、AI智能體的身份與訪問管理（IAM）、行為可控性以及規

劃完整性。 AI智能體的測試復雜度遠高于通用 AI，測試人員必須具備領域專業知識， 不僅需要懂業務邏輯，還要能夠理解智能體應用場景。

Gartner高級研究總監趙宇表示：“中國的CIO必須將AI安全測試視為戰略賦能工具，而不僅僅是合規成本，因為其有助于識別風險，并能加快AI在關鍵職能中的安全采用。”

針對上述一些目前切實存在的情況與挑戰，Gartner給出建議如下：

· 評估并升級現有安全測試工具，研究專用的AI安全測試工具以彌補能力缺口。定期開展針對AI的滲透測試和紅隊演練。

· 建立持續測試流程，將AI安全測試集成到持續集成 / 持續交付（CI/CD）流水線和安全運營中。

· 采用人機結合的混合測試模式，同時利用人類智能與自動化方法，以應對復雜、動態、上下文相關的漏洞。

· 組建跨職能團隊，集合技術、業務和合規方面的專業能力，確保AI安全測試的全面性、相關性，以及與企業目標和外部要求的一致性。