芯片廠(chǎng)商正越來(lái)越多地采用基于人工智能的工具，對(duì)用于各類(lèi)邊緣場(chǎng)景的半導(dǎo)體進(jìn)行驗(yàn)證，這些場(chǎng)景包括機(jī)器人、無(wú)人機(jī)、自動(dòng)駕駛汽車(chē)等實(shí)體 AI。但他們對(duì)這類(lèi)技術(shù)仍持謹(jǐn)慎態(tài)度，會(huì)限制 AI 的執(zhí)行范圍，并在必要時(shí)依靠人工干預(yù)檢查 AI 的運(yùn)行結(jié)果。

這些實(shí)體 AI 系統(tǒng)與大、小語(yǔ)言模型、計(jì)算機(jī)視覺(jué)模型、視覺(jué)?語(yǔ)言?動(dòng)作模型等相連。在許多場(chǎng)景下，人們會(huì)使用 AI 工具監(jiān)控這些模型，對(duì)海量數(shù)據(jù)集進(jìn)行篩選以發(fā)現(xiàn)異常。

從功能安全與網(wǎng)絡(luò)安全角度看，由 AI 工具監(jiān)督連接了小語(yǔ)言模型與大語(yǔ)言模型的實(shí)體 AI 設(shè)備，看似形成了一個(gè)危險(xiǎn)的閉環(huán)。如果模型被輸入錯(cuò)誤或帶偏差的數(shù)據(jù)，或最壞情況下惡意攻擊者控制操作系統(tǒng)并啟動(dòng)具備自主能力的武裝無(wú)人機(jī)，系統(tǒng)將極易受到攻擊并出現(xiàn)意外行為。但即便在理想情況下，也不應(yīng)讓 AI 工具全權(quán)管控人形機(jī)器人。至少在目前，從設(shè)計(jì)、驗(yàn)證到監(jiān)控的全流程中都需要人類(lèi)參與。

“在人類(lèi)完全脫離該閉環(huán)之前，為保持一定程度的審查，我們?nèi)孕枰惶字坪鈾C(jī)制。” 楷登電子（Cadence）驗(yàn)證軟件產(chǎn)品管理高級(jí)集團(tuán)總監(jiān)馬修?格雷厄姆表示，“毫無(wú)疑問(wèn)，執(zhí)行這些制衡措施的人員會(huì)得到 AI 的輔助。我希望如此，但我不認(rèn)為存在可能出錯(cuò)的完全自主反饋閉環(huán)。制衡機(jī)制足夠完善。EDA 工具本身就是該流程的一部分，用于確保無(wú)論系統(tǒng)為何，都具備合適的冗余度與功能安全等級(jí)。”

但這套制衡機(jī)制依賴(lài)實(shí)體 AI 企業(yè)秉持誠(chéng)信原則建立必要的安全規(guī)程，而這一點(diǎn)無(wú)法得到保證。例如，近期一篇新聞報(bào)道指出了某企業(yè)跳過(guò)關(guān)鍵步驟所引發(fā)的擔(dān)憂(yōu)。

基于 AI/ML 工具的安全保障應(yīng)建立在可映射至標(biāo)準(zhǔn)功能安全生命周期的核心支柱之上。“這包括危害與風(fēng)險(xiǎn)分析、驗(yàn)證與測(cè)試、認(rèn)證與確認(rèn)，而對(duì)于機(jī)器人領(lǐng)域，還包括與人類(lèi)的動(dòng)態(tài)交互。” 想象力科技（Imagination Technologies）工程與技術(shù)負(fù)責(zé)人、系統(tǒng)與功能安全工程專(zhuān)家安德魯?約翰遜表示，“工具評(píng)估與認(rèn)證在功能安全領(lǐng)域十分普遍。該工具是否會(huì)給設(shè)計(jì)引入系統(tǒng)性錯(cuò)誤？是否會(huì)影響硬件設(shè)計(jì)？是否會(huì)影響軟件？是否會(huì)影響代碼？它可能是一款驗(yàn)證或確認(rèn)測(cè)試工具，在這種情況下，你能否信任該工具正確檢測(cè)錯(cuò)誤或不產(chǎn)生誤報(bào)？需要考慮的問(wèn)題很多。這意味著，由于功能安全傳統(tǒng)上應(yīng)用于更強(qiáng)確定性的系統(tǒng)，而非基于統(tǒng)計(jì)處理的系統(tǒng)，復(fù)雜度正以數(shù)個(gè)數(shù)量級(jí)提升。”

其他業(yè)內(nèi)人士也認(rèn)同需要保持謹(jǐn)慎。“工程師應(yīng)將當(dāng)前的 AI/ML 工具視為開(kāi)發(fā)工具，這意味著必須對(duì)工具使用進(jìn)行恰當(dāng)測(cè)試或認(rèn)證。” 是德科技 EDA 首席安全分析師拉杰什?維萊加拉蒂表示，“從 AI/ML 獲得的輸出應(yīng)具備可復(fù)現(xiàn)性與可審計(jì)性。這可能包括定義大語(yǔ)言模型的輸入規(guī)則。人類(lèi)應(yīng)參與閉環(huán)，設(shè)定目標(biāo)與風(fēng)險(xiǎn)，并完成最終審批。這一要求可同時(shí)出于安全與安防目的。”

換言之，在依靠 AI/ML 工具保障實(shí)體 AI 安全與安防方面，其可信程度存在上限。“AI 是解決方案的一部分，因?yàn)槟憧梢杂?AI 進(jìn)行監(jiān)控。” 新思科技（Synopsys）產(chǎn)品管理高級(jí)總監(jiān)達(dá)納?諾伊施塔特表示，“最終你會(huì)使用多個(gè) AI，其中一個(gè)可作為安全監(jiān)控器。如果它具備足夠的隔離性而無(wú)法被篡改，就能為安防帶來(lái)顯著價(jià)值，無(wú)論機(jī)器人其余行為是否由 AI 控制。”

保護(hù)實(shí)體 AI 類(lèi)似于搭建防火墻。“攻擊者會(huì)嘗試?yán)@過(guò)防火墻，如果能控制防火墻，就會(huì)占據(jù)極為有利的位置，因?yàn)榭梢孕薷姆阑饓ε渲茫瑪r截或放行各類(lèi)信息。” 諾伊施塔特表示，“實(shí)體 AI 與此邏輯高度相似。我們不斷為其增加層層復(fù)雜度，但風(fēng)險(xiǎn)本質(zhì)相同，只是在 AI 介入后以不同形式體現(xiàn)。”

專(zhuān)用 AI/ML 程序即專(zhuān)家系統(tǒng)已存在數(shù)十年，可用于下棋、駕駛、分析蛋白質(zhì)折疊。“簡(jiǎn)而言之，這些程序都是專(zhuān)用系統(tǒng)。” 芯佰思（Rambus）硅安全產(chǎn)品高級(jí)總監(jiān)斯科特?貝斯特表示，“它們不會(huì)像 ChatGPT 那樣流暢、完全無(wú)沖突地與人對(duì)話(huà)，但或許能助力攻克癌癥。在芯片級(jí)安全方面，我們?cè)u(píng)估了數(shù)款專(zhuān)家系統(tǒng)，其目標(biāo)是保障微電子設(shè)計(jì)與驗(yàn)證中抗篡改安全功能的有效性。目前沒(méi)有一款能真正實(shí)現(xiàn)效率倍增。現(xiàn)階段，使用它們所需的投入與不使用它們直接完成工作相當(dāng)。但我對(duì)此持樂(lè)觀態(tài)度。”

目前，芯片設(shè)計(jì)人員應(yīng)負(fù)責(zé)實(shí)體 AI 的安全部分。“任何嵌入式安全應(yīng)用都具備多層架構(gòu)。” 新突思科技（Synaptics）物聯(lián)網(wǎng)與邊緣處理器副總裁兼總經(jīng)理約翰?威爾表示，“必須考慮所搭建的安全層級(jí)，以及威脅模型是什么。我們?yōu)闊o(wú)線(xiàn)產(chǎn)品大量整合、構(gòu)建優(yōu)化軟件，安全是其中重要一環(huán)。”

語(yǔ)言模型與機(jī)器人的發(fā)展

發(fā)展到當(dāng)前水平的小語(yǔ)言模型與大語(yǔ)言模型，是支撐下一代機(jī)器人的必要條件。其結(jié)果是誕生了 “表現(xiàn)尚可的實(shí)體 AI 通用大腦，如同 ChatGPT 之于數(shù)字 AI。” 英偉達(dá)機(jī)器人與邊緣 AI 副總裁兼總經(jīng)理迪普?塔拉在英飛凌 OktoberTech 大會(huì)上表示。

圖 1：人形機(jī)器人架構(gòu)基于計(jì)算與連接、感知、執(zhí)行與能源技術(shù)。

同樣離不開(kāi)如今仿真技術(shù)的先進(jìn)能力。塔拉解釋道，仿真比真實(shí)世界測(cè)試更快、更安全、成本更低。“但在機(jī)器人領(lǐng)域，仿真到現(xiàn)實(shí)的差距一直很大，因此無(wú)法認(rèn)為仿真中的表現(xiàn)能代表現(xiàn)實(shí)情況。由于大語(yǔ)言模型與仿真技術(shù)已相對(duì)成熟，全球頂尖的科研人員、初創(chuàng)企業(yè)、風(fēng)投資本與大型企業(yè)都在轉(zhuǎn)向解決通用機(jī)器人大腦這一問(wèn)題。”

監(jiān)督 AI

亞利桑那州立大學(xué)計(jì)算與增強(qiáng)智能學(xué)院助理教授、系統(tǒng)學(xué)習(xí)評(píng)估與自然化實(shí)驗(yàn)室（LENS Lab）主任蘭薩魯?塞納納亞克的研究指出，AI 審計(jì)工具可幫助提升連接實(shí)體 AI 的語(yǔ)言模型的完整性，但必須由人類(lèi)界定故障模式范圍。

“我們擁有 AI 審計(jì)工具，它會(huì)通過(guò)多種方式干擾大模型，然后生成常見(jiàn)故障模式報(bào)告。” 塞納納亞克表示，“我們將結(jié)果交給人類(lèi)，由人類(lèi)判斷：‘這種故障模式很危險(xiǎn)’或‘這種故障模式可以接受’。機(jī)器無(wú)法獨(dú)立完成審計(jì)，因?yàn)樗鼰o(wú)法與人類(lèi)價(jià)值觀、倫理等對(duì)齊。人類(lèi)無(wú)法對(duì)模型進(jìn)行窮盡測(cè)試，因此我們開(kāi)發(fā)了一種可擴(kuò)展技術(shù)，用于干擾系統(tǒng)并為人類(lèi)生成簡(jiǎn)潔報(bào)告。人類(lèi)查看報(bào)告后，指示模型減少特定故障模式，使其與人類(lèi)價(jià)值觀對(duì)齊。”

通過(guò)反饋閉環(huán)，AI 審計(jì)工具會(huì)逐步更貼合人類(lèi)需求。“值得注意的是，人類(lèi)價(jià)值觀也會(huì)隨時(shí)間改變，只是速度更慢。” 塞納納亞克說(shuō)，“如今可接受的內(nèi)容，五年左右后可能不再被接受。”

想象力科技的約翰遜同樣認(rèn)為，人類(lèi)價(jià)值觀與道德是不可忽視的方面。“你該如何真正衡量智能？機(jī)器學(xué)習(xí)模型中的智能程度很低，它高度依賴(lài)于你提供的數(shù)據(jù)。”

因此，極端場(chǎng)景是監(jiān)控大語(yǔ)言模型的 AI/ML 工具的薄弱環(huán)節(jié)。“開(kāi)發(fā) AI 工具的核心目標(biāo)，是對(duì)未見(jiàn)過(guò)的場(chǎng)景具備置信度。” 約翰遜表示，“不安全數(shù)據(jù)集通常規(guī)模很小，而統(tǒng)計(jì)驗(yàn)證可在此發(fā)揮作用，提供更豐富、多樣化的動(dòng)態(tài)數(shù)據(jù)，以及大量數(shù)據(jù)或傳感器輸入。”

AI/ML 芯片驗(yàn)證與功能覆蓋率工具

實(shí)體 AI 系統(tǒng)的安全與安防必須從半導(dǎo)體層面的功能驗(yàn)證開(kāi)始，以確保安全關(guān)鍵芯片在任何情況下都能按預(yù)期運(yùn)行。在這一點(diǎn)上，汽車(chē)與實(shí)體 AI 存在共通之處。

AI/ML 工具可輔助該工作流中的多項(xiàng)任務(wù)，包括自動(dòng)化代碼分析審查、功能覆蓋率、架構(gòu)或規(guī)格審查，以及提升驗(yàn)證生命周期效率，尤其是在覆蓋極端場(chǎng)景時(shí)。“在所有現(xiàn)有驗(yàn)證流程與數(shù)據(jù)集上，你可以發(fā)現(xiàn)規(guī)律并找到未覆蓋的部分，而機(jī)器學(xué)習(xí)可在這些極端場(chǎng)景中提供幫助。” 約翰遜說(shuō)，“但核心問(wèn)題在于，用于訓(xùn)練模型的數(shù)據(jù)是否優(yōu)質(zhì)、數(shù)據(jù)量是否充足，且訓(xùn)練數(shù)據(jù)應(yīng)與測(cè)試數(shù)據(jù)相互獨(dú)立。我們必須避免二者直接關(guān)聯(lián)，否則毫無(wú)價(jià)值。”

許多新型 AI/ML 與智能體 AI 工具都聚焦于驗(yàn)證，因?yàn)檫@是人類(lèi)工程師流程中耗時(shí)極高的環(huán)節(jié)。一旦出現(xiàn)失誤，成本也極為高昂，尤其是高端機(jī)器人與自動(dòng)駕駛汽車(chē)芯片將采用先進(jìn)工藝制造。

最大挑戰(zhàn)之一是根本原因分析（RCA）。“在軟件領(lǐng)域，人人都可以使用助手工具。”ChipAgents 創(chuàng)始人兼首席執(zhí)行官威廉?王表示，“輸入、輸出、問(wèn)題、代碼一應(yīng)俱全，出現(xiàn)缺陷就修復(fù)并提交 GitHub 拉取請(qǐng)求。但半導(dǎo)體行業(yè)截然不同，因?yàn)榧夹g(shù)棧極深，對(duì)于超大規(guī)模倉(cāng)庫(kù)的根本原因分析而言難度極大。假設(shè)你在一家前沿芯片公司研發(fā)新款 GPU，通常涉及 100 億個(gè)邏輯門(mén)，不可能將 100 億個(gè)邏輯門(mén)輸入單個(gè)語(yǔ)言模型。這就是為何需要 AI 智能體探查倉(cāng)庫(kù)內(nèi)容，并提取所需上下文。”

圖 2：多智能體 AI 根本原因分析系統(tǒng)。

AI/ML 工具可實(shí)現(xiàn)整個(gè)根本原因分析流程自動(dòng)化。“我們幫助你運(yùn)行仿真。” 威廉?王說(shuō)，“我們可以查看你的測(cè)試平臺(tái)，協(xié)助修復(fù)測(cè)試平臺(tái)。我們分析日志文件、波形，協(xié)助修復(fù)寄存器傳輸級(jí)（RTL）代碼。”

但設(shè)計(jì)驗(yàn)證的終極問(wèn)題依然是：“誰(shuí)來(lái)驗(yàn)證驗(yàn)證工具？”

“這是一個(gè)無(wú)限回溯的循環(huán)問(wèn)題，因?yàn)樽罱K的基準(zhǔn)事實(shí)由誰(shuí)定義？”ChipAgents 工程主管梅希爾?羅拉表示，“我們能否檢查規(guī)格書(shū)的一致性？能否檢查測(cè)試計(jì)劃與規(guī)格書(shū)的一致性？能否實(shí)現(xiàn)從規(guī)格書(shū)到測(cè)試計(jì)劃、再到測(cè)試平臺(tái)的全鏈路可追溯性，從而更清晰地明確誰(shuí)在執(zhí)行驗(yàn)證？”

ChipAgents 將功能覆蓋率作為 AI 智能體幫助節(jié)省人類(lèi)工程師時(shí)間的關(guān)鍵方向。“一個(gè)值得關(guān)注的問(wèn)題是，我們能否開(kāi)發(fā)一套系統(tǒng)，生成定向測(cè)試用例，能夠跨越多層間接調(diào)用，最終找到并定位觸發(fā)單一狀態(tài)表的方式，從而在大型子系統(tǒng)中遍歷狀態(tài)空間。” 羅拉說(shuō)。

通過(guò)配置智能體編寫(xiě)定向測(cè)試用例可縮短仿真時(shí)間，這類(lèi)用例在仿真中運(yùn)行速度更快。“系統(tǒng)以完全自主模式運(yùn)行。” 他表示，“可批量、通宵運(yùn)行，用算力時(shí)間換取工程時(shí)間，這通常是極具價(jià)值的交換。”

當(dāng)一套系統(tǒng)嘗試通過(guò)多層間接調(diào)用找到目標(biāo)路徑時(shí)，另一套完整系統(tǒng)會(huì)以高度隨機(jī)化方式生成 UVM 測(cè)試平臺(tái)。“我們熟知約束隨機(jī)化，這是設(shè)計(jì)驗(yàn)證工程師最基礎(chǔ)、最核心的手段。”

大語(yǔ)言模型工具會(huì)從目標(biāo)文件中提取大量不同信息，輸出自然語(yǔ)言?xún)?nèi)容，所有工程師均可閱讀，盡管與黑白分明的代碼相比，自然語(yǔ)言存在模糊性。“我們必須接受這一難點(diǎn)，但它同樣也是優(yōu)勢(shì)。” 他繼續(xù)說(shuō)道，“傳統(tǒng)仿真器與形式化工具完全不使用英語(yǔ)，但我們認(rèn)為這種方式價(jià)值被低估、未被充分利用。我們能獲得更強(qiáng)目的性與進(jìn)展的核心途徑，就是通過(guò)自然語(yǔ)言、規(guī)格書(shū)、設(shè)計(jì)文檔、測(cè)試計(jì)劃等。”

其目標(biāo)是利用大語(yǔ)言模型的層級(jí)能力與抽象理解解決覆蓋率相關(guān)的各類(lèi)問(wèn)題。“我們的目標(biāo)是持續(xù)啟用多個(gè)智能體，致力于提升現(xiàn)有測(cè)試平臺(tái)的覆蓋率，編寫(xiě)定向測(cè)試用例，并借助這些用例補(bǔ)全功能覆蓋率模型中定義的剩余覆蓋率。” 羅拉表示。

其他正在開(kāi)發(fā)的工具與方法包括更強(qiáng)確定性與算法化工具、解析覆蓋率數(shù)據(jù)庫(kù)、分支與翻轉(zhuǎn)覆蓋率，以及構(gòu)建 UVM 測(cè)試平臺(tái)。

圖 3：智能體 AI 可用于多種驗(yàn)證任務(wù)。

總體而言，在實(shí)現(xiàn)實(shí)體 AI 功能安全的目標(biāo)中，基于統(tǒng)計(jì)的功能覆蓋率是否是 AI/ML 工具的最佳應(yīng)用場(chǎng)景之一？

“說(shuō)實(shí)話(huà)，如果你想做好、做透徹，沒(méi)有任何一件事是簡(jiǎn)單的。” 想象力科技的約翰遜說(shuō)，“這回到能力本身。在機(jī)器學(xué)習(xí)中驗(yàn)證概念，引入部分或完整的機(jī)器學(xué)習(xí)流程可能很容易。但真正理解其中的危害與風(fēng)險(xiǎn)，真正領(lǐng)會(huì)改進(jìn)的細(xì)微之處并進(jìn)行量化，難度極高。確保其不會(huì)破壞功能安全相關(guān)設(shè)計(jì)，同樣極為困難。如果你想做好、想負(fù)責(zé)任且安全地實(shí)現(xiàn)，沒(méi)有任何一項(xiàng)工作是簡(jiǎn)單的。但這不會(huì)、也無(wú)法阻止人們嘗試。”

結(jié)論

在謹(jǐn)慎使用的前提下，AI/ML 工具可幫助提升數(shù)據(jù)密集型實(shí)體 AI 與大語(yǔ)言模型系統(tǒng)的安全性，并協(xié)助驗(yàn)證驅(qū)動(dòng)這些系統(tǒng)的芯片。

“AI 只是自動(dòng)化的下一步，而自動(dòng)化已經(jīng)存在數(shù)十年。” 是德科技 EDA 高級(jí)總監(jiān)亞歷山大?佩特爾表示，“自動(dòng)化意味著你擁有規(guī)則、可遵循的標(biāo)準(zhǔn)，所有內(nèi)容都以可自動(dòng)化的格式（即代碼）呈現(xiàn)。數(shù)字電路、VHDL、版圖與原理圖一致性檢查（LVS）等基本都基于規(guī)則，自由度受限。相關(guān)標(biāo)準(zhǔn)已發(fā)展數(shù)十年，晶圓廠(chǎng)等芯片生產(chǎn)企業(yè)為所有潛在故障設(shè)置了防護(hù)欄。”

將 AI 引入功能覆蓋率等領(lǐng)域是自然的過(guò)渡。“這不是巨大的階躍變化。” 佩特爾說(shuō)，“現(xiàn)在你讓 AI 代替人類(lèi)編寫(xiě)代碼，這很容易。”

通過(guò)承擔(dān)流程中重復(fù)性、高耗時(shí)的部分任務(wù)，AI/ML 工具還可幫助彌補(bǔ)人才缺口。“毫無(wú)疑問(wèn)，我們看到對(duì)驗(yàn)證工具與驗(yàn)證工程師的需求持續(xù)增長(zhǎng)，增速超過(guò)行業(yè)整體人才培養(yǎng)能力。” 楷登電子的格雷厄姆表示，“這正是我們認(rèn)為 AI 將彌補(bǔ)的缺口之一。我不認(rèn)為有人會(huì)因 AI 失業(yè)。未來(lái)的情況是，我們需要招聘 10 名工程師卻只找到 4 名，這一缺口至少會(huì)部分由 AI 提升的生產(chǎn)力彌補(bǔ)。”

但無(wú)論 AI/ML 以何種方式、在何處使用，最終都回歸到人、流程與能力，以確保所有工作負(fù)責(zé)任、可信地完成。想象力科技的約翰遜表示：“問(wèn)題困難且復(fù)雜。因此，無(wú)論使用何種工具、何種技術(shù)，在直接切入機(jī)器學(xué)習(xí)領(lǐng)域之前，都應(yīng)重點(diǎn)關(guān)注工程研發(fā)團(tuán)隊(duì)的能力建設(shè)，搭建穩(wěn)健的框架與流程，助力系統(tǒng)開(kāi)發(fā)并合理、高效使用工具。”

成功使用 AI/ML 工具還依賴(lài)于對(duì)模型的理解。“這包括模型來(lái)源、使用方式、在約束與限制下的輸出結(jié)果，以及與其他數(shù)據(jù)點(diǎn)（可能由機(jī)器學(xué)習(xí)生成，也可能不是）之間的平衡。” 約翰遜說(shuō)，“諷刺的是，在機(jī)器學(xué)習(xí)工具與數(shù)據(jù)集的支持下，你可能需要更少的工程師。但我的觀點(diǎn)是，必須提前防范問(wèn)題，否則問(wèn)題大概率會(huì)發(fā)生。”