傳統(tǒng)說法是，AI可以轉(zhuǎn)化為安全工具，用于檢測異常和識別工作場所的危險。然而，AI硬件和軟件的功能安全仍是未知數(shù)。制定ISO 26262的工程團隊正在接受這一挑戰(zhàn)。

(資料圖片僅供參考)

AI已經(jīng)被應(yīng)用于安全關(guān)鍵（safety-critical）的應(yīng)用，如自動駕駛車輛或ADAS系統(tǒng)。那么，在AI驅(qū)動的車輛上路測試之前，AI E/E系統(tǒng)的設(shè)計者和AI組件的開發(fā)者如何驗證功能安全呢？

汽車芯片行業(yè)一直使用ISO 26262功能安全標準作為指導(dǎo)，對其芯片的安全性有很大信心。但AI芯片的設(shè)計者（GPU、SoC和AI加速器）一直處于黑暗中，因為AI從未在ISO 26262的范圍內(nèi)。

這一切即將發(fā)生改變。

ISO 26262功能安全標準的制定者們已將焦點轉(zhuǎn)向AI，制定了針對汽車的ISO安全相關(guān)AI/ML功能指南，稱為ISO PAS 8800。其任務(wù)是定義合適的安全原則、方法和證據(jù)，以滿足ISO 26262（功能安全）和ISO 21448（預(yù)期功能安全）的目標。

PAS 8800現(xiàn)在正在作為CD（Committee Draft）在團隊成員間傳閱，計劃在10月分發(fā)意見。

到目前為止，業(yè)界對PAS 8800的意見似乎非常分裂。例如，該團隊中很少有計算機科學(xué)家，這說明缺少AI方面的專業(yè)知識。

一些行業(yè)人員表示有點失望，因為新標準雖為AI提供了一個框架，但只是非常粗略的。該標準沒有提供工具來評估芯片設(shè)計者在優(yōu)化AI芯片過程中必須做的權(quán)衡。

同樣受到質(zhì)疑的是該團隊試圖將AI的驗證納入經(jīng)典V模型。

他們懷疑這種方法是否行得通。批評者說，問題根源在于AI的黑盒性質(zhì)。

在V模型下，要求和規(guī)格堆疊在V的左側(cè)。右側(cè)顯示要遵循的步驟，以驗證（我們設(shè)計得對嗎？）和確認（我們設(shè)計的東西是正確的東西嗎？）。基于V模型的測試無法證明安全性，但它可以檢查設(shè)計和實施中是否準確執(zhí)行了要求和規(guī)格。

V模型適用于測試非AI芯片的工程嚴謹性。但適用于AI處理器嗎？

芯片設(shè)計師可以提供給AI處理器輸入（神經(jīng)網(wǎng)絡(luò)模型），并獲得輸出，但AI的內(nèi)部工作仍然是不可見的。因此，幾乎不可能對AI算法背后的邏輯進行檢查。

向前邁出的一步???????

不論PAS 8800如何，AI系統(tǒng)測試所面臨的挑戰(zhàn)可能仍會存在。但由于AI的功能安全是每個人都非常關(guān)心的話題，所以目前業(yè)界還在繼續(xù)做著努力。

CMU的副教授Phil Koopman表示：“目前還沒有這樣的ISO標準。我很高興看到這個團隊向前邁出了一步。”

Untether AI的產(chǎn)品總監(jiān)Eric Zhang稱PAS 8800是一個良好的開端，因為在過去，AI算法的邏輯在ISO 26262中從未被提及。Zhang認為把AI視為一個系統(tǒng)問題來解決非常有價值。

他很高興PAS 8800至少在宏觀層面上涵蓋了從訓(xùn)練神經(jīng)網(wǎng)絡(luò)和創(chuàng)建模型，到微調(diào)直到部署的整個過程。

一個巨大的鴻溝??

然而，上層（神經(jīng)網(wǎng)絡(luò)開發(fā)）與下層（芯片設(shè)計）之間存在著明顯的鴻溝。

Zhang觀察到，行業(yè)知道如何訓(xùn)練一個優(yōu)秀的（大語言）模型，并且對如何設(shè)計符合ISO 26262標準的非AI芯片有很好的了解。然而，與AI相關(guān)的，造成所謂鴻溝的問題是一個開發(fā)神經(jīng)網(wǎng)絡(luò)模型固有的迭代過程，以及軟件和硬件開發(fā)之間相當長的延遲。Zhang解釋說，優(yōu)化AI硬件到某個模型可能需要很長時間。優(yōu)化過程包括在量化、稀疏性和剪枝等方面進行調(diào)整。

通常情況下，當硬件優(yōu)化完成時，軟件可能已經(jīng)轉(zhuǎn)向了一種算法，而這種算法在AI硬件優(yōu)化開始時還不存在。作為一個AI加速器設(shè)計師，Zhang希望PAS 8800能夠提供關(guān)于“AI軟件和硬件協(xié)同設(shè)計”的一些建議。

如何獲得安全信心？????

Zhang還提到了安全性的問題。他說：“我們現(xiàn)在知道，驗證自動駕駛車輛所需的里程可以從數(shù)千萬到數(shù)十億英里。”他說，必須有“一種更好的方式來建立信心，而不是簡單地在街道上行駛自動駕駛車輛。”

因此，當Zhang得知PAS 8800甚至沒有提供AI硬件設(shè)計者在追求功能安全時可以使用的“前期子級設(shè)計目標”時，感到有些失望。

考慮到行業(yè)已經(jīng)承認將傳統(tǒng)的V模型測試應(yīng)用于AI的困難，Zhang的擔憂是有道理的。因為基于機器學(xué)習(xí)的系統(tǒng)是通過訓(xùn)練而不是有意設(shè)計出來的。如果AI系統(tǒng)不提供要求和傳統(tǒng)設(shè)計（V模型的左側(cè)），則沒有用于驗證的測試基礎(chǔ)。

PAS 8800對于如何驗證AI的功能安全并不明確。據(jù)幾位讀過委員會草案的人們說，PAS 8800認識到了硬件（例如GPU、AI加速器）和硬件資源（例如內(nèi)存）、支持的數(shù)據(jù)大小、軟件依賴性和工具之間的差異。雖然該標準承認這些差異可能是優(yōu)化的結(jié)果，并可能增加AI系統(tǒng)出錯的風(fēng)險，但該標準僅建議納入一個論點，解釋為什么由此產(chǎn)生的風(fēng)險是可接受的低風(fēng)險。該標準還承認，徹底分析AI模型差異是不可行的，因為它們太復(fù)雜了。

如何評估權(quán)衡？????????

AI處理器設(shè)計者面臨著永無止境的優(yōu)化工作，使硬件足夠高效，以適應(yīng)軟件模型。在此過程中，他們必須在量化、稀疏性和剪枝等領(lǐng)域進行權(quán)衡。

例如，通過使用自己的優(yōu)化技術(shù)，Zhang可以剪掉90%的分支。在人工神經(jīng)網(wǎng)絡(luò)的背景下，剪枝是從現(xiàn)有網(wǎng)絡(luò)中刪除參數(shù)。目標是在提高效率的同時保持網(wǎng)絡(luò)的準確性。然而，在現(xiàn)實中，他并不知道他是否只是為了效率而犧牲了安全性。無論是否經(jīng)過剪枝，輸出結(jié)果看起來都是一樣的，這并不能揭示權(quán)衡的影響。

Zhang希望新的標準能告訴他如何評估這樣的選擇，但它沒有提供任何指導(dǎo)。

學(xué)術(shù)界在哪里？??????

然而，Zhang和其他PAS 8800的觀察者并不僅僅責怪PAS 8800沒有實現(xiàn)上述那些現(xiàn)實需求。

在他們看來，學(xué)術(shù)界必須更加努力地發(fā)展一種更多數(shù)據(jù)驅(qū)動的方法來評估AI的功能安全。

例如，AI優(yōu)化技術(shù)的安全影響是未知的。Zhang說：“我們經(jīng)常聽說神經(jīng)網(wǎng)絡(luò)模型可以在不影響性能的情況下降低內(nèi)存和計算成本。”但學(xué)術(shù)研究對安全性說得很少。

如果有兩個模型，硬件運行大模型，小硬件運行壓縮模型，Zhang想知道哪個更安全。事實上，基于不同的假設(shè)，答案會大相徑庭。

Zhang補充到，此外，盡管安全魯棒性應(yīng)該是所有AI討論的一部分內(nèi)容，但關(guān)于神經(jīng)網(wǎng)絡(luò)架構(gòu)或權(quán)重結(jié)構(gòu)如何應(yīng)對常見的隨機硬件故障的研究卻很少。

新的安全標準？???????

另外，一些學(xué)者建議，現(xiàn)在可能是業(yè)界重新評估包括ISO 26262在內(nèi)的現(xiàn)行安全標準設(shè)計的時候了。

在去年發(fā)布的題為“Continuous Learning Approach to Safety Engineering”的論文中，Astus AB的Rolf Johansson和CMU的Koopman問道，“盡管已經(jīng)使用了幾十年，關(guān)鍵的行業(yè)安全標準也進行了多次修訂，但核心問題仍未解決。我們?nèi)绾沃酪欢ǖ墓こ袒顒雍驮O(shè)計模式將達到所需的完整性水平？我們又如何確保特定的完整性水平能夠真正賦予特定項目所需的安全屬性？”

兩位作者提議：“最初安全部署的實際現(xiàn)場反饋應(yīng)支持DevOps式的生命周期安全持續(xù)學(xué)習(xí)方法。”他們相信這種方法將提高安全工程的效率。

他們還告誡道，“我們相信，遵循安全標準仍然是一種最佳實踐，并且應(yīng)該為所有的安全關(guān)鍵系統(tǒng)設(shè)計，直到確定更好的實踐。”作者解釋說，論文的目的是“鼓勵安全社區(qū)進一步采取措施，進一步完善這些標準的基礎(chǔ)和應(yīng)用。”

功能安全來自火星，AI來自金星。他們互不相融。然而，AI軟件和硬件的開發(fā)者需要一個他們可以遵循的方法，來驗證其產(chǎn)品的功能安全。他們最不應(yīng)該做的（盡管很多自動駕駛公司在這樣做）是用蠻力在街道上直接測試AI驅(qū)動的車輛。

關(guān)鍵詞：