功能安全來自火星，AI來自金星

2023-08-25 01:42:44 來源：互聯(lián)網(wǎng)

傳統(tǒng)說法是，AI可以轉(zhuǎn)化為安全工具，用于檢測(cè)異常和識(shí)別工作場(chǎng)所的危險(xiǎn)。然而，AI硬件和軟件的功能安全仍是未知數(shù)。制定ISO 26262的工程團(tuán)隊(duì)正在接受這一挑戰(zhàn)。

(資料圖片僅供參考)

AI已經(jīng)被應(yīng)用于安全關(guān)鍵（safety-critical）的應(yīng)用，如自動(dòng)駕駛車輛或ADAS系統(tǒng)。那么，在AI驅(qū)動(dòng)的車輛上路測(cè)試之前，AI E/E系統(tǒng)的設(shè)計(jì)者和AI組件的開發(fā)者如何驗(yàn)證功能安全呢？

汽車芯片行業(yè)一直使用ISO 26262功能安全標(biāo)準(zhǔn)作為指導(dǎo)，對(duì)其芯片的安全性有很大信心。但AI芯片的設(shè)計(jì)者（GPU、SoC和AI加速器）一直處于黑暗中，因?yàn)锳I從未在ISO 26262的范圍內(nèi)。

這一切即將發(fā)生改變。

ISO 26262功能安全標(biāo)準(zhǔn)的制定者們已將焦點(diǎn)轉(zhuǎn)向AI，制定了針對(duì)汽車的ISO安全相關(guān)AI/ML功能指南，稱為ISO PAS 8800。其任務(wù)是定義合適的安全原則、方法和證據(jù)，以滿足ISO 26262（功能安全）和ISO 21448（預(yù)期功能安全）的目標(biāo)。

PAS 8800現(xiàn)在正在作為CD（Committee Draft）在團(tuán)隊(duì)成員間傳閱，計(jì)劃在10月分發(fā)意見。

到目前為止，業(yè)界對(duì)PAS 8800的意見似乎非常分裂。例如，該團(tuán)隊(duì)中很少有計(jì)算機(jī)科學(xué)家，這說明缺少AI方面的專業(yè)知識(shí)。

一些行業(yè)人員表示有點(diǎn)失望，因?yàn)樾聵?biāo)準(zhǔn)雖為AI提供了一個(gè)框架，但只是非常粗略的。該標(biāo)準(zhǔn)沒有提供工具來評(píng)估芯片設(shè)計(jì)者在優(yōu)化AI芯片過程中必須做的權(quán)衡。

同樣受到質(zhì)疑的是該團(tuán)隊(duì)試圖將AI的驗(yàn)證納入經(jīng)典V模型。

他們懷疑這種方法是否行得通。批評(píng)者說，問題根源在于AI的黑盒性質(zhì)。

在V模型下，要求和規(guī)格堆疊在V的左側(cè)。右側(cè)顯示要遵循的步驟，以驗(yàn)證（我們?cè)O(shè)計(jì)得對(duì)嗎？）和確認(rèn)（我們?cè)O(shè)計(jì)的東西是正確的東西嗎？）。基于V模型的測(cè)試無法證明安全性，但它可以檢查設(shè)計(jì)和實(shí)施中是否準(zhǔn)確執(zhí)行了要求和規(guī)格。

V模型適用于測(cè)試非AI芯片的工程嚴(yán)謹(jǐn)性。但適用于AI處理器嗎？

芯片設(shè)計(jì)師可以提供給AI處理器輸入（神經(jīng)網(wǎng)絡(luò)模型），并獲得輸出，但AI的內(nèi)部工作仍然是不可見的。因此，幾乎不可能對(duì)AI算法背后的邏輯進(jìn)行檢查。

向前邁出的一步???????

不論P(yáng)AS 8800如何，AI系統(tǒng)測(cè)試所面臨的挑戰(zhàn)可能仍會(huì)存在。但由于AI的功能安全是每個(gè)人都非常關(guān)心的話題，所以目前業(yè)界還在繼續(xù)做著努力。

CMU的副教授Phil Koopman表示：“目前還沒有這樣的ISO標(biāo)準(zhǔn)。我很高興看到這個(gè)團(tuán)隊(duì)向前邁出了一步。”

Untether AI的產(chǎn)品總監(jiān)Eric Zhang稱PAS 8800是一個(gè)良好的開端，因?yàn)樵谶^去，AI算法的邏輯在ISO 26262中從未被提及。Zhang認(rèn)為把AI視為一個(gè)系統(tǒng)問題來解決非常有價(jià)值。

他很高興PAS 8800至少在宏觀層面上涵蓋了從訓(xùn)練神經(jīng)網(wǎng)絡(luò)和創(chuàng)建模型，到微調(diào)直到部署的整個(gè)過程。

一個(gè)巨大的鴻溝??

然而，上層（神經(jīng)網(wǎng)絡(luò)開發(fā)）與下層（芯片設(shè)計(jì)）之間存在著明顯的鴻溝。

Zhang觀察到，行業(yè)知道如何訓(xùn)練一個(gè)優(yōu)秀的（大語言）模型，并且對(duì)如何設(shè)計(jì)符合ISO 26262標(biāo)準(zhǔn)的非AI芯片有很好的了解。然而，與AI相關(guān)的，造成所謂鴻溝的問題是一個(gè)開發(fā)神經(jīng)網(wǎng)絡(luò)模型固有的迭代過程，以及軟件和硬件開發(fā)之間相當(dāng)長(zhǎng)的延遲。Zhang解釋說，優(yōu)化AI硬件到某個(gè)模型可能需要很長(zhǎng)時(shí)間。優(yōu)化過程包括在量化、稀疏性和剪枝等方面進(jìn)行調(diào)整。

通常情況下，當(dāng)硬件優(yōu)化完成時(shí)，軟件可能已經(jīng)轉(zhuǎn)向了一種算法，而這種算法在AI硬件優(yōu)化開始時(shí)還不存在。作為一個(gè)AI加速器設(shè)計(jì)師，Zhang希望PAS 8800能夠提供關(guān)于“AI軟件和硬件協(xié)同設(shè)計(jì)”的一些建議。

如何獲得安全信心？????

Zhang還提到了安全性的問題。他說：“我們現(xiàn)在知道，驗(yàn)證自動(dòng)駕駛車輛所需的里程可以從數(shù)千萬到數(shù)十億英里。”他說，必須有“一種更好的方式來建立信心，而不是簡(jiǎn)單地在街道上行駛自動(dòng)駕駛車輛。”

因此，當(dāng)Zhang得知PAS 8800甚至沒有提供AI硬件設(shè)計(jì)者在追求功能安全時(shí)可以使用的“前期子級(jí)設(shè)計(jì)目標(biāo)”時(shí)，感到有些失望。

考慮到行業(yè)已經(jīng)承認(rèn)將傳統(tǒng)的V模型測(cè)試應(yīng)用于AI的困難，Zhang的擔(dān)憂是有道理的。因?yàn)榛跈C(jī)器學(xué)習(xí)的系統(tǒng)是通過訓(xùn)練而不是有意設(shè)計(jì)出來的。如果AI系統(tǒng)不提供要求和傳統(tǒng)設(shè)計(jì)（V模型的左側(cè)），則沒有用于驗(yàn)證的測(cè)試基礎(chǔ)。

PAS 8800對(duì)于如何驗(yàn)證AI的功能安全并不明確。據(jù)幾位讀過委員會(huì)草案的人們說，PAS 8800認(rèn)識(shí)到了硬件（例如GPU、AI加速器）和硬件資源（例如內(nèi)存）、支持的數(shù)據(jù)大小、軟件依賴性和工具之間的差異。雖然該標(biāo)準(zhǔn)承認(rèn)這些差異可能是優(yōu)化的結(jié)果，并可能增加AI系統(tǒng)出錯(cuò)的風(fēng)險(xiǎn)，但該標(biāo)準(zhǔn)僅建議納入一個(gè)論點(diǎn)，解釋為什么由此產(chǎn)生的風(fēng)險(xiǎn)是可接受的低風(fēng)險(xiǎn)。該標(biāo)準(zhǔn)還承認(rèn)，徹底分析AI模型差異是不可行的，因?yàn)樗鼈兲珡?fù)雜了。

如何評(píng)估權(quán)衡？????????

AI處理器設(shè)計(jì)者面臨著永無止境的優(yōu)化工作，使硬件足夠高效，以適應(yīng)軟件模型。在此過程中，他們必須在量化、稀疏性和剪枝等領(lǐng)域進(jìn)行權(quán)衡。

例如，通過使用自己的優(yōu)化技術(shù)，Zhang可以剪掉90%的分支。在人工神經(jīng)網(wǎng)絡(luò)的背景下，剪枝是從現(xiàn)有網(wǎng)絡(luò)中刪除參數(shù)。目標(biāo)是在提高效率的同時(shí)保持網(wǎng)絡(luò)的準(zhǔn)確性。然而，在現(xiàn)實(shí)中，他并不知道他是否只是為了效率而犧牲了安全性。無論是否經(jīng)過剪枝，輸出結(jié)果看起來都是一樣的，這并不能揭示權(quán)衡的影響。

Zhang希望新的標(biāo)準(zhǔn)能告訴他如何評(píng)估這樣的選擇，但它沒有提供任何指導(dǎo)。

學(xué)術(shù)界在哪里？??????

然而，Zhang和其他PAS 8800的觀察者并不僅僅責(zé)怪PAS 8800沒有實(shí)現(xiàn)上述那些現(xiàn)實(shí)需求。

在他們看來，學(xué)術(shù)界必須更加努力地發(fā)展一種更多數(shù)據(jù)驅(qū)動(dòng)的方法來評(píng)估AI的功能安全。

例如，AI優(yōu)化技術(shù)的安全影響是未知的。Zhang說：“我們經(jīng)常聽說神經(jīng)網(wǎng)絡(luò)模型可以在不影響性能的情況下降低內(nèi)存和計(jì)算成本。”但學(xué)術(shù)研究對(duì)安全性說得很少。

如果有兩個(gè)模型，硬件運(yùn)行大模型，小硬件運(yùn)行壓縮模型，Zhang想知道哪個(gè)更安全。事實(shí)上，基于不同的假設(shè)，答案會(huì)大相徑庭。

Zhang補(bǔ)充到，此外，盡管安全魯棒性應(yīng)該是所有AI討論的一部分內(nèi)容，但關(guān)于神經(jīng)網(wǎng)絡(luò)架構(gòu)或權(quán)重結(jié)構(gòu)如何應(yīng)對(duì)常見的隨機(jī)硬件故障的研究卻很少。

新的安全標(biāo)準(zhǔn)？???????

另外，一些學(xué)者建議，現(xiàn)在可能是業(yè)界重新評(píng)估包括ISO 26262在內(nèi)的現(xiàn)行安全標(biāo)準(zhǔn)設(shè)計(jì)的時(shí)候了。

在去年發(fā)布的題為“Continuous Learning Approach to Safety Engineering”的論文中，Astus AB的Rolf Johansson和CMU的Koopman問道，“盡管已經(jīng)使用了幾十年，關(guān)鍵的行業(yè)安全標(biāo)準(zhǔn)也進(jìn)行了多次修訂，但核心問題仍未解決。我們?nèi)绾沃酪欢ǖ墓こ袒顒?dòng)和設(shè)計(jì)模式將達(dá)到所需的完整性水平？我們又如何確保特定的完整性水平能夠真正賦予特定項(xiàng)目所需的安全屬性？”

兩位作者提議：“最初安全部署的實(shí)際現(xiàn)場(chǎng)反饋應(yīng)支持DevOps式的生命周期安全持續(xù)學(xué)習(xí)方法。”他們相信這種方法將提高安全工程的效率。

他們還告誡道，“我們相信，遵循安全標(biāo)準(zhǔn)仍然是一種最佳實(shí)踐，并且應(yīng)該為所有的安全關(guān)鍵系統(tǒng)設(shè)計(jì)，直到確定更好的實(shí)踐。”作者解釋說，論文的目的是“鼓勵(lì)安全社區(qū)進(jìn)一步采取措施，進(jìn)一步完善這些標(biāo)準(zhǔn)的基礎(chǔ)和應(yīng)用。”

功能安全來自火星，AI來自金星。他們互不相融。然而，AI軟件和硬件的開發(fā)者需要一個(gè)他們可以遵循的方法，來驗(yàn)證其產(chǎn)品的功能安全。他們最不應(yīng)該做的（盡管很多自動(dòng)駕駛公司在這樣做）是用蠻力在街道上直接測(cè)試AI驅(qū)動(dòng)的車輛。

關(guān)鍵詞：