功能安全來自火星,AI來自金星
傳統(tǒng)說法是,AI可以轉(zhuǎn)化為安全工具,用于檢測(cè)異常和識(shí)別工作場(chǎng)所的危險(xiǎn)。然而,AI硬件和軟件的功能安全仍是未知數(shù)。制定ISO 26262的工程團(tuán)隊(duì)正在接受這一挑戰(zhàn)。
(資料圖片僅供參考)
AI已經(jīng)被應(yīng)用于安全關(guān)鍵(safety-critical)的應(yīng)用,如自動(dòng)駕駛車輛或ADAS系統(tǒng)。那么,在AI驅(qū)動(dòng)的車輛上路測(cè)試之前,AI E/E系統(tǒng)的設(shè)計(jì)者和AI組件的開發(fā)者如何驗(yàn)證功能安全呢?
汽車芯片行業(yè)一直使用ISO 26262功能安全標(biāo)準(zhǔn)作為指導(dǎo),對(duì)其芯片的安全性有很大信心。但AI芯片的設(shè)計(jì)者(GPU、SoC和AI加速器)一直處于黑暗中,因?yàn)锳I從未在ISO 26262的范圍內(nèi)。
這一切即將發(fā)生改變。
ISO 26262功能安全標(biāo)準(zhǔn)的制定者們已將焦點(diǎn)轉(zhuǎn)向AI,制定了針對(duì)汽車的ISO安全相關(guān)AI/ML功能指南,稱為ISO PAS 8800。其任務(wù)是定義合適的安全原則、方法和證據(jù),以滿足ISO 26262(功能安全)和ISO 21448(預(yù)期功能安全)的目標(biāo)。
PAS 8800現(xiàn)在正在作為CD(Committee Draft)在團(tuán)隊(duì)成員間傳閱,計(jì)劃在10月分發(fā)意見。
到目前為止,業(yè)界對(duì)PAS 8800的意見似乎非常分裂。例如,該團(tuán)隊(duì)中很少有計(jì)算機(jī)科學(xué)家,這說明缺少AI方面的專業(yè)知識(shí)。
一些行業(yè)人員表示有點(diǎn)失望,因?yàn)樾聵?biāo)準(zhǔn)雖為AI提供了一個(gè)框架,但只是非常粗略的。該標(biāo)準(zhǔn)沒有提供工具來評(píng)估芯片設(shè)計(jì)者在優(yōu)化AI芯片過程中必須做的權(quán)衡。
同樣受到質(zhì)疑的是該團(tuán)隊(duì)試圖將AI的驗(yàn)證納入經(jīng)典V模型。
他們懷疑這種方法是否行得通。批評(píng)者說,問題根源在于AI的黑盒性質(zhì)。
在V模型下,要求和規(guī)格堆疊在V的左側(cè)。右側(cè)顯示要遵循的步驟,以驗(yàn)證(我們?cè)O(shè)計(jì)得對(duì)嗎?)和確認(rèn)(我們?cè)O(shè)計(jì)的東西是正確的東西嗎?)。基于V模型的測(cè)試無法證明安全性,但它可以檢查設(shè)計(jì)和實(shí)施中是否準(zhǔn)確執(zhí)行了要求和規(guī)格。
V模型適用于測(cè)試非AI芯片的工程嚴(yán)謹(jǐn)性。但適用于AI處理器嗎?
芯片設(shè)計(jì)師可以提供給AI處理器輸入(神經(jīng)網(wǎng)絡(luò)模型),并獲得輸出,但AI的內(nèi)部工作仍然是不可見的。因此,幾乎不可能對(duì)AI算法背后的邏輯進(jìn)行檢查。
向前邁出的一步???????
不論P(yáng)AS 8800如何,AI系統(tǒng)測(cè)試所面臨的挑戰(zhàn)可能仍會(huì)存在。但由于AI的功能安全是每個(gè)人都非常關(guān)心的話題,所以目前業(yè)界還在繼續(xù)做著努力。
CMU的副教授Phil Koopman表示:“目前還沒有這樣的ISO標(biāo)準(zhǔn)。我很高興看到這個(gè)團(tuán)隊(duì)向前邁出了一步。”
Untether AI的產(chǎn)品總監(jiān)Eric Zhang稱PAS 8800是一個(gè)良好的開端,因?yàn)樵谶^去,AI算法的邏輯在ISO 26262中從未被提及。Zhang認(rèn)為把AI視為一個(gè)系統(tǒng)問題來解決非常有價(jià)值。
他很高興PAS 8800至少在宏觀層面上涵蓋了從訓(xùn)練神經(jīng)網(wǎng)絡(luò)和創(chuàng)建模型,到微調(diào)直到部署的整個(gè)過程。
一個(gè)巨大的鴻溝??
然而,上層(神經(jīng)網(wǎng)絡(luò)開發(fā))與下層(芯片設(shè)計(jì))之間存在著明顯的鴻溝。
Zhang觀察到,行業(yè)知道如何訓(xùn)練一個(gè)優(yōu)秀的(大語言)模型,并且對(duì)如何設(shè)計(jì)符合ISO 26262標(biāo)準(zhǔn)的非AI芯片有很好的了解。然而,與AI相關(guān)的,造成所謂鴻溝的問題是一個(gè)開發(fā)神經(jīng)網(wǎng)絡(luò)模型固有的迭代過程,以及軟件和硬件開發(fā)之間相當(dāng)長(zhǎng)的延遲。Zhang解釋說,優(yōu)化AI硬件到某個(gè)模型可能需要很長(zhǎng)時(shí)間。優(yōu)化過程包括在量化、稀疏性和剪枝等方面進(jìn)行調(diào)整。
通常情況下,當(dāng)硬件優(yōu)化完成時(shí),軟件可能已經(jīng)轉(zhuǎn)向了一種算法,而這種算法在AI硬件優(yōu)化開始時(shí)還不存在。作為一個(gè)AI加速器設(shè)計(jì)師,Zhang希望PAS 8800能夠提供關(guān)于“AI軟件和硬件協(xié)同設(shè)計(jì)”的一些建議。
如何獲得安全信心?????
Zhang還提到了安全性的問題。他說:“我們現(xiàn)在知道,驗(yàn)證自動(dòng)駕駛車輛所需的里程可以從數(shù)千萬到數(shù)十億英里。”他說,必須有“一種更好的方式來建立信心,而不是簡(jiǎn)單地在街道上行駛自動(dòng)駕駛車輛。”
因此,當(dāng)Zhang得知PAS 8800甚至沒有提供AI硬件設(shè)計(jì)者在追求功能安全時(shí)可以使用的“前期子級(jí)設(shè)計(jì)目標(biāo)”時(shí),感到有些失望。
考慮到行業(yè)已經(jīng)承認(rèn)將傳統(tǒng)的V模型測(cè)試應(yīng)用于AI的困難,Zhang的擔(dān)憂是有道理的。因?yàn)榛跈C(jī)器學(xué)習(xí)的系統(tǒng)是通過訓(xùn)練而不是有意設(shè)計(jì)出來的。如果AI系統(tǒng)不提供要求和傳統(tǒng)設(shè)計(jì)(V模型的左側(cè)),則沒有用于驗(yàn)證的測(cè)試基礎(chǔ)。
PAS 8800對(duì)于如何驗(yàn)證AI的功能安全并不明確。據(jù)幾位讀過委員會(huì)草案的人們說,PAS 8800認(rèn)識(shí)到了硬件(例如GPU、AI加速器)和硬件資源(例如內(nèi)存)、支持的數(shù)據(jù)大小、軟件依賴性和工具之間的差異。雖然該標(biāo)準(zhǔn)承認(rèn)這些差異可能是優(yōu)化的結(jié)果,并可能增加AI系統(tǒng)出錯(cuò)的風(fēng)險(xiǎn),但該標(biāo)準(zhǔn)僅建議納入一個(gè)論點(diǎn),解釋為什么由此產(chǎn)生的風(fēng)險(xiǎn)是可接受的低風(fēng)險(xiǎn)。該標(biāo)準(zhǔn)還承認(rèn),徹底分析AI模型差異是不可行的,因?yàn)樗鼈兲珡?fù)雜了。
如何評(píng)估權(quán)衡?????????
AI處理器設(shè)計(jì)者面臨著永無止境的優(yōu)化工作,使硬件足夠高效,以適應(yīng)軟件模型。在此過程中,他們必須在量化、稀疏性和剪枝等領(lǐng)域進(jìn)行權(quán)衡。
例如,通過使用自己的優(yōu)化技術(shù),Zhang可以剪掉90%的分支。在人工神經(jīng)網(wǎng)絡(luò)的背景下,剪枝是從現(xiàn)有網(wǎng)絡(luò)中刪除參數(shù)。目標(biāo)是在提高效率的同時(shí)保持網(wǎng)絡(luò)的準(zhǔn)確性。然而,在現(xiàn)實(shí)中,他并不知道他是否只是為了效率而犧牲了安全性。無論是否經(jīng)過剪枝,輸出結(jié)果看起來都是一樣的,這并不能揭示權(quán)衡的影響。
Zhang希望新的標(biāo)準(zhǔn)能告訴他如何評(píng)估這樣的選擇,但它沒有提供任何指導(dǎo)。
學(xué)術(shù)界在哪里???????
然而,Zhang和其他PAS 8800的觀察者并不僅僅責(zé)怪PAS 8800沒有實(shí)現(xiàn)上述那些現(xiàn)實(shí)需求。
在他們看來,學(xué)術(shù)界必須更加努力地發(fā)展一種更多數(shù)據(jù)驅(qū)動(dòng)的方法來評(píng)估AI的功能安全。
例如,AI優(yōu)化技術(shù)的安全影響是未知的。Zhang說:“我們經(jīng)常聽說神經(jīng)網(wǎng)絡(luò)模型可以在不影響性能的情況下降低內(nèi)存和計(jì)算成本。”但學(xué)術(shù)研究對(duì)安全性說得很少。
如果有兩個(gè)模型,硬件運(yùn)行大模型,小硬件運(yùn)行壓縮模型,Zhang想知道哪個(gè)更安全。事實(shí)上,基于不同的假設(shè),答案會(huì)大相徑庭。
Zhang補(bǔ)充到,此外,盡管安全魯棒性應(yīng)該是所有AI討論的一部分內(nèi)容,但關(guān)于神經(jīng)網(wǎng)絡(luò)架構(gòu)或權(quán)重結(jié)構(gòu)如何應(yīng)對(duì)常見的隨機(jī)硬件故障的研究卻很少。
新的安全標(biāo)準(zhǔn)????????
另外,一些學(xué)者建議,現(xiàn)在可能是業(yè)界重新評(píng)估包括ISO 26262在內(nèi)的現(xiàn)行安全標(biāo)準(zhǔn)設(shè)計(jì)的時(shí)候了。
在去年發(fā)布的題為“Continuous Learning Approach to Safety Engineering”的論文中,Astus AB的Rolf Johansson和CMU的Koopman問道,“盡管已經(jīng)使用了幾十年,關(guān)鍵的行業(yè)安全標(biāo)準(zhǔn)也進(jìn)行了多次修訂,但核心問題仍未解決。我們?nèi)绾沃酪欢ǖ墓こ袒顒?dòng)和設(shè)計(jì)模式將達(dá)到所需的完整性水平?我們又如何確保特定的完整性水平能夠真正賦予特定項(xiàng)目所需的安全屬性?”
兩位作者提議:“最初安全部署的實(shí)際現(xiàn)場(chǎng)反饋應(yīng)支持DevOps式的生命周期安全持續(xù)學(xué)習(xí)方法。”他們相信這種方法將提高安全工程的效率。
他們還告誡道,“我們相信,遵循安全標(biāo)準(zhǔn)仍然是一種最佳實(shí)踐,并且應(yīng)該為所有的安全關(guān)鍵系統(tǒng)設(shè)計(jì),直到確定更好的實(shí)踐。”作者解釋說,論文的目的是“鼓勵(lì)安全社區(qū)進(jìn)一步采取措施,進(jìn)一步完善這些標(biāo)準(zhǔn)的基礎(chǔ)和應(yīng)用。”
功能安全來自火星,AI來自金星。他們互不相融。然而,AI軟件和硬件的開發(fā)者需要一個(gè)他們可以遵循的方法,來驗(yàn)證其產(chǎn)品的功能安全。他們最不應(yīng)該做的(盡管很多自動(dòng)駕駛公司在這樣做)是用蠻力在街道上直接測(cè)試AI驅(qū)動(dòng)的車輛。
關(guān)鍵詞:
相關(guān)文章
功能安全來自火星,AI來自金星
傳統(tǒng)說法是,AI可以轉(zhuǎn)化為安全工具,用于檢測(cè)異常和識(shí)別工作場(chǎng)所的危險(xiǎn)
國產(chǎn)開放沙盒武俠《絕世好武功》8.30發(fā)售:僅售58元
今日,國產(chǎn)RPG《絕世好武功》宣布將于8月30日搶先體驗(yàn)發(fā)售,SteamEA版
中資離岸債每日總結(jié)(8.22) | 江蘇瀚瑞控股、杭州上城城建發(fā)行
?今日,一級(jí)市場(chǎng),共2家公司發(fā)行;共3家公司評(píng)級(jí)獲機(jī)構(gòu)更新。
董立松(關(guān)于董立松簡(jiǎn)述)
,你們好,今天0471房產(chǎn)來聊聊一篇立松,立松簡(jiǎn)述的文章,網(wǎng)友們對(duì)這件
菲律賓文學(xué)(關(guān)于菲律賓文學(xué)簡(jiǎn)述)
,你們好,今天0471房產(chǎn)來聊聊一篇律賓文學(xué),律賓文學(xué)簡(jiǎn)述的文章,網(wǎng)友
首屆全國學(xué)青會(huì)手球女子組比賽圓滿落幕 安徽滁州隊(duì)奪冠
8月21日,第一屆全國學(xué)生(青年)運(yùn)動(dòng)會(huì)手球女子組比賽在廣西南寧落下
精彩推送
全系1.3T沒有新能源、配置乏善可陳 東風(fēng)日產(chǎn)全新逍客還能暢銷不衰嗎?
中國網(wǎng)汽車8月24日訊據(jù)中汽協(xié)數(shù)據(jù)顯示,今年上半年日系品牌在華銷量跌
功能安全來自火星,AI來自金星
傳統(tǒng)說法是,AI可以轉(zhuǎn)化為安全工具,用于檢測(cè)異常和識(shí)別工作場(chǎng)所的危險(xiǎn)
水產(chǎn)板塊進(jìn)一步拉升 上半年國內(nèi)水產(chǎn)市場(chǎng)現(xiàn)狀及收入
水產(chǎn)板塊進(jìn)一步拉升8月23日下午,水產(chǎn)板塊午后進(jìn)一步拉升,國聯(lián)水產(chǎn)一
開學(xué)前送去書包和學(xué)費(fèi),這群年輕人關(guān)愛困境兒童
極目新聞?dòng)浾弑R成漢通訊員丁亮8月23日,湖北交投武黃運(yùn)營公司長(zhǎng)港管理
聯(lián)合水務(wù)8月24日盤中漲幅達(dá)5%
以下是聯(lián)合水務(wù)在北京時(shí)間8月24日14:31分盤口異動(dòng)快照:8月24日,聯(lián)合
為何超14億元從實(shí)控人手中收購負(fù)資產(chǎn)?贛鋒鋰業(yè)回復(fù)深交所
8月24日,國內(nèi)鋰資源龍頭江西贛鋒鋰業(yè)集團(tuán)股份有限公司(以下簡(jiǎn)稱“贛鋒
周冬雨劉昊然主演電影《燃冬》上映,多方已注冊(cè)“燃冬”商標(biāo)
七夕當(dāng)日,由新加坡導(dǎo)演陳哲藝執(zhí)導(dǎo),周冬雨、劉昊然、屈楚蕭主演的電影
國際研發(fā)出最新腦機(jī)接口裝置 可幫助嚴(yán)重癱瘓人群恢復(fù)溝通能力
中新網(wǎng)北京8月24日電(記者孫自法)國際著名學(xué)術(shù)期刊《自然》最新發(fā)表兩
國產(chǎn)開放沙盒武俠《絕世好武功》8.30發(fā)售:僅售58元
今日,國產(chǎn)RPG《絕世好武功》宣布將于8月30日搶先體驗(yàn)發(fā)售,SteamEA版
紐約城市大學(xué)亨特學(xué)院 紐約城市大學(xué)
1、紐約城市大學(xué)已經(jīng)有157年的歷史。2、作為全美最大的城區(qū)大學(xué),紐約
研究人員開發(fā)新型“冷凝涂層”,每年可減少4.6億噸二氧化碳排放
IT之家8月23日消息,伊利諾伊大學(xué)的研究團(tuán)隊(duì)目前開發(fā)出了一種新型涂層
收受巨額賄賂!安徽蚌埠一原區(qū)長(zhǎng)被逮捕
據(jù)安徽檢察8月23日消息,安徽省蚌埠市龍子湖區(qū)原區(qū)委副書記、區(qū)長(zhǎng)孫立
助力金融機(jī)構(gòu)聲譽(yù)風(fēng)險(xiǎn)管理 第十七期麓山金融講壇舉辦
持續(xù)提升聲譽(yù)風(fēng)險(xiǎn)應(yīng)對(duì)處置的專業(yè)水平
此時(shí)此刻,日本核污水正排入大海!現(xiàn)場(chǎng)畫面公布→中國水產(chǎn)品企業(yè)紛紛回應(yīng)
當(dāng)?shù)貢r(shí)間8月24日13時(shí),日本福島第一核電站啟動(dòng)核污染水排海。圖片來源
七夕直播近6小時(shí)僅12對(duì)新人領(lǐng)證?民政局:不實(shí)有77對(duì)結(jié)婚 具體是怎么回事?
【七夕直播近6小時(shí)僅12對(duì)新人領(lǐng)證?民政局:不實(shí),有77對(duì)結(jié)婚】下面大
宣稱“不靠大陸買芒果”,陳吉仲遭臺(tái)媒打臉
參考消息網(wǎng)8月24日?qǐng)?bào)道據(jù)臺(tái)灣中時(shí)新聞網(wǎng)8月23日?qǐng)?bào)道,繼石斑魚等農(nóng)漁產(chǎn)
為何超14億元從實(shí)控人手中收購負(fù)資產(chǎn)?贛鋒鋰業(yè)回復(fù)深交所
【為何超14億元從實(shí)控人手中收購負(fù)資產(chǎn)?贛鋒鋰業(yè)回復(fù)深交所】2021年9
文峰區(qū)商頌街道空港新城社區(qū):開展“七夕”傳承優(yōu)良家風(fēng)繪畫活動(dòng)
河南經(jīng)濟(jì)報(bào)記者劉海林通訊員方欣為大力弘揚(yáng)中華民族優(yōu)秀傳統(tǒng)文化,引導(dǎo)
眾觀局丨不顧國內(nèi)外反對(duì),日本為何執(zhí)意將核污水排入海?
北京時(shí)間8月24日12時(shí),日本政府啟動(dòng)福島核污染水首次排海。東京電力稱
孫喜玲(關(guān)于孫喜玲簡(jiǎn)述)
,你們好,今天0471房產(chǎn)來聊聊一篇喜玲,喜玲簡(jiǎn)述的文章,網(wǎng)友們對(duì)這件
“818樂趣無限生活節(jié)”圓滿落幕白云機(jī)場(chǎng)商業(yè)展現(xiàn)全新消費(fèi)活力 具體是什么情況?
【“818樂趣無限生活節(jié)”圓滿落幕,白云機(jī)場(chǎng)商業(yè)展現(xiàn)全新消費(fèi)活力】具
成都一商鋪凌晨發(fā)生燃?xì)忾W爆,官方通報(bào):無人員傷亡,已將發(fā)生泄漏的燃?xì)夤耷謇硗戤?/a>
8月22日,“成華應(yīng)急”官方微博發(fā)布《關(guān)于成華區(qū)二仙橋街道龍光世紀(jì)中
應(yīng)普盡普!河南省第五次全國經(jīng)濟(jì)普查工作全面鋪開
【大河財(cái)立方記者陳玉靜吳春波】經(jīng)濟(jì)普查是一項(xiàng)重大的國情國力調(diào)查。20
東曜藥業(yè)-B(01875)中報(bào)——營收保持三位數(shù)增長(zhǎng)
智通財(cái)經(jīng)獲悉,8月14日,東曜藥業(yè)-B(01875)公布2023年中期業(yè)績(jī),上半年
康方生物(09926.HK)漲超6%,截至發(fā)稿,漲5.6%,報(bào)33港元,成交額8987.51萬港元
康方生物(09926 HK)漲超6%,截至發(fā)稿,漲5 6%,報(bào)33港元,成交額8987 51萬港元。
8月23日浩洋股份跌5.99%,富國天惠成長(zhǎng)混合A/B(LOF)基金重倉該股
8月23日浩洋股份300833跌599創(chuàng)60日新低收盤報(bào)10007元換手率073成交量39
“新奇妙”引領(lǐng)文具新趨勢(shì) 京東開學(xué)季享2件9折3件8折
開學(xué)在即,又到了家長(zhǎng)給孩子采購文具的時(shí)間節(jié)點(diǎn)。近年來,文具市場(chǎng)新品
四川省首座“三條高速公路交匯”樞紐互通主體結(jié)構(gòu)工程完工
原標(biāo)題:四川省首座“三條高速公路交匯”樞紐互通主體結(jié)構(gòu)工程完工工人
地質(zhì)災(zāi)害VR應(yīng)急救援實(shí)訓(xùn):增強(qiáng)自然災(zāi)害知識(shí),提高自我保護(hù)意識(shí)
地質(zhì)災(zāi)害VR應(yīng)急救援實(shí)訓(xùn)系統(tǒng)是一種虛擬仿真技術(shù),可以通過虛擬現(xiàn)實(shí)技術(shù)
業(yè)內(nèi)首個(gè)第三排雙向移動(dòng)側(cè)碰!魏牌藍(lán)山成功穩(wěn)過:網(wǎng)友喊話新勢(shì)力
業(yè)內(nèi)首個(gè)第三排雙向移動(dòng)側(cè)碰!魏牌藍(lán)山成功穩(wěn)過:網(wǎng)友喊話新勢(shì)力
李明俊在部分重點(diǎn)項(xiàng)目現(xiàn)場(chǎng)辦公時(shí)強(qiáng)調(diào) 倒排工期搶抓進(jìn)度 全力加快項(xiàng)目建設(shè)
8月22日,市長(zhǎng)李明俊到部分重點(diǎn)項(xiàng)目現(xiàn)場(chǎng)辦公,實(shí)地察看項(xiàng)目進(jìn)度,詳細(xì)
菱角山(關(guān)于菱角山簡(jiǎn)述)
,你們好,今天0471房產(chǎn)來聊聊一篇角山,角山簡(jiǎn)述的文章,網(wǎng)友們對(duì)這件
葛麗塔(關(guān)于葛麗塔簡(jiǎn)述)
,你們好,今天0471房產(chǎn)來聊聊一篇麗塔,麗塔簡(jiǎn)述的文章,網(wǎng)友們對(duì)這件
蘇州:每月可按實(shí)際房租支出提取住房公積金 實(shí)現(xiàn)“應(yīng)提盡提”
過去租房提取金額存在提取上限,存在無法全部覆蓋租房金額的情況;現(xiàn)在
中國概念股收盤:名創(chuàng)優(yōu)品漲逾9%、虎牙漲超8%,愛奇藝績(jī)后跌近6%
金融界8月23日消息,市場(chǎng)繼續(xù)評(píng)估國債收益率上漲對(duì)美股的影響,并關(guān)注
五河縣沱湖鄉(xiāng): “擂臺(tái)比武”添活力,比學(xué)趕超促振興
專稿:為進(jìn)一步激發(fā)村黨組織書記干事創(chuàng)業(yè)熱情,五河縣沱湖鄉(xiāng)通過搭建比
商務(wù)預(yù)報(bào):8月14日-20日國內(nèi)重要生產(chǎn)資料價(jià)格情況
品種 價(jià)格 (元 噸) 環(huán)比(%) 同比(%) 動(dòng)力煤(發(fā)熱量5000
回港中概股走強(qiáng),金山云、名創(chuàng)優(yōu)品等漲超6%
8月24日下午,回港中概股走強(qiáng),金山云、名創(chuàng)優(yōu)品、萬國數(shù)據(jù)漲超6%,百
【圖集】國家藝術(shù)基金2023年度傳播交流推廣資助項(xiàng)目 民族音樂會(huì)《高原·聽見貴州》在西安獲贊??
8月22日晚,由貴州省民族樂團(tuán)、貴州省花燈劇院創(chuàng)作演出的民族音樂會(huì)《
管網(wǎng)改造、零碳建筑、建筑垃圾綜合利用……針對(duì)建設(shè)領(lǐng)域碳達(dá)峰,天津市出臺(tái)文件
管網(wǎng)改造、零碳建筑、建筑垃圾綜合利用……針對(duì)建設(shè)領(lǐng)域碳達(dá)峰,天津市
寧芳青(關(guān)于寧芳青簡(jiǎn)述)
,你們好,今天0471房產(chǎn)來聊聊一篇芳青,芳青簡(jiǎn)述的文章,網(wǎng)友們對(duì)這件
天津城投成功發(fā)行12億元超短期融資券,利率為2.9%
樂居財(cái)經(jīng)王敏8月24日,據(jù)上清所,天津城市基礎(chǔ)設(shè)施建設(shè)投資集團(tuán)有限公
平安建設(shè)怒斥平安銀行和平安建投互相勾結(jié)
8月23日,平安建設(shè)微信公眾號(hào)發(fā)布《關(guān)于平安銀行與平安建投互相勾結(jié)的
小米汽車大沖刺!“準(zhǔn)生證”落聽,工廠急召百余人,量產(chǎn)只差臨門一腳
小米汽車,開始全力沖刺了!路透社報(bào)道稱,小米公司已經(jīng)拿下電動(dòng)汽車準(zhǔn)
TikTok將于9月12日正式關(guān)閉美國英美融合車半閉環(huán)模式
TikTok已對(duì)其官網(wǎng)的FAQ頁面進(jìn)行了更新,顯示其美國英美融合車的半閉環(huán)
飛躍!蜀山區(qū)跨境電商發(fā)展勢(shì)頭強(qiáng)勁
8月20日7點(diǎn)02分,一架往返載重達(dá)164噸、貨值約760萬美元的747全貨機(jī)落
大同市召開推動(dòng)公立醫(yī)院高質(zhì)量發(fā)展推進(jìn)會(huì)
8月11日,大同市召開推動(dòng)公立醫(yī)院高質(zhì)量發(fā)展推進(jìn)會(huì)。省委常委、大同市
長(zhǎng)春新區(qū)稅務(wù)局開展稅法宣傳進(jìn)校園系列活動(dòng)
為進(jìn)一步推動(dòng)稅法宣傳深入開展,鼓勵(lì)引導(dǎo)社會(huì)各界學(xué)習(xí)、了解、宣傳稅收
河北邯鄲叢臺(tái)區(qū)法院:雙手豎起大拇指,此時(shí)無聲勝有聲
民主與法制網(wǎng)訊(記者張君)請(qǐng)稍等,我把上一個(gè)案子的信息登記一下。河
交通運(yùn)輸部:重點(diǎn)物流通道樞紐運(yùn)行基本穩(wěn)定 應(yīng)急運(yùn)力儲(chǔ)備充足
交通運(yùn)輸部:重點(diǎn)物流通道樞紐運(yùn)行基本穩(wěn)定應(yīng)急運(yùn)力儲(chǔ)備充足近段時(shí)間以
工商銀行好運(yùn)錦鯉金條50克價(jià)格今天多少一克(2023年08月22日)
金投網(wǎng)提供工商銀行好運(yùn)錦鯉金條50克價(jià)格今天多少一克(2023年08月22日
研報(bào)掘金丨長(zhǎng)城國瑞證券:長(zhǎng)遠(yuǎn)鋰科盈利短期承壓,未來兩年有望顯著改善
長(zhǎng)城國瑞證券22日研報(bào)指出受原材料價(jià)格大幅波動(dòng)影響長(zhǎng)遠(yuǎn)鋰科688779SH20
大灣區(qū)早報(bào)|1-7月廣東工業(yè)生產(chǎn)小幅回升;鎮(zhèn)域經(jīng)濟(jì)500強(qiáng)出爐 廣東81個(gè)鎮(zhèn)入圍
一、政策動(dòng)態(tài)1-7月廣東工業(yè)生產(chǎn)小幅回升8月22日,廣東省統(tǒng)計(jì)局公布1-7
汽車產(chǎn)業(yè)鏈個(gè)股午后異動(dòng) 拓普集團(tuán)漲超5%
【汽車產(chǎn)業(yè)鏈個(gè)股午后異動(dòng)拓普集團(tuán)漲超5%】8月24日電,拓普集團(tuán)、貴州
看宇宙間那一場(chǎng)場(chǎng)盛大的“煙花表演”
夜空看起來非常寧靜,但用一臺(tái)可在幾天內(nèi)掃描整個(gè)天空的望遠(yuǎn)鏡凝視太空
利桑德羅:很高興感受到球迷的愛 我想以100%狀態(tài)踢每一場(chǎng)比賽
直播吧8月24日訊在接受《GQ》雜志采訪時(shí),曼聯(lián)后衛(wèi)利桑德羅-馬丁內(nèi)斯談
