清華、阿里、RealAI等頂尖團隊聯合發布最新AI安全評估平臺

2021-06-04 08:51:35來源：快科技關鍵詞：人工智能阿里安全閱讀量：24159

導讀：想象一下，物聯網更加智能的未來社會，有人植入AI智能心臟輔助設備遭遇攻擊，引發宕機，這些后果將會怎樣？

　　想象一下，如果街道上自動駕駛的汽車因AI視覺系統受到AI算法誘導攻擊，而引發行駛軌跡發生改變；或者有人通過AI技術模仿出跟你熟悉的親朋好友一模一樣的聲音，找你借錢；亦或是家里的AI智能設備遭遇黑客入侵；甚至物聯網更加智能的未來社會，有人植入AI智能心臟輔助設備也遭遇攻擊，引發宕機，這些后果將會怎樣？

　　清華大學計算機系教授、RealAI首席科學家朱軍就指出，盡管人工智能技術取得長足進步，人工智能算法的安全性仍存在嚴重不足，對智能技術的應用帶來較大的安全隱患。

　　6月3日，清華大學聯合阿里安全、Real AI發布了首個公平、全面的AI攻防對抗基準平臺，該評測基準基于清華大學在2020年GitHub開源的ARES算法庫，該平臺致力于對AI防御和攻擊算法進行自動化、科學評估。AI模型究竟是否安全，攻擊和防御能力幾何？只需提交至該平臺，就可見能力排行。

　　從源頭保障AI模型安全

　　“就像打仗一樣，攻擊者可能用水攻，也可能火攻，還可能偷偷挖條地道來攻打一座城，守城的人不能只考慮一種可能性，必須布防應對許多的攻擊可能性。”參與該評測基準平臺設計的阿里安全高級算法專家越豐這樣比喻。

　　尤其要關注惡意攻擊者對數據或樣本進行“投毒”，故意影響AI模型的攻擊行為。

　　UIUC（伊利諾伊大學）計算機科學系教授李博認為，機器學習在推理和決策的快速發展已使其廣泛部署于自動駕駛、智慧城市、智能醫療等應用中，但傳統的機器學習系統通常假定訓練和測試數據遵循相同或相似的分布，并未考慮到潛在攻擊者惡意修改兩種數據分布。

　　這相當于在一個人成長的過程中，故意對他進行錯誤的行為引導。惡意攻擊者可以在測試時設計小幅度擾動，誤導機器學習模型的預測，或將精心設計的惡意實例注入訓練數據中，通過攻擊訓練引發AI系統產生錯誤判斷。好比是從AI“基因”上就做了改變，讓AI在訓練過程中按錯誤的樣本進行訓練，最終變成被操控的“傀儡”，只是使用的人全然不知。

　　“深入研究潛在針對機器學習模型的攻擊算法，對提高機器學習安全性與可信賴性有重要意義。”李博指出。

　　之前的研究者在衡量模型的防御性能時，基本只在一種攻擊算法下進行測試，不夠全面。攻擊算法是經常變化的，需要考慮模型在多種攻擊算法下和更強的攻擊下的防御能力，這樣才能比較系統地評估AI模型的防御能力。

　　再加上業界此前提出的各種“攻擊算法排行榜”只包含一些零散的算法，測量攻擊算法的環境只包含單一的防御算法，用于評測的數據集也不多，并沒有合適的統計、度量標準。

　　阿里巴巴安全部技術總監薛暉表示，參與推進這項研究工作，除了幫助AI模型進行安全性的科學評估，也是為了促進AI行業進一步打造“強壯”的AI。

　　構建AI對抗攻防領域標準測試平臺

　　為解決上述問題，近日，清華大學、阿里安全、RealAI三方聯合提出深度學習攻擊防御算法及評測的基準平臺。

　　不同于之前只包含零散攻防模型的對抗攻防基準，此次推出AI對抗安全基準基本上包括了目前主流的人工智能對抗攻防模型，涵蓋了數十種典型的攻防算法。不同算法比測的過程中盡量采用了相同的實驗設定和一致的度量標準，從而在最大限度上保證了比較的公平性。

　　除此之外，本次發布的AI安全排行榜也包括了剛剛結束的CVPR2021人工智能攻防競賽中誕生的排名前5代表隊的攻擊算法。此次競賽吸引到了全球2000多支代表隊提交的最新算法，進一步提升了該安全基準的科學性和可信性。

　　“通過對AI算法的攻擊結果和防御結果進行排名、比較不同算法的性能，建立AI安全基準具有重要學術意義，可以更加公平、全面地衡量不同算法的效果。”朱軍介紹道。

　　“該基準評測平臺利用典型的攻防算法和CVPR 2021比賽積累的多個性能優越的算法進行互相評估，代表當前安全與穩定性測量的國際標準。”RealAI副總裁唐家渝說。

　　越豐認為，該平臺的發布對工業界和學術界都能帶來正面的影響，比如工業界可以使用該平臺評估目前AI服務的安全性，發現模型的安全漏洞。同時，也可為學術界提供一個全面、客觀、公平、科學的行業標準，推動整個學術界在AI對抗攻防領域的快速發展。

　　清華方面介紹，本次發布的AI安全基準也是依托清華大學人工智能研究院研發的人工智能對抗安全算法平臺ARES(Adversarial Robustness Evaluation for Safety)建立。ARES作為古希臘神話中的戰神，雙手持矛和盾是攻防合一的化身，集中體現了AI安全算法攻防博弈的特點。該平臺對主流的攻防算法實現了模塊化的設計，支持數十種主流攻防算法的實現，可以方便研究者和開發人員進行使用，有助于推動AI對抗攻防領域的發展。

　　清華大學、阿里安全、Real AI三方強調，該基準評測平臺不是專屬于某一家機構或者公司搭建的平臺，需要工業界和學術界的共同參與才能把它打造為真正受認可的全面、權威的AI安全評估平臺。因此，三方將聯合不斷在排行榜中注入新的攻擊和防御算法，并且歡迎學術界和產業界的團隊能提供新的攻防模型。

　　“數據對于AI發展非常重要，通過對于不同攻擊和防御算法統一全面的對比，相信這次的平臺可以為機器學習模型的安全與穩定性驗證提供更全面的支持，并為進一步設計開發新的安全、強壯的學習算法提供有力的技術背書。”李博說道。

　　(原標題：清華、阿里、RealAI等頂尖團隊聯合發布最新AI安全評估平臺)

上一篇：Waymo的無人駕駛出租車服務實現在谷歌地圖上訪問

下一篇：傳AI芯片初創企業地平線將在美國IPO籌資10億美元

我要評論

昵稱

匿名

文明上網，理性發言。（您還可以輸入200個字符)

表情

所有評論僅代表網友意見，與本站立場無關。

推動人工智能發展我國已形成完整產業體系
經過多年持續投資布局，我國人工智能產業體系逐步完善，基礎層、模型層及應用層不斷升級優化，實現了人工智能、大數據等數據智能技術與實體經濟的廣泛融合。
人工智能服務平臺
2025-05-04 09:58:02
全域人工智能之城建設駛入快車道
市科委、中關村管委會，市經濟和信息化局，市發展改革委，市政務和數據局，市衛生健康委，北京經開區管委會領導出席，來自各央國企、研究機構，及京內外近500家人工智能上下游生態企業與會。
人工智能中國智造
2025-04-30 09:49:19
AI已經成為人形機器人最大的瓶頸？
在看似繁榮的表象下，行業共識正在逐漸浮現：人工智能(AI)技術的滯后，已成為人形機器人實現真正智能化的最大瓶頸。
人形機器人人工智能
2025-04-28 15:32:08
從“原子”到算法！人工智能領域的“元素周期表”誕生
研究團隊發現，處于同一“主族“的算法(如支持向量機與核方法)具有相似的數學內核，而位于相同“周期“的算法(如決策樹與隨機森林)則共享相近的泛化能力圖譜。
人工智能計算機科學
2025-04-27 17:01:21
賓利發布突破性人工智能皮革檢測技術
人工智能皮革檢測系統并不能完全取代賓利訓練有素的工匠的技藝。通過自動化人工檢測流程，該系統能夠提供最高品質的皮革，工匠們可以用它來打造精致的手工縫制細節。
人工智能皮革檢測技術
2025-04-27 14:42:55
早報|深圳大學人工智能學院正式揭牌成立；SK海力士完成96GB CXL內存模塊驗證
深圳大學人工智能學院正式揭牌成立,學院建設基礎學科研究中心和算力平臺，與騰訊云共建產業學院；SK海力士宣布，其基于CXL 2.0標準的DDR5 96GB內存模塊已通過客戶驗證......
人工智能內存模塊數據傳輸設備
2025-04-23 10:41:12

版權與免責聲明：

凡本站注明“來源：智能制造網”的所有作品，均為浙江興旺寶明通網絡有限公司-智能制造網合法擁有版權或有權使用的作品，未經本站授權不得轉載、摘編或利用其它方式使用上述作品。已經本網授權使用作品的，應在授權范圍內使用，并注明“來源：智能制造網”。違反上述聲明者，本站將追究其相關法律責任。

本站轉載并注明自其它來源（非智能制造網）的作品，目的在于傳遞更多信息，并不代表本站贊同其觀點或和對其真實性負責，不承擔此類作品侵權行為的直接責任及連帶責任。如其他媒體、平臺或個人從本站轉載時，必須保留本站注明的作品第一來源，并自負版權等法律責任。如擅自篡改為“稿件來源：智能制造網”，本站將依法追究責任。

鑒于本站稿件來源廣泛、數量較多，如涉及作品內容、版權等問題，請與本站聯系并提供相關證明材料：聯系電話：0571-89719789；郵箱：1271141964@qq.com。