亚洲日本免费-啊轻点灬太粗太长了三男一女-麻豆av电影在线观看-日韩一级片毛片|www.grbbt.com

近年來，全球人工智能浪潮持續(xù)升溫，大模型作為AI領(lǐng)域中的重要一環(huán)，其能力隨著平臺算力的提升、訓練數(shù)據(jù)量的積累、深度學習算法的突破，得到了進一步提升。然而以大模型為核心涌現(xiàn)的大量技術(shù)應用背后，也帶來諸多新的風險和挑戰(zhàn)。

近日，360數(shù)字安全集團發(fā)布全球首份《大模型安全漏洞報告》（以下簡稱“報告”），從模型層安全、框架層安全以及應用層安全三大維度探查安全問題，并借助360安全大模型自動化的代碼分析能力，對多個開源項目進行代碼梳理和風險評估，最終審計并發(fā)現(xiàn)了近40個大模型相關(guān)安全漏洞，影響范圍覆蓋llama.cpp、Dify等知名模型服務框架，以及Intel等國際廠商開發(fā)的多款開源產(chǎn)品，全面呈現(xiàn)了全球大模型發(fā)展所面對的安全威脅態(tài)勢，為構(gòu)建更加安全、健康的AI數(shù)字環(huán)境貢獻力量。

生成及應用過程隱憂

模型層安全或影響訓練及推理

大模型的生成及應用過程通常包含了數(shù)據(jù)準備、數(shù)據(jù)清洗、模型訓練、模型部署等關(guān)鍵步驟，攻擊者可對該流程中相關(guān)環(huán)節(jié)施加影響，使模型無法正常完成推理預測；或者繞過模型安全限制或過濾器，操控模型執(zhí)行未經(jīng)授權(quán)的行為或生成不當內(nèi)容，并最終導致服務不可用，甚至對開發(fā)者或其他正常用戶產(chǎn)生直接安全損害。

報告指出，大模型的開放性和可擴展性使其在訓練和推理過程中面臨著數(shù)據(jù)投毒、后門植入、對抗攻擊、數(shù)據(jù)泄露等諸多安全威脅。近年來，各大知名廠商的大語言模型因隱私泄露和輸出涉及種族、政治立場、公共安全等不合規(guī)信息而引起社會廣泛關(guān)注的案例屢見不鮮，為了加強模型本身的安全性，越來越多的研究人員開始從模型的可檢測性、可驗證性、可解釋性進行積極探索。

安全邊界模糊

框架層安全使攻擊面頻繁增加

隨著大模型項目需求的不斷增長，各類開源框架層出不窮。這些框架極大提升了開發(fā)效率，降低了構(gòu)建AI應用的門檻，同時也打開了新的攻擊面。

報告指出，這些框架在各個層級都可能因接觸不可信的輸入而產(chǎn)生潛在的安全風險。比如利用非內(nèi)存安全語言引發(fā)內(nèi)存安全問題，或者通過影響正常業(yè)務流程向框架傳遞惡意數(shù)據(jù)進行攻擊，以及利用物理或虛擬主機集群所暴露的服務接口進行惡意控制等。

?

模型框架通常承載著極其豐厚的計算與存儲資源，但又由于其模糊的安全邊界，通常難以做到完全運行于隔離的環(huán)境之中，因此一旦受到攻擊，就可能對整個系統(tǒng)帶來不可估量的損失。

模塊協(xié)同存在風險

應用層安全可致目標系統(tǒng)失控

AI應用是人工智能技術(shù)通過自動化決策和智能分析來解決實際問題的進一步落地，通常集成了前端采集用戶輸入，后端調(diào)用模型分析處理，最終執(zhí)行用戶請求并返回結(jié)果的業(yè)務流程。

報告發(fā)現(xiàn)，除了模型本身，AI應用是多項計算機技術(shù)的有機結(jié)合，通常還包含了許多其它工程代碼實踐來落地整套業(yè)務邏輯。這些代碼涉及輸入驗證、模型驅(qū)動、后向處理等多個方面，而不同分工模塊間的業(yè)務交互可能會引入額外的安全問題，既包含了傳統(tǒng)的Web問題，又涵蓋了大模型能力導致的新問題。

在以往的攻擊中，攻擊者常通過組合利用業(yè)務系統(tǒng)中具有不同“能力原語”的漏洞，進而實現(xiàn)對目標系統(tǒng)的完整控制。而在AI場景下，為了能使大模型能處理各項業(yè)務需求，通常會賦予其包括代碼執(zhí)行在內(nèi)的多項能力，這在帶來便捷的同時，也提供了更多攻擊系統(tǒng)的可能性。攻擊者可以嘗試控制并組合AI的“能力原語”，在某些應用場景下達到更為嚴重的攻擊效果。

伴隨人工智能的加速發(fā)展，以大模型為重要支撐的AI生態(tài)擁有巨大的發(fā)展?jié)摿?，在賦予AI更多能力的同時，也應確保整個系統(tǒng)的可信、可靠、可控。報告認為，大模型所面對的安全威脅應從模型層、框架層、應用層三個層面持續(xù)深入探索：

模型層是大模型自身在訓練和推理過程中，以能直接輸入至模型的數(shù)據(jù)為主要攻擊渠道，從而使得大模型背離設計初衷，失去其真實性和可靠性。

框架層則是用于大模型生產(chǎn)的各類開源工具帶來的安全威脅，這類框架在掌握有大量數(shù)據(jù)、算力、存儲資源的同時，卻缺少基本的安全設計，其安全性很大程度依賴于框架使用者自身經(jīng)驗。

應用層則是集成大模型技術(shù)的應用程序，在受傳統(tǒng)安全問題影響的同時，又可能在模型能力驅(qū)動層面上出現(xiàn)新的攻擊場景。

作為國內(nèi)唯一兼具數(shù)字安全和人工智能能力的公司，360數(shù)字安全集團基于“以模制?！?、“用AI對抗AI”的理念，遵循“安全、向善、可信、可控”原則，打造安全大模型，保障大模型全方位服務的安全運行，防止不法分子利用相關(guān)漏洞對系統(tǒng)進行攻擊，從而保護用戶隱私和服務穩(wěn)定性，持續(xù)助力政府、企業(yè)以及科研機構(gòu)能夠高效應對在大模型訓練和應用過程中的多重挑戰(zhàn)，推動國內(nèi)大模型生態(tài)持續(xù)健康發(fā)展。

聲明：本文來自廠商，稿件和圖片版權(quán)均歸原作者所有。所涉觀點不代表東方安全立場，轉(zhuǎn)載目的在于傳遞更多信息。如有侵權(quán)，請聯(lián)系rhliu@skdlabs.com，我們將及時按原作者或權(quán)利人的意愿予以更正。