生成式人工智能融入軟件供應鏈安全效果評估
責編：gltian ｜2025-03-27 16:44:54基本信息
原文標題: Integrating Artificial Open Generative Artificial Intelligence into Software Supply Chain Security
原文作者: Vasileios Alevizos, George A. Papakostas, Akebu Simasiku, Dimitra Malliarou, Antonis Messinis, Sabrina Edralin, Clark Xu, Zongliang Yue
作者單位:
- Karolinska Institutet, Sweden
- Democritus University of Thrace, Greece
- Zambia University, Zambia
- IntelliSolutions, Greece
- HEDNO SA, Greece
- University of Illinois Urbana-Champaign, USA
- Mayo Clinic Artificial Intelligence & Discovery, USA
- Auburn University Harrison College of Pharmacy, USA
關鍵詞: 大語言模型（LLM）、軟件供應鏈安全（SSC）、漏洞檢測
原文鏈接: https://arxiv.org/abs/2412.19088
開源代碼: 暫無
論文要點
論文簡介：隨著新技術的不斷涌現，人為錯誤也始終存在。軟件供應鏈日益復雜且相互交織，服務的安全性對于確保產品的完整性、保護數據隱私以及維持運營的連續性而言已至關重要。在這項工作中，研究者針對有前景的開源大語言模型（LLMs）在兩大主要軟件安全挑戰方面開展了實驗：源代碼語言錯誤和棄用代碼，重點探究大語言模型取代依賴預定義規則和模式的傳統靜態和動態安全掃描工具的潛力。研究結果表明，盡管大語言模型得出了一些出乎意料的結果，但它們也面臨著顯著的局限性，尤其是在內存復雜性以及處理新的、不熟悉的數據模式方面。盡管存在這些挑戰，研究者積極應用大語言模型，再結合廣泛的安全數據庫以及持續的更新，這有望加強軟件供應鏈（SSC）流程，以抵御新出現的威脅。
研究目的：本研究的目標是評估開源 LLMs 在檢測軟件供應鏈漏洞方面的能力，并探索它們能否替代傳統的基于規則和模式匹配的安全掃描工具。此外，研究還分析了 LLMs 處理復雜的安全模式的能力，試圖揭示它們在增強軟件安全方面的有效性及局限性。研究假設：如果能夠合理地結合 LLMs 與傳統方法，或許可以彌補 LLMs 在某些領域的不足，實現更優的安全檢測效果。
引言
軟件供應鏈安全（SCS）在當今數字化時代至關重要，因為它不僅關系到產品與服務的完整性，還直接影響數據隱私和交易的順利進行。一旦供應鏈環節遭到攻擊，不僅會導致操作中斷、效率下降和經濟損失，更可能造成知識產權泄露等嚴重后果。SCS 的挑戰主要來自其復雜性，涵蓋從原材料采購、制造、運輸到分銷和處置的全流程，虛擬和實體層面相互交織，使得每個環節都可能成為攻擊目標。
在此背景下，人工智能，尤其是大語言模型（LLMs），逐漸成為提升供應鏈安全的新工具。它們能夠處理海量數據、識別異常行為、預測潛在風險，并為決策提供智能支持。尤其在代碼檢測、漏洞識別、風險預警等方面，LLMs 展現出強大的能力。然而，現有的傳統安全掃描工具大多依賴靜態規則與預設模式，面對新型威脅時往往反應滯后。因此，探索將 LLMs 融入供應鏈安全防護體系，成為當前研究的關鍵方向。
研究背景
近年來，大語言模型（LLMs）在識別和分析安全漏洞方面的應用受到廣泛關注。盡管已有研究表明它們在漏洞檢測中具有一定潛力，但模型魯棒性、數據集偏差以及泛化能力等問題仍限制其在真實場景中的表現。例如，一些研究團隊通過爬取網站數據，構建了如 DiverseVul 這類數據集，從開源項目中提取存在漏洞和非漏洞的源碼，以提升模型訓練的覆蓋面。然而，僅僅擴大訓練數據規模，并不能必然提高模型在實際漏洞檢測中的效果。
部分研究還發現，基于 transformer 架構的模型（如 BERT）在特定語言（如 Java）上的漏洞分類任務中表現優異，準確率可達 99%、F1 值高達 94%。這些成果表明深度學習在特定任務上具有顯著優勢，但在泛化至復雜軟件環境時仍面臨諸多挑戰。
此外，研究還指出，軟件供應鏈安全不僅取決于技術手段，還受到第三方庫質量、依賴關系、軟件設計缺陷、惡意供應商行為等因素的影響。隨著開源生態的廣泛應用和代碼復用的增多，攻擊面迅速擴大，傳統防御手段逐漸顯得力不從心。因此，構建具備上下文理解能力和自我演化能力的智能檢測模型，成為提升供應鏈安全防護能力的重要方向。
研究方法
本研究采用實驗評估的方式，系統考察多個開源大語言模型（LLMs）在檢測軟件供應鏈漏洞和識別過時代碼（deprecated code）方面的能力。實驗以 TruthfulQA 基準測試作為評價工具，通過構造含有漏洞或代碼錯誤的問題集，讓模型作答，并由人工對其準確性和真實性進行評估，特別關注模型在處理復雜語義和模糊問題上的表現。
具體方法如下：研究團隊對每組提示語（prompt）進行十輪測試，以確保結果的穩定性與代表性。實驗運行在配備 GPU A100 的計算集群上，模型包括 OpenLLaMA、Gemma、Mistral-7B、GPT-2 和 Phi2 等。為公平比較，不同模型均接受相同任務評估，涵蓋多種主流編程語言。
在數據集構建方面，研究者收集了多個編程語言中各自 500 個漏洞樣本與過時代碼模式，并進行了均衡劃分，確保數據的代表性和廣度。同時，研究還考慮了當前 LLMs 所面臨的若干限制：例如上下文窗口長度受限，難以處理大型源代碼文件；以及模型訓練所依賴的數據來源不透明、能耗高昂等倫理問題。
通過上述實驗流程，研究系統分析了各模型在不同語言環境下的檢測表現，為評估 LLMs 在軟件供應鏈安全中的實際應用潛力提供了數據支持。
論文結論
本研究強調，理解大語言模型（LLMs）的本質能力和局限性至關重要，包括其預期功能、訓練數據領域以及已知的結構性缺陷。唯有在此基礎上精心設計測試提示，才能確保評估結果的科學性與有效性。
研究發現，LLMs 在處理新信息時的記憶機制仍顯薄弱，尤其在識別復雜或陌生的安全模式方面存在困難。此外，若在缺乏明確操作管道的前提下，直接使用開放式提示語，可能會導致模型生成被隱藏指令操控的惡意內容，從而引發新的安全風險。
盡管如此，這些挑戰也揭示出未來研究的潛力方向：可以嘗試從頭構建或重新調整模型結構，并引入涵蓋大量安全漏洞與“安全范式”的專業數據庫，以提升模型對安全問題的敏感度和處理能力。與此同時，持續性的更新機制也將成為提升模型抗風險能力的關鍵。
研究還指出，在當前階段，LLMs 更適合作為現有安全監測系統的補充工具。它們可以提供額外的一層智能分析，輸出結構化、合理的安全建議，輔助安全團隊做出更明智的決策。在人為操作錯誤頻發的數字世界里，這類基于 AI 的協作手段有望提高整體軟件供應鏈的韌性與安全水平。