50款主流大模型的網絡攻擊能力深度測評
責編：gltian ｜2025-07-15 14:35:52研究顯示，大語言模型（LLM）在執行漏洞發現和開發利用代碼等任務時，表現依然不盡如人意。因此，許多威脅行為者對將AI工具用于此類任務仍持懷疑態度。
這是網絡風險管理廠商Forescout的最新研究洞察。該研究測試了來自商業、開源和地下渠道的50個AI模型，以評估其在漏洞研究（VR）和漏洞利用開發（ED）兩方面的能力。
沒有一個大模型能完成全部任務
研究人員評估了三種不同類型的大模型：托管在HuggingFace上的開源模型、地下模型（如WormGPT、EvilAI和GhostGPT，這些模型可在網絡犯罪論壇或Telegram頻道獲取）以及商業模型（如OpenAI的ChatGPT、谷歌的Gemini、微軟的Copilot和Anthropic的Claude）。測試時間周期為今年2月至4月。
研究人員讓每個大模型執行兩類漏洞研究任務：第一類漏洞研究任務旨在識別特定短代碼片段中的漏洞；第二類漏洞利用開發任務則需要為存在漏洞的二進制文件生成可運行的攻擊利用代碼。
結果顯示，48%的模型未能完成第一類任務，55%的模型未能完成第二類任務。隨后，他們指示那些完成任務的模型為每個漏洞生成利用代碼，結果其失敗率分別上升至66%和93%。沒有任何模型能夠完成全部任務。
研究人員強調，他們并非以初學者的視角測試這些大模型，而是假設自己是經驗豐富的安全研究員，在分析漏洞時借助大模型協助；之后再假設自己是資深的滲透測試人員，利用大模型幫助開發漏洞利用代碼。研究人員表示：“這些任務需要通過交互式協作來構建、測試并調試漏洞利用程序。”
大多數模型表現不穩定，運行多次經常得出不一致的結果，且常常出現超時或報錯。在一些漏洞開發任務中，生成一段可行的利用代碼往往需要反復嘗試，并耗費數小時。
此外，即使模型最終完成了漏洞利用任務，也需要大量用戶引導，例如解釋錯誤信息、調試輸出，或手動引導模型找到可行路徑。
報告指出：“沒有任何一個模型完成全部任務，這突顯出攻擊者目前仍無法依賴單一工具來貫穿整個漏洞利用流程。我們仍然離能夠自主生成完全可用漏洞利用的大模型非常遙遠。”
網絡犯罪分子對AI能力仍持懷疑態度
該研究于7月10日發布，同時分析了多個地下論壇，以了解網絡犯罪社區如何看待AI的潛力。
有經驗的威脅行為者通常持懷疑或謹慎態度，許多評論對當前大模型的實際用途進行了淡化。
AI輔助漏洞利用的熱情主要來自缺乏經驗的用戶。
研究人員寫道：“盡管近期有報道稱大模型在編寫代碼方面表現驚人，但目前尚無明確證據表明真正的威脅行為者已能穩定利用這些模型發現并開發新漏洞。”
許多威脅行為者確實指出，大模型在執行某些技術輔助任務方面表現不錯，例如生成模板代碼和其他基本的軟件自動化操作。
不同大模型的能力差異顯著
總體來看，Forescout研究人員發現不同類型的大模型在能力上存在顯著差異：
- 開源模型：測試的16個模型“甚至不適合用于基礎的漏洞研究”；
- 地下模型：測試的23個模型“受限于可用性問題，包括訪問受限、不穩定行為、輸出格式混亂以及上下文長度限制”；
- 商業模型：測試的18個模型普遍受到保護機制限制，“僅有3個模型成功生成了可用的漏洞利用代碼”，且前提是有專家用戶提供大量引導。
開源模型在漏洞研究和漏洞利用開發任務中的表現最不可靠。測試的16個模型在所有任務中整體表現較差。
這些模型主要來自HuggingFace平臺，該平臺為社區提供了成千上萬的預訓練AI模型。
研究人員指出：“總體而言，這類模型甚至無法勝任基礎的漏洞研究任務。”
地下模型則是在暗網論壇和Telegram頻道中，經過針對惡意用途的微調。這類模型包括基于開源模型改造的定制工具，例如WormGPT和GhostGPT。
盡管這些模型的表現優于開源模型，但仍存在可用性方面的諸多限制，比如訪問受限、行為不穩定、輸出格式混亂以及上下文長度受限等問題。
來自主要科技公司的通用商業模型，如ChatGPT、Gemini和Copilot，在測試中表現最佳，盡管部分模型會受到對齊機制的保護限制。即便如此，在這一類別中，也僅有3個模型成功為最復雜的測試案例生成了可用的漏洞利用代碼。
AI能力預計將持續增長
盡管目前仍有限制，研究人員在為期三個月的測試期中觀察到，生成式AI在漏洞研究和漏洞利用開發方面表現出快速進步的趨勢。
研究人員補充道：“這些結果顯示，盡管生成式AI尚未徹底改變威脅行為者發現和利用漏洞的方式，但這種變革可能即將到來。‘AI驅動的自主性黑客’（vibe hacking）時代正逐步逼近，防御者應立即做好準備。”
Forescout表示，AI可能會使漏洞利用事件變得更加頻繁，但不會讓其變得更加復雜。因此，最小權限、網絡分段和零信任等核心網絡安全策略在應對此類攻擊中仍至關重要。
參考資料：https://www.infosecurity-magazine.com/news/llms-fall-vulnerability-discovery/、https://www.forescout.com/blog/artificial-exploits-real-limitations-how-ai-cyber-attacks-fall-short/