前言
從互聯(lián)網(wǎng)的誕生,到如今人工智能技術(shù)的炙手可熱,每一次技術(shù)革命都給人來帶來極大的便捷。同時,存在這樣一群人,他們掌握先進的摶術(shù),并利用技術(shù)對企業(yè)與個人資產(chǎn)實施入侵與破壞,牟取利益,給社會帶來極大的安全隱患。
技術(shù)不是惡的本身,我們唯有接近黑產(chǎn),了解黑產(chǎn),才能更有針對性的與之抗衡。
《2018交互安全行業(yè)研究報告》報告主要聚焦于 OSI 第七層的業(yè)務(wù)層,極驗交互安全實驗室通過2018年全年對全國近萬個域名、數(shù)千億次的交互數(shù)據(jù)展開分析,盡可能真實還原2018年國內(nèi)互聯(lián)網(wǎng)機器流量狀況。
機器流量的定義
Good Bot:通過編程人員的設(shè)計腳本自動執(zhí)行簡單且重復(fù)的任務(wù),提升工作效率。
包括:
搜索引擎爬蟲: Googlebot、 Bingbot、 Baidubot在線爬蟲服務(wù)自動發(fā)現(xiàn)和索引互聯(lián)網(wǎng)網(wǎng)站的內(nèi)容,收錄到搜索引擎,方便互聯(lián)網(wǎng)用戶更容易找到他們需要的內(nèi)容。
自動交易程序:股票/數(shù)字貨幣/貴金屬等交易平臺可以設(shè)置自動止損止盈、加倉減倉、定 時委托等業(yè)務(wù),完成自動交易。
網(wǎng)站監(jiān)控軟件:實時檢測網(wǎng)站、App的可用性、報告頁面加載時間和停留時間、改善應(yīng)用的用戶體驗、提升業(yè)務(wù)轉(zhuǎn)化、減少用戶流失,很多的應(yīng)用性能管理(APM)解決方案和大數(shù)據(jù)分析軟件都是如此。
自動訂閱機器人:包括訂閱的電子期刊、郵件推送、實時新聞、天氣信息等。
自動聊天機器人:以主流電商平臺為例,提供的機器客服,可以根據(jù)實時客戶情況完成大量訂單、售前售后問題的處理解答。
Bad Bot:壞機器人會為您的網(wǎng)站帶來虛假流量,其惡意可能涉及爬取有價值的數(shù)據(jù)(文章內(nèi)容、商品價格、評論信息等)、發(fā)布垃圾評論和網(wǎng)絡(luò)釣魚鏈接,影響網(wǎng)絡(luò)分析和搜索引擎優(yōu)化,導(dǎo)致DDoS攻擊等。
惡意機器流量的特點
持續(xù)性:
不同于數(shù)據(jù)泄漏、拖庫、勒索病毒這樣的偶發(fā)性安全事件,惡意的機器流量更多呈現(xiàn)的是持續(xù)破壞性。體現(xiàn)在兩個方面:
1、利益驅(qū)動 以航空公司機票查詢接口為例,超過60%的流量都是機器流量,由于行業(yè)特殊的價格浮動體系,需要不斷的爬取最新價格與航班信息。
2、無人管理 很多爬蟲早已處于無人管理的狀態(tài),甚至存在近十年之久,早已失去當時爬蟲的價值,但是由于無人管理導(dǎo)致對整個互聯(lián)網(wǎng)的持續(xù)資源消耗。
普遍性:
隨著越來越多的資產(chǎn)從線下遷移到線上,近幾年大數(shù)據(jù)與人工智能的飛速發(fā)展,硬件性能的不斷提高,專門做大數(shù)據(jù)的公司或者公司的大數(shù)據(jù)部門對輸入樣本/數(shù)據(jù)的需求量達到頂峰,只要你的網(wǎng)站存在可以利用資源,幾乎都會成為爬取的樣本。
行業(yè)性:
由于行業(yè)性質(zhì)的不同,其利益產(chǎn)生點也相應(yīng)不同,所以機器流量的攻擊行為也呈現(xiàn)差異化,具體差異性表現(xiàn)為間歇性與持續(xù)性的差異;不同場景攻擊目的的差異;登錄與非登錄狀態(tài)下的差異。
機器流量的分布
行業(yè)分布排名Top10:
票務(wù)(23.6%)、政府公共服務(wù)(15.8%)、電商(12.6%)、內(nèi)容平臺(9.4%)、視頻/直播(7.6%)、社交(5.9%)、游戲(5.2%)、OTA(3.8%)、新聞(3.5%)、數(shù)字貨幣(1.8%)、其他(10.8%)
2018 國內(nèi)機器流量占比 — 票務(wù)行業(yè)機器
解讀:
惡意機器流量在票務(wù)中近3/4都在火車票領(lǐng)域,而在火車票中幾乎所有的流量都指向了某售票網(wǎng)站及APP,由于特殊的市場性質(zhì)以及運力不足,導(dǎo)致惡意機器流量呈現(xiàn)罕見的大規(guī)模性聚集。
而這一問題,在節(jié)假日出行高峰期格外凸顯,一票難求冋題依然嚴峻,由此產(chǎn)生的巨大利益空間,催生惡意機器流量的瘋漲。惡意機器流量的逐年增加,將原本就不平等的機器與人“搶票”矛盾進一步激化,導(dǎo)致目前搶票軟件的肆虐,普通用戶需要支付更高額的成本來換取車票。
航空領(lǐng)域,由于機票其特殊的價格浮動體系,讓各大航空公司不得不面對惡意機器爬蟲問題,迫使航司需每年向中航信支付大量額外接口查詢費用航空公司的惡意占座問題依然嚴峻,近年來所采用的“超售”、“熔斷”、“對于支付訂單回倉”等解決方案并未根本解決占座問題。
2018 國內(nèi)機器流量占比 — 政務(wù)公共服務(wù)
解讀:
近年來越來越多的公司,利用國家公共平臺的信息作為其商業(yè)化產(chǎn)品的重要數(shù)據(jù)來源(大數(shù)據(jù)征信產(chǎn)品,精準營銷服務(wù)產(chǎn)品,車輛信息查詢產(chǎn)品等),輔助以良好的交互體驗、產(chǎn) 品包裝實現(xiàn)商業(yè)化的目的。這樣大規(guī)模的數(shù)據(jù)來源需要大量的機器爬蟲來提升入庫的效率。
目前網(wǎng)絡(luò)安全法并沒有對國家公共信息爬取相關(guān)行為做明確的解釋或者界定,但是巨大惡意機器流量確實對公共平臺的帶寬資源造成了極大的消耗,近90%的帶寬資源都被惡 意機器流量所占用。
2018 國內(nèi)機器流量占比 — 電商行業(yè)
解讀:
非登錄態(tài)下的爬蟲占了整個電商行業(yè)近一半的流量,包括動態(tài)數(shù)據(jù)(銷量、庫存、原價、 現(xiàn)價等)和靜態(tài)數(shù)據(jù)(商品信息、評論、點評等),機器流量來源更多的是同類電商平臺或者比價平臺。
近1/4的惡意機器流量在撞庫場景,一旦撞庫成功,這些賬號則會被分銷至洗號產(chǎn)業(yè)鏈 , 根據(jù)不同平臺的賬號細分完成進一步積分消耗,個人信息售賣,電信詐騙,持續(xù)其他平臺撞庫等行為。
其他場景的機器流量則體現(xiàn)為利用優(yōu)惠券商品代下單,養(yǎng)號,刷單等業(yè)務(wù)問題。
2018 國內(nèi)機器流量占比 — 內(nèi)容平臺
解讀:
關(guān)于內(nèi)容平臺的惡意機器流量主要分為兩部分,一是惡意爬蟲對優(yōu)質(zhì)內(nèi)容的爬取,二是廣 告性質(zhì)的發(fā)帖與評論,作為內(nèi)容平臺,不論是UGC還是PGC產(chǎn)出的優(yōu)質(zhì)內(nèi)容,都是對平臺本身用戶砧性最基礎(chǔ)保障。
2018 國內(nèi)機器流量占比 — 游戲行業(yè)
解讀:
2017年上半年,中國以275億美元的游戲市場收入超過美國和日本,成為全球榜首。高額的攻擊利潤,讓游戲行業(yè)成為黑產(chǎn)圈的“風口”。游戲公司因DDoS攻擊,而造成經(jīng)濟 損失高達數(shù)百萬元/天。其中,棋牌類游戲成為DDoS攻擊“重災(zāi)區(qū)”,不少游戲公司因遭到DDoS攻擊打擊,被迫停止業(yè)務(wù)運營,頻臨倒閉。
欺詐作弊主要表現(xiàn)為:批量注冊、流量造假、撞庫盜號。欺詐作弊問題覆蓋超過95%的游戲公司,一方面,游戲公司大量資源被黑產(chǎn)搶占,造成高成本、低轉(zhuǎn)化的運營難題;另一方面,面對競爭,僅刷單欺詐一項,游戲商年損失超412億。
根據(jù)2017年手游質(zhì)量白皮書顯示,近30%外掛手游都存在致命安全問題,即使這樣,也未能阻擋外掛市場的空前繁榮,根據(jù)《絕地求生》反作弊系統(tǒng)BattlEye的官方數(shù)據(jù)報告顯示,一條由成熟、龐大團隊運作,規(guī)模達到數(shù)千億美金的龐大游戲外掛黑色產(chǎn)業(yè)鏈已經(jīng)形成。
2018 國內(nèi)機器流量占比 — 其他
視頻/直播行業(yè)
視頻網(wǎng)站的惡意機器流量主要存在于刷量與刷榜中。一部網(wǎng)劇動輒幾百億的播放次數(shù)讓人 畔目結(jié)舌的同時,其背后包括了視頻制作方、視頻出版方、廣告主、投資方、平臺本身等 復(fù)雜的利益關(guān)系;至于刷榜就是針對于某些節(jié)目或者藝人的變相投票業(yè)務(wù),不論是經(jīng)紀公 司還是粉絲都會與一些第三方刷量團隊存在合作。這些惡意的機器流量通常會對視頻平臺 的用戶薦權(quán)機制產(chǎn)生影響,因為播放量是其中一個重要的衡量因素。
直播平臺惡意機器流量主要體現(xiàn)在虛假觀看人數(shù)、主播訂閱關(guān)注量、虛擬道具領(lǐng)取的場景。達到一定知名度的主播的工資體系由固定工資與浮動工資兩部分構(gòu)成,而浮動工資則 是與主播的人氣、房間訂閱量、禮物桂鉤,所以衍生出了許多專門為主榴刷人氣的第三方 團伙,也就是惡意流量的來源。這些惡意的機器流量對直播平臺造成的危害不僅僅是高出 正常數(shù)倍的工資,還有其帶來的巨大網(wǎng)絡(luò)帶寬的消耗所產(chǎn)生的CDN費用。
社交
社交領(lǐng)域的惡意機器流量主要集中在惡意注冊、垃圾信息以及樟庫攻擊。
一方面,刷榜刷量的需求下,黑產(chǎn)利用程序,批量注冊社交網(wǎng)站及APP馬甲賬號。并持續(xù)養(yǎng)號,用于謀取利益;
另一方面,通過撞庫攻擊,導(dǎo)致社交平臺大量用戶信息泄露,危及平臺以及用戶資產(chǎn)隱私信息安全。
OTA
OTA領(lǐng)域的惡意機器流量主要集中在數(shù)據(jù)造假與惡意爬蟲上。隨著互聯(lián)網(wǎng)流量紅利時代的消失,流量的成本也在劇增。而面臨個性化市場需求,流量越來越分散,越來越貴。另 外,OTA領(lǐng)域同樣也是爬蟲重災(zāi)區(qū),為維護平臺活躍度的需要,針對UGC市場的爭奪也早已進入白熱化。
數(shù)字貨幣
從2016年開始,以幾個主流貨幣為主的數(shù)字貨幣逐漸步入大眾視野,據(jù)不完全統(tǒng)計,國內(nèi)目前有近千家數(shù)字貨幣交易所,上萬種數(shù)字貨幣。作為新興的數(shù)字貨幣市場,大多企業(yè)正處在前期依靠大量補貼,簡單粗暴的獲客階段。其所面對的主要惡意機器流量,主要為羊毛黨。
業(yè)務(wù)場景分布占比
解讀:
業(yè)務(wù)安全必須立足與業(yè)務(wù),場景則是業(yè)務(wù)最直接的體現(xiàn)。
查詢場景占31.4%的惡意機器流量正面說明了目前整個互聯(lián)網(wǎng)爬蟲肆虐的現(xiàn)狀,包括國家公共政務(wù)平臺、醫(yī)院掛號系統(tǒng)、火車票務(wù)網(wǎng)站、演唱會票務(wù)網(wǎng)站、機票/酒店價格查詢 等眾多行業(yè)都飽受惡意爬蟲的危害,給企業(yè)帶來巨大不必要的帶寬成本;
下單場景則主要集中于電商行業(yè),隨著電商行業(yè)的GMV不斷刷新,以搶購、刷單為目的 黑色產(chǎn)業(yè)漣也逐漸走向成熟,在每年“雙十一”、”618″、“年貨節(jié)”等大促時間段內(nèi),下單場景的惡意流量都會出現(xiàn)激增;
登錄、注冊場景是重中之重的賬戶安全環(huán)節(jié),也是所有黑產(chǎn)攻擊的入口,隨著近幾年整個 行業(yè)對于賬戶安全的認知不斷提高,大多數(shù)企業(yè)都在入口做了一定程度安全措施,近兩年 占比相對穩(wěn)中有降。
風險IP追蹤分析
黑產(chǎn)團伙的定義
在業(yè)務(wù)安全的范疇內(nèi),黑產(chǎn)團伙特指通過復(fù)用相同的資源(IP池、UA池、手機卡、身份信息等)或使用相似的攻擊手法在時間維度呈現(xiàn)一定的聚集性對業(yè)務(wù)方有目的的攻擊行為發(fā)起方。
當前黑產(chǎn)團伙基礎(chǔ)工具:VPS混合撥號、貓池+卡池、群控+云控。以標準版本來說:一套 100臺手機的群控系統(tǒng)大概整體需要10w(整體包含服務(wù)器、日UB、手機支架、操作系 統(tǒng)、100臺2G+16G的三網(wǎng)通手機)一套100臺手機云控系統(tǒng)大概整體需要5w(包含8 核16G安卓版本4.4物理機100臺以及必要的’P代理、一鍵新機、日志調(diào)試、應(yīng)用下載 功能)
黑產(chǎn)團伙五大特點
專業(yè)化:
黑產(chǎn)團伙技術(shù)升級迭代非常快,甚至在相關(guān)業(yè)務(wù)場景已實現(xiàn)Al技術(shù)的應(yīng)用
產(chǎn)業(yè)化:
網(wǎng)絡(luò)黑產(chǎn)已經(jīng)形成規(guī)模巨大、上下供應(yīng)鏈成熟的龐大的產(chǎn)業(yè)鏈條,極大降低了犯罪的各環(huán)節(jié)成本
規(guī)模化:
目前我國網(wǎng)絡(luò)黑產(chǎn)專職從業(yè)人員已經(jīng)超過150萬人,年產(chǎn)值達千億級別
集團化:
黑產(chǎn)團伙具備較高的隱蔽性,從業(yè)者會專門注冊合法公司,披著科技外衣來獲取灰色收入
國際化:
黑產(chǎn)團伙往往跨境作案,并和國內(nèi)多地維持隱蔽的聯(lián)絡(luò),以此逃避警方打擊。近年來,黑 產(chǎn)團伙活躍于泰國、菲律賓、柬埔寨、越南等東南亞國家
極驗交互安全實驗室對國內(nèi)黑產(chǎn)主要工具進行長期持續(xù)的監(jiān)控,以一款主流黑產(chǎn)工具“火 牛”為例:在12.11-12.21十天的時間內(nèi)就監(jiān)測到7個版本的更新,一個月更新了23個 版本,除了修復(fù)Bug之外,更多的是攻擊策略的不斷變化更新。從側(cè)面直接體現(xiàn)出,黑 產(chǎn)團伙與業(yè)務(wù)方安全團隊對抗的不斷升級。
整個安全行業(yè)攻守雙方的不平等性一直存在,而且隨著黑灰產(chǎn)業(yè)鏈的不斷分工細化、人工 智能技術(shù)的普及與應(yīng)用,對抗的形式在2018年更是愈加激烈。
極驗交互安全實驗室通過對2018年全年top2O黑產(chǎn)工具全年的跟蹤分析、數(shù)+家一線互 聯(lián)網(wǎng)公司風控部門交流,涉及電商、金融、航空、區(qū)塊鏈等多個核心行業(yè),2018業(yè)務(wù)安 全領(lǐng)域“業(yè)務(wù)規(guī)則”平均有效壽命不到100個小時,其中1月、6月、10月、11月、12 月幾個業(yè)務(wù)高發(fā)期壽命甚至低于48小時。
多企業(yè)遭遇同一團伙攻擊
專業(yè)的黑產(chǎn)團伙由于其前期軟硬件投入成本、對甲方業(yè)務(wù)規(guī)則分析成本、賬號可能被封禁的時間成本存在,往往都會同時在相同行業(yè)或者相同業(yè)務(wù)類型的多家業(yè)務(wù)方作案,有些團伙甚至有跨行業(yè)跨業(yè)務(wù)的作案行為。極驗交互安全實驗室通過近半年對數(shù)萬家企業(yè)用戶的 持續(xù)監(jiān)控和對長鏈條時間跨度的聚類分析,抽取典型的10個的團伙覆蓋企業(yè)數(shù)統(tǒng)計如下:
總結(jié)
隨著互聯(lián)網(wǎng)的快速發(fā)展,企業(yè)資產(chǎn)不斷向網(wǎng)絡(luò)傾斜。在暴利驅(qū)動下,網(wǎng)絡(luò)黑產(chǎn)的市場規(guī) 模、技術(shù)創(chuàng)新以及破壞性,已到達互聯(lián)網(wǎng)有史以來的巔峰。在我們享受科學(xué)技術(shù)帶來的便利的同時,黑產(chǎn)已從往曰混跡于暗網(wǎng)黑市的小團伙,發(fā)展成如今登堂入室的新勢力。
作為黑產(chǎn)攻擊的主力軍,惡意機器流量已經(jīng)滲透至各行業(yè)的核心場景,并將隨著人工智能技術(shù)的發(fā)展,對企業(yè)相對傳統(tǒng)的業(yè)務(wù)安全防御體系造成近乎碾壓之勢。
同時黑產(chǎn)團伙由互聯(lián)網(wǎng)初期的工作室、個體發(fā)展成為當前組織龐大的黑產(chǎn)集團。他們在財力、人力、技術(shù)等核心資源上,已經(jīng)得到空前發(fā)展。從互聯(lián)網(wǎng)初期小規(guī)模的礴羊毛行為, 到如今高頻次、大規(guī)模的企業(yè)攻擊行為,黑產(chǎn)團伙對抗已經(jīng)成為全球企業(yè)發(fā)展無法回避的課題。
與之對應(yīng),越來越多的企業(yè)以及個人逐漸意識到黑產(chǎn)團伙對于資產(chǎn)與敏感信息的巨大破壞性。未來的業(yè)務(wù)安全,一定是交互場景與安全的緊密結(jié)合。隨著人工智能技術(shù)在安全領(lǐng)域的應(yīng)用與創(chuàng)新,企業(yè)與黑產(chǎn)之間的博弈將更加復(fù)雜多變。未來企業(yè)網(wǎng)絡(luò)安全攻防,也將更具挑戰(zhàn)。