安全廠商的調查可信嗎？
責編：gltian ｜2019-11-13 10:45:42讀者通常難以區分夸張和真正令人震驚的調查統計數據。
調查在信息安全行業很流行。它們會告訴我們，在類似的情況下，我們的同行會做什么，并且可以突出我們可能遺漏的常見陷阱。調查與從已知來源分析已知數據的報告不同，例如供應商根據自己的遙測表明特定惡意軟件的流行情況。在本文中，我們將調查定義為對人們提供的信息的分析，而不是數據展現的事實。
但我們需要謹慎。調查基本上是營銷工具；市場營銷的目的是銷售產品或品牌。推銷產品的營銷是硬銷售。推銷品牌則是一種軟銷售。然而，它始終是營銷，我們需要意識到這一點。
調查面臨的困難
調查分為兩類：廠商調查和市場調查（由專業的第三方市場調查公司進行）。雖然后者應該更加客觀，但兩者之間并沒有明顯的區別。一些廠商或供應商調查可能是客觀的——Verizon的數據泄露調查報告 (Data Breach Investigations Report,DBIR) 就是一個例子——而一些委托第三方的報告可能是主觀的。
無論調查的設計和制訂出自誰手，基本的困難和問題都是一樣的。這里我們主要關注由供應商進行的調查。
營銷動機
營銷就像其他業務功能一樣，必須能夠帶來投資回報。因此營銷的第一個要求是營銷內容必須被盡可能多的人看到。實現這一目標的最佳途徑是利用媒體，這意味著必須首先將營銷工具推銷給媒體。在決定報道內容之前，記者只有幾秒鐘的時間來瀏覽他們收到的每一份通告的第一段。營銷人員明白這一點，其結果是他們通過對供應商進行推廣，或者將其寫入報道中，或兩者兼而有之，從而帶來抓人眼球的效果。
嘩眾取寵和理性很少并存，但讀者面臨的問題是難以區分夸張和真正令人震驚的統計數據。記者們試圖篩選掉那些嚴重夸張的調查，但最終判斷調查是否利大于弊，還是取決于主觀觀點——大多數記者會承認，他們對調查進行了報道，而現在回想起來，他們寧愿忽略這些報道。
這是否意味著所有的調查都是糟糕的？絕對不是。但這確實意味著所有讀者都應該意識到調查背后的動機，并將其考慮在內。
并不是所有的調查都依賴于轟動效應。這種方法通常會被新成立的，規模較小的，侵略性強的公司所采用。他們需要迅速獲得市場份額，而且他們通常與現有的、更成熟的供應商處于競爭關系。
大型的、成熟的供應商不需要嘩眾取寵。他們更關心如何保持他們的品牌知名度，而不是抓人眼球。
Verizon 的 DBIR 又是一個很好的例子。它只包含事實，并避免去嘗試解釋這些事實。所以該報告對去年發生的事情進行了非常詳盡的描述和分析；這是對 Verizon 品牌的一次出色宣傳。然而，雖然 DBIR 對結果的解釋幾乎沒有主觀內容，但是其提供的數據仍然受制于受訪者的主觀性。
DBIR 之類的調查更可信，但制作成本很高。小公司沒有資金去效仿。
誤差幅度
所有的調查都或者應該以百分比的形式表示誤差幅度。這是受訪者人數和總人口數之間的一個算數關系。在這里，“人口” 指的是與調查相關的所有人——因此，對 1000 名 PC 用戶的調查會比對 500 名 CISO 的調查存在更大的誤差幅度。如果對整個群體進行調查，并且整個群體都做出了回應，那么就不會有任何誤差。
重要的是要考慮受訪人數與其總人口數之間的關系，以了解調查潛在的準確性或者不準確程度。這一誤差也應該與調查中的人口統計資料有關（任何沒有對受訪者進行人口統計分析的調查都應該被認為是可疑的）。例如，一個受訪者中某一行業所占比例很高的行業調查，并不一定能夠為其他行業提供準確的統計數據。
問題
調查中提出的問題對于調查得出的結論至關重要。最明顯的風險是，這些問題可能是一些引導性的題目，旨在引出期望回答，公然實現營銷目標。這可能是有意識的意圖，也可能是調查設計者的潛意識偏見。
有關問題的第二個困難是設計清楚以及得到明確的回答。如果問題不明確，受訪者無法準確回答；如果答案模棱兩可，就不知道所有受訪者是否都在回答同一個問題。
市場研究公司 Osterman Research 總裁 Michael Osterman 表示，圍繞調查問題有兩個主要的困難：提出正確的問題，以及選擇合適的人來提問。
調查設計是一門藝術。當客戶第一次發來他想讓我們問的問題時，我們總會對它們進行修改，因為這些問題寫得很糟糕、令人困惑或模棱兩可。
這個問題可能有兩方面：首先，如果客戶和受訪者太過接近，可能會認為受訪者的理解水平也差不多；其次，提問者在提出具體問題時，可能存在有意識或潛意識的偏見，引導受訪者說出期望答案。后者是一個合理的擔憂，Osterman 表示，有些調查公司實際上就是這么做的。
對回答進行解釋
對受訪者的回答進行解釋存在的問題與問題本身存在的問題相同：回答可能是模棱兩可的，可以通過解釋來得出期望回答。同樣，解釋的人可能會有意識地利用這一點去推銷特定的產品，也可能潛意識引導他這么做。
其中一個問題是，人們在回答問題時往往過于樂觀。當他們被問到對明年的預算有何打算時，他們往往傾向于回答自己想要的，而沒有考慮可能發生的意外（比如經濟低迷、重大意外或新的更節儉的管理團隊）。
在今年的 DBIR 中可以找有關解釋數據存在問題和潛在陷阱的例子。Verizon DBIR 團隊負責人 Alex Pinto 表示，自己不會進行猜測，這不是DBIR的目的。但他指出，勒索軟件——根據受訪者提供的數據——占惡意軟件感染的 24%，但占醫療保健行業感染的 70%。他拒絕進行推測的一方面是，是否是因為 HIPAA 要求醫療行業報告勒索軟件，而其他地方沒有類似的要求，導致了這一巨大差異。
在這個領域和例子中，統計數據以及對統計數據的錯誤解釋可能會導致錯誤的結論。
最大的問題是：你能相信供應商的調查嗎?
鑒于設計、實施和分析調查的難度，無論是個人還是團體，有必要對這些調查的價值提出質疑。我們詢問了 Michael Osterman，供應商是否能夠有效地執行他們自己的調查。
我認為，如果做法得當，是可以做到的。如果能夠接觸到目標調查對象并以正確的方式提問，調查就會是有效的。我想有人會迅速表示懷疑——很多人會想知道這些問題是如何被制定出來的，等等；但這是有可能的。我認為供應商必須面對很多質疑，這并不容易。但是肯定可做到的。
供應商也意識到了這種懷疑，但仍在推廣自己的價值。“供應商調查就像香腸”，位于猶他州的 SaltStack 營銷副總裁 Rhett Glauser 表示，很有可能你根本不想知道這兩種東西的制作過程。然而，就像香腸里的好配料一樣，在供應商調查中總能找到好的數據。你自己只要愿意花時間來驗證和解釋它。如果你不花時間和精力去理解，那么你必須問問自己，你是否相信 Oscar Meyer……或供應商提供的調查分析。(現在公司的正式名稱是 Oscar Mayer，是 Kraft Heinz 旗下的維也納香腸生產商。)
總部位于加利福尼亞的 Untangle 產品管理副總裁 Heather Paunet 則并不認為調查的主要動機始終是為了營銷。
我們從這些報告中獲得的信息和見解超出了我們特定的‘營銷目標’。這些調查可以確定每年的趨勢和進展，例如，向云的業務過渡，或者采用云解決方案來解決中小型企業面臨有限資源的問題。我們還從這些調查中了解到。客戶當前面臨的擔憂或問題，以及他們希望行業為他們當前的痛點提供什么解決方案。
提供調查的供應商普遍認為調查面臨的這些困境不會否定他們的價值。供應商進行的調查可以收集有關特定主題的行業知識，雖然這些公司可能有他們希望分享的觀點，但這種動機并不會否定供應商調查中所有數據的有效性。
如果供應商是正確的，并且調查包含有效和有用的數據，那么真正的問題是如何取其精華，去其糟粕。總部位于加州的 Vectra 安全分析主管 Chris Morales 建議：當你閱讀結果時，一定要先閱讀問題，以識別潛在的問題，或者判斷他們是否在引導受訪者。想想你會如何回答同樣的問題。如果答案是不同的或相似的，考慮驅動你的回答的因素，以及樣本可能會因此發生什么變化還是保持類似。
了衡量報告結果的價值，要看供應商對過程的透明度。供應商是否共享了調查方法？你是否能夠查看完整的問題列表和回答的原始數據？這些問題是否包含了那些不能直接提升供應商在行業的地位的主題?
Morales 建議調查問題應該主要是定量或定性的。定量問題傾向于產生較低的變異性，因為數字就是數字，不管當時受訪者身上發生了什么。而定性問題，根據當時的外部因素，可能有更高的變異性。
但他更進一步，想知道質疑調查的準確性是否有意義。讀者會從他們自己的實際情況來看待調查，在潛在的供應商主觀性的基礎上增加了潛在的讀者主觀性。
他們傾向于根據這些數據進行確認或獲得潛在的見解。調查結果不太可能導致他們的戰略發生重大變化。
總結
廠商的調查也許價值不大，但如果你看的足夠仔細，也會找到一些好東西。這樣說這可能太極端了。畢竟一些廠商調查會包含一些好的數據，因此要在查看調查報告的時候，了解其準備過程和解釋方面存在的困難，并忽略明顯嘩眾取寵和夸張的例子，那么就應該能夠找到一些可以證實或質疑解決問題的數據。