當前中國已經進入數字經濟時代,數據已經成為企業(yè)最寶貴的成長沃土,蘊藏著無數生機和寶藏。但是,雖然有著“哪里需要數據、數據就到哪里”的美好未來,可現(xiàn)實卻是“數據缺乏共享、沒有統(tǒng)一標準、數據管控失效”等一塊塊難啃的石頭。因此,在大數據時代的開荒種田,必須找到一把“鋤頭”,必須是一體化的數據大平臺,也只有它才能更好的管理和使用數據,讓數據的價值真正變現(xiàn)。
近日,北京供銷大數據集團(以下簡稱“SinoBBD”)首席信息官楊正洪博士在第五屆全球云計算大會上和現(xiàn)場嘉賓及行業(yè)專家學者就目前大數據管理平臺在構架、建設、應用和實施等多方面的焦點問題展開深入討論。而他所強調的大數據治理過程,正是這把“鋤頭”。
圖為北京供銷大數據集團首席信息官楊正洪博士發(fā)表演講
數據需“治”才能“理”
隨著數字經濟的發(fā)展,被譽為“未來新石油”的大數據,已經成為許多國家的戰(zhàn)略規(guī)劃。2012年,美國出臺了《大數據的研究和發(fā)展倡議》,把大數據稱作“未來社會發(fā)展的新石油”;2015年,我國國務院正式發(fā)布《國務院關于印發(fā)促進大數據發(fā)展行動綱要的通知》,并在十八屆五中全會上首次提實施“國家大數據戰(zhàn)略”,大數據已經正式上升為國家戰(zhàn)略。正是在各項政策和行業(yè)需求的推動下,大數據發(fā)展進入一個高速增長期,但對于初嘗大數據業(yè)務的用戶來說,哪怕只有一小塊石頭,就可能引發(fā)大數據高速路上的事故。
針對目前大數據技術在企業(yè)中的應用“痛點”,楊正洪表示,一直以來,企業(yè)通過不同平臺、不同渠道收集到大量數據信息,由于缺乏統(tǒng)一管理、組織、標準等情況,導致企業(yè)數據多處于“休眠”狀態(tài),極易形成信息孤島。因此,企業(yè)想要更好地發(fā)揮數據帶來的價值,絕不應追求“數據大”,一定要將所有數據集中在一個平臺之上,去構建一個更加高效、靈活應用的大數據管理平臺。
在這個時代,沒有人會去懷疑數據的價值,用戶缺少的是最終轉化的手段和方法。于是,各行各業(yè)都開始了大數據平臺的建設。那么,企業(yè)要想建設大數據應用的總體構架,又當如何入手呢?
對此,楊正洪表示,建設大數據整體構架體系并不復雜,這包括:“三個平臺、兩個側翼、一個機制”。“三個平臺”指的是大數據云平臺、大數據管理平臺、大數 據 應 用 平 臺,從下向上依次提供負責計算資源、存儲資源、網絡資源的基礎平臺,整合業(yè)務與管理的數據平臺,以及利用AI、ML等技術的數據分析與價值挖掘平臺。而在大數據體系建設的兩翼,一是負責統(tǒng)一標準的數據規(guī)范體系,另一個則是統(tǒng)一運維的數據信息安全體系,缺一不可。最后,在這個層層夯實、左右支撐的情形下,自然就會形成適用于企業(yè)自身發(fā)展的大數據管理機制。
打造“一體化”大數據管理平臺
作為一個新興領域,大數據技術仍在快速迭代之中,新方法、新工具和新模式不斷涌現(xiàn)。在契合我國大數據發(fā)展整體趨勢的同時,SinoBBD大數據一體化服務之路具有自身的鮮明特性,同時也總結出大量為政企用戶提供數字化轉型和建設大數據業(yè)務的成功經驗。
楊正洪認為,典型的大數據管理道路可以分為四個階段。第一步,從已有數據開始整合,將傳統(tǒng)數據系統(tǒng)與大數據組件相結合;第二步,補充外部數據,實現(xiàn)全方位數據的整合,內外相通相融;第三步,把數據全部整合在大數據管理平臺上,完成統(tǒng)一的建模、采集、存儲和服務;第四步,與行業(yè)需求緊密結合,建立大數據分析應用。最終實現(xiàn)對未來業(yè)務發(fā)展的洞察力和感知力,形成一種新型的商務發(fā)展模式。
數據的“大”或“小”并不是關鍵,重要的是從數據中挖掘價值,創(chuàng)造價值。而這個數據挖掘的過程要比架構復雜的多,這也是許多企業(yè)眼看著“大數據的土地”,卻找不到“鋤頭”的問題所在。針對現(xiàn)場嘉賓的提問和大數據落地難題,楊正洪博士以SinoBBD大數據一體化管理平臺為例,全面講解了數據整合、統(tǒng)一管理等方面的具體方法。
基于大數據基礎組件和MPP等各類技術所構建的SinoBBD統(tǒng)一大數據管理平臺,首先是按照客戶需求和行業(yè)規(guī)范建立標準數據模型,然后從多種數據源獲取數據,經過預處理(清洗、驗證等)、存儲、處理和分析,最后進行可視化呈現(xiàn),從而為用戶構建統(tǒng)一的大數據資源層。
楊正洪表示,為更好地助力用戶落地大數據能力,SinoBBD提供的大數據管理平臺就好比一把鋤頭,能夠在這塊土地上實現(xiàn)企業(yè)愿望,這包括:大數據建模、大數據交換和共享、大數據服務和大數據管控,為用戶提供大數據的整合、管控和服務,對外輸出客戶的大數據目錄和大數據資產系統(tǒng),通過高擴展性、高效性、高容錯性和低成本,為用戶構建出一體化的大數據服務。
強實力打造“國之利刃”
在演講的最后環(huán)節(jié),為了讓嘉賓更深入了解大數據管理平臺如何實施建設,楊正洪還分別從:平臺搭建,數據梳理;數據整合,業(yè)務創(chuàng)新;成熟運營,全面鋪開;這三個方向做了詳細解讀。
作為國內外知名的大數據專家,楊正洪博士在大數據領域擁有近20年的從業(yè)經驗,深刻洞察該領域的產品創(chuàng)新和市場需求。在2013年歸國后,他對中美大數據產業(yè)鏈的深入研究,為國內用戶建設大數據體系框架提供了大量的理論依據,同時有力推動了SinoBBD大數據管理平臺產品研發(fā)和運營管理等工作飛速發(fā)展,為我國電子政務、公安、環(huán)保等行業(yè)用戶提供了大數據應用的可靠支撐。
目前,我國大數據產業(yè)雖然提速明顯,但與歐美相比仍然處于起步階段,企業(yè)要在大數據這塊寶地上耕田,發(fā)展離不開政策支持、技術創(chuàng)新和產業(yè)協(xié)助的有機融合。在“互聯(lián)網+”時代,作為大數據產業(yè)“國家隊”,北京供銷大數據集團將持續(xù)以支持國家大數據戰(zhàn)略落地為己任,圍繞“3+10+X”的發(fā)展戰(zhàn)略積極投入,為中國的大數據產業(yè)升級提供“國之利刃”。