隨着大數據技術的不斷更新和迭代,數據管理工具得到了飛速的發展,相關概念如雨後春筍一般應運而生,如從最初決策支持系統(DSS)到商業智能(BI)、數據倉庫、數據湖、數據中台等,這些概念特別容易混淆,本文對這些名詞術語及內涵進行系統的解析,便於讀者對數據平台相關的概念有全面的認識。
一、BI
商務智能(BI,Business Intelligence)是一種以提供決策分析性的運營數據為目的而建立的信息系統。它將數據倉庫、在線分析處理、數據挖掘等技術與客戶關係管理等應用系統結合起來,並應用於企業活動實際過程當中,最終實現服務於管理層決策的目的 。
BI利用信息科技,將分散於企業內、外部各種數據加以整合併轉換成知識,並依據某些特定的主題需求,進行決策分析和運算;用戶則通過報表、圖表、多維度分析的方式,尋找解決業務問題所需要的方案;這些結果將呈報給決策者,以支持策略性的決策和定義組織績效,或者融入智能知識庫自動向客戶推送 。
二、數據倉庫
數據倉庫(Data Warehouse),也稱為企業數據倉庫,它是一個面向主題的、集成的、相對穩定的、反映歷史變化的數據集合存儲系統,它將來自不同來源的結構化數據聚合起來,用於業務智能領域的比較和分析,數據倉庫是包含多種數據的存儲庫,並且是高度建模的 。
數據倉庫系統的作用能實現跨業務線、跨系統的數據整合,為管理分析和業務決策提供統一的數據支持。數據倉庫能夠從根本上幫助人們把公司的運營數據轉化成為高價值的可以獲取的信息或知識,並且在恰當的時候通過恰當的方式把恰當的信息傳遞給恰當的人 。
三、數據湖
數據湖(Data Lake)是Pentaho公司CTO James Dixon提出來一種數據存儲理念——即在系統或存儲庫中以自然格式存儲數據的方法。數據湖作為一個集中的存儲庫,可以在其中存儲任意規模的結構化和非結構化數據。在數據湖中,可以存儲不需要對其進行結構化的數據,這樣就可以運行不同類型的分析 。
數據湖能夠幫助企業實現數據的集中式管理等多種能力。數據湖融合了先進的數據科學、機器學習和人工智能技術,幫助企業構建更加優化的數據運營模型,為企業提供預測分析、推薦模型等能力,這些模型能夠刺激企業能力的持續增長,不斷賦能於企業增長 。
四、數據中台
“數據中台”這個新概念最早於2014年被阿里從芬蘭引入國內,目前仍處於“定義混亂期”,不同的人對數據中台都有着各自的理解。部分數據專家將其解讀為數據中台是一套可持續“讓企業的數據用起來”的機制,是一種戰略選擇和組織形式,是依據企業特有的業務模式和組織架構,通過有形的產品和實施方法論支撐,構建的一套持續不斷把數據變成資產並服務於業務的機制。阿里雲在對數據中台的戰略解讀中提出“中台包含先進技術(技術競爭力) ,但不僅僅是技術,更重要的是組織可以依託先進技術,利用其所擁有的核心資源(資源競爭力) ,構建其在企業數字化轉型中的競爭力、話語權,及生態向心力(生態競爭力) , 中台是一種能力(技術、使能、賦能、創新、生態) 。”
數據中台通過對企業內外部多源異構的數據採集、治理、建模、分析和應用,使數據對內優化 管理提高業務價值,對外進行數據合作讓業務價值得到釋放,使之成為企業數據資產管理中樞。數據中台建立後,會形成數據API服務,為企業和客戶提供高效各種數據服務 。
五、數據倉庫 VS 數據湖
在儲存方面上,數據湖能處理所有類型的數據,如結構化數據,非結構化數據,半結構化數據等,數據的類型依賴於數據源系統的原始數據格式。數據倉庫,主要處理歷史的、結構化的數據,通常從事務系統中提取 。
數據湖適用於深度分析,它擁有足夠強的計算能力用於處理和分析所有類型的數據,可以做數據挖掘和數據分析。數據倉庫主要是處理結構化數據,將它們或者轉化為多維數據,或者轉換為報表,以滿足後續的高級報表及數據分析需求 。
與數據倉庫相比,數據湖缺乏結構性,而且更靈活,並且提供了更高的敏捷性。數據倉庫具有高性能、可重複性的特點 。
六、數據倉庫 VS 數據中台
數據倉庫的出發點為一個支撐性的技術系統,強調數據質量和元數據管理;而數據中台的第一出發點不是數據而是業務,更加註重思考業務問題需要什麼樣的數據服務 。
在具體的技術處理環節,二者也有明顯不同,數據的預處理流程正在從傳統的ETL結構向ELT結構轉變。傳統的數據倉庫集成處理架構是ETL結構,這是構建數據倉庫的重要一環,即用戶從數據源抽取出所需的數據,經過數據清洗,將數據加載到數據倉庫中去。而大數據背景下的架構體系是ELT結構,其根據上層的應用需求,隨時從數據中台中抽取想要的原始數據進行建模分析 。
七、數據倉庫 VS BI
商業智能 BI 相比於數據倉庫,它是一個更大的概念。商業智能可以說是基於數據倉庫,經過了數據挖掘後,得到了商業價值的過程。所以說數據倉庫是個金礦,數據挖掘是鍊金術,而商業報告則是黃金。數據倉庫就像是 BI 這個房子的地基,搭建好 DW 這個地基之後,才能進行分析使用,最後產生價值 。
文字來源:肉眼品世界(微信公眾號)