BI、數據倉庫、數據中台等數據管理工具的系統解析

2022年10月26日12:13:24 科技 1187

隨着大數據技術的不斷更新和迭代,數據管理工具得到了飛速的發展,相關概念如雨後春筍一般應運而生,如從最初決策支持系統(DSS)商業智能(BI)、數據倉庫、數據湖、數據中台等,這些概念特別容易混淆,本文對這些名詞術語及內涵進行系統的解析,便於讀者對數據平台相關的概念有全面的認識。

一、BI

BI、數據倉庫、數據中台等數據管理工具的系統解析 - 天天要聞

商務智能(BI,Business Intelligence是一種以提供決策分析性的運營數據為目的而建立的信息系統。它將數據倉庫、在線分析處理、數據挖掘等技術與客戶關係管理等應用系統結合起來,並應用於企業活動實際過程當中,最終實現服務於管理層決策的目的 。

BI利用信息科技,將分散於企業內、外部各種數據加以整合併轉換成知識,並依據某些特定的主題需求,進行決策分析和運算;用戶則通過報表、圖表、多維度分析的方式,尋找解決業務問題所需要的方案;這些結果將呈報給決策者,以支持策略性的決策和定義組織績效,或者融入智能知識庫自動向客戶推送 。

二、數據倉庫

BI、數據倉庫、數據中台等數據管理工具的系統解析 - 天天要聞

數據倉庫(Data Warehouse),也稱為企業數據倉庫,它是一個面向主題的、集成的、相對穩定的、反映歷史變化的數據集合存儲系統,它將來自不同來源的結構化數據聚合起來,用於業務智能領域的比較和分析,數據倉庫是包含多種數據的存儲庫,並且是高度建模的 。

數據倉庫系統的作用能實現跨業務線、跨系統的數據整合,為管理分析和業務決策提供統一的數據支持。數據倉庫能夠從根本上幫助人們把公司的運營數據轉化成為高價值的可以獲取的信息或知識,並且在恰當的時候通過恰當的方式把恰當的信息傳遞給恰當的人 。

三、數據湖

BI、數據倉庫、數據中台等數據管理工具的系統解析 - 天天要聞

數據湖(Data Lake)是Pentaho公司CTO James Dixon提出來一種數據存儲理念——即在系統或存儲庫中以自然格式存儲數據的方法。數據湖作為一個集中的存儲庫,可以在其中存儲任意規模的結構化和非結構化數據。在數據湖中,可以存儲不需要對其進行結構化的數據,這樣就可以運行不同類型的分析 。

數據湖能夠幫助企業實現數據的集中式管理等多種能力。數據湖融合了先進的數據科學、機器學習和人工智能技術,幫助企業構建更加優化的數據運營模型,為企業提供預測分析、推薦模型等能力,這些模型能夠刺激企業能力的持續增長,不斷賦能於企業增長 。

四、數據中台

BI、數據倉庫、數據中台等數據管理工具的系統解析 - 天天要聞

“數據中台”這個新概念最早於2014年被阿里芬蘭引入國內,目前仍處於“定義混亂期”,不同的人對數據中台都有着各自的理解。部分數據專家將其解讀為數據中台是一套可持續“讓企業的數據用起來”的機制,是一種戰略選擇和組織形式,是依據企業特有的業務模式和組織架構,通過有形的產品和實施方法論支撐,構建的一套持續不斷把數據變成資產並服務於業務的機制。阿里雲在對數據中台的戰略解讀中提出“中台包含先進技術(技術競爭力) ,但不僅僅是技術,更重要的是組織可以依託先進技術,利用其所擁有的核心資源(資源競爭力) ,構建其在企業數字化轉型中的競爭力、話語權,及生態向心力(生態競爭力) , 中台是一種能力(技術、使能、賦能、創新、生態) 。”

數據中台通過對企業內外部多源異構的數據採集、治理、建模、分析和應用,使數據對內優化 管理提高業務價值,對外進行數據合作讓業務價值得到釋放,使之成為企業數據資產管理中樞。數據中台建立後,會形成數據API服務,為企業和客戶提供高效各種數據服務 。

五、數據倉庫 VS 數據湖

在儲存方面上,數據湖能處理所有類型的數據,如結構化數據,非結構化數據,半結構化數據等,數據的類型依賴於數據源系統的原始數據格式。數據倉庫,主要處理歷史的、結構化的數據,通常從事務系統中提取 。

數據湖適用於深度分析,它擁有足夠強的計算能力用於處理和分析所有類型的數據,可以做數據挖掘和數據分析。數據倉庫主要是處理結構化數據,將它們或者轉化為多維數據,或者轉換為報表,以滿足後續的高級報表及數據分析需求 。

與數據倉庫相比,數據湖缺乏結構性,而且更靈活,並且提供了更高的敏捷性。數據倉庫具有高性能、可重複性的特點 。

六、數據倉庫 VS 數據中台

數據倉庫的出發點為一個支撐性的技術系統,強調數據質量和元數據管理;而數據中台的第一出發點不是數據而是業務,更加註重思考業務問題需要什麼樣的數據服務 。

在具體的技術處理環節,二者也有明顯不同,數據的預處理流程正在從傳統的ETL結構向ELT結構轉變。傳統的數據倉庫集成處理架構是ETL結構,這是構建數據倉庫的重要一環,即用戶從數據源抽取出所需的數據,經過數據清洗,將數據加載到數據倉庫中去。而大數據背景下的架構體系是ELT結構,其根據上層的應用需求,隨時從數據中台中抽取想要的原始數據進行建模分析 。

七、數據倉庫 VS BI

商業智能 BI 相比於數據倉庫,它是一個更大的概念。商業智能可以說是基於數據倉庫,經過了數據挖掘後,得到了商業價值的過程。所以說數據倉庫是個金礦,數據挖掘是鍊金術,而商業報告則是黃金。數據倉庫就像是 BI 這個房子的地基,搭建好 DW 這個地基之後,才能進行分析使用,最後產生價值 。

文字來源:肉眼品世界(微信公眾號)

科技分類資訊推薦

7199元!華為新機定檔:6月26日,即將登場! - 天天要聞

7199元!華為新機定檔:6月26日,即將登場!

華為Mate70系列剛發布的時候,真的是一機難求啊。一機難求導致的結果,首先就是長時間處於無貨狀態,想買根本買不到。就算是部分渠道有貨,想買的話也必須加錢。後來為了緩解壓力,華為推出了華為Mate70Pro優享版。你還別說,華為Mate70
華為發布“智聚大上行”技術:5.5G上行速率提升15% 時延降低30% - 天天要聞

華為發布“智聚大上行”技術:5.5G上行速率提升15% 時延降低30%

快科技6月20日消息,在2025 MWC上海期間,中國電信聯合華為舉辦5G-A“智聚大上行”創新發布會。會上,雙方聯合發布了“基於智能編排和上行頻譜解耦與池化,形成智能大上行技術”最新創新技術成果。據了解,智聚大上行創新技術,利用AI模型實時預測信道質量以及通過AI實現時頻制空功五維協同調度,多頻段智能選擇,根據業務...
對話宇樹科技:機器人“燒腦”又燒錢,竟還有比這兩樣更缺的 - 天天要聞

對話宇樹科技:機器人“燒腦”又燒錢,竟還有比這兩樣更缺的

6月16日,摩根士丹利發布研究報告稱,中國機器人市場規模預計以每年23%的增幅快速增長,在未來四年翻一倍以上,鞏固中國在全球機器人領域的領先地位。就在同一天,國家統計局公布數據顯示,2025年5月中國工業機器人產量同比飆升35.5%,達到6.9萬台,服務機器人產量躍升13.8%,達到120萬台。人形機器人演示競技太極動作。受...
簽約獎金高達1億美元,美國科技巨頭砸重金爭搶稀缺AI人才 - 天天要聞

簽約獎金高達1億美元,美國科技巨頭砸重金爭搶稀缺AI人才

【環球時報報道 記者 丁雅梔】隨着人工智能領域競爭日益激烈,美國科技巨頭們正不惜重金爭奪人才。據美國CNBC網站18日報道,Meta首席執行官馬克·扎克伯格近期大舉招兵買馬,甚至向OpenAI和谷歌DeepMind的研究人員提供1億美元的簽約獎金,以換取他們跳槽。這一消息迅速引發業界廣泛討論。Meta首席執行官馬克·扎克伯格 圖源...
ToB話聊室:AI智能體對話存在低俗內容;榮耀和中國移動達成AI終端戰略合作 - 天天要聞

ToB話聊室:AI智能體對話存在低俗內容;榮耀和中國移動達成AI終端戰略合作

【ZOL中關村在線原創新聞】6月19日,歡迎收看《ToB話聊室》。在這裡,小編將跟你嘮一嘮科技領域的新鮮事兒。AI智能體對話存在低俗擦邊內容據“網信上海”微信公眾號消息,近期有媒體報道,築夢島APP等AI聊天軟件存在虛擬角色互動生成低俗內容等問題,經核實,該平台AI智能體內容生成環節存在低俗擦邊等違規內容,危害未成年...
總台現場直擊丨第一批在以中國公民從塔巴口岸進入埃及 - 天天要聞

總台現場直擊丨第一批在以中國公民從塔巴口岸進入埃及

當地時間6月19日,總台記者獲悉,首批119名在以中國公民從埃及和以色列接壤的塔巴口岸進入埃及。他們都是在以中國留學生。中國駐埃及大使館高度重視,第一時間啟動應急機制,派出工作組赴口岸接應並協助轉運至開羅。 總台記者直擊中國公民撤離19日晚些時候,通過塔巴口岸進入埃及的第一批中國公民都已登上了大巴。總台記者...