「中國大地保險信息科技部數據平台處處長助理 張磊」中國大地保險的大數據應用架構演進之路

中國大地保險信息科技部數據平台處處長助理 張磊

2019年9月20日，中國大地保險信息科技部數據平台處處長助理張磊先生，應邀出席大數據分析技術及解決方案供應商 Kyligence 主辦的首屆金融科技沙龍，並為大家做了題為《中國大地保險的大數據應用架構演進之路》的演講，分享了中國大地保險在大數據方面的實踐與經驗。

中國大地保險是全國性的財險公司，公司從2003年成立至今已有16年。2018年年底，中國大地保險西藏分公司的正式開業標誌着公司保險業務覆蓋全國，同年，中國大地保險保費規模達426億，在業內位列第五。

中國大地保險四大數據應用場景

隨着大數據時代的到來，各種類型的新數據源源不斷出現，無論是出於業務驅動或商業競爭驅動，都需要對這些數據進行一些全新視角的分析與探索，助力企業實現“大數據為公司各業務場景賦能”的目標，這也是大數據時代下每個行業都正面臨的問題和挑戰。

中國大地保險的大數據應用場景一共有四部分。

●報表分析。自2017 年下半年起，中國大地保險藉助輕量級報表/BI工具，開始了自助分析報表的推廣之旅。目前，自助分析報表已經推廣至全部36家分公司。

●數據挖掘。數據挖掘包含的內容比報表分析更為複雜，包括各種用戶的行為探查、精準營銷等。

●監管報送。監管報送對各家保險公司而言都是一項非常重要的工作，中國大地保險對此也非常重視，每年投入大量人力開展該項工作。

●風險管控。在基於大數據甄別和預判風險方面，中國大地保險近年來持續探索，如基於SNA（社交網絡分析）的反欺詐系統，被納入中國保險業信息化建設典型案例。

中國大地保險大數據技術演進歷程

中國大地保險早在2014年之前就使用Oracle了，為提升Oracle的性能，在2014年引入華為一體機，並重新搭建數據倉庫平台，不論是業務系統還是數倉、數據集市都建立在Oracle之上。

隨着數據體量越來越大，基於Oracle的傳統數據倉庫越來越難以支撐業務發展，中國大地保險從2016年起開始探索Hadoop大數據平台的建設——最初搭建了包含5台服務器的集群，在經過實驗後，將Oracle上的一些內容逐步轉到Hadoop平台，同時把Impala作為SQL查詢引擎。這樣起步後，中國大地保險慢慢對Hadoop的應用範圍越來越廣，集群規模也日益擴大，但與此同時也暴露處Impala的一些問題。

2018年，在與眾多廠商曆時幾個月地溝通、交流、考察、POC後，中國大地保險搭建了以Kyligence 產品構建應用層數據集的Hadoop MOLAP自助分析平台。

但中國大地保險的大數據發展之路並非一帆風順，尤其是前兩個階段遇到過許多困難。

第一個階段是基於華為一體機+Oracle的傳統數倉階段，該階段的主要數據應用形式是多維分析和固定報表。同時，為業務用戶提供了可以自助提取數據的環境和工具，讓業務人員不必完全依賴技術人員就能獲取到一些個性化清單類數據，這一做法大大提升了業務人員獲取數據的靈活性，但也存在一些問題，如開放的工具是專業的報表工具ReportStudio，有較高的上手門檻。在這個階段，有四個問題不得不提：

●Cube響應慢，70%的查詢響應在分鐘級別。

●並發性能差，中國大地保險使用Cognos Power Cube生成文件存儲到磁盤上去，從本機磁盤到NAS共享存儲、從磁盤陣列到閃存陣列都經歷過，但隨着數據量和用戶數的增長，系統越來越難以支撐高並發。

●時效性不足，這一方面是由於Oracle的計算能力和擴展性不足，另一方面是由於過多過大的Cognos Power Cube的更新較慢，從而導致用戶經常性等待數據，用戶體驗不佳。

●維護困難，中國大地保險的報表體量接近1000張，據了解，很多金融行業領軍企業報表規模也在這個量級，報表維護的工作量巨大。

第二個階段是以Impala為SQL引擎的Hadoop大數據平台。這個階段很直觀的問題是：

●Imapla的穩定性問題，最常見的是使用時前端應用突然報出查詢錯誤。

●Imapla對內存和CPU資源的需求較大，以內存需求為例，小至幾百GB、大至幾個TB，導致硬件資源難以為繼。

●業務使用受限問題，Kudu在字段數方面有較大限制，中國大地保險正在推廣的自助分析，往往需要大量的維度、指標字段的支持，但Kudu + Imapla的方案確實存在較大的短板。

●維護困難，中國大地保險目前已開發了數百張寬表（含明細和匯總寬表）用以滿足業務需求，每日更新、維護和迭代的工作量巨大。

以Kyligence構建應用層數據的大數據平台架構

上面提到的這些問題，在第三個階段得到了比較好的解決。

第三個階段是搭建以Kyligence構建應用層數據的大數據平台架構。中國大地保險將Kyligence應用在其現有的數據架構中，但整體的平台架構沒有太大的調整，只把原先放在Hadoop上的集市層換成了Kyligence工具來實現，由於使用時間不長，因此目前只將訪問量大、用戶抱怨多的部分應用場景放上去，其他的包括底層的數據、存儲、計算引擎、EDW模型均未做任何變化。

Kyligence的產品上線後，中國大地保險的大數據分析效率有了很大改善，極大地提升了用戶體驗，我們以一個實際應用場景為例來說明。

中國大地保險會對業務員進行一些考核、分析和數據挖掘，分析挖掘指對業務員做分群以確定高產能業務員的共性特徵，例如學歷、性別、工齡等等，據此，公司在招聘或新員工培訓方面就有了更清晰的指導方向，也能讓公司預估到何時是業務員高產期，可以說通過一系列的大數據分析和指導應用最終讓業務員和公司同時獲得良好發展。

為了達到這個目標，中國大地保險加工了一張30億條記錄的表，生成4TB大小的Cube，創建了40+個維度，包括產品、機構、渠道、人員的信息如年齡、性別、學歷、入司時間等，30+個指標。

在使用Kyligence之前，基於現有的集群規模，用戶操作的響應時間在分鐘級，但基於Kyligence生成Cube之後，前端響應時間基本控制在10秒以內，不單單支持了考核，也很好地支持了數據分析、數據挖掘，真正實現了使用大數據指導業務部門提高產能、賦能業務。

中國大地保險的大數據成果如何？

判斷一個工具是否具有價值最關鍵是看其好不好用，中國大地保險的該項目可以從IT人員視角和業務人員視角兩個方面來說明其價值。

從業務人員的視角來看：

●首先，查詢效率高且交互體驗好，秒級響應與數分鐘才能打開一張報表相比，業務人員的良好體驗大大提升。

●其次，真正支持業務自主分析，IT只需將維度、指標加工好提供給業務人員，業務人員即可隨心所欲分析數據，避免如之前業務部門有任何數據分析都需求必須通過IT實現，對IT的依賴很大，IT工作量也很大。

●第三，支持海量數據分析，無需再把歷史數據與當前數據做拆分，不管是想看歷史趨勢或是同比數據，都可通過一個Cube來完成。

●第四，支持更細粒度分析，當並發支持能力和權限控制能力都提高後，平台可以支持更多人員察看和分析數據。

再從IT人員的角度，來看該項目帶來的好處：

●首先，Kyligence的產品部署很快，解壓即可運行，集群部署速度也比較快。

●其次，Kyligence提供了較好的配置界面，尤其是許多工具圖形化的界面，方便用戶使用與運維管理。

●第三，平台對資源的佔用可以做很好的隔離， Imapla經常需要和其他應用搶資源，有時會因此拖垮整個集群，使用Kyligence後，Kyligence的產品最多佔據平台八分之一的資源，這樣可以確保平台不至於因用戶量大量湧入而崩潰，當然，我們可以隨着應用和用戶的增加隨時去調整資源配置。

●第四，與BI的對接非常方便，我們現在在Kyligence上至少對接了3個BI工具：Tableau、永洪BI、Cognos。

●第五，享受專業的技術服務，從2018年開始接觸到POC及現在正式的合作，Kyligence的技術工程師基本隨叫隨到，支持非常到位。

中國大地保險未來的大數據發展規劃

中國大地保險的大數據應用未來將朝以下三個方向邁進：

一是建立統一指標庫。最近兩年，中國大地保險已經儘可能的對統計指標進行統一加工，但由於技術原因，還是會存在一些指標結果不一致的情況。後續我們將對指標進行一輪梳理，然後藉助Kyligence儘可能的生成一些通用的Cube解決指標不一致問題。

二是搭建數據服務平台。大家剛剛都提到數據中台，中國大地保險也在規劃中。公司將打造全新的數據服務平台，在應用層數據上，計劃仍然使用Kyligence產品構建，同時統一數據應用口徑，從而努力打造一個讓用戶能夠又快又好的獲取到準確數據的平台。

三是進一步實現數據分析平民化，這是中國大地保險數據應用的重點工作，為了確保用戶和自助分析平台交互效果，也須藉助Kyligence產品。中國大地保險已經推廣了一年多的自助化分析，現在需要做的是進一步推廣以確保數據分析真正做到平民化，預計今年年底各個分公司都將更好的具備這方面的能力。