
“天擎”業務化運行後
熟悉的氣象業務
會有哪些不同?
建設一個統一、開放、集約的平台,將氣象部門海量的數據、龐雜的業務系統收歸一處,讓信息暢通無阻,觀測、預報、服務間的融合協作也變得前所未有的便利高效——多年以前,這些設想只是“空中樓閣”,但如今隨着氣象大數據云平台的業務化運行一一照進現實。“天擎”這個“數算一體”的支撐平台,正成為氣象業務與研發高度集約的“雲+端”新業態最可靠的支柱。
成長
迎難而上 築牢“雲+端”業務技術體制基座
將風雲變幻用觀測數據記錄下來,再通過複雜的運算得出預報,最終轉化為豐富多樣的服務產品,氣象業務鏈條從頭到尾,都高度依賴數據與信息的順暢流轉。建立一個集約、穩定而高效的信息系統,一直以來都是氣象工作者的理想。
跨入新時代,隨着信息技術的快速發展,以及氣象業務對擁有集約高效系統的願望越來越強烈,“天擎”因勢而生,肩負起夯實“雲+端”業務技術體制基座的重任。
01
因勢而生
2017年12月,是“天擎”建設的起點。
12月11日,《氣象大數據行動計劃(2017-2020年)》發布,提出統一設計建設開放互聯的氣象大數據云平台。12月26日,《氣象信息化發展規劃(2018-2022年)》印發,明確建設“專有雲+公共雲”模式的氣象大數據云平台。
國家氣象信息中心系統工程室副主任何文春參與了“天擎”建設全過程。他認為,從起步階段開始,“天擎”的定位就非常明確,“集約”是其中最明顯的特徵。這個新生的平台,將匯聚、共享、開放與應用氣象數據資源,推進氣象應用融入其中,建成智慧氣象生態體系,支撐氣象數據資源開放共享和跨領域融合應用,提升氣象信息系統集約化水平和應用協同能力。
彼時,全國綜合氣象信息共享平台(CIMISS)剛剛解決國省應用統一數據源的問題,但各業務單位、業務系統間的“信息孤島”“應用煙囪”問題仍未解決,資源浪費現象突出。如何在數據集約的基礎上,實現“數算一體”更高層次的集約?“天擎”的設計需要慎重考量。
從國家級到省級,氣象業務系統十分龐雜。要將各不相同的系統順利融為一體,必須有的放矢,以需求為引導。2018年1月,國家氣象信息中心聯合各國家級業務單位和部分省級氣象局,組建34人的設計團隊,開始設計氣象大數據云平台。設計初稿完成後,又全面徵集反饋情況,吸納改進建議82條,最終歷時9個月時間,完成《氣象大數據云平台設計方案》。“天擎”的建設工作,正式啟動。
02
攻堅克難
數十年來,各級氣象部門根據各自需求,建設了數據規範、系統架構、編程語言等各不相同的數百個業務系統。要構建一個兼容並包的平台,實屬不易。
與互聯網“大廠”建設雲平台不同的是,氣象大數據云平台建設面臨著堪稱嚴苛的算法兼容問題。以數值預報為例,我國的模式研發起步於20世紀80年代,許多核心算法仍採用誕生於1957年的Fortran語言或1972年發行的C語言。要想從底層重構這些算法,既不現實也無必要,因此就需要增強兼容性,讓來自“舊時代”的程序順暢地運行起來。
相比個別算法的兼容,業務系統的整體融入則是一項更為系統的工程。何文春介紹,過去氣象業務系統各自“立煙囪”的現象之所以廣泛存在,最大的原因就是各個系統有不同的需求,靠單一的模式無法完全滿足。作為首個融入“天擎”運行的業務系統,氣候監測預測分析系統(CIPAS)就有這樣的獨特需求。
進行氣候監測預測分析,需要很多帶地理信息標記的氣象數據。按照“天擎”當時設計的五種存儲技術,處理這種數據需要在提取氣象數據和地理信息後,再將二者進行疊加。對於CIPAS而言,這樣的模式會導致業務運行效率降低。因此,技術團隊與業務人員充分溝通,為“天擎”增加了存儲自帶地理信息和氣象數據的空間分析庫。這樣一來,CIPAS的業務需求得到了滿足,而“天擎”的支撐能力也得到進一步提升。
以“雲原生”姿態誕生在“天擎”上的西北人工影響天氣作業指揮系統,面臨的則是完全不同的挑戰。由於後續新業務系統都將採用“雲原生”模式,因此直接在雲上開發的這一系統,需要為後來者“打樣”。經過統一開發後,西北人工影響天氣作業指揮系統“標準化”權威盡顯,在內蒙古、甘肅、陝西、青海、寧夏、新疆完成規範化部署僅用了不到三周時間。
需求與研發相互促進。以這樣的模式,“天擎”於2019年7月發布了國家級1.0版本,具備海量數據存儲、全業務貫通、數據高效應用等能力。接下來,這個平台還需鋪向全國。
03
拔節生長
在省級氣象部門部署“天擎”並不是一項容易的工作。一方面,“天擎”構建於全新的大數據、雲計算技術,技術門檻高;另一方面,“天擎”作為新業務技術體制的基座,規模龐大。CIMISS建成以來,省級技術力量得到增強,但對“天擎”的部署而言,仍有不足。
面對這樣的形勢,技術團隊採取開放合作的方式,大力引進省級技術人員開發建設,先後有50名來自省級氣象部門的技術人員參與。他們帶着需求來,帶着技術回,成為“天擎”在省級順利部署的骨幹力量。2019年12月,31個省級氣象部門完成部署。
國省之間緊密合作,國家級業務單位之間同樣充分聯動,有7人先後帶着需求參與建設。在國家氣象信息中心內部,負責開發建設的系統工程室與負責用戶服務的資料服務室、負責運行維護的運行監控室配合更親密無間。
在“天擎”一步步成型的過程中,人才也在不斷成長。自投入“天擎”建設以來,團隊中有2人被聘為專業技術二級崗,3人晉陞正高職稱;5人入選中國氣象局高層次人才,包括1名氣象領軍人才、1名首席氣象專家、2名青年氣象英才、1名西部和東北優秀氣象人才;4人被聘為中國氣象局重點工程副總指揮或副總師,10人被聘為一級系統總師或副總師;8人入選國家氣象信息中心或省局高層次人才。
今年12月15日,“天擎”經過近一年的試運行後,正式業務運行,但“天擎”的建設工作,卻還遠遠沒有結束。多數國家級、省級業務系統尚待融入,人工智能等先進技術在大數據云平台上的應用有待攻關。未來,在建設過程中培養出的技術團隊,將成為“天擎”進一步拔節生長最重要的原動力。

優勢
“數算一體” 將帶來哪些改變?
12月15日8時,氣象大數據云平台“天擎”正式業務化運行,面向全國提供“數算一體”平台化服務。由於“天擎”在試運行中表現出色,這次切換因在情理之中而顯得“悄無聲息”,但隱藏在平靜的表面下的,則是“天擎”為氣象業務帶來的全方位、全鏈條升級。
01
推動觀測預報服務有機融合
以預報精準為龍頭,帶動監測精密和服務精細發展。要實現這樣的發展模式,“天擎”是必不可少的基礎。
各類業務系統融入“天擎”,並不僅僅意味着其在此運行和獲取數據,在業務運行中產生的數據和產品,同樣可以通過“天擎”進行規範化分享。這樣一來,各類觀測、預報、服務業務系統之間的距離就被前所未有地拉近,預報業務系統可以更高效地獲取各類觀測數據,服務系統可以更好地利用預報結論,各個系統之間共享數據、協同合作得以無縫銜接。
02
極大豐富數據資源
“天擎”提供了完整的數據資源。截至12月15日,“天擎”已經全面整合CIMISS原有數據、歷史歸檔數據、各類數據集及匯交數據,大幅增加國內外資料時間序列長度;數據資料達611種,記錄數達2214.9億條,每日新增2.96億條;全球地面、高空、海洋百年序列最早延伸至1901年,全球飛機報序列由4年延長至43年,雷達基數據序列由2年延長到13年。相比CIMISS,氣象大數據云平台的數據完整性、數據質量均有不同幅度提升,資料元數據信息更完整、質量更高。
“天擎”提供了實時歷史一體化的高效數據服務。應用系統建設者或開發者,無需從各種來源尋找數據,建立收集渠道、數據清洗、解析存儲,只需申請數據使用賬戶,選擇應用需要的數據,即可高效訪問。
03
提升數據利用效能
“天擎”通過升級完善的數據存儲技術,進一步降低了業務運行的時間成本。基於消息中間件、數據流、文件傳輸、衛星廣播以及網絡爬蟲技術,“天擎”建立了多協議支撐的數據交換體系,能夠主動發現、自動收集各類數據,收集的同時即可處理。
針對氣象業務特點,“天擎”構建了分布式存儲體系,面嚮應用對數據進行再組織。面向天氣預報等對實時性要求高的數據,採用分布式表格系統,訪問時效達毫秒級;面向氣候等長序列分析應用,採用分布式分析型數據庫,分析時效達到秒級。此外,針對中間結果、實驗數據等自用數據,支持個性化存儲,存儲空間一次分配、自由使用。
04
降低應用開發成本
“天擎”提供了豐富的算法和算力資源,可有效降低應用開發成本,縮短上線周期。作為應用系統建設者或開發者,無需進行硬件資源的採購、安裝、部署和維護,只需提交應用融入方案,申請算法運行依賴的算力資源。同時,也無需對應用需要的所有算法進行開發,通過申請使用算法庫中共享的算法,實現算法復用,眾智共享。
對於應用中產品加工需要的存儲資源,通過申請“天擎”應用專題庫,不必自建獨立數據庫,大大降低運維成本,提高數據共享水平,有利於進行多源數據聯合分析。業務中產品的加工和生成,不僅需要相應的數據和算力,還需建立任務調度框架。“天擎”提供的加工流水線,實現了多種任務引擎調度,包含時間觸發、數據源觸發、事件觸發等,算法選擇相應的調度引擎即可配置任務,應用只需關注算法實現邏輯。

融入
全面“雲化” 增效數倍
自“天擎”建設以來,各級氣象部門業務系統陸續開展融入工作,高效協同效益初步顯現。目前,“天擎”7×24小時不間斷運行,國家級及31個省級持續運行可靠性超過99.9%,國家級和省級的任務調度成功率均達100%,調度延遲控制在毫秒級。
氣候監測預測分析系統(CIPAS)
融入情況:系統架構全面“雲化”,系統性能全面提升。
CIPAS融入後系統架構全面“雲化”,實現數據、流程、平台和監控全面融入。系統以預報員體驗為中心,在數據訪問、加工、算法運行、圖形可視化與產品生成等方面的性能得到全面提升,數據平均查詢時間縮減超過50%,70%以上需要長時間計算、定時生成的產品改為實時交互獲取;實現CIPAS3.0全國一級部署、業務試用。
西北區域人工影響天氣作業指揮軟件系統
融入情況:“雲原生”開發,規範化部署便捷高效。
該系統基於“天擎”完成“雲原生”模式的研發,並在6個省份完成統一規範化部署。第十四屆全國運動會期間,基於“天擎”提供的穩定計算和存儲資源支撐,該系統圓滿完成保障任務。
集約化網格預報新流程
融入情況:在預報實時訂正和預報一致性方面發揮關鍵作用。
基於“天擎”國省“一張網”,國家氣象中心與北京、河北建成從網格預報製作到數據應用全鏈條的智能網格預報新流程,並基於這一新流程加工製作2022年冬季奧運會賽區及周邊城市站點預報。從預報員訂正發布,到應用系統獲取修訂的預報信息,全流程僅需數十秒,在預報實時訂正和預報一致性方面發揮關鍵支撐作用。
綜合氣象觀測業務運行信息化平台(“天元”)
融入情況:數據與算法集約管理,冗餘度降低30%。
“天元”是首個完成改造並融入“天擎”的核心業務系統。融入後,數據與服務資源的集約化能力提升50%以上,產品加工時效提升30%以上,支撐了觀測業務的信息化高效運轉,並為後續項目融入提供參考示範;實現元數據“天擎”統一服務。
區域高分辨率數值預報檢驗評估系統
融入情況:數據讀取效率有效提升,推動算法集約化管理。
該系統完全基於“天擎”開發建設,實現區域數值預報降水的傳統檢驗、空間檢驗和過程評估,以及近地面要素檢驗。數據讀取效率有效提升,實現模式數據與觀測數據的直存直取。基於“天擎”產品加工流水線切實推動算法集約化管理,完成系統軟硬件的實時監控。
雷達估測降水系統
融入情況:系統流程優化,時效提升近一倍。
實現雷達基數據從“天擎”讀取、算法基於加工流水線調度運行、雷達產品回寫“天擎”,以及基於“天鏡”的全流程監視。系統融入“天擎”後,流程更優,減少了數據搬運環節,數據源直取、產品直存,產品服務時效提高近一倍。
寧夏智能化綜合氣象業務服務共享管理平台
融入情況:數據入庫時效提升一倍,業務系統查詢、統計數據效率提高3~4倍。
數據、算法、系統、監控等同步開展融入工作,核心業務系統實現功能模塊重構。依託“天擎”的存儲和算力資源,業務系統運行效率得到顯著提升,數據入庫時效提高了一倍,業務系統查詢、統計數據的效率提高了3~4倍。
湖北省氣象預報服務業務一體化平台
融入情況:100餘種業務服務產品接入,82個算法剝離入“雲”。
核心系統全面融入“天擎”,消除自建數據庫,100餘種業務服務產品接入,82個算法剝離入“雲”。融入後業務流程更加規範,數據及時性、算法運行效率和硬件資源利用率均顯著提升。
