深剖納斯達克、Netflix、《阿凡達2》「雲端創新」 看懂亞馬遜雲科技「乾貨集」

2022年12月28日19:15:13 科技 1439

作者:郝俊慧 來源:IT時報

13年前,當《阿凡達》第一次以絢麗的「潘多拉星球風光」征服全世界時,人們並不知道,導演卡梅隆用4000台服務器搭建了一個龐大的線下數據中心,用35000多個CPU做整部電影的渲染,渲染時間達288萬個小時。

如今,13年過去,正在熱映的《阿凡達2》中蔚藍的水世界,渲染時間達33億小時,是第一部的1145倍,但從第一幀到第33億幀,一共只用了8個月。「沒有亞馬遜雲科技的支持,我們將無法完成阿凡達2。」《阿凡達2》製片人如是表示。

打造虛擬世界和仿真世界,是否使用雲的結果差異顯而易見,而這只是亞馬遜雲科技在全球應用的案例之一。

不久前舉行的2022 re:Invent全球大會上,亞馬遜雲科技發佈了一系列重磅的新服務、產品、功能和應用,涵蓋底層基礎架構、計算、數據庫、數據分析、芯片、AI/ML、安全、行業應用等方面,其中多個案例均為首次公布,堪稱亞馬遜雲科技的「年度乾貨集」。

深剖納斯達克、Netflix、《阿凡達2》「雲端創新」 看懂亞馬遜雲科技「乾貨集」 - 天天要聞

對於正在加速數字化轉型的中國政府和企業而言,這些站在科技潮頭的革新和重塑頗有借鑒意義。

納斯達克:打造證券行業的下一代雲基礎設施

去年re:Invent上,納斯達克宣布,要把自己的核心交易交合處理引擎搬遷到亞馬遜雲科技上,今年的re:Invent,納斯達克「Call Back」了這個決定,宣布旗下的MRX核心交易系統已經搬遷到亞馬遜雲科技。

交易撮合是一個訂單轉化成交易的一個核心系統,是全球資本市場的基礎架構基石,而MRX是納斯達克旗下6個美國期權市場之一,這些工作負載意味着,不僅對整個延遲高度敏感,同時也對安全高度敏感,遷移的完成標誌着納斯達克在全球資本市場構建了一個下一代的基礎設施。

在納斯達克遷移到亞馬遜雲科技的過程中,Amazon Outposts扮演核心角色。它將亞馬遜雲科技的基礎設施、服務、API和工具擴展到幾乎所有數據中心、主機託管空間或本地設施,納斯達克可以從其位於新澤西州卡特雷特的主要數據中心提供超低延遲的邊緣計算功能。這些基於Amazon Outposts所構建的全新雲系統可以對端到端、訂單到交易提供一個兩位數的微秒級延遲,並且在雙向交易延遲取得了10%的性能提升。

這還不是全部。目前納斯達克有130多個市場技術客戶,涵蓋交易所、銀行、清算所、中央證券存管機構和監管機構,這些機構目前都依賴納斯達克的核心交易、清算、結算和監控技術。未來,納斯達克計劃與亞馬遜雲科技合作開發多種可行的雲服務模式,包含公有雲和混合雲,為它的市場技術客戶提供雲端遷移服務。

Netflix:對海量數據保持高性能分析

2012年,Netflix即參加了首屆re:Invent,作為全球領先的融媒體供應商,2006年轉型流媒體的Netflix,2008年便成為亞馬遜雲科技的客戶。如今,Netflix的各個環節中均可看到亞馬遜雲的痕迹。

比如爆款劇《王冠》的第四季,便是採用基於亞馬遜雲科技的雲上工作室,解決了因新冠疫情全球流行而導致的製作難題,由 10 名藝術家組成的《王冠》內部創作團隊遠程協作,順利完成第4季10集中的600多個鏡頭,時間僅用八個月,製作成本也大大降低。

Netflix用到亞馬遜雲的另一個重要方向是如何應對海量數據時代的到來。亞馬遜雲科技大中華區產品部總經理陳曉建給出一組數據:Expedia是全球領先的旅遊服務供應商,擁有超過70個PB的數據,每年會做6000億次AI預測;三星有超過11億終端客戶,每秒鐘收到8萬次請求;Pinterest是在北美提供視頻圖片網站的服務供應商,他們在亞馬遜雲科技上存儲的圖片數據超過1個EB,相當於100萬個TB,而 Netflix呢?每天要為十億條用戶流量服務,同時每天為了支持用戶最佳體驗,要從整個所有的生產系統中收集將近TB的日誌數據並且進行分析。

未來5年所產生的數據,將是此前所產生數據的兩倍還要多,數據將像星空一樣廣袤,已經不是未來的,而是現實,如何去管理海量數據,挖掘數據的價值,對每個企業來說一方面是巨大的挑戰,另一方面也蘊含無限的價值。

這些互聯網巨頭要思考的是,如何在數據高速增長的同時保持高性能的處理?本次re:Invent也給出了答案。

Amazon Aurora是亞馬遜雲科技的雲原生關係數據庫服務,其自動擴展功能可以將每一個數據庫的實例自動拓展到最大128個TB,使用成本是傳統的商業數據庫的十分之一左右。Amazon DynamoDB是業界第一個雲原生數據庫。它在2022年亞馬遜雲科技會員日時每秒處理請求超過一億個,是非常高性能的間值數據庫。Amazon Redshift有大量的用戶,每天處理的Amazon Redshift數據量都超過一個EB,性價比是其他雲數倉的五倍。

此外,Amazon DocumentDB的Elastic Clusters不僅可以支持每秒鐘數百萬次讀寫請求,同時可以把Amazon DocumentDB的存儲容量從64TB一下子拓展32倍達兩個PB。

阿凡達:由芯片、協議等組成的高性能計算生態

正如前文所言,採用了亞馬遜雲科技服務的《阿凡達2》,大大縮短了視覺特效製作的時間,而打造基於3D的虛擬世界,與去年開始便爆火的概念——「仿真」「數字孿生」一樣,都需要大量複雜的高性能計算。

亞馬遜雲科技已經連續7年獲得HPC WIRE最佳HPC雲平台稱號,這應該源自其經過多年打造的完整的HPC服務生態。

生態中最重要的自然是芯片。通過10年研發,亞馬遜雲科技構建了3條自研芯片的產品線,包括已經發展了4代定製化芯片Nitro,三代基於ARM架構的CPU處理器Graviton和兩款用於機器學習訓練和推理的芯片。

深剖納斯達克、Netflix、《阿凡達2》「雲端創新」 看懂亞馬遜雲科技「乾貨集」 - 天天要聞

陳曉建介紹,比如Graviton3E,是專門為高性能計算設計的最新芯片,它配備了200Gbps低延時帶寬,非常適合計算密集型的HPC應用,為浮點和向量指令運算進行了優化,比如說計算流體力學、分子動力學和天氣模擬等等。從用戶場景來看,在HPC新一代數據測量工具上,Graviton 3E相比於Graviton3有35%的提升,在分子運動分析場景上性能可以提升12%,在金融期權定價方面可以提升30%的性能。

在亞馬遜雲科技整個自研芯片家族裡,除了Graviton,還有Nitro。Nitro是將底層架構專業硬件化、雲服務器虛擬化的芯片,如今已發展到第五代。從第一代Nitro的網絡性能的萬兆級別(10Gbps),到現在的100GB,性能提升了10倍。Nitro V5晶體管數量是上一代Nitro的兩倍,整個數據包的轉發能力提升了60%,延遲減少了30%,每瓦特的性能提升了40%。

此外,亞馬遜雲科技自己開發的網絡協議SRD,也是支撐高性能計算的「獨門武器」。陳曉建以視頻流舉例稱,利用SRD,傳輸時可以將視頻流打散,多條路徑並行傳輸,接收方則通過序號進行亂序重組。通過SRD協議,網絡單條流的最大流量從5GB提升至25GB,增長了5倍,而且由於SRD協議是在網絡整個底層Nitro芯片上實現的,所以對用戶完全透明,用戶仍然使用TCP/IP協議,Nitro會自動地把TCP/IP協議適配到SRD,到了對端之後再把這個恢復成TCP/IP的包。

「不需要千軍萬馬過獨木橋,便可以帶來極高的網絡吞吐量和極低的延時,以及更高的可靠性。任何一條路徑如果出問題不會影響你整個流量的中斷。」陳曉建表示。

科技分類資訊推薦

引領科技豪華MPV新風尚 第二代騰勢D9西安車展亮相 - 天天要聞

引領科技豪華MPV新風尚 第二代騰勢D9西安車展亮相

兼具宜商氣度與家用溫情的科技豪華旗艦MPV,第二代騰勢D9迎來西安地區正式亮相。新車依託全球新能源MPV冠軍底蘊,以第二代刀片電池、雙閥雲輦-C、天神之眼5.0智駕等核心技術全面升級,兼顧商務體面與家庭舒適,為西北高端用戶帶來一站式全能出行解決方案。
採購禁入!科華數據材料造假被拒門外 - 天天要聞

採購禁入!科華數據材料造假被拒門外

本報(chinatimes.net.cn)記者胡雅文 北京報道這家趕上AI算力風口的公司,因投標材料造假,被相關採購方列入禁入名單兩年,其此前提出的複議申請也被正式駁回。相關採購平台近日發佈公告,明確駁回科華數據股份有限公司(下稱「科華數據」,002335.SZ)此前提交的複議申請。早在一年前,科華數據已被認定在「信息通信樞紐...
快評樂道L80:15萬元級買大五座,這波值得沖? - 天天要聞

快評樂道L80:15萬元級買大五座,這波值得沖?

日前,樂道L80正式發佈並開啟預售,其整車購買預售價為24.58萬元起,租電購買預售價則低至15.98萬元起。面對大型SUV市場「細分再細分」之競爭趨勢,這款樂道年度重磅新車都有哪些優勢?又能否成為「大五座SUV革新之作」?下面,圈哥就帶大家全方位感受。
成都直擊凱威德:純電全尺寸SUV的張揚與大氣 - 天天要聞

成都直擊凱威德:純電全尺寸SUV的張揚與大氣

4月22日,凱迪拉克以奧斯卡級盛典規格,將上海保利大劇院點亮為璀璨舞台,在品牌代言人倪妮與全場嘉賓的共同見證下,凱迪拉克全尺寸純電公路旗艦——凱威德耀然上市。新車共推出長續航四驅Pro、高性能四驅Ultra兩款配置,官方售價區間為46.88萬-50.88萬元。