TensorRT極致推理加速，望塵科技打造AI體育全場景多維重構引擎

深圳望塵科技公司擁有國內領先的 AI 視覺算法團隊和實時渲染引擎，十年來一直專註於體育遊戲與其相關 AI 視覺技術的研發，積累了巨量的球員角色數據庫，不僅有所有在國際足聯註冊的 2 萬名職業球員精確到厘米的球員體型、骨長、BMI、體脂肌肉比等數據，還有數千名頂級球員高精度的 3D 模型，幾乎全球所有主要球場的高精度模型。

基於這些高質量結構化的數據，Arena4D 可將捕捉結果在實時渲染引擎中以接近照片級真實的質量渲染，用完全自由的鏡頭特效和運鏡方式實現前所未有的震撼體驗。

Arena4D 空間追蹤識別及數據處理

面臨算力挑戰

• 球員和球的運動速度快，姿態變化大，且衣服外貌相似性較大，難以使用行業通用的 MOT 算法進行高質量的追蹤和姿態識別。
• 即使是 4k 圖像，球員和球在圖像中太小，追蹤困難。
• 多台高清攝像頭每幀圖像需上傳到顯卡進行實時轉碼、降噪等前處理工作，數據吞吐量較大。
• 基於神經網絡的計算流水線，需要實時進行多個視角、多個運動員的追蹤、識別、姿態估計與降噪計算。
• 在多個 AI 模型級聯計算流水線中，每個 AI 模型之間的數據處理與拷貝佔用了大量的時間。

NVIDIA AI 計算平台為 Arena4D

實現全流程GPU加速提供算力支持

基於以上挑戰，望塵科技選擇了採用 NVIDIA AI 計算平台來提供支持，使用後給研發和項目落地帶來了巨大的支持和提升。

1、基於 GalaSports 體育遊戲渲染生成巨量的合成數據，在 NVIDIA 數據中心 GPU 上進行加速訓練。首先在有 GT 的合成數據上訓練基礎網絡，然後再在手工標註的真實數據上進行 finetune。

2、Arena4D 採用了 NVIDIA TensorRT 推理加速引擎，TensorRT 首先對神經網絡進行量化處理，然後再優化、合併算子，最後經過 Batch 化，推理處理速度較原來提升了 4-12 倍，能高效地處理多路攝像頭 4k 高清數據，實時提取球員的 3D Pose 和外貌特徵並進行匹配計算。

3、將原有基於 CPU 運行的數據拷貝，圖像格式轉換，圖像 crop/resize 等耗時較多的操作流水線，利用 CUDA 進行實現，完全切換到 GPU 處理，比起 CPU 實現的方案，加速 50~100 倍。

4、針對體育場景中運動員速度快、運動幅度大、圖像中尺寸小的特點，改進了網絡結構和算子，使其適合體育場這種稀疏變化，追蹤角色小的場景；提升了 MOT 算法，通過多個視圖的 fusion 網絡對 2D 追蹤結果進行 finetune，實現多視圖在 3D 空間的追蹤。

圖1：整體流程

圖片來源及所屬：Galasports 望塵科技

5、針對神經網絡流水線的計算延遲問題，首先根據體育比賽的使用場景與相機視角對模型結構進行了優化，根據不同體育類型的相機機位和球場尺度，設計了專門針對特定比賽的識別網絡，大大降低了網絡的複雜度；基於連續幀的姿態計算骨長度和 BMI 等球員特徵，在數據庫中進行匹配提升識別準確率；針對多相機從內存到顯存大量數據拷貝 IObound 問題，使用 CUDA 多流技術實現了內存拷貝與數據處理並行化，降低了 overhead，4 路4k 相機數據的拷貝與轉碼從 50ms 減少到 30ms；然後使用量化工具對網絡進行 fp16/int8(QAT) 量化加速，最後使用 NVIDIA TensorRT 針對 NVIDIA 數據中心 GPU 編譯，在 NVIDIA 數據中心 GPU 上能達到最優性能的模型。

圖2：計算延遲解決思路

圖片來源及所屬：Galasports 望塵科技

6、整個流水線經過 TensorRT 編譯運行在 NVIDIA 數據中心 GPU 上，每路視頻信號由一張 GPU 進行實時計算，最後在 CPU 中對多路計算結果降噪融合。最終，以足球場場景為例，追蹤目標為 1 個足球 + 22 名球員 + 3 名教練的位置與骨骼，在一張 NVIDIA 數據中心 GPU 設備上我們實現了平均 50ms/幀的速度，在二張 NVIDIA 數據中心 GPU 設備上能達到平均 30ms/幀的速度，整個流水線比原型提升了 18 倍。

使用了 NVIDIA TensorRT 推理加速引擎和 NVIDIA 數據中心計算卡，Arena4D 整個流水線可實時運行，進一步提升了用戶使用體驗，為擴展 AI 體育方向的其他業務、甚至是 XR 場景的加入打下了良好的基礎。

NVIDIA 助力望塵科技

打造新一代實時 AI 體育全場景多維重構引擎

Arena4D 通過 NVIDIA TensorRT 等技術，實現了多視圖在 3D 空間的追蹤、提升了識別骨長度和 BMI 等球員特徵的準確率、完成了內存拷貝與數據處理的並行化、改進了網絡結構和算子使其適合體育場的稀疏變化，最終實現全流程 GPU 加速，速度提升超過 50～100 倍。

AI 體育行業是最受關注的人工智能應用領域之一，傳統的體育企業也開始擁抱科技，紛紛引入人工智能產業。一個集技術、人才與場景優勢的科技企業必須與一個優秀的合作夥伴一起積極開拓和長期發展。NVIDIA 提供的 GPU 解決方案，解決了深度學習和機器學習的技術難題，使得望塵科技在 AI 體育領域能夠持續不斷地創新產品，拓寬 AI 應用場景，為觀眾和球迷提供新時代的數字化全新觀賽體驗。

NVIDIA 初創加速計劃

望塵科技是 NVIDIA 初創加速計劃 (NVIDIA Inception) 會員企業。NVIDIA 初創加速計劃為免費會員制、旨在培養顛覆行業格局的優秀創業公司。該計劃聯合國內外知名的風投機構，創業孵化器，創業加速器，行業合作夥伴以及科技創業媒體等，打造創業加速生態系統。能夠提供產品折扣，技術支持，市場宣傳，融資對接，業務推薦等一系列服務，加速創業公司的發展。

想獲得 NVIDIA 初創加速生態助力？掃描下方二維碼，僅需一分鐘填寫意向申請表單，獲得快速聯繫。