9 月 2 日，騰訊混元宣布，其3d世界模型系列最新成員——hunyuanworld-voyager（簡稱混元voyager）發布並開源，這將推動ai在空間智能領域的應用擴展，為虛擬現實、物理模擬、遊戲開發等領域提供高保真3d場景漫遊能力，加速行業應用落地。
作為業界首個支持原生3d重建的超長漫遊世界模型，混元voyager突破了傳統視頻生成在空間一致性和探索範圍上的局限，能夠生成長距離、世界一致的漫遊場景，支持將視頻直接導出為3d格式。混元voyager 3d輸入-3d輸出的特性，與此前已開源的混元世界模型1.0 高度適配，可進一步擴展 1.0 模型漫遊範圍，提升複雜場景的生成質量，並可對生成的場景做風格化控制和編輯。
不僅如此，混元voyager 還可支持視頻場景重建、3d物體紋理生成、視頻風格定製化生成、視頻深度估計等多種3d理解與生成應用，展現出空間智能的潛力。該模型現已正式上線，相關技術報告已公開，源代碼在github和hugging face上免費開放，供全球開發者下載和使用。
當前，谷歌genie3等支持實時交互的視頻生成世界模型備受關注，但其純2d輸出難以滿足虛擬現實和物理模擬等應用的3d交互需求。另一方面，直接生成3d場景雖具備空間結構優勢，卻面臨訓練數據稀缺和內存效率低下的挑戰，無法泛化到更大場景。
混元voyager是混元世界模型1.0的官方擴展模型，創新性地將場景深度預測引入視頻生成過程，融合了視頻生成與3d建模優勢，基於相機可控的視頻生成技術，從初始場景視圖和用戶指定相機軌跡中，合成可自由控制視角、空間連貫的rgb-d視頻（包含rgb圖像和深度信息的點雲視頻）。
用戶可通過鍵盤或者搖桿即可控制生成對應的視頻畫面，並可以通過3d空間記憶保持畫面的高度一致性，實現genie3相同的能力。同時，voyager還支持將生成視頻無損導出3d點雲，無需依賴colmap等額外重建工具。
混元voyager首次通過空間與特徵結合的方式，支持原生的3d記憶和場景重建，避免了傳統後處理帶來的延遲和精度損失。同時，在輸入端加入3d條件保證畫面視角精準，輸出端直接生成3d點雲，適配多種應用場景。額外的深度信息還能支持視頻場景重建、3d物體紋理生成、風格化編輯和深度估計等功能。
混元voyager 還引入了可擴展的世界緩存機制，基於混元 3d 世界模型1.0生成的初始3d點雲緩存，將其投影到目標相機視圖，為擴散模型提供指導。此外，生成的視頻幀還會實時更新緩存，形成閉環系統，支持任意相機軌跡，同時維持幾何一致性。這不僅擴展了漫遊範圍，還為1.0模型補充新視角內容，提升整體生成質量。
該模型在斯坦福大學李飛飛團隊發布的世界模型基準測試worldscore上位居綜合能力首位，超越現有開源方法，在視頻生成和3d重建任務中均表現出色。在視頻生成和視頻3d重建兩個任務上，voyager也均取得更好的結果。
voyager在斯坦福大學團隊的世界模型排行榜 worldscore上，取得了綜合能力第一名的成績（https://huggingface.co/spaces/howieeeee/worldscore_leaderboard）
在和現有開源方法的比較中，voyager可根據生成的視頻幀重建出更加精確的3dgs場景
騰訊混元世界模型系列開源正不斷加速。7月，混元3d世界模型1.0發布並開源，成為業界首個兼容傳統cg管線的可漫遊世界生成模型。8月，推出1.0 lite版，降低顯存需求，支持消費級顯卡部署。僅兩周後，針對遮擋視圖和探索範圍限制，混元團隊進一步優化，推出超長漫遊世界模型voyager。
此前，混元已陸續開源業界領先的文生圖、視頻生成和3d生成能力，提供接近商業模型性能的開源模型。在基礎模型方面，混元開源了moe架構的代表性模型混元large、混合推理模型hunyuan-a13b，以及多個面向端側場景的小尺寸模型，最小僅0.5b參數。最新開源的翻譯模型hunyuan-mt-7b在國際翻譯比賽中斬獲31個語種中的30項冠軍。
混元3d生成能力全球領先，其最新版本混元3d v2.5在質感上顯著提升，於6月上海人工智慧實驗室評測中榮登全球第一。混元3d系列開源模型下載量位居開源社區榜首，混元3d世界模型1.0上線後迅速登頂hugging face論文熱榜第一、模型熱榜第二。
項目主頁：https://3d-models.hunyuan.tencent.com/world/
github：https://github.com/tencent-hunyuan/hunyuanworld-voyager
hugging face：https://huggingface.co/tencent/hunyuanworld-voyager
技術報告：https://3d-models.hunyuan.tencent.com/voyager/voyager_en/assets/hyworld_voyager.pdf
