9月28日，浪潮人工智能研究院在京發布人工智能巨量模型“源1.0”，這是目前為止全球最大的人工智能巨量模型。據悉，它的參數量達2457億，訓練採用的中文數據集達5000GB，相比於美國的GPT-3模型1750億參數量和570GB訓練數據集，源1.0參數規模領先40%，訓練數據集規模領先近10倍，榮膺世界第一。
算法、數據、算力三大層面均實現超大規模
據了解，“源1.0”不管在算法、數據還是算力上，都做到了超大規模和巨量化。
首先，算法方面，相比於1750億參數的英文語言模型GTP-3，“源1.0”共包含了2457億個參數，是前者參數量的1.404倍。而且最重要的是，“源1.0”和GPT-3一樣都是單體模型，而不是由很多小模型堆砌起來。就單單在這一方面，“源1.0”就可以榮登全球最大的自然語言理解模型之位。
其次，在數據方面，“源1.0”幾乎是把近5年整個中文互聯網的浩瀚內容全部讀完。通過自研的文本分類模型，獲得了5TB高質量中文數據集，在訓練數據集規模上領先近10倍。“源1.0”還閱讀了大約2000個億詞。這是什麼概念呢？假如人一個月能讀十本書，一年讀一百本書，讀50年，一生也就讀5000本書，一本書假如20萬字，加起來也只有10億字，需要一萬年才能讀完2000億詞。在如此大規模的數據加持下，“源1.0”的數據集也自然成為了全球最大的高質量中文數據集。
此外，算力方面，“源1.0”共消耗約4095PD（PetaFlop/s-day）。相對於GPT-3消耗3640PD計算量得到1750億參數，計算效率大幅提升。若讓“源1.0”一天24小時不間斷“閱讀”的話，只需要16天就可以看完近五年中文互聯網的幾乎全部內容。
全球最大躋身全球最強 刷新多項世界紀錄
CLUE作為目前公認最權威的中文語言模型評估基準，“源1.0”佔據其零樣本學習（zero-shot）和小樣本學習（few-shot）2項榜單的榜首，在零樣本學習榜單中，「源1.0」超越業界最佳成績18.3%，在文獻分類、新聞分類，商品分類、原生中文推理、成語閱讀理解填空、名詞代詞關係6項任務中獲得冠軍；在小樣本學習的文獻分類、商品分類、文獻摘要識別、名詞代詞關係等4項任務獲得冠軍。在成語閱讀理解填空項目中，源1.0的表現已超越人類得分。
同時，在對“源1.0”進行的“圖靈測試”中，將源1.0模型生成的對話、小說續寫、新聞、詩歌、對聯與由人類創作的同類作品進行混合併由人群進行分辨。測試結果表明，人群能夠準確分辨人與“源1.0”作品差別的成功率已低於50%。
目前，浪潮“源1.0”大模型只是一個開始，它只是提供一片廣闊的肥沃土壤，為諸多應用任務泛化支持提供統一強大的算法支撐。未來，浪潮源“源1.0”大模型將推動創新企業及個人開發者基於大模型構建智能化水平更高的場景應用，賦能實體經濟智能化升級，促進數字經濟高質量發展。
