快科技2月5日消息,deepseek開源大模型的推出,可以說徹底顛覆了ai行業的發展,各大平台都在積極適配支持,比如國產gpu,除了摩爾線程、華為昇騰,壁仞也第一時間加入了這一行列。
壁仞科技透露,憑藉自主研發的壁礪系列gpu產品出色的兼容性能,只用數個小時,就完成對deepseek r1全系列蒸餾模型的支持,涵蓋從1.5b到70b各等級參數版本,包括llama蒸餾模型和千問蒸餾模型。
壁仞科技成為少數實現國際、國內多模型同步高效適配的晶元平台之一,證明了國產晶元對複雜ai應用任務的駕馭能力。
據介紹,deepseek提供了一種高效的模型蒸餾技術,能夠將大規模模型的能力遷移至更小、更高效的版本,並且通過mla、deepseek moe兩大核心技術,顯著降低顯存佔用,優化模型性能。
壁仞科技壁礪系列gpu產品在短時間內成功支持deepseek全系列蒸餾模型,說明其在ai推理任務中具備強大的兼容性和易用性。
同時,壁仞科技已聯合上海智能算力、中興通訊、科華數據、無問芯穹、開源中國(gitee ai)、ucloud、一驀科技等戰略夥伴,基於壁礪系列訓推產品106m、106b、106e、110e,全面開展包括r1在內的deepseek全系列模型的適配與上線,滿足不同規模參數量模型的部署需求——
輕量級模型(1.5b-8b):
適配智能終端與邊緣計算設備,實現低延時實時推理。
中大規模模型(14b-32b):
服務於大規模企業級應用和高並發任務,滿足數據安全與定製化需求。
大規模模型(70b):
依託雲端超算集群,支撐前沿ai研究與複雜任務處理。
即日起,壁仞ai算力平台正式上線deepseek r1蒸餾模型推理服務,全球開發者可雲端體驗1.5b、7b、8b、14b、32b、70b全系列模型服務。
體驗地址為:
https://sgc.birentech.com:1443/
該服務具備兩大核心優勢:
一是零部署成本,可免去硬體採購與環境搭建,實現「開箱即用」的雲端推理體驗。
二是多場景覆蓋,針對llm等不同任務預置優化配置方案。