明敏 发自 凹非寺
量子位 | 公众号 qbitai
最新国产开源moe大模型，刚刚亮相就火了。
deepseek-v2性能达gpt-4级别，但开源、可免费商用、api价格仅为gpt-4-turbo的百分之一。
因此一经发布，立马引发不小讨论。
从公布的性能指标来看，deepseek-v2的中文综合能力超越一众开源模型，并和gpt-4-turbo、文心4.0等闭源模型同处第一梯队。
英文综合能力也和llama3-70b同处第一梯队，并且超过了同是moe的mixtral 8x22b。
在知识、数学、推理、编程等方面也表现出不错性能。并支持128k上下文。
这些能力，普通用户都能直接免费使用。现在内测已开启，注册后立马就能体验。
api更是是骨折价：每百万tokens输入1元、输出2元（32k上下文）。价格仅为gpt-4-turbo的近百分之一。
同时在模型架构也进行创新，采用了自研的mla（multi-head latent attention）和sparse结构，可大幅减少模型计算量、推理显存。
网友感叹：deepseek总是给人带来惊喜！
具体效果如何，我们已抢先体验！
实测一下
目前v2内测版可以体验通用对话和代码助手。
在通用对话中可以测试大模型的逻辑、知识、生成、数学等能力。
比如可以要求它模仿《甄嬛传》的文风写口红种草文案。
还可以通俗解释什么是量子纠缠。
数学方面，能回答高数微积分问题，比如：
使用微积分证明自然对数的底e 的无穷级数表示。
也能规避掉一些语言逻辑陷阱。
测试显示，deepseek-v2的知识内容更新到2023年。
代码方面，内测页面显示是使用deepseek-coder-33b回答问题。
在生成较简单代码上，实测几次都没有出错。
也能针对给出的代码做出解释和分析。
不过测试中也有回答错误的情况。
如下逻辑题目，deepseek-v2在计算过程中，错误将一支蜡烛从两端同时点燃、燃烧完的时间，计算成了从一端点燃烧完的四分之一。
带来哪些升级？
据官方介绍，deepseek-v2以236b总参数、21b激活，大致达到70b~110b dense的模型能力。
和此前的deepseek 67b相比，它的性能更强，同时训练成本更低，可节省42.5%训练成本，减少93.3%的kv缓存，最大吞吐量提高到5.76倍。
官方表示这意味着deepseek-v2消耗的显存（kv cache）只有同级别dense模型的1/5~1/100，每token成本大幅降低。
专门针对h800规格做了大量通讯优化，实际部署在8卡h800机器上，输入吞吐量超过每秒10万tokens，输出超过每秒5万tokens。
在一些基础benchmark上，deepseek-v2基础模型表现如下：
deepseek-v2 采用了创新的架构。
提出mla（multi-head latent attention）架构，大幅减少计算量和推理显存。
同时自研了sparse结构，使其计算量进一步降低。
有人就表示，这些升级对于数据中心大型计算可能非常有帮助。
而且在api定价上，deepseek-v2几乎低于市面上所有明星大模型。
团队表示，deepseek-v2模型和论文也将完全开源。模型权重、技术报告都给出。
现在登录deepseek api开放平台，注册即赠送1000万输入/500万输出tokens。普通试玩则完全免费。
感兴趣的童鞋，可以来薅羊毛了~
体验地址：
https://chat.deepseek.com
api平台：
platform.deepseek.com
github：
https://github.com/deepseek-ai/deepseek-v2?tab=readme-ov-file
