快科技2月9日消息，deepseek火得一塌糊涂，国内外的相关企业都在积极适配支持，而对于ai大模型来说，使用gpu运行无疑是最高效的，比如amd，无论是instinct加速卡还是radeon游戏卡，都已经适配到位。
你只需要任意一块amd rx 7000系列显卡，就可以在本地体验deepseek。
amd radeon游戏卡本地部署deepseek非常简单，只需打开amd官网(中英文均可)，搜索“15.1.1”，进入第一个结果，下载amd adrenalin 25.1.1测试版驱动，安装并重启。
直接下载地址：
https://www.amd.com/zh-cn/resources/support-articles/release-notes/rn-rad-win-25-1-1.html
然后打开lm studio官网网站的锐龙专栏(https://lmstudio.ai/ryzenai)，并下载lm studio for ryzen ai安装包，安装并运行。
启动之后，点击右下角设置(可选中文语言)，找到并开启“use lm studio's hugging face”这个选项。
回到主界面，在左侧菜单栏点击搜索图标，输入“deepseek r1”，就可以看到已经训练好的各种deepseek模型。
至于如何选择，可以参考如下的amd官方推荐列表，比如旗舰级的rx 7900 xtx可以支持到32b参数，主流的rx 7600则仅支持8g模型。
然后下载合适的模型，在主界面上方选择已下载的模型，然后调高“gpu offload”的数值，不同选项的具体含义可自行搜索或者直接询问deepseek。
模型加载完毕后，就可以尽情地在本地体验deepseek了。
与此同时，amd instinct gpu加速卡也已经部署集成deepseek v3模型，并优化了sglang性能，支持完整的671b参数，开发者可以借助amd rocm平台快速、高效地开发ai应用。
1、启动docker容器
docker run -it --ipc=host --cap-add=sys_ptrace --network=host \
--device=/dev/kfd --device=/dev/dri --security-opt seccomp=unconfined \
--group-add video --privileged -w /workspace lmsysorg/sglang:v0.4.2.post3-rocm630
2、开始使用
(1)、使用cli登陆进入hugging face。
huggingface-cli login
(2)、启动sglang server，在本地部署deepseekv3 fp8模型。
python3 -m sglang.launch_server --model-path deepseek-ai/deepseek-v3 --port 30000 --tp 8 --trust-remote-code
(3)、服务器启动后，打开新的终端，发送请求。
curl http://localhost:30000/generate \
-h "content-type: application/json" \
-d '{
"text": "once upon a time,",
"sampling_params": {
"max_new_tokens": 16,
"temperature": 0
}
}'
3、基准测试
export hsa_no_scratch_reclaim=1
python3 -m sglang.bench_one_batch --batch-size 32 --input 128 --output 32 --model deepseek-ai/deepseek-v3 --tp 8 --trust-remote-code
python3 -m sglang.launch_server --model deepseek-ai/deepseek-v3 --tp 8 --trust-remote-code
python3 benchmark/gsm8k/bench_sglang.py --num-questions 2000 --parallel 2000 --num-shots 8
accuracy: 0.952
invalid: 0.000
另外，如果需要bf16精度，可以自行转换：
cd inference
python fp8_cast_bf16.py --input-fp8-hf-path /path/to/fp8_weights --output-bf16-hf-path /path/to/bf16_weights
-
-
-
-
-
-
-
-
-
-