快科技2月9日消息，deepseek火得一塌糊塗，國內外的相關企業都在積極適配支持，而對於ai大模型來說，使用gpu運行無疑是最高效的，比如amd，無論是instinct加速卡還是radeon遊戲卡，都已經適配到位。
你只需要任意一塊amd rx 7000系列顯卡，就可以在本地體驗deepseek。
amd radeon遊戲卡本地部署deepseek非常簡單，只需打開amd官網(中英文均可)，搜索“15.1.1”，進入第一個結果，下載amd adrenalin 25.1.1測試版驅動，安裝並重啟。
直接下載地址：
https://www.amd.com/zh-cn/resources/support-articles/release-notes/rn-rad-win-25-1-1.html
然後打開lm studio官網網站的銳龍專欄(https://lmstudio.ai/ryzenai)，並下載lm studio for ryzen ai安裝包，安裝並運行。
啟動之後，點擊右下角設置(可選中文語言)，找到並開啟“use lm studio's hugging face”這個選項。
回到主界面，在左側菜單欄點擊搜索圖標，輸入“deepseek r1”，就可以看到已經訓練好的各種deepseek模型。
至於如何選擇，可以參考如下的amd官方推薦列表，比如旗艦級的rx 7900 xtx可以支持到32b參數，主流的rx 7600則僅支持8g模型。
然後下載合適的模型，在主界面上方選擇已下載的模型，然後調高“gpu offload”的數值，不同選項的具體含義可自行搜索或者直接詢問deepseek。
模型加載完畢後，就可以盡情地在本地體驗deepseek了。
與此同時，amd instinct gpu加速卡也已經部署集成deepseek v3模型，並優化了sglang性能，支持完整的671b參數，開發者可以藉助amd rocm平台快速、高效地開發ai應用。
1、啟動docker容器
docker run -it --ipc=host --cap-add=sys_ptrace --network=host \
--device=/dev/kfd --device=/dev/dri --security-opt seccomp=unconfined \
--group-add video --privileged -w /workspace lmsysorg/sglang:v0.4.2.post3-rocm630
2、開始使用
(1)、使用cli登陸進入hugging face。
huggingface-cli login
(2)、啟動sglang server，在本地部署deepseekv3 fp8模型。
python3 -m sglang.launch_server --model-path deepseek-ai/deepseek-v3 --port 30000 --tp 8 --trust-remote-code
(3)、服務器啟動後，打開新的終端，發送請求。
curl http://localhost:30000/generate \
-h "content-type: application/json" \
-d '{
"text": "once upon a time,",
"sampling_params": {
"max_new_tokens": 16,
"temperature": 0
}
}'
3、基準測試
export hsa_no_scratch_reclaim=1
python3 -m sglang.bench_one_batch --batch-size 32 --input 128 --output 32 --model deepseek-ai/deepseek-v3 --tp 8 --trust-remote-code
python3 -m sglang.launch_server --model deepseek-ai/deepseek-v3 --tp 8 --trust-remote-code
python3 benchmark/gsm8k/bench_sglang.py --num-questions 2000 --parallel 2000 --num-shots 8
accuracy: 0.952
invalid: 0.000
另外，如果需要bf16精度，可以自行轉換：
cd inference
python fp8_cast_bf16.py --input-fp8-hf-path /path/to/fp8_weights --output-bf16-hf-path /path/to/bf16_weights
