Atlas 800 9000训练服务器（910A）本地部署Deepseek蒸馏版

硬件资源

• 910A服务器
• 固件、驱动、CANN配套安装（详细教程移步主页）
• 需安装Docker
• 教程适用于 DeepSeek 开源项目的所有蒸馏版本

下载权重

DeepSeek蒸馏版下载清单：

• DeepSeek-R1-Distill-Qwen-1.5B
• DeepSeek-R1-Distill-Qwen-32B
• DeepSeek-R1-Distill-Qwen-7B
• DeepSeek-R1-Distill-Llama-8B
• DeepSeek-R1Distill-Lama-70B

详细可见官网：

ModelScope-deepseek-模型仓

请选择您需要的模型，然后进入该模型的主页开始下载。以下以 DeepSeek-R1-Distill-Qwen-14B 为例进行说明。 DeepSeek-R1-Distill-Qwen-14B 模型权重下载地址： DeepSeek-R1-Distill-Qwen-14B

• 请点击网页中的“下载模型”按钮进行下载。
• 在操作环境中 pip install modelscope
• 命令行下载完整模型库 modelscope download –model deepseek-ai/DeepSeek-R1-Distill-Qwen-14B
• 如需指定下载地址 modelscope download –model deepseek-ai/DeepSeek-R1-Distill-Qwen-14B –local_dir \’./local_dir\’ 。模型文件将被下载在’./local_dir’中
• 如果需要下载私有模型要login登陆，然后使用ModelScope SDK下载私有模型。

下载推理服务镜像-MindIE

该镜像拉取即可使用MindIE，无需其他配置！ MindIE-910A镜像链接

版本信息

Python版本：3.10 CANN版本：8.0.t63 操作系统版本：ubuntu_20.04

推荐卡数

• Qwen2-72B-W8A8 4卡
• Qwen2.5-32B-W8A8 2卡
• Qwen2-7B 1卡

启动镜像与容器

docker pull swr.cn-central-221.ovaijisuan.com/wh-aicc-fae/mindie:910A-ascend_24.1.rc3-cann_8.0.t63-py_3.10-ubuntu_20.04-aarch64-mindie_1.0.T71.02

启动命令

参考命令：

！！！记得挂载自己的权重路径

docker run -it –ipc=host –net=host \\
–name MindIE \\
–device=/dev/davinci0 \\
–device=/dev/davinci1 \\
–device=/dev/davinci_manager