华为NPU服务器昇腾Ascend 910B2部署通义千问Qwen2.5——基于mindie镜像一路试错版（一）

文章目录

• • `重要提醒：MINDIE镜像已更新版本，官网相关文档直接被删除了，建议直接移步新版` [昇腾，mindie，镜像，部署vllm：第1篇，安装新的docker 镜像](https://blog.csdn.net/xiezhipu/article/details/145467032) [昇腾，mindie，镜像，部署vllm：第2篇，启动mindieservice_daemon服务，支持对Qwen2.5的7B版本的推理](https://blog.csdn.net/xiezhipu/article/details/145468018)
  • • • 引言
      • 什么是NPU？什么是昇腾Ascend 910B2？
      • 官方参考文档：昇腾社区
      • 昇腾推理引擎[mindie](https://www.hiascend.com/developer/ascendhub/detail/af85b724a7e5469ebd7ea13c3439d48f)
      • 环境准备
      • 镜像获取
      • 模型权重文件下载
      • 结论
      • 结论

重要提醒：MINDIE镜像已更新版本，官网相关文档直接被删除了，建议直接移步新版 昇腾，mindie，镜像，部署vllm：第1篇，安装新的docker 镜像 昇腾，mindie，镜像，部署vllm：第2篇，启动mindieservice_daemon服务，支持对Qwen2.5的7B版本的推理

引言

最近单位给整了一台上面带8块昇腾Ascend 910B2的服务器，现在需要在上面部署通义千问的Qwen2.5。

然后就开始各种网上找资料，各种踩坑。如今终于跑通了，就想从头记录一下。