云计算百科
云计算领域专业知识百科平台

华为NPU服务器昇腾Ascend 910B2部署通义千问Qwen2.5——基于mindie镜像一路试错版(三)

文章目录

    • `重要提醒:MINDIE镜像已更新版本,官网相关文档直接被删除了,建议直接移步新版` [昇腾,mindie,镜像,部署vllm:第1篇,安装新的docker 镜像](https://blog.csdn.net/xiezhipu/article/details/145467032) [昇腾,mindie,镜像,部署vllm:第2篇,启动mindieservice_daemon服务,支持对Qwen2.5的7B版本的推理](https://blog.csdn.net/xiezhipu/article/details/145468018)
      • 前言
      • 纯模型推理
      • 启动服务
      • 后面干什么?
      • 这可咋整啊?愁死了!
      • 总结

重要提醒:MINDIE镜像已更新版本,官网相关文档直接被删除了,建议直接移步新版 昇腾,mindie,镜像,部署vllm:第1篇,安装新的docker 镜像 昇腾,mindie,镜像,部署vllm:第2篇,启动mindieservice_daemon服务,支持对Qwen2.5的7B版本的推理

前言

这是咱这个系列的第三个文章了。 毕竟,这是我好几天摸索出的经验,能帮助各位在几个小时内领会,我觉得也算是我的功劳一件了。

所以,一是希望大家耐心看下去,耐心操作下去;而是

赞(0)
未经允许不得转载:网硕互联帮助中心 » 华为NPU服务器昇腾Ascend 910B2部署通义千问Qwen2.5——基于mindie镜像一路试错版(三)
分享到: 更多 (0)

评论 抢沙发

评论前必须登录!