云计算百科
云计算领域专业知识百科平台

79、昇腾系列服务器/昇腾系列推理卡/昇腾系列嵌入式开发板+Dify+one api部署DeepSeek-R1-Distill-Qwen-32BW8A8+RAG本地模型知识库和负载均衡双实例

基本思想:使用昇腾NPU处理芯片+昇腾Mindie推理框架+embeding分词+排序进行dify支撑,对外部客户使用,因为整套华为昇腾处理架构为aarch64位,所以整体docker镜像使用arm镜像,本教程以Atlas 800 9000为基础进行部署和测试,本博客的时间点为2025年2月23日,镜像文件和教程仅限于目前官方支持的驱动版本,后续官方有版本更新,一切以昇腾官网为基准;目前测试昇腾的硬件平台都是支持本文部署,抛开项目背景,进行简要部署记录,所有部署一定要以昇腾的硬件为基础;

第一步:先向昇腾方申请设备,申请到Atlas 800 9000服务器,使用昇腾官方提供的账号和密码保证可以登录上服务器;

(1)更新一下驱动,因为昇腾官方的提供的镜像需要指定版本的驱动固件,下载安装更新 Version: 23.0.rc2将会变更为Version: 23.0.0,下载地址:

赞(0)
未经允许不得转载:网硕互联帮助中心 » 79、昇腾系列服务器/昇腾系列推理卡/昇腾系列嵌入式开发板+Dify+one api部署DeepSeek-R1-Distill-Qwen-32BW8A8+RAG本地模型知识库和负载均衡双实例
分享到: 更多 (0)

评论 抢沙发

评论前必须登录!