基本思想:使用昇腾NPU处理芯片+昇腾Mindie推理框架+embeding分词+排序进行dify支撑,对外部客户使用,因为整套华为昇腾处理架构为aarch64位,所以整体docker镜像使用arm镜像,本教程以Atlas 800 9000为基础进行部署和测试,本博客的时间点为2025年2月23日,镜像文件和教程仅限于目前官方支持的驱动版本,后续官方有版本更新,一切以昇腾官网为基准;目前测试昇腾的硬件平台都是支持本文部署,抛开项目背景,进行简要部署记录,所有部署一定要以昇腾的硬件为基础;
第一步:先向昇腾方申请设备,申请到Atlas 800 9000服务器,使用昇腾官方提供的账号和密码保证可以登录上服务器;
(1)更新一下驱动,因为昇腾官方的提供的镜像需要指定版本的驱动固件,下载安装更新 Version: 23.0.rc2将会变更为Version: 23.0.0,下载地址:
评论前必须登录!
注册