云计算百科
云计算领域专业知识百科平台

AnytingLLM访问服务器上本地deepseek,并构建自己知识库

在ubuntu服务器上部署了deepseek,想要通过windows客户端访问,便使用了AnytingLLM,不但可以使用服务器上AI模型,还可以根据自己准备的数据文档进行“微调”,下面是教程;

如何在服务器上部署本地deepseek可访问:ollama部署本地deepseek,教程详细(ubuntu环境)-CSDN博客

安装AnytingLLM

下载地址:Download AnythingLLM for Desktop

点击下一步

点击浏览修改安装目录,点击安装

点击完成,启动

配置AnytingLLM

输入你自己邮箱进行验证,或点击下方跳过。

工作区的话新建一个文件夹,把路径复制进去。

添加ollama

下面标红的地方是进行设置模型和ollama所在服务器连接的。

点击①,通用设置工作区已经设置了,也可以更改。

别忘了保存,在最下方。

点击返回,再点击下方小扳手按钮。

点击①首选项,点击②LLM供应商选择ollama,在③处选择安装ollama的服务器的ip和地址。

因为windows充当客户端,Ubuntu充当服务器,AnythingLLM和ollama不在一台设备上,这时候还要做一些处理。

配置局域网连接

首先打开Ollama的配置文件

sudo gedit /etc/systemd/system/ollama.service

[Service]下面加上:ollama默认端口是11434;

Environment="OLLAMA_HOST=0.0.0.0:11434"

然后查看防火墙状态:windows和 Ubuntu防火墙都关了就行;

然后更新并重新启动ollama:

sudo systemctl daemon-reload
sudo systemctl enable ollama
sudo systemctl restart ollama

这时候应该就能通过AnythingLLM访问服务器上Ollama了。

构建本地知识库

①点击上传资料;

点击①打开目录上传,点击②选中,点击③移动到工作空间。

 红框中就是添加的文档,点击下方save保存。

这样就添加成功了。

这是使用

赞(0)
未经允许不得转载:网硕互联帮助中心 » AnytingLLM访问服务器上本地deepseek,并构建自己知识库
分享到: 更多 (0)

评论 抢沙发

评论前必须登录!