在CentOS服务器上部署DeepSeek R1

在CentOS服务器上部署DeepSeek R1，并通过公网IP与其进行对话，可以按照以下步骤操作：

一、环境准备 系统要求： CentOS 8+（需支持AVX512指令集）。 硬件配置： GPU版本：NVIDIA驱动520+，CUDA 11.8+。 CPU版本：至少16核处理器，64GB内存。 存储空间：原始模型需要30GB，量化后约8-20GB。 安装基础工具： 更新系统并安装必要的编译工具：

一定要买GPU服务器。

sudo yum update -y
sudo yum install -y cmake g++ python3-devel

二、安装Ollama及DeepSeek R1模型 安装Ollama核心组件： curl -fsSL https://ollama.com/install.sh | sh 这里的下载速度可能会特别慢，建议自己配hosts。

安装模型转换工具：

pip3.8 install llama-cpp-python[server] –extra-index-url https://abetlen.github.io/llama-cpp-python/whl/cpu

这一步可能依赖版本，g++版本不兼容一直导致报错，建议通过docker方式进行部署。 我自己用的是pip3.8，可根据pip版本自行调整。

下载DeepSeek R1原始模型：