PyCharm+ssh跳板机+服务器

文章目录

PyCharm+ssh跳板机+服务器
- 准备工作
- - 登录服务器
  - 查看CUDA
  - 查看conda
  - 创建虚拟环境
- 前言
- 配置ssh免密登录
- 设置ssh隧道
- 配置pycharm
- 测试
- - 第一种
  - 第二种
- 服务器空闲查询
- 传输数据

准备工作

登录服务器

直接ssh连接就行,在终端(命令行)直接输入下面命令:

跳板机：ssh 跳板机用户名@跳板机ip -p 端口号密码：xxx

内网服务器：ssh 内网服务器用户名@内网服务器ip -p 端口号 -i 私钥文件

登陆后再 cd /data0/qiujielv 然后在下面创建一个文件夹里面放自己的代码。在这里插入图片描述

查看CUDA

使用nvidia-smi命令查看CUDA版本：在这里插入图片描述

查看conda

服务器已经提前安装了conda，使用conda –version命令查看conda版本：在这里插入图片描述如果没有安装conda，则还需要安装conda。

创建虚拟环境

这部分参考博客。

输入此条指令创建conda虚拟环境,可以自己更改名称和python版本：

conda create -n 自己输入名称 python=版本号

在这里插入图片描述

输入下行代码激活刚才创建的环境,主要名称要与之前创建时设置的名称相应:

conda activate 名称

例如我们输入conda activate lxl激活刚才创建的虚拟环境：在这里插入图片描述

需要在虚拟环境中重新安装包如jupyter，d2l，这部分跳到配置pycharm镜像源。

同样需要在虚拟环境中安装PyTorch。激活虚拟环境后进入PyTorch官网下载对应版本的pytorch(GPU版本)，服务器是Linux，前面看到CUDA版本为11.4。

首先通过conda list命令看到虚拟环境中没有安装pytorch：在这里插入图片描述下载对应版本的pytorch(使用pip或者conda命令都行，这里用了conda命令)：下载完成：通过conda list命令可以看到虚拟环境中安装了pytorch：

前言

pycharm连接内网服务器必须通过跳板机，这种情况下pycharm的配置则比较复杂，需要使用ssh免密登录和ssh隧道。如果不是内网服务器则pycharm配置比较简单。

下面介绍的都是pycharm通过跳板机连接内网服务器。

配置ssh免密登录

配置跳板机和服务器的免密登录，实现方式有多，这里只列出了一种方式。

在本地配置到本地C:\\Users\\<Administrator>\\.ssh文件夹下找到 config文件(.ssh文件夹没有，就新建个； config文件没有，就新建个)，在config文件中输入以下内容：

Host *
ControlPersist yes
ControlMaster auto
ControlPath ~/.ssh/%n:%p

在这里插入图片描述同时，还需要在 config文件中再添加如下内容：

Host <jump>
HostName <x1.x1.x1.x1>
User <xxx>
Port <xxx>

Host <remote>
HostName <x2.x2.x2.x2>
User <xxx>
Port <xxx>
ProxyCommand ssh –q –W %h:%p <jump>

这里的<jump>是指跳板机，可以改成喜欢的名字，<x1.x1.x1.x1>是跳板机的ip，User、Port都是登录跳板机的所提供的参数；<remote>指服务器，也是命名而已，可以随便改，<x2.x2.x2.x2>是服务器的ip，User、Port都是从跳板机登录服务器所提供的参数。把本地登录跳板机的秘钥都放到.ssh文件夹中。在这里插入图片描述

这里用的是GUI界面，当然也可以使用vim编辑器修改config文件：

vim ~/.ssh/config

完成配置后在本地登录一次跳板机。

登录跳板机：直接打开命令行，输入 ssh 跳板机用户名@跳板机ip -p 端口号。然后回车在这里插入图片描述

登录跳板机，并在跳板机配置

vim ~/.ssh/config

在config文件中输入以下内容:

Host *
ControlPersist yes
ControlMaster auto
ControlPath ~/.ssh/%n:%p

完成配置后在跳板机上登录一次内网服务器。

登录内网服务器： ssh 内网服务器用户名@内网服务器ip -p 端口号 -i 私钥文件

注意需要提前将内网服务器私钥文件放到 .ssh文件夹下。

在这里插入图片描述

设置ssh隧道

在本地命令行输入如下命令即可：

ssh –N –f –L 6000:<内网服务器ip>:22 –p <跳板机端口> username@<跳板机ip> –o TCPKeepAlive=yes

上述命令各个参数的含义如下：

-N 告诉SSH客户端，这个连接不需要执行任何命令。仅仅做端口转发
-f 告诉SSH客户端在后台运行
-L 做本地映射端口

在这里插入图片描述

注意：配置好SSH免密登录后开机便不必再进行配置了，但每次开机都需要重新设置SSH隧道(即在命令行输入上述命令)pycharm才能连接内网服务器。

此时，登录本地的6000端口就相当于登录内网服务器了。

ssh –p 6000 内网服务器用户名@localhost

在这里插入图片描述

配置pycharm

这里配置pycharm是通过跳板机连接内网服务器，而如果pycharm可以直接连接服务器则不需要这么麻烦。

在这里插入图片描述

下面配置python解释器(重要)，首先激活自己的虚拟环境，然后通过conda env list查看所有环境，*表示当前所在环境，记下当前虚拟环境python3.8解释器所在目录，配置pycharm时找到该解释器：在这里插入图片描述

在这里插入图片描述

最终效果：在这里插入图片描述

点击create，等待创建完成。

创建完成后，就通过pycharm连上内网服务器了，可以查看一下：在这里插入图片描述

下面进行一些其他设置，前面提到创建完虚拟环境后需要在虚拟环境中重新安装包如jupyter，d2l。下面在pycharm中配置镜像源：在这里插入图片描述

测试

这里用于测试的代码是：

import torch
import torch.nn as nn
import torchvision
import torchvision.transforms as transforms

# 定义超参数
batch_size = 64
learning_rate = 0.001
num_epochs = 5

# 数据预处理
transform = transforms.Compose([
transforms.ToTensor(),
transforms.Normalize((0.5,), (0.5,))
])

# 加载 MNIST 数据集
train_dataset = torchvision.datasets.MNIST(root='./data', train=True, transform=transform, download=True)
test_dataset = torchvision.datasets.MNIST(root='./data', train=False, transform=transform)

train_loader = torch.utils.data.DataLoader(dataset=train_dataset, batch_size=batch_size, shuffle=True)
test_loader = torch.utils.data.DataLoader(dataset=test_dataset, batch_size=batch_size, shuffle=False)

# 定义神经网络模型
class Net(nn.Module):
def __init__(self):
super(Net, self).__init__()
self.conv1 = nn.Conv2d(1, 16, kernel_size=5)
self.pool = nn.MaxPool2d(2, 2)
self.conv2 = nn.Conv2d(16, 32, kernel_size=5)
self.fc1 = nn.Linear(32 * 4 * 4, 120)
self.fc2 = nn.Linear(120, 84)
self.fc3 = nn.Linear(84, 10)

def forward(self, x):
x = self.pool(torch.relu(self.conv1(x)))
x = self.pool(torch.relu(self.conv2(x)))
x = x.view(–1, 32 * 4 * 4)
x = torch.relu(self.fc1(x))
x = torch.relu(self.fc2(x))
x = self.fc3(x)
return x

model = Net()

# 定义损失函数和优化器
criterion = nn.CrossEntropyLoss()
optimizer = torch.optim.Adam(model.parameters(), lr=learning_rate)

# 训练模型
for epoch in range(num_epochs):
for i, (images, labels) in enumerate(train_loader):
optimizer.zero_grad()
outputs = model(images)
loss = criterion(outputs, labels)
loss.backward()
optimizer.step()

if (i + 1) % 100 == 0:
print(f'Epoch [{epoch + 1}/{num_epochs}], Step [{i + 1}/{len(train_loader)}], Loss: {loss.item()}')

# 测试模型
with torch.no_grad():
correct = 0
total = 0
for images, labels in test_loader:
outputs = model(images)
_, predicted = torch.max(outputs.data, 1)
total += labels.size(0)
correct += (predicted == labels).sum().item()