云计算百科
云计算领域专业知识百科平台

公网算力服务器(AutoDL)部署服务并映射端口相关记录

背景信息介绍         项目中需要使用一些AI能力,诸如当下比较流行的大语言模型、自回归TTS模型、OCR模型等服务,在本地服务器(4090*2)的环境下通过conda进行隔离后成功调用后,需要提供公网环境的调用能力。但是受限于企业或个人的体量和能力不同,目前负担不了阿里云等主流云服务器的算力环境(主要就是贵…)于是找到了平民玩家聚集地AutoDL,于是开始4090单卡包月开启!      ————背景介绍完毕,接下来上菜!———— 1.配置信息: GPU:RTX 4090(24GB) * 1 CPU:16 vCPU Intel(R) Xeon(R) Gold 6430 内存:120GB 硬盘:系统盘:30 GB 数据盘:免费:50GB   付费:50GB 计费方式:包年包月 **(这里不得不吐槽一句!你这系统盘就给30G!稍不留神第一次装就给conda装系统盘里了直接爆表!)** 2.镜像:

        目前试过社区里的各个镜像都不太顺心,然后开的是个基本的ubuntu环境,然后自己一个一个装各种服务。 3.服务名称:

  • 千问2.5-7B
  • GPT-SoVits
  • Paddle-OCR
  • Vllm推理模型框架
  • FunASR服务
  • 4.服务部署步骤(内容太多有空了更新)

    5.端口开发

            上述3操作中的各种服务启动后均在127.0.0.1服务创建了对应的端口号,我们通过SSH命令,使用外部公网服务器(这里是腾讯云服务器)打开CMD窗口后,执行对应端口号的命令,然后输入autoDL服务器的密码,校验通过后CMD窗口内不会出现任何提示消息即表示映射成功。

    如:ssh -CNg -L 8003:0.0.0.0:8003 root@connect.bjb1.seetacloud.com -p 34827

    上述命令表明我在本地的环境下监听了8003的端口,并且指定0.0.0.0这样外部服务可以通过域名或IP调通服务。

    赞(0)
    未经允许不得转载:网硕互联帮助中心 » 公网算力服务器(AutoDL)部署服务并映射端口相关记录
    分享到: 更多 (0)

    评论 抢沙发

    评论前必须登录!