网硕互联帮助中心API 调用
- 海外版：需要进行 API 基础 URL 设置
- 国内版：无需设置。
本人的服务器在香港，采用海外版的 API 时，需要进行如下API端点配置 / API基础URL设置 / API客户端配置（API Client Configuration）。
# 对于海外账号（包括香港）开通的 api key 都需要
dashscope.base_http_api_url = 'https://dashscope-intl.aliyuncs.com/api/v1'
这行代码在调用通义千问API之前，设置了API的基础URL。这个URL是阿里云提供的国际版通义千问API的端点地址。
技术上讲，这涉及到几个概念：
API端点（API Endpoint）：API服务器的URL地址，客户端通过此地址访问服务
基础URL（Base URL）：API的根路径，所有API请求都会基于这个URL构建
REST API配置：配置RESTful API客户端的地址和行为
在使用不同API密钥时遇到问题，可能是因为：
API密钥与特定区域或端点绑定（例如，一个密钥可能只能用于中国区，另一个只能用于国际区）
需要根据不同的API密钥使用不同的端点URL（例如，国内版和国际版）
本地推理
出现 Floating point exception(核心已转储) 问题：
- 将 torch.bfloat16 改为 torch_dtype=torch.float16 后该问题依然存在。
- 将 torch.bfloat16 改为 torch_dtype=torch.float32 后该问题消失，但一直存在 OOM 的问题。
评论前必须登录！
注册