Skip to content

模型厂商配置 ​

一、功能介绍 ​

模型厂商用于维护大模型服务的连接信息,模型配置用于维护具体可调用的模型。AI 对话、知识库问答、智能问数、协议适配、物模型生成和需求评估都会依赖这里的配置。

简单理解:厂商决定“连到哪里、用什么密钥”,模型决定“调用哪个模型、使用什么默认参数”。

二、操作路径 ​

text
AI 赋能 > 厂商管理
AI 赋能 > 模型管理

不同版本菜单名称可能略有差异,以实际管理端为准。

三、配置前准备 ​

配置前请先准备:

  1. 模型服务账号或内网模型服务地址。
  2. API Base URL,例如公网模型地址、网关地址或内网 Ollama 地址。
  3. API Key 或平台要求的访问密钥。
  4. 需要调用的模型名称或模型编码。
  5. 当前环境的网络连通性、代理策略和额度限制。

如果是内网私有化部署,建议先在服务器上验证后端可以访问模型服务,再到页面中配置。

四、厂商配置 ​

字段说明使用建议
厂商编码系统识别厂商适配器的编码以页面下拉为准,常见如 QWEN、DEEPSEEK、OPENAI、AZURE_OPENAI、OLLAMA 等
厂商名称页面展示名称建议包含厂商、环境或用途,如 通义千问-生产
区域档位区分国内、海外、私有化等区域策略按实际模型服务所在地和网络策略选择
API 基础地址模型服务 Base URL使用厂商文档给出的接口地址,内网部署填写内网地址
鉴权方式调用模型服务时使用的鉴权方式以页面选项为准,需与厂商要求一致
API Key模型服务访问密钥保存后不会作为明文回显,只由管理员维护
扩展配置特殊厂商参数或网关参数没有特殊要求可留空
排序页面展示顺序多个厂商时按常用程度排序
状态是否启用停用后该厂商下的模型不可继续调用
备注补充说明可记录额度、负责人、环境、注意事项

提示

API Key 属于敏感信息。不要把包含密钥的页面截图、接口日志或配置文件发送到公开群组。

五、模型配置 ​

字段说明使用建议
所属厂商模型归属的厂商先创建并启用厂商,再添加模型
模型编码对应厂商大模型的编码必须与厂商模型实际支持的名称一致,一般是小写
模型名称厂商侧真实模型名必须与厂商实际支持的名称一致
模型类型模型能力分类以页面下拉为准,至少需要一个可对话模型
上下文长度模型单次可处理的上下文规模按厂商模型规格填写,避免填得过大导致调用失败
默认推理参数模型调用时默认使用的 JSON 参数可设置温度、TopP、最大输出等参数
是否默认是否作为默认模型同一类能力建议只保留一个默认模型,便于自动路由
状态是否启用停用后该模型不会被新请求调用
备注补充说明可记录模型用途、价格、额度、适用场景

默认推理参数可按模型厂商支持情况填写,例如:

json
{
  "temperature": 0.2,
  "topP": 0.8,
  "maxTokens": 2048
}

运维问答、平台助手、协议解析等场景通常建议降低随机性,让回答更稳定;创作类或说明类内容可以适当提高随机性。

六、推荐配置流程 ​

  1. 新增厂商,填写厂商编码、API 地址、鉴权方式和 API Key。
  2. 启用厂商。
  3. 新增模型,选择所属厂商。
  4. 填写模型编码、模型名称、模型类型、上下文长度和默认参数。
  5. 将常用模型设置为默认并启用。
  6. 进入 AI 对话,发送简单问题验证返回。
  7. 再验证平台助手、知识库问答、协议适配等业务能力。

七、验收检查 ​

检查项通过标准
厂商状态页面显示启用,API 地址和鉴权方式正确
密钥有效性AI 对话不会返回鉴权失败
模型名称模型服务能够识别,不返回模型不存在
默认模型自动识别或平台助手可以正常选到模型
参数配置响应长度、速度和稳定性符合预期
业务验证知识库问答、智能问数或协议适配能正常进入 AI 流程

八、常见问题 ​

1. 返回鉴权失败 ​

检查 API Key 是否正确、是否过期、是否有对应模型权限;同时确认鉴权方式与厂商要求一致。

2. 提示模型不存在 ​

检查模型名称是否与厂商后台完全一致,尤其是大小写、版本号、区域限制和部署名称。Azure OpenAI 等服务通常需要填写部署名。

3. AI 对话无响应或响应很慢 ​

优先检查服务器到模型服务的网络连通性、代理设置、模型服务区域、最大输出长度和厂商额度。如果使用内网模型,也要确认服务端口和访问路径正确。

4. 知识库或协议适配不可用 ​

先确认基础对话模型可用,再检查知识库是否已构建并发布、协议资料是否解析成功、相关业务开关是否开启。

5. 回答不稳定 ​

可以降低 temperature,适当减少最大输出长度,并补充更明确的知识库内容。对于平台操作、协议解析、需求评估等场景,建议使用更稳定的参数。

九、使用建议 ​

  • 生产环境和测试环境建议使用不同厂商或不同 API Key,便于控制费用和风险。
  • 多厂商并存时,先明确默认模型,避免业务调用落到不符合预期的模型上。
  • 切换默认模型前,先在 AI 对话中验证质量、速度、费用和上下文长度。
  • 不建议在演示环境配置生产密钥。

蜂信物联 | fastbee.cn