跳到主要内容

如何管理LLM？

创建LLM​

  1. 登录 SERVICEME 平台；
  2. 切换到"管理"模块；
  3. 访问"Agent 管理 > 模型管理"，进入模型卡片列表；
  4. 点击新增，进入添加模型页面

添加模型​

  • 名称，模型显示名。例：GPT-5
  • 描述，这个模型的简单说明。例： GPT-5是OpenAI于2025年8月发布的人工智能语言模型，整合了GPT系列的大语言处理能力与o系列的深度推理功能，可实现子模型调度及复杂任务处理。
  • 厂商，提供这个模型服务的厂商或平台。例：Azure，硅基流动
  • Provider标识，模型的参数风格。一般选OpenAI即可。
  • 模型类型，模型是文本模型还是Embedding模型等
  • 模型能力，模型具备的能力类型，选择后会影响模型在Agent中的使用场景
  • 最大Token数，模型支持输入的最大Token数量,默认值为10万
  • 币种，模型计费的币种单位
  • 每百万输入 Token 单价，模型处理输入 Token 的费用
  • 每百万输出 Token 单价，模型生成输出 Token 的费用
  • 温度，温度设置越高，随机性越大，从而增强了Agent 生成更具创意输出的能力。某些模型的温度必须设为1，比如GPT5
  • 顶部 P，提高 top P 扩展了Agent 的词汇范围，从而提升回复的多样性。然而，这可能会降低语义的一致性。相反，降低 top P 将增强逻辑一致性。某些模型的顶部 P 必须设为1，比如GPT5

添加模型客户端​

添加完模型后，还需要为这个模型添加一个客户端（提供模型能力的平台或服务器）才能使用该模型。

  1. 点击进入刚刚添加的模型；
  2. 点击右上角的新建Client按钮；

新建Client​

  • Provider标识，模型的参数风格。一般选OpenAI即可。
  • 名称，这个平台或服务器的名称，例如oai-eastus2
  • 部署名称，在平台上部署的模型名称，后续调用模型时model字段要传的值。例如gpt-5-deployment，Qwen/Qwen3-VL-235B-A22B-Instruct
  • Base URL，这个平台或服务器的基地址
  • API Key，调用这个模型所需的密钥
  • 权重，当有多个Client时，权重越高被调用的概率越大
  • 优先级，当有多个Client时，优先级越高越先被调用，如果优先级相同则主要看权重
  • 启用，必须启用后才能使用
  1. 填写完毕后，点击保存即可完成Client的创建
  2. 可以在模型详情页看到刚刚创建的Client列表，点击测试按钮可以测试Client是否能正常调用模型