四类负载

推理服务

指定模型版本即可发布,权重挂载与流量接入由平台维护。

推理服务是常驻服务负载:你交出去的是一个模型版本,平台负责起容器、 挂权重、接流量、维护副本。

发布

在「推理服务」里新建,从模型仓库选一个版本,选择推理引擎与规格。 平台会给出一个可调用的地址。

副本与状态

服务列表会显示在服务的副本数与异常状态(副本没齐、新版本卡住)。 这些是需要人处理的信号,会同时出现在概览页的待办里。