模型

要求： Docker Compose 2.38.0 及更高版本

顶级 models 部分声明了您的 Compose 应用程序使用的 AI 模型。这些模型通常以 OCI 制品的形式拉取，由模型运行器运行，并作为您的服务容器可以使用的 API 暴露。

服务只能在顶级元素 services 中通过 models 属性明确授予访问权限时才能访问模型。

示例

示例 1

services:
  app:
    image: app
    models:
      - ai_model


models:
  ai_model:
    model: ai/model

在这个基本示例中

应用程序服务使用 ai_model。
ai_model 被定义为一个 OCI 制品 (ai/model)，由模型运行器拉取和提供服务。
Docker Compose 将连接信息（例如 AI_MODEL_URL）注入容器。

示例 2

services:
  app:
    image: app
    models:
      my_model:
        endpoint_var: MODEL_URL

models:
  my_model:
    model: ai/model
    context_size: 1024
    runtime_flags: 
      - "--a-flag"
      - "--another-flag=42"

在这个高级设置中

服务应用程序使用长语法引用 my_model。
Compose 将模型运行器的 URL 作为环境变量 MODEL_URL 注入。

属性

model (必填)：模型的 OCI 制品标识符。这是 Compose 通过模型运行器拉取和运行的内容。
context_size：定义模型的最大令牌上下文大小。
runtime_flags：模型启动时传递给推理引擎的原始命令行标志列表。

其他资源

有关使用 model 的更多示例和信息，请参阅在 Compose 中使用 AI 模型