Docker 模型运行器

Docker 模型运行器 (DMR) 使使用 Docker 管理、运行和部署 AI 模型变得容易。Docker 模型运行器专为开发人员设计，简化了直接从 Docker Hub 或任何符合 OCI 标准的注册表拉取、运行和提供大型语言模型 (LLM) 和其他 AI 模型的过程。

通过与 Docker Desktop 和 Docker Engine 无缝集成，您可以通过兼容 OpenAI 的 API 提供模型，将 GGUF 文件打包为 OCI 工件，并通过命令行和图形界面与模型进行交互。

无论您是构建生成式 AI 应用程序、试验机器学习工作流，还是将 AI 集成到您的软件开发生命周期中，Docker 模型运行器都提供了一种一致、安全、高效的方式来在本地处理 AI 模型。

关键特性

• 从 Docker Hub 拉取和推送模型
• 通过兼容 OpenAI 的 API 提供模型，以便与现有应用程序轻松集成
• 将 GGUF 文件打包为 OCI 工件并将其发布到任何容器注册表
• 直接从命令行或 Docker Desktop GUI 运行 AI 模型并与其交互
• 管理本地模型并显示日志
• 显示提示和响应详细信息

要求

Docker 模型运行器支持以下平台

Docker 模型运行器的工作原理

模型在首次使用时从 Docker Hub 拉取并存储在本地。它们仅在运行时收到请求时才加载到内存中，并在不使用时卸载以优化资源。由于模型可能很大，因此首次拉取可能需要一些时间。之后，它们将本地缓存以加快访问速度。您可以使用兼容 OpenAI 的 API 与模型进行交互。

提示

使用 Testcontainers 或 Docker Compose？适用于 Java 的 Testcontainers 和Go，以及Docker Compose 现在支持 Docker 模型运行器。

已知问题

docker model 未识别

如果您运行 Docker 模型运行器命令并看到

docker: 'model' is not a docker command

这意味着 Docker 找不到该插件，因为它不在预期的 CLI 插件目录中。

要解决此问题，请创建符号链接，以便 Docker 可以检测到它

$ ln -s /Applications/Docker.app/Contents/Resources/cli-plugins/docker-model ~/.docker/cli-plugins/docker-model

链接后，重新运行命令。

模型 CLI 中没有一致的摘要支持

Docker Model CLI 目前缺乏对按镜像摘要指定模型的一致支持。作为临时解决方案，您应该按名称而不是摘要来引用模型。

分享反馈

感谢您试用 Docker 模型运行器。请通过“**启用 Docker 模型运行器**”设置旁边的“**提供反馈**”链接提供反馈或报告您发现的任何错误。

后续步骤

DMR 入门