docker model package
| 描述 | 将 GGUF 文件打包成 Docker 模型 OCI 工件,可选择添加许可证。 |
|---|---|
| 用法 | docker model package --gguf <路径> [--license <路径>...] [--context-size <令牌数>] [--push] MODEL |
描述
将 GGUF 文件打包成 Docker 模型 OCI 工件,可选择添加许可证。除非指定 --push,否则该包将发送到模型运行器。打包分片模型时,--gguf 应指向第一个分片。所有分片文件应位于同一目录,文件名应包含索引(例如 model-00001-of-00015.gguf)。
选项
| 选项 | 默认值 | 描述 |
|---|---|---|
--context-size | 上下文大小(以令牌为单位) | |
--gguf | gguf 文件的绝对路径(必填) | |
-l, --license | 许可证文件的绝对路径 | |
--push | 推送到注册表(如果未设置,模型将加载到模型运行器内容存储中) |