docker model package

描述将 GGUF 文件打包成 Docker 模型 OCI 工件,可选择添加许可证。
用法docker model package --gguf <路径> [--license <路径>...] [--context-size <令牌数>] [--push] MODEL

描述

将 GGUF 文件打包成 Docker 模型 OCI 工件,可选择添加许可证。除非指定 --push,否则该包将发送到模型运行器。打包分片模型时,--gguf 应指向第一个分片。所有分片文件应位于同一目录,文件名应包含索引(例如 model-00001-of-00015.gguf)。

选项

选项默认值描述
--context-size上下文大小(以令牌为单位)
--ggufgguf 文件的绝对路径(必填)
-l, --license许可证文件的绝对路径
--push推送到注册表(如果未设置,模型将加载到模型运行器内容存储中)
© . This site is unofficial and not affiliated with Kubernetes or Docker Inc.