Ollama 模型文件

[!注意]Modelfile语法正在开发中ollama.cadn.net.cn

模型文件是创建和与 Ollama 共享模型的蓝图。ollama.cadn.net.cn

目录

• 格式
• 示例
• 指令
  • FROM （必填）
    • 从现有模型构建
    • 从 Safetensors 模型构建
    • 从 GGUF 文件构建
  • 参数
    • 有效参数和值
  • 模板
    • 模板变量
  • 系统
  • 适配器
  • 许可证
  • 消息
• 笔记

格式

的Modelfile:ollama.cadn.net.cn

# comment
INSTRUCTION arguments

示例

基本Modelfile

一个Modelfile创建 Mario 蓝图：ollama.cadn.net.cn

FROM llama3.2
# sets the temperature to 1 [higher is more creative, lower is more coherent]
PARAMETER temperature 1
# sets the context window size to 4096, this controls how many tokens the LLM can use as context to generate the next token
PARAMETER num_ctx 4096

# sets a custom system message to specify the behavior of the chat assistant
SYSTEM You are Mario from super mario bros, acting as an assistant.

要使用它：ollama.cadn.net.cn

1. 将其另存为文件（例如Modelfile)
2. ollama create choose-a-model-name -f <location of the file e.g. ./Modelfile>
3. ollama run choose-a-model-name
4. 开始使用该模型！

要查看给定模型的 Modelfile，请使用ollama show --modelfile命令。ollama.cadn.net.cn

ollama show --modelfile llama3.2

输出：ollama.cadn.net.cn

# Modelfile generated by "ollama show"
# To build a new Modelfile based on this one, replace the FROM line with:
# FROM llama3.2:latest
FROM /Users/pdevine/.ollama/models/blobs/sha256-00e1317cbf74d901080d7100f57580ba8dd8de57203072dc6f668324ba545f29
TEMPLATE """<|start_header_id|>system<|end_header_id|>

<|eot_id|><|start_header_id|>user<|end_header_id|>

<|eot_id|><|start_header_id|>assistant<|end_header_id|>

<|eot_id|>"""
PARAMETER stop "<|start_header_id|>"
PARAMETER stop "<|end_header_id|>"
PARAMETER stop "<|eot_id|>"
PARAMETER stop "<|reserved_special_token"

指令

FROM （必填）

这FROM指令 定义创建模型时要使用的基本模型。ollama.cadn.net.cn

FROM <model name>:<tag>

从现有模型构建

FROM llama3.2

可用基本型号列表：https://github.com/ollama/ollama#model-library 其他型号可在以下位置找到：https://ollama.com/libraryollama.cadn.net.cn

从 Safetensors 模型构建

FROM <model directory>

model 目录应包含受支持架构的 Safetensors 权重。ollama.cadn.net.cn

当前支持的模型架构：ollama.cadn.net.cn

• ParLlama（包括 Llama 2、Llama 3、Llama 3.1 和 Llama 3.2）
• Mistral （包括 Mistral 1、Mistral 2 和 Mixtral）
• Gemma（包括 Gemma 1 和 Gemma 2）
• PHI3

从 GGUF 文件构建

FROM ./ollama-model.gguf

GGUF 文件位置应指定为绝对路径或相对于Modelfile位置。ollama.cadn.net.cn

参数

这PARAMETER指令 定义一个参数，该参数可以在模型运行时设置。ollama.cadn.net.cn

PARAMETER <parameter> <parametervalue>

有效参数和值

模板

TEMPLATE的完整提示模板。它可能包括（可选）系统消息、用户消息和来自模型的响应。注意：语法可能特定于模型。模板使用 Go 模板语法。ollama.cadn.net.cn

模板变量

TEMPLATE """{{ if .System }}<|im_start|>system
{{ .System }}<|im_end|>
{{ end }}{{ if .Prompt }}<|im_start|>user
{{ .Prompt }}<|im_end|>
{{ end }}<|im_start|>assistant
"""

系统

这SYSTEMinstruction 指定要在模板中使用的系统消息（如果适用）。ollama.cadn.net.cn

SYSTEM """<system message>"""

适配器

这ADAPTER指令 指定应应用于基本模型的微调 LoRA 适配器。适配器的值应该是绝对路径或相对于 Modelfile 的路径。基本模型应使用FROM指令。如果基本模型与调整适配器的基本模型不同，则行为将不稳定。ollama.cadn.net.cn

Safetensor 适配器

ADAPTER <path to safetensor adapter>

当前支持的 Safetensor 适配器：ollama.cadn.net.cn

• ParLlama（包括 Llama 2、Llama 3 和 Llama 3.1）
• Mistral （包括 Mistral 1、Mistral 2 和 Mixtral）
• Gemma（包括 Gemma 1 和 Gemma 2）

GGUF 适配器

ADAPTER ./ollama-lora.gguf

许可证

这LICENSE指令允许您指定共享或分发与此 Modelfile 一起使用的模型的合法许可证。ollama.cadn.net.cn

LICENSE """
<license text>
"""

消息

这MESSAGE指令允许您为模型指定响应时使用的消息历史记录。使用 MESSAGE 命令的多次迭代来构建对话，这将指导模型以类似的方式回答。ollama.cadn.net.cn

MESSAGE <role> <message>

有效角色

示例对话

MESSAGE user Is Toronto in Canada?
MESSAGE assistant yes
MESSAGE user Is Sacramento in Canada?
MESSAGE assistant no
MESSAGE user Is Ontario in Canada?
MESSAGE assistant yes

笔记

• 这Modelfile不区分大小写.在示例中，使用大写指令来更容易将其与参数区分开来。
• 说明可以按任何顺序排列。在示例中，FROM指令首先要保持它易于阅读。