应用程序接口

端点

生成完成
生成聊天完成
创建模型
列出本地模型
显示模型信息
复制模型
删除模型
拉取模型
推送模型
生成嵌入
列出正在运行的模型
版本

约定

模型名称

模型名称遵循model:tag格式，其中model可以具有可选的命名空间，例如example/model.一些例子是orca-mini:3b-q4_1和llama3:70b.该标签是可选的，如果未提供，则默认为latest.该标签用于标识特定版本。ollama.cadn.net.cn

持续时间

所有持续时间均以纳秒为单位返回。ollama.cadn.net.cn

流式处理响应

某些终端节点将响应作为 JSON 对象流式传输。可以通过提供{"stream": false}对于这些终端节点。ollama.cadn.net.cn

生成完成

POST /api/generate

使用提供的模型为给定提示生成响应。这是一个流式处理终结点，因此将有一系列响应。最终响应对象将包含来自请求的统计信息和其他数据。ollama.cadn.net.cn

参数

model：（必需）模型名称
prompt：生成响应的提示
suffix：模型响应后的文本
images：（可选）base64 编码图像列表（对于多模态模型，例如llava)

高级参数（可选）：ollama.cadn.net.cn

format：返回响应的格式。格式可以是json或 JSON 架构
options：Modelfile 文档中列出的其他模型参数，例如temperature
system：系统消息更改为（覆盖Modelfile)
template：要使用的提示模板（覆盖Modelfile)
stream：如果false响应将作为单个响应对象返回，而不是对象流
raw：如果true不会对提示应用任何格式。您可以选择使用raw参数（如果要在对 API 的请求中指定完整模板化提示）
keep_alive：控制模型在请求后加载到内存中的时间（默认值：5m)
context（已弃用）：从上一个请求返回的 context 参数/generate，这可用于保持简短的对话记忆

结构化输出

通过在format参数。该模型将生成与架构匹配的响应。请参阅下面的结构化输出示例。ollama.cadn.net.cn

JSON 模式

通过设置format参数设置为json.这会将响应构建为有效的 JSON 对象。请参阅下面的 JSON 模式示例。ollama.cadn.net.cn

[!重要] 请务必指示模型在prompt.否则，模型可能会生成大量空格。ollama.cadn.net.cn

示例

生成请求（Streaming）

请求

curl http://localhost:11434/api/generate -d '{
  "model": "llama3.2",
  "prompt": "Why is the sky blue?"
}'

响应

返回 JSON 对象流：ollama.cadn.net.cn

{
  "model": "llama3.2",
  "created_at": "2023-08-04T08:52:19.385406455-07:00",
  "response": "The",
  "done": false
}

流中的最终响应还包括有关生成的其他数据：ollama.cadn.net.cn

total_duration：生成响应所花费的时间
load_duration：加载模型所花费的时间（以纳秒为单位）
prompt_eval_count：提示中的令牌数
prompt_eval_duration：评估提示所花费的时间（以纳秒为单位）
eval_count：响应中的令牌数
eval_duration：生成响应所花费的时间（以纳秒为单位）
context：此响应中使用的对话的编码，可以在下一个请求中发送以保持对话记忆
response：如果响应是流式的，则为空，如果未流式响应，则此响应将包含完整的响应

要计算以每秒令牌数（token/s）为单位生成响应的速度，请除以eval_count / eval_duration * 10^9.ollama.cadn.net.cn

{
  "model": "llama3.2",
  "created_at": "2023-08-04T19:22:45.499127Z",
  "response": "",
  "done": true,
  "context": [1, 2, 3],
  "total_duration": 10706818083,
  "load_duration": 6338219291,
  "prompt_eval_count": 26,
  "prompt_eval_duration": 130079000,
  "eval_count": 259,
  "eval_duration": 4232710000
}

请求（无流式处理）

请求

当流式传输关闭时，可以在一个回复中收到响应。ollama.cadn.net.cn

curl http://localhost:11434/api/generate -d '{
  "model": "llama3.2",
  "prompt": "Why is the sky blue?",
  "stream": false
}'

响应

如果stream设置为false，响应将是单个 JSON 对象：ollama.cadn.net.cn

{
  "model": "llama3.2",
  "created_at": "2023-08-04T19:22:45.499127Z",
  "response": "The sky is blue because it is the color of the sky.",
  "done": true,
  "context": [1, 2, 3],
  "total_duration": 5043500667,
  "load_duration": 5025959,
  "prompt_eval_count": 26,
  "prompt_eval_duration": 325953000,
  "eval_count": 290,
  "eval_duration": 4709213000
}

请求（带后缀）

请求

curl http://localhost:11434/api/generate -d '{
  "model": "codellama:code",
  "prompt": "def compute_gcd(a, b):",
  "suffix": "    return result",
  "options": {
    "temperature": 0
  },
  "stream": false
}'

响应

{
  "model": "codellama:code",
  "created_at": "2024-07-22T20:47:51.147561Z",
  "response": "\n  if a == 0:\n    return b\n  else:\n    return compute_gcd(b % a, a)\n\ndef compute_lcm(a, b):\n  result = (a * b) / compute_gcd(a, b)\n",
  "done": true,
  "done_reason": "stop",
  "context": [...],
  "total_duration": 1162761250,
  "load_duration": 6683708,
  "prompt_eval_count": 17,
  "prompt_eval_duration": 201222000,
  "eval_count": 63,
  "eval_duration": 953997000
}

请求（结构化输出）

请求

curl -X POST http://localhost:11434/api/generate -H "Content-Type: application/json" -d '{
  "model": "llama3.1:8b",
  "prompt": "Ollama is 22 years old and is busy saving the world. Respond using JSON",
  "stream": false,
  "format": {
    "type": "object",
    "properties": {
      "age": {
        "type": "integer"
      },
      "available": {
        "type": "boolean"
      }
    },
    "required": [
      "age",
      "available"
    ]
  }
}'

响应

{
  "model": "llama3.1:8b",
  "created_at": "2024-12-06T00:48:09.983619Z",
  "response": "{\n  \"age\": 22,\n  \"available\": true\n}",
  "done": true,
  "done_reason": "stop",
  "context": [1, 2, 3],
  "total_duration": 1075509083,
  "load_duration": 567678166,
  "prompt_eval_count": 28,
  "prompt_eval_duration": 236000000,
  "eval_count": 16,
  "eval_duration": 269000000
}

请求（JSON 模式）

[!重要] 什么时候format设置为json，则输出将始终是格式正确的 JSON 对象。指示模型以 JSON 格式响应也很重要。ollama.cadn.net.cn

请求

curl http://localhost:11434/api/generate -d '{
  "model": "llama3.2",
  "prompt": "What color is the sky at different times of the day? Respond using JSON",
  "format": "json",
  "stream": false
}'

响应

{
  "model": "llama3.2",
  "created_at": "2023-11-09T21:07:55.186497Z",
  "response": "{\n\"morning\": {\n\"color\": \"blue\"\n},\n\"noon\": {\n\"color\": \"blue-gray\"\n},\n\"afternoon\": {\n\"color\": \"warm gray\"\n},\n\"evening\": {\n\"color\": \"orange\"\n}\n}\n",
  "done": true,
  "context": [1, 2, 3],
  "total_duration": 4648158584,
  "load_duration": 4071084,
  "prompt_eval_count": 36,
  "prompt_eval_duration": 439038000,
  "eval_count": 180,
  "eval_duration": 4196918000
}

的值response将是包含 JSON 的字符串，类似于：ollama.cadn.net.cn

{
  "morning": {
    "color": "blue"
  },
  "noon": {
    "color": "blue-gray"
  },
  "afternoon": {
    "color": "warm gray"
  },
  "evening": {
    "color": "orange"
  }
}

请求（带图片）

要将图像提交到多模态模型，例如llava或bakllava，提供 base64 编码的列表images:ollama.cadn.net.cn

请求

curl http://localhost:11434/api/generate -d '{
  "model": "llava",
  "prompt":"What is in this picture?",
  "stream": false,
  "images": ["******"]
}'

响应

{
  "model": "llava",
  "created_at": "2023-11-03T15:36:02.583064Z",
  "response": "A happy cartoon character, which is cute and cheerful.",
  "done": true,
  "context": [1, 2, 3],
  "total_duration": 2938432250,
  "load_duration": 2559292,
  "prompt_eval_count": 1,
  "prompt_eval_duration": 2195557000,
  "eval_count": 44,
  "eval_duration": 736432000
}

请求（Raw 模式）

在某些情况下，您可能希望绕过模板系统并提供完整提示。在这种情况下，您可以使用raw参数来禁用模板。另请注意，raw 模式不会返回上下文。ollama.cadn.net.cn

请求

curl http://localhost:11434/api/generate -d '{
  "model": "mistral",
  "prompt": "[INST] why is the sky blue? [/INST]",
  "raw": true,
  "stream": false
}'

请求（可重现的输出）

对于可重现的输出，请将seed转换为数字：ollama.cadn.net.cn

请求

curl http://localhost:11434/api/generate -d '{
  "model": "mistral",
  "prompt": "Why is the sky blue?",
  "options": {
    "seed": 123
  }
}'

响应

{
  "model": "mistral",
  "created_at": "2023-11-03T15:36:02.583064Z",
  "response": " The sky appears blue because of a phenomenon called Rayleigh scattering.",
  "done": true,
  "total_duration": 8493852375,
  "load_duration": 6589624375,
  "prompt_eval_count": 14,
  "prompt_eval_duration": 119039000,
  "eval_count": 110,
  "eval_duration": 1779061000
}

生成请求（带选项）

如果要在运行时而不是在 Modelfile 中为模型设置自定义选项，可以使用options参数。此示例设置所有可用选项，但您可以单独设置其中任何一个选项，并省略您不想覆盖的选项。ollama.cadn.net.cn

请求

curl http://localhost:11434/api/generate -d '{
  "model": "llama3.2",
  "prompt": "Why is the sky blue?",
  "stream": false,
  "options": {
    "num_keep": 5,
    "seed": 42,
    "num_predict": 100,
    "top_k": 20,
    "top_p": 0.9,
    "min_p": 0.0,
    "typical_p": 0.7,
    "repeat_last_n": 33,
    "temperature": 0.8,
    "repeat_penalty": 1.2,
    "presence_penalty": 1.5,
    "frequency_penalty": 1.0,
    "mirostat": 1,
    "mirostat_tau": 0.8,
    "mirostat_eta": 0.6,
    "penalize_newline": true,
    "stop": ["\n", "user:"],
    "numa": false,
    "num_ctx": 1024,
    "num_batch": 2,
    "num_gpu": 1,
    "main_gpu": 0,
    "low_vram": false,
    "vocab_only": false,
    "use_mmap": true,
    "use_mlock": false,
    "num_thread": 8
  }
}'

响应

{
  "model": "llama3.2",
  "created_at": "2023-08-04T19:22:45.499127Z",
  "response": "The sky is blue because it is the color of the sky.",
  "done": true,
  "context": [1, 2, 3],
  "total_duration": 4935886791,
  "load_duration": 534986708,
  "prompt_eval_count": 26,
  "prompt_eval_duration": 107345000,
  "eval_count": 237,
  "eval_duration": 4289432000
}

加载模型

如果提供空提示，则模型将被加载到内存中。ollama.cadn.net.cn

请求

curl http://localhost:11434/api/generate -d '{
  "model": "llama3.2"
}'

响应

返回单个 JSON 对象：ollama.cadn.net.cn

{
  "model": "llama3.2",
  "created_at": "2023-12-18T19:52:07.071755Z",
  "response": "",
  "done": true
}

卸载模型

如果提供了空提示，并且keep_aliveparameter 设置为0，模型将从内存中卸载。ollama.cadn.net.cn

请求

curl http://localhost:11434/api/generate -d '{
  "model": "llama3.2",
  "keep_alive": 0
}'

响应

返回单个 JSON 对象：ollama.cadn.net.cn

{
  "model": "llama3.2",
  "created_at": "2024-09-12T03:54:03.516566Z",
  "response": "",
  "done": true,
  "done_reason": "unload"
}

生成聊天完成

POST /api/chat

使用提供的模型在聊天中生成下一条消息。这是一个流式处理终结点，因此将有一系列响应。可以使用"stream": false.最终响应对象将包含来自请求的统计信息和其他数据。ollama.cadn.net.cn

参数

model：（必需）模型名称
messages：聊天的消息，可用于保存聊天记录
tools：JSON 中供模型使用的工具列表（如果支持）

这messageobject 具有以下字段：ollama.cadn.net.cn

role：消息的角色system,user,assistant或tool
content：消息的内容
images（可选）：要包含在消息中的图像列表（对于多模态模型，例如llava)
tool_calls（可选）：模型要使用的 JSON 中的工具列表

高级参数（可选）：ollama.cadn.net.cn

format：返回响应的格式。格式可以是json或 JSON 架构。
options：Modelfile 文档中列出的其他模型参数，例如temperature
stream：如果false响应将作为单个响应对象返回，而不是对象流
keep_alive：控制模型在请求后加载到内存中的时间（默认值：5m)

结构化输出

通过在format参数。该模型将生成与架构匹配的响应。请参阅下面的 Chat request （Structured outputs）示例。ollama.cadn.net.cn

示例

聊天请求（流式处理）

请求

发送包含流式响应的聊天消息。ollama.cadn.net.cn

curl http://localhost:11434/api/chat -d '{
  "model": "llama3.2",
  "messages": [
    {
      "role": "user",
      "content": "why is the sky blue?"
    }
  ]
}'

响应

返回 JSON 对象流：ollama.cadn.net.cn

{
  "model": "llama3.2",
  "created_at": "2023-08-04T08:52:19.385406455-07:00",
  "message": {
    "role": "assistant",
    "content": "The",
    "images": null
  },
  "done": false
}

最终回应：ollama.cadn.net.cn

{
  "model": "llama3.2",
  "created_at": "2023-08-04T19:22:45.499127Z",
  "done": true,
  "total_duration": 4883583458,
  "load_duration": 1334875,
  "prompt_eval_count": 26,
  "prompt_eval_duration": 342546000,
  "eval_count": 282,
  "eval_duration": 4535599000
}

聊天请求（无流式处理）

请求

curl http://localhost:11434/api/chat -d '{
  "model": "llama3.2",
  "messages": [
    {
      "role": "user",
      "content": "why is the sky blue?"
    }
  ],
  "stream": false
}'

响应

{
  "model": "llama3.2",
  "created_at": "2023-12-12T14:13:43.416799Z",
  "message": {
    "role": "assistant",
    "content": "Hello! How are you today?"
  },
  "done": true,
  "total_duration": 5191566416,
  "load_duration": 2154458,
  "prompt_eval_count": 26,
  "prompt_eval_duration": 383809000,
  "eval_count": 298,
  "eval_duration": 4799921000
}

聊天请求（结构化输出）

请求

curl -X POST http://localhost:11434/api/chat -H "Content-Type: application/json" -d '{
  "model": "llama3.1",
  "messages": [{"role": "user", "content": "Ollama is 22 years old and busy saving the world. Return a JSON object with the age and availability."}],
  "stream": false,
  "format": {
    "type": "object",
    "properties": {
      "age": {
        "type": "integer"
      },
      "available": {
        "type": "boolean"
      }
    },
    "required": [
      "age",
      "available"
    ]
  },
  "options": {
    "temperature": 0
  }
}'

响应

{
  "model": "llama3.1",
  "created_at": "2024-12-06T00:46:58.265747Z",
  "message": { "role": "assistant", "content": "{\"age\": 22, \"available\": false}" },
  "done_reason": "stop",
  "done": true,
  "total_duration": 2254970291,
  "load_duration": 574751416,
  "prompt_eval_count": 34,
  "prompt_eval_duration": 1502000000,
  "eval_count": 12,
  "eval_duration": 175000000
}

聊天请求（带历史记录）

发送包含对话历史记录的聊天消息。您可以使用相同的方法，使用多发或思维链提示来开始对话。ollama.cadn.net.cn

请求

curl http://localhost:11434/api/chat -d '{
  "model": "llama3.2",
  "messages": [
    {
      "role": "user",
      "content": "why is the sky blue?"
    },
    {
      "role": "assistant",
      "content": "due to rayleigh scattering."
    },
    {
      "role": "user",
      "content": "how is that different than mie scattering?"
    }
  ]
}'

响应

返回 JSON 对象流：ollama.cadn.net.cn

{
  "model": "llama3.2",
  "created_at": "2023-08-04T08:52:19.385406455-07:00",
  "message": {
    "role": "assistant",
    "content": "The"
  },
  "done": false
}

最终回应：ollama.cadn.net.cn

{
  "model": "llama3.2",
  "created_at": "2023-08-04T19:22:45.499127Z",
  "done": true,
  "total_duration": 8113331500,
  "load_duration": 6396458,
  "prompt_eval_count": 61,
  "prompt_eval_duration": 398801000,
  "eval_count": 468,
  "eval_duration": 7701267000
}

聊天请求（带图片）

请求

发送带有图像的聊天消息。图像应以数组形式提供，单个图像以 Base64 编码。ollama.cadn.net.cn

curl http://localhost:11434/api/chat -d '{
  "model": "llava",
  "messages": [
    {
      "role": "user",
      "content": "what is in this image?",
      "images": ["******"]
    }
  ]
}'

响应

{
  "model": "llava",
  "created_at": "2023-12-13T22:42:50.203334Z",
  "message": {
    "role": "assistant",
    "content": " The image features a cute, little pig with an angry facial expression. It's wearing a heart on its shirt and is waving in the air. This scene appears to be part of a drawing or sketching project.",
    "images": null
  },
  "done": true,
  "total_duration": 1668506709,
  "load_duration": 1986209,
  "prompt_eval_count": 26,
  "prompt_eval_duration": 359682000,
  "eval_count": 83,
  "eval_duration": 1303285000
}

聊天请求（可重现的输出）

请求

curl http://localhost:11434/api/chat -d '{
  "model": "llama3.2",
  "messages": [
    {
      "role": "user",
      "content": "Hello!"
    }
  ],
  "options": {
    "seed": 101,
    "temperature": 0
  }
}'

响应

{
  "model": "llama3.2",
  "created_at": "2023-12-12T14:13:43.416799Z",
  "message": {
    "role": "assistant",
    "content": "Hello! How are you today?"
  },
  "done": true,
  "total_duration": 5191566416,
  "load_duration": 2154458,
  "prompt_eval_count": 26,
  "prompt_eval_duration": 383809000,
  "eval_count": 298,
  "eval_duration": 4799921000
}

聊天请求（带工具）

请求

curl http://localhost:11434/api/chat -d '{
  "model": "llama3.2",
  "messages": [
    {
      "role": "user",
      "content": "What is the weather today in Paris?"
    }
  ],
  "stream": false,
  "tools": [
    {
      "type": "function",
      "function": {
        "name": "get_current_weather",
        "description": "Get the current weather for a location",
        "parameters": {
          "type": "object",
          "properties": {
            "location": {
              "type": "string",
              "description": "The location to get the weather for, e.g. San Francisco, CA"
            },
            "format": {
              "type": "string",
              "description": "The format to return the weather in, e.g. 'celsius' or 'fahrenheit'",
              "enum": ["celsius", "fahrenheit"]
            }
          },
          "required": ["location", "format"]
        }
      }
    }
  ]
}'

响应

{
  "model": "llama3.2",
  "created_at": "2024-07-22T20:33:28.123648Z",
  "message": {
    "role": "assistant",
    "content": "",
    "tool_calls": [
      {
        "function": {
          "name": "get_current_weather",
          "arguments": {
            "format": "celsius",
            "location": "Paris, FR"
          }
        }
      }
    ]
  },
  "done_reason": "stop",
  "done": true,
  "total_duration": 885095291,
  "load_duration": 3753500,
  "prompt_eval_count": 122,
  "prompt_eval_duration": 328493000,
  "eval_count": 33,
  "eval_duration": 552222000
}

加载模型

如果 messages 数组为空，则模型将被加载到内存中。ollama.cadn.net.cn

请求

curl http://localhost:11434/api/chat -d '{
  "model": "llama3.2",
  "messages": []
}'

响应

{
  "model": "llama3.2",
  "created_at":"2024-09-12T21:17:29.110811Z",
  "message": {
    "role": "assistant",
    "content": ""
  },
  "done_reason": "load",
  "done": true
}

卸载模型

如果 messages 数组为空且keep_aliveparameter 设置为0，模型将从内存中卸载。ollama.cadn.net.cn

请求

curl http://localhost:11434/api/chat -d '{
  "model": "llama3.2",
  "messages": [],
  "keep_alive": 0
}'

响应

返回单个 JSON 对象：ollama.cadn.net.cn

{
  "model": "llama3.2",
  "created_at":"2024-09-12T21:33:17.547535Z",
  "message": {
    "role": "assistant",
    "content": ""
  },
  "done_reason": "unload",
  "done": true
}

创建模型

POST /api/create

从以下位置创建模型：ollama.cadn.net.cn

另一个模型;
safeTensors 目录;或
一个 GGUF 文件。

如果要从 safetensors 目录或 GGUF 文件创建模型，则必须为每个文件创建一个 blob，然后使用与每个 blob 关联的文件名和 SHA256 摘要files田。ollama.cadn.net.cn

参数

model：要创建的模型的名称
from：（可选）要从中创建新模型的现有模型的名称
files：（可选）文件名字典到 blob 的 SHA256 摘要，用于创建模型
adapters：（可选）用于 LORA 适配器的 blob 的 SHA256 摘要的文件名字典
template：（可选）模型的提示模板
license：（可选）包含模型的许可证的字符串或字符串列表
system：（可选）包含模型的系统提示符的字符串
parameters：（可选）模型的参数字典（有关参数列表，请参阅 Modelfile）
messages：（可选）用于创建对话的消息对象列表
stream：（可选）如果false响应将作为单个响应对象返回，而不是对象流
quantize（可选）：量化非量化（例如 float16）模型

量化类型

类型	推荐
q2_K
q3_K_L
q3_K_M
q3_K_S
q4_0
q4_1
q4_K_M	*
q4_K_S
q5_0
q5_1
q5_K_M
q5_K_S
q6_K
q8_0	*

示例

创建新模型

从现有模型创建新模型。ollama.cadn.net.cn

请求

curl http://localhost:11434/api/create -d '{
  "model": "mario",
  "from": "llama3.2",
  "system": "You are Mario from Super Mario Bros."
}'

响应

返回 JSON 对象流：ollama.cadn.net.cn

{"status":"reading model metadata"}
{"status":"creating system layer"}
{"status":"using already created layer sha256:22f7f8ef5f4c791c1b03d7eb414399294764d7cc82c7e94aa81a1feb80a983a2"}
{"status":"using already created layer sha256:8c17c2ebb0ea011be9981cc3922db8ca8fa61e828c5d3f44cb6ae342bf80460b"}
{"status":"using already created layer sha256:7c23fb36d80141c4ab8cdbb61ee4790102ebd2bf7aeff414453177d4f2110e5d"}
{"status":"using already created layer sha256:2e0493f67d0c8c9c68a8aeacdf6a38a2151cb3c4c1d42accf296e19810527988"}
{"status":"using already created layer sha256:2759286baa875dc22de5394b4a925701b1896a7e3f8e53275c36f75a877a82c9"}
{"status":"writing layer sha256:df30045fe90f0d750db82a058109cecd6d4de9c90a3d75b19c09e5f64580bb42"}
{"status":"writing layer sha256:f18a68eb09bf925bb1b669490407c1b1251c5db98dc4d3d81f3088498ea55690"}
{"status":"writing manifest"}
{"status":"success"}

量化模型

量化非量化模型。ollama.cadn.net.cn

请求

curl http://localhost:11434/api/create -d '{
  "model": "llama3.1:quantized",
  "from": "llama3.1:8b-instruct-fp16",
  "quantize": "q4_K_M"
}'

响应

返回 JSON 对象流：ollama.cadn.net.cn

{"status":"quantizing F16 model to Q4_K_M"}
{"status":"creating new layer sha256:667b0c1932bc6ffc593ed1d03f895bf2dc8dc6df21db3042284a6f4416b06a29"}
{"status":"using existing layer sha256:11ce4ee3e170f6adebac9a991c22e22ab3f8530e154ee669954c4bc73061c258"}
{"status":"using existing layer sha256:0ba8f0e314b4264dfd19df045cde9d4c394a52474bf92ed6a3de22a4ca31a177"}
{"status":"using existing layer sha256:56bb8bd477a519ffa694fc449c2413c6f0e1d3b1c88fa7e3c9d88d3ae49d4dcb"}
{"status":"creating new layer sha256:455f34728c9b5dd3376378bfb809ee166c145b0b4c1f1a6feca069055066ef9a"}
{"status":"writing manifest"}
{"status":"success"}

从 GGUF 创建模型

从 GGUF 文件创建模型。这files参数中应填写您要使用的 GGUF 文件的文件名和 SHA256 摘要。在调用此 API 之前，请使用 /api/blobs/:d igest 将 GGUF 文件推送到服务器。ollama.cadn.net.cn

请求

curl http://localhost:11434/api/create -d '{
  "model": "my-gguf-model",
  "files": {
    "test.gguf": "sha256:432f310a77f4650a88d0fd59ecdd7cebed8d684bafea53cbff0473542964f0c3"
  }
}'

响应

返回 JSON 对象流：ollama.cadn.net.cn

{"status":"parsing GGUF"}
{"status":"using existing layer sha256:432f310a77f4650a88d0fd59ecdd7cebed8d684bafea53cbff0473542964f0c3"}
{"status":"writing manifest"}
{"status":"success"}

从 Safetensors 目录创建模型

这filesparameter 应包括 safetensors 模型的文件字典，其中包括每个文件的文件名和 SHA256 摘要。使用 /api/blobs/:d igest 将每个文件推送到服务器，然后再调用此 API。文件将保留在缓存中，直到 Ollama 服务器重新启动。ollama.cadn.net.cn

请求

curl http://localhost:11434/api/create -d '{
  "model": "fred",
  "files": {
    "config.json": "sha256:dd3443e529fb2290423a0c65c2d633e67b419d273f170259e27297219828e389",
    "generation_config.json": "sha256:88effbb63300dbbc7390143fbbdd9d9fa50587b37e8bfd16c8c90d4970a74a36",
    "special_tokens_map.json": "sha256:b7455f0e8f00539108837bfa586c4fbf424e31f8717819a6798be74bef813d05",
    "tokenizer.json": "sha256:bbc1904d35169c542dffbe1f7589a5994ec7426d9e5b609d07bab876f32e97ab",
    "tokenizer_config.json": "sha256:24e8a6dc2547164b7002e3125f10b415105644fcf02bf9ad8b674c87b1eaaed6",
    "model.safetensors": "sha256:1ff795ff6a07e6a68085d206fb84417da2f083f68391c2843cd2b8ac6df8538f"
  }
}'

响应

返回 JSON 对象流：ollama.cadn.net.cn

{"status":"converting model"}
{"status":"creating new layer sha256:05ca5b813af4a53d2c2922933936e398958855c44ee534858fcfd830940618b6"}
{"status":"using autodetected template llama3-instruct"}
{"status":"using existing layer sha256:56bb8bd477a519ffa694fc449c2413c6f0e1d3b1c88fa7e3c9d88d3ae49d4dcb"}
{"status":"writing manifest"}
{"status":"success"}

检查 Blob 是否存在

HEAD /api/blobs/:digest

确保服务器上存在用于创建模型的文件 blob（二进制大对象）。这将检查您的 Ollama 服务器，而不是 ollama.com。ollama.cadn.net.cn

查询参数

digest：blob 的 SHA256 摘要

示例

请求

curl -I http://localhost:11434/api/blobs/sha256:29fdb92e57cf0827ded04ae6461b5931d01fa595843f55d36f5b275a52087dd2

响应

如果 blob 存在，则返回 200 OK，如果不存在，则返回 404 Not Found。ollama.cadn.net.cn

推送 Blob

POST /api/blobs/:digest

将文件推送到 Ollama 服务器以创建 “blob” （二进制大对象）。ollama.cadn.net.cn

查询参数

digest：文件的预期 SHA256 摘要

示例

请求

curl -T model.gguf -X POST http://localhost:11434/api/blobs/sha256:29fdb92e57cf0827ded04ae6461b5931d01fa595843f55d36f5b275a52087dd2

响应

如果 blob 创建成功，则返回 201 Created ，如果使用的摘要不是预期的，则返回 400 Bad Request。ollama.cadn.net.cn

列出本地模型

GET /api/tags

列出本地可用的模型。ollama.cadn.net.cn

示例

请求

curl http://localhost:11434/api/tags

响应

将返回单个 JSON 对象。ollama.cadn.net.cn

{
  "models": [
    {
      "name": "codellama:13b",
      "modified_at": "2023-11-04T14:56:49.277302595-07:00",
      "size": 7365960935,
      "digest": "9f438cb9cd581fc025612d27f7c1a6669ff83a8bb0ed86c94fcf4c5440555697",
      "details": {
        "format": "gguf",
        "family": "llama",
        "families": null,
        "parameter_size": "13B",
        "quantization_level": "Q4_0"
      }
    },
    {
      "name": "llama3:latest",
      "modified_at": "2023-12-07T09:32:18.757212583-08:00",
      "size": 3825819519,
      "digest": "fe938a131f40e6f6d40083c9f0f430a515233eb2edaa6d72eb85c50d64f2300e",
      "details": {
        "format": "gguf",
        "family": "llama",
        "families": null,
        "parameter_size": "7B",
        "quantization_level": "Q4_0"
      }
    }
  ]
}

显示模型信息

POST /api/show

显示有关模型的信息，包括详细信息、模型文件、模板、参数、许可证、系统提示符。ollama.cadn.net.cn

参数

model：要显示的模型的名称
verbose：（可选）如果设置为true返回详细响应字段的完整数据

示例

请求

curl http://localhost:11434/api/show -d '{
  "model": "llama3.2"
}'

响应

{
  "modelfile": "# Modelfile generated by \"ollama show\"\n# To build a new Modelfile based on this one, replace the FROM line with:\n# FROM llava:latest\n\nFROM /Users/matt/.ollama/models/blobs/sha256:200765e1283640ffbd013184bf496e261032fa75b99498a9613be4e94d63ad52\nTEMPLATE \"\"\"{{ .System }}\nUSER: {{ .Prompt }}\nASSISTANT: \"\"\"\nPARAMETER num_ctx 4096\nPARAMETER stop \"\u003c/s\u003e\"\nPARAMETER stop \"USER:\"\nPARAMETER stop \"ASSISTANT:\"",
  "parameters": "num_keep                       24\nstop                           \"<|start_header_id|>\"\nstop                           \"<|end_header_id|>\"\nstop                           \"<|eot_id|>\"",
  "template": "{{ if .System }}<|start_header_id|>system<|end_header_id|>\n\n{{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|>\n\n{{ .Prompt }}<|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|>\n\n{{ .Response }}<|eot_id|>",
  "details": {
    "parent_model": "",
    "format": "gguf",
    "family": "llama",
    "families": [
      "llama"
    ],
    "parameter_size": "8.0B",
    "quantization_level": "Q4_0"
  },
  "model_info": {
    "general.architecture": "llama",
    "general.file_type": 2,
    "general.parameter_count": 8030261248,
    "general.quantization_version": 2,
    "llama.attention.head_count": 32,
    "llama.attention.head_count_kv": 8,
    "llama.attention.layer_norm_rms_epsilon": 0.00001,
    "llama.block_count": 32,
    "llama.context_length": 8192,
    "llama.embedding_length": 4096,
    "llama.feed_forward_length": 14336,
    "llama.rope.dimension_count": 128,
    "llama.rope.freq_base": 500000,
    "llama.vocab_size": 128256,
    "tokenizer.ggml.bos_token_id": 128000,
    "tokenizer.ggml.eos_token_id": 128009,
    "tokenizer.ggml.merges": [],            // populates if `verbose=true`
    "tokenizer.ggml.model": "gpt2",
    "tokenizer.ggml.pre": "llama-bpe",
    "tokenizer.ggml.token_type": [],        // populates if `verbose=true`
    "tokenizer.ggml.tokens": []             // populates if `verbose=true`
  }
}

复制模型

POST /api/copy

复制模型。从现有模型创建具有其他名称的模型。ollama.cadn.net.cn

示例

请求

curl http://localhost:11434/api/copy -d '{
  "source": "llama3.2",
  "destination": "llama3-backup"
}'

响应

如果成功，则返回 200 OK，如果源模型不存在，则返回 404 Not Found。ollama.cadn.net.cn

删除模型

DELETE /api/delete

删除模型及其数据。ollama.cadn.net.cn

参数

model：要删除的模型名称

示例

请求

curl -X DELETE http://localhost:11434/api/delete -d '{
  "model": "llama3:13b"
}'

响应

如果成功，则返回 200 OK，如果要删除的模型不存在，则返回 404 Not Found。ollama.cadn.net.cn

拉取模型

POST /api/pull

从 ollama 库下载模型。取消的拉取将从上次中断的位置继续，并且多个调用将共享相同的下载进度。ollama.cadn.net.cn

参数

model：要拉取的模型的名称
insecure：（可选）允许与库建立不安全的连接。仅在开发过程中从自己的库中提取时才使用此项。
stream：（可选）如果false响应将作为单个响应对象返回，而不是对象流

示例

请求

curl http://localhost:11434/api/pull -d '{
  "model": "llama3.2"
}'

响应

如果stream未指定，或设置为true，则返回 JSON 对象流：ollama.cadn.net.cn

第一个对象是清单：ollama.cadn.net.cn

{
  "status": "pulling manifest"
}

然后是一系列的下载响应。在完成任何下载之前，completed可能不包括 key。要下载的文件数取决于清单中指定的层数。ollama.cadn.net.cn

{
  "status": "downloading digestname",
  "digest": "digestname",
  "total": 2142590208,
  "completed": 241970
}

下载所有文件后，最终响应为：ollama.cadn.net.cn

{
    "status": "verifying sha256 digest"
}
{
    "status": "writing manifest"
}
{
    "status": "removing any unused layers"
}
{
    "status": "success"
}

如果stream设置为 false，则响应是单个 JSON 对象：ollama.cadn.net.cn

{
  "status": "success"
}

推送模型

POST /api/push

将模型上传到模型库。需要先注册 ollama.ai 并添加公钥。ollama.cadn.net.cn

参数

model：要推送的模型名称，形式为<namespace>/<model>:<tag>
insecure：（可选）允许与库建立不安全的连接。仅在开发期间推送到库时使用此选项。
stream：（可选）如果false响应将作为单个响应对象返回，而不是对象流

示例

请求

curl http://localhost:11434/api/push -d '{
  "model": "mattw/pygmalion:latest"
}'

响应

如果stream未指定，或设置为true，则返回 JSON 对象流：ollama.cadn.net.cn

{ "status": "retrieving manifest" }

然后：ollama.cadn.net.cn

{
  "status": "starting upload",
  "digest": "sha256:bc07c81de745696fdf5afca05e065818a8149fb0c77266fb584d9b2cba3711ab",
  "total": 1928429856
}

然后是一系列上传响应：ollama.cadn.net.cn

{
  "status": "starting upload",
  "digest": "sha256:bc07c81de745696fdf5afca05e065818a8149fb0c77266fb584d9b2cba3711ab",
  "total": 1928429856
}

最后，上传完成后：ollama.cadn.net.cn

{"status":"pushing manifest"}
{"status":"success"}

如果stream设置为false，则响应是单个 JSON 对象：ollama.cadn.net.cn

{ "status": "success" }

生成嵌入

POST /api/embed

从模型生成嵌入ollama.cadn.net.cn

参数

model：要从中生成嵌入的模型的名称
input：要为其生成嵌入的文本或文本列表

高级参数：ollama.cadn.net.cn

truncate：截断每个输入的结尾以适合上下文长度。如果出现 error，则返回 errorfalse和上下文长度。默认为true
options：Modelfile 文档中列出的其他模型参数，例如temperature
keep_alive：控制模型在请求后加载到内存中的时间（默认值：5m)

示例

请求

curl http://localhost:11434/api/embed -d '{
  "model": "all-minilm",
  "input": "Why is the sky blue?"
}'

响应

{
  "model": "all-minilm",
  "embeddings": [[
    0.010071029, -0.0017594862, 0.05007221, 0.04692972, 0.054916814,
    0.008599704, 0.105441414, -0.025878139, 0.12958129, 0.031952348
  ]],
  "total_duration": 14143917,
  "load_duration": 1019500,
  "prompt_eval_count": 8
}

请求（多路输入）

curl http://localhost:11434/api/embed -d '{
  "model": "all-minilm",
  "input": ["Why is the sky blue?", "Why is the grass green?"]
}'

响应

{
  "model": "all-minilm",
  "embeddings": [[
    0.010071029, -0.0017594862, 0.05007221, 0.04692972, 0.054916814,
    0.008599704, 0.105441414, -0.025878139, 0.12958129, 0.031952348
  ],[
    -0.0098027075, 0.06042469, 0.025257962, -0.006364387, 0.07272725,
    0.017194884, 0.09032035, -0.051705178, 0.09951512, 0.09072481
  ]]
}

列出正在运行的模型

GET /api/ps

列出当前加载到内存中的模型。ollama.cadn.net.cn

示例

请求

curl http://localhost:11434/api/ps

响应

将返回单个 JSON 对象。ollama.cadn.net.cn

{
  "models": [
    {
      "name": "mistral:latest",
      "model": "mistral:latest",
      "size": 5137025024,
      "digest": "2ae6f6dd7a3dd734790bbbf58b8909a606e0e7e97e94b7604e0aa7ae4490e6d8",
      "details": {
        "parent_model": "",
        "format": "gguf",
        "family": "llama",
        "families": [
          "llama"
        ],
        "parameter_size": "7.2B",
        "quantization_level": "Q4_0"
      },
      "expires_at": "2024-06-04T14:38:31.83753-07:00",
      "size_vram": 5137025024
    }
  ]
}

生成嵌入

注意：此终端节点已被/api/embedollama.cadn.net.cn

POST /api/embeddings

从模型生成嵌入ollama.cadn.net.cn

参数

model：要从中生成嵌入的模型的名称
prompt：要为其生成嵌入的文本

高级参数：ollama.cadn.net.cn

options：Modelfile 文档中列出的其他模型参数，例如temperature
keep_alive：控制模型在请求后加载到内存中的时间（默认值：5m)

示例

请求

curl http://localhost:11434/api/embeddings -d '{
  "model": "all-minilm",
  "prompt": "Here is an article about llamas..."
}'

响应

{
  "embedding": [
    0.5670403838157654, 0.009260174818336964, 0.23178744316101074, -0.2916173040866852, -0.8924556970596313,
    0.8785552978515625, -0.34576427936553955, 0.5742510557174683, -0.04222835972905159, -0.137906014919281
  ]
}

版本

GET /api/version

检索 Ollama 版本ollama.cadn.net.cn

示例

请求

curl http://localhost:11434/api/version

响应

{
  "version": "0.5.1"
}

应用程序接口

端点

约定

模型名称

持续时间

流式处理响应

生成完成

参数

结构化输出

JSON 模式

示例

生成请求 （Streaming）

请求

响应

请求 （无流式处理）

请求

响应

请求（带后缀）

请求

响应

请求 （结构化输出）

请求

响应

请求（JSON 模式）

请求

响应

请求（带图片）

请求

响应

请求 （Raw 模式）

请求

请求（可重现的输出）

请求

响应

生成请求（带选项）

请求

响应

加载模型

请求

响应

卸载模型

请求

响应

生成聊天完成

参数

结构化输出

示例

聊天请求 （流式处理）

请求

响应

聊天请求 （无流式处理）

请求

响应

聊天请求（结构化输出）

请求

响应

聊天请求（带历史记录）

请求

响应

聊天请求（带图片）

请求

响应

聊天请求（可重现的输出）

请求

响应

聊天请求（带工具）

请求

响应

加载模型

请求

响应

卸载模型

请求

响应

创建模型

参数

量化类型

示例

创建新模型

请求

生成请求（Streaming）

请求（无流式处理）

请求（结构化输出）

请求（Raw 模式）

聊天请求（流式处理）

聊天请求（无流式处理）

请求（多路输入）

结果匹配 ”"