Logprobs日志问题

Ollama的API和兼容OpenAI的API目前支持对数概率。输出令牌的对数概率表明在给定上下文的情况下，每个令牌在序列中出现的可能性。这在多种使用场景中都很有用：

1. 分类任务
2. 检索（问答）评估
3. 自动补全
4. 令牌高亮显示和字节输出
5. 计算困惑度

要启用Logprobs，请向Ollama的API提供”logprobs”: true：

curl http://localhost:11434/api/generate -d '{
  "model": "gemma3",
  "prompt": "Why is the sky blue?",
  "logprobs": true
}'

当请求对数概率时，响应块目前将包含一个”logprobs”字段，其中包含令牌、对数概率和原始字节（用于部分Unicode）。

{
  "model": "gemma3",
  "created_at": "2025-11-14T22:17:56.598562Z",
  "response": "Okay",
  "done": false,
  "logprobs": [
    {
      "token": "Okay",
      "logprob": -1.3434503078460693,
      "bytes": [
        79,
        107,
        97,
        121
      ]
    }
  ]
}

top_logprobs

设置”top_logprobs”时，还会提供一些最可能的标记，这样就可以查看替代标记。下面是一个请求示例。

curl http://localhost:11434/api/generate -d '{
  "model": "gemma3",
  "prompt": "Why is the sky blue?",
  "logprobs": true,
  "top_logprobs": 3
}'

这将生成包含以下字段的响应块流：

{
  "model": "gemma3",
  "created_at": "2025-11-14T22:26:10.466324Z",
  "response": "The",
  "done": false,
  "logprobs": [
    {
      "token": "The",
      "logprob": -0.8361086845397949,
      "bytes": [
        84,
        104,
        101
      ],
      "top_logprobs": [
        {
          "token": "The",
          "logprob": -0.8361086845397949,
          "bytes": [
            84,
            104,
            101
          ]
        },
        {
          "token": "Okay",
          "logprob": -1.2590975761413574,
          "bytes": [
            79,
            107,
            97,
            121
          ]
        },
        {
          "token": "That",
          "logprob": -1.2686877250671387,
          "bytes": [
            84,
            104,
            97,
            116
          ]
        }
      ]
    }
  ]
}

特别感谢

感谢@baptistejamin为Ollama的API添加了Logprobs功能。

Vulkan 支持（可选启用）

Ollama 0.12.11 版本支持 Vulkan 加速。Vulkan 支持 AMD、英特尔的多种 GPU 以及集成显卡。Vulkan 支持目前尚未默认启用，需要通过自定义环境变量运行 Ollama 来手动开启：

OLLAMA_VULKAN=1 ollama serve

在PowerShell上，使用：

$env:OLLAMA_VULKAN="1"
ollama serve

如果在使用Ollama时遇到与Vulkan相关的问题或有反馈，请创建一个标有Vulkan的议题，并尽可能附上服务器日志以协助调试。

有哪些变化

• Ollama的API和兼容OpenAI的API目前支持Logprobs
• Ollama的新应用程序目前支持WebP图像
• Ollama新应用的渲染性能有所提升，尤其是在渲染代码时
• 工具定义中的”required”字段如果未指定，目前将被省略
• 修复了使用OpenAI兼容API时会遗漏”tool_call_id”的问题。
• 修复了ollama create会同时从consolidated.safetensors和其他safetensor文件导入数据的问题。
• 在调度模型时，Ollama目前会优先选择独立GPU而非集成GPU（iGPU）。
• 目前可以通过设置OLLAMA_VULKAN=1来启用Vulkan。例如：OLLAMA_VULKAN=1 ollama serve