科技与人工智能报道。

本地推理 · 本站报道

llama.cpp 把公开接口标成 1.0

ggml-org 在 11 月 13 日发布 llama.cpp 和 ggml 的 1.0.0。这次不是新模型,而是给已经有人依赖的 C 接口划出版本线:以后公共头文件里的不兼容改动,要用主版本号标出来。

发布时间 2026/11/17 12:00(上海)

AI科技开源基础设施

发生了什么

2026 年 11 月 13 日,ggml-org 在 Hugging Face 博客发布 llama.cpp 1.0.0 和 ggml 1.0.0。订阅源时间是 14:05:22 UTC。作者把这次发布定义成库接口的责任:项目从起步到现在已经三年半,下游应用已经依赖它,所以公共 API 需要能看出什么时候会坏掉。

libllama 的公开头文件在 llama.cpp/include/,libggml 在 ggml/include/。

来源能够对上的细节

语义化版本的规则,文章写成一张对所有采用该规则的 ggml-org 项目都适用的表:

  • 主版本:./include 里的公开 C API 发生不兼容改动。
  • 次版本:向后兼容的功能、后端更新、新的模型支持,或新增 API。
  • 修订版本:不改 API 的错误修复。

这是项目给自己定的规则。1.0.0 的意义是从此按这个规则执行,不是宣称接口已经冻结到永远不改。

分发渠道文章列了:预编译包覆盖 Linux、macOS、Windows、Android、iOS;另外还有 Docker、Debian、Homebrew、conda-forge、MacPorts、Winget,以及面向 iOS 和 macOS 的 XCFramework。文章说打包细节在一个讨论帖里,本篇没有跟着打开那个帖子。

能力范围是项目自述:ggml 通过可在运行时加载的后端动态库去适配不同硬件;llama.cpp 目前支持超过 150 种架构变体,以及主流的推测解码方法。完整后端名单在文中是一个“见这里”,没有在正文逐项展开,本站不补写名单。

工程上,文章把持续集成的扩容归到 Hugging Face 的 Buckets 和 Jobs,并把自建 runner 的硬件支持写成 NVIDIA、AMD、Qualcomm、Arm、IBM 和 Intel。桌面应用只提到团队做的 macOS 和 Windows 版 Llama 应用。评论区有人问 Linux 桌面应用,文章正文没有宣布 Linux 桌面版。

背景

llama.cpp 让量化后的模型可以在消费级机器和服务器上跑,路径是 C/C++、多种后端和 GGUF 这一路本地格式。对很多产品来说,它已经是依赖,而不再是实验脚本。依赖一旦进了操作系统发行版和包管理器,主版本号就是打包者唯一看得懂的“这次能不能直接升级”的信号。

在此之前,快速迭代的推理库经常用提交哈希沟通兼容性。1.0 不会让哈希消失,但会让发行版维护者有一个可以写进依赖约束的数字。

编辑分析

以下是本站的判断,不是 ggml-org 的承诺。

这次发布对模型能力的增量可能是零。它的价值在下游:Homebrew、Debian、conda 这些渠道如果按主版本号设依赖,用户就不会在一次补丁更新里突然编译失败。前提是项目真的遵守自己写下的那张表。1.0 当天无法证明以后的主版本会诚实递增,只能把规则记下来,等下一次破坏性改动时对照。

“150 多种架构”说明覆盖面是这个项目的卖点,也说明测试矩阵很大。文章强调 CI 和多家硬件的 runner,是在为这个覆盖面找工程依据。没有公开的、按架构列出的通过率,读者仍无法知道哪一种模型在哪一种后端上是认真维护的。

不要把 1.0 理解成“本地推理已经稳定到可以不再看更新日志”。次版本仍会加模型和后端。跟模型格式相关的变化,即使作者认为属于兼容的功能,也可能让旧的量化文件或旧的绑定需要重编。

本站没有写成事实的部分

本站没有编译 1.0.0 的标签,没有核对 150 这个架构计数,也没有检查 Winget 或 Debian 里是否已经出现对应包。Linux 桌面应用是否存在,以仓库和发布页为准,不以来自评论区的提问为准。


书目

原始链接

链接上的文字是来源自己的标题,便于核对。它不是本站的译文,也不单独构成一条新闻。

  1. llama.cpp v1.0.0 : A stronger foundation for the local AI ecosystem
    ggml-org / Hugging Face · 编辑部阅读过的原文