端侧模型的生意不在模型，在 Apple 不给的那块地

Jiang · 2026-09-16

2026 年 7 月 3 日，一家叫 Desert Ant Labs 的荷兰公司发布了自己的模型许可证：每个模型、每个平台，10 万台月活设备以内免费用，超过了再谈商业授权。条件有两个，一是在用户看得见的地方标一行「Powered by Desert Ant Labs」，二是不许拿它的模型和输出去训练竞品。许可是永久的，可以改，也可以随 App 一起分发。

这家公司的痕迹很浅。GitHub 组织建于 6 月 14 日，仓库全部在 7 月之后创建，主 SDK desert-ant-core 的 star 数是 13；官方 press 页写的成立时间是 2026 年 8 月，第一篇博客发在 9 月 3 日。有提交记录的一共 5 个人，也没有找到任何融资公告。

创始团队是三个人：Paul Veugen（CEO）、Laurier Rochon（CTO）、Fredrik Wallin（Engineering）。他们此前一起做的 Human 在 2016 年被 Mapbox 收购，之后做了视频创作 App Detail（拿过 2025 年 App Store Awards 的年度 iPad App）和视频平台 Subwave。官方说这些模型已经在这两款自家产品里跑着。

它放出来的是 12 个可用模型加 6 个闭测模型，每一个只做一件事：语音增强、语种识别、起标题、PII 脱敏、主题打标，各管各的，彼此没有共用的底座。体积从不到 1 MB 到 467 MB，没有一个摸到 GB 级。

关于页里它给自己的定位是「一颗小脑，嵌入每一款产品」。小脑只占大脑体积的十分之一，却装着五分之四的神经元，管的是平衡、时机、协调这些快速又可靠、学会之后就不用再想的动作。它说自己要的不是最大的模型，「而是为这件事而最快的那个」，理由是「人们口袋里的算力比数据中心还多」。

门确实开了，开门的是 Apple

2024 年 2 月我写过一篇关于本地模型的文章，当时的判断有三条：用不用本地模型，决策要素几乎只有成本；手机处理器的能力大部分时间闲着；应用早晚会走云端和本地混合的模式。同年 10 月骁龙 8 至尊版发布，我又写了一次，说芯片把接口和能力封装好交给应用调用，端侧这扇门就算打开了。

两年半过去，门确实开了，只是开门的是 Apple 而不是高通，方式也比当时预想的彻底。

Foundation Models framework 从 iOS 26 / macOS 26 起随系统提供，一个约 30 亿参数的端侧模型，4096 token 上下文，支持简体中文、结构化输出和工具调用，还能加载自己训的 LoRA adapter，开发者不用花钱，也不用申请 API key。WWDC 2026 上宣布、这次随 iOS 27 一起落地的版本又往前走了一步：上下文翻倍到 8192 token，加了图像输入，还开放了模型抽象层，第三方云端模型和本地 MLX 模型都能接进同一套 Swift API。芯片厂开放 NPU 接口是一回事，操作系统直接把一个模型摆在每个开发者面前，是另一回事。

不过这扇门带着三道槛。

第一道是系统版本。Foundation Models、做语音转写的 SpeechAnalyzer、Vision 里做结构化文档识别的 RecognizeDocumentsRequest，全部卡在 26 这条线上。iOS 27 已经在 9 月中旬发布，门槛只会随新版本继续往上抬。

第二道是机型，要 iPhone 15 Pro、A17 Pro 芯片起步。Counterpoint 的数字是苹果累计出货了超过 4.5 亿部具备 Apple Intelligence 能力的 iPhone（截至 2026 年 Q1），而苹果自己披露的全球活跃设备超过 25 亿台。两个数不能直接相除，一个是累计出货、一个是全品类活跃，但量级差在那儿：系统级端侧模型能覆盖的，远不是全部设备。

第三道是地区。iOS 27 在 9 月 14 日随新一代 Apple Intelligence 一起发布，可苹果当天更新的支持页面写得很直接：在中国大陆买的设备，这些功能暂时用不了。往前看，7 月 15 日它拿到过网信办的备案，云端部分由阿里通义千问承担，可备案不等于上线；3 月 31 日凌晨部分国行 iPhone 还意外收到过推送，不到 6 小时又被撤回。Foundation Models 要能用，得同时满足设备支持、用户开启、地区开放三个条件，只要第三条不成立，前两条再成立也没用。

欧盟的情况正好能拿来对照：Foundation Models framework 本身在欧盟正常可用，但 iOS 27 的新一代 Siri 因为 DMA 对第三方助手系统权限的要求，暂时不在欧盟上线。同一家公司的同一层能力，在不同法域被切成了不同形状，这层地基本身就带着政治属性。

另一条路是开源运行时：llama.cpp、whisper.cpp、sherpa-onnx、MLX、ONNX Runtime。这条路走得通，代价是每个独立开发者都得兼职当一遍 ML 集成工程师。我自己维护的几款 App 里，同一时间跑着三四套推理运行时，每套有自己的模型格式、量化策略、内存曲线；模型权重默认托管在 Hugging Face，大陆用户拉不动，得单独准备镜像源和校验流程；哪天想换个模型，前面这一整套还得重走一遍。这些活跟产品本身没什么关系，可不做，产品就跑不起来。

所以 Apple 那条路免费但有门槛，开源那条路没门槛但要自己修路。Desert Ant Labs 想站的，就是这两者中间的位置。

零件和模型是两门不同的生意

它的模型目录摊开来看，每个都窄得出奇。

Clear 做语音增强，9 MB 的 Core ML 权重，基座是 DeepFilterNet 3，与语言无关。Redact 做 PII 脱敏，11.6 MB。Tongue 做文本语种识别，84 种语言，2 MB，直接内置在 SDK 包里不用下载。Gist 做主题打标，36 个固定类目，74 MB。Schemer 做结构化抽取，2.11 亿参数，int4 量化后 111 MB。Title 起标题和写描述，微调自 IBM Granite 4.0 的 hybrid 架构，6-bit 量化后约 286 MB。Align 只有 0.7 MB，专门给逐词时间戳做精修。

最能说明这条路线的是 Voz。它做转写，底子是 NVIDIA 的 Parakeet TDT 0.6B v3，转成 Core ML 之后 467 MB，常驻 Neural Engine，峰值内存不随音频时长增长，官方给的数字是 iPhone 上 2 秒转完 10 分钟音频。质量上它自己报的六个 Open ASR Leaderboard 数据集平均 WER 是 7.40%，Whisper large-v3-turbo 是 7.00%，差 0.4 个百分点，体积却只有对方 1.6 GB 的不到三分之一。这是官方口径，但取舍方向说得很清楚：不追第一，追的是塞进手机还能跑。

集成方式跟着这个形态走：Swift、Kotlin、JavaScript 三套原生 SDK，iOS 18+ / macOS 15+ / Android API 24+，模型从 Hugging Face 按钉死的 revision 下载并校验，也能打包进 App 或换成自托管地址。官方反复强调的卖点很简单，几行代码。

真正把它和模型公司分开的，是计费单位：按设备月活算，不按调用次数算。

这背后是端侧的一个物理事实。云端模型按 token 收费，因为每次调用都实打实消耗厂商的 GPU；端侧推理跑在用户自己的芯片上，厂商的边际成本是零，按次收费就失去了对应的成本。能计量的只剩一件事，装在多少台设备上。

于是链路变成这样：10 万设备以下免费，换的是分发；那行「Powered by Desert Ant Labs」的署名，换的是品牌；跨过 10 万，才开始收钱。这是 Twilio、Stripe 那套开发者优先的打法搬到端侧，先让开发者零成本跑通，再在规模上收费。我此前写过不做模型的公司怎么在模型上面长出另一层，讲的是云端中间层怎么在模型厂商头上攒位置；Desert Ant 攒位置的逻辑一样，只是它站在操作系统和开发者之间，计价的东西从调用换成了设备。

按设备计费也带来一个绕不开的代价，得有人去数设备。许可证第 7 条写明，SDK 运行时会向它的服务器发一个自生成的标识符，只用于统计月活设备，不含输入输出、不跨应用关联，但开发者必须在自己的隐私政策里如实披露，也不得干扰这个上报。换句话说，端侧模型并不等于零联网。内容确实不出设备，可「这台设备装了这个模型」这条信息会出去。对那些把「全部本地处理」写在首页上的产品，这一条比署名要求更得提前想清楚。

许可证里还有一条容易被跳过：许可永久、可修改、可随 App 分发，权重能自托管，版本能钉死。这意味着就算这家公司明天没了，已经上线的 App 也不会崩，只是拿不到后续更新。对一家公开痕迹不到三个月、又没有公开融资的公司来说，这条比任何技术指标都重要，它把「依赖一家小公司」的风险从不可控降成了可估算。

「不会推理」在这里是卖点

判别式小模型和生成式模型的差别，不在参数量，在各自能给出什么保证。

Schemer 是最典型的一个。它做结构化抽取：给一段文本和一个 schema，把字段填出来。它给三个保证：字段类型由构造保证，不靠 prompt 求模型配合；某个字段在原文里找不到，就返回 null，而不是编一个看着合理的值；每个输出都是原文的子串，带着字符偏移量，能一路追回到原文的位置。

第三条最要紧。生成式模型的输出是采样出来的，你没办法证明「模型说的这句就是原文里那句」；判别式抽取给的是指向原文的指针，可以逐字审计。官方报的内部数字是缺失字段检测 0.91，作对照，它测的那批 LLM 在 0.18 到 0.43 之间。这是官方自己的说法，还没有第三方复现，但方向上指的是同一件事：通用模型被要求填一个空的时候，倾向于把它填上。

规格上，它运行时占 200 MB 内存，在 Neural Engine 上单次编码 8.7 毫秒，文本上限约 1100 token。你没法拿它聊天，它也从没打算让你拿去聊天。

关于页上还挂着一笔能耗账：剪辑十万个三十分钟的视频，用它的 Clips 模型是 0.3 kWh，用 Claude Sonnet 是 140 kWh，差 470 倍，而盲评打分持平。这也是官方口径，算法写得很直白，Sonnet 侧按 38,308 项任务的实测 token 数加 MLPerf 估算，Clips 侧按 iPhone 17 Pro 上 2.4 秒、功耗 3 W 假定。假定不少，精确到小数点没意义，但量级不会错。用一个几百 MB 的专用模型做一件窄活，和调一个前沿模型做同一件事，隔着的是数量级。

比参数更能看出这家公司性子的是 Title。它的文档里写明，它刻意不出 emoji、不出 hashtag、不做 clickbait。这不算能力短板，是训练阶段就定下的产品决策：模型的输入输出长什么样，本身就是产品设计的一部分，而不是等模型吐完再拿 prompt 和后处理去补。做过 App 内 AI 功能的人都清楚，后处理修 emoji 是永远修不干净的。

技术选型上它也不端着。同一份文档解释了为什么只有 Title 走 MLX：生成式解码是带宽受限的活，Core ML 在首 token 延迟、吞吐、加载时间和驻留内存上都落后；其余判别式模型全走 Core ML，常驻 Neural Engine。一个五个人的团队肯为一个模型单独维护一条运行时，说明「每件事用最合适的那个零件」这句话它当真了。

这一层的地在 Apple 的射程之外

第三方端侧模型剩下的空间，大致有三类。

一是 Apple 不给的地区。中国大陆是 Apple Intelligence 至今没进的大市场，在国行设备和大陆区 Apple ID 上，第三方 App 调用 Foundation Models 大概率拿到的是不可用，卡的是地区，不是机型。

二是 Apple 不给的机型和系统。还停在 iOS 18 的设备、能升到 iOS 26 但不是 Pro 的机型、Intel Mac，苹果这条线一台都不覆盖。Desert Ant 的 SDK 只要 iOS 18+ / macOS 15+，比苹果低一代（iOS 18 往上就直接是 iOS 26），正好落在这段区间。

三是 Apple 不做的任务：结构化抽取、语音增强、说话人分离、语气词检测、逐词时间戳精修，系统 API 里都没有。Align 是最直白的例子，0.7 MB，唯一的用处是给苹果自带 SpeechAnalyzer 输出的逐词时间戳做精修，官方称干净音频上的平均误差能从 113.5 毫秒压到 44.9 毫秒。它的文档干脆直接教你怎么把苹果的转写和它串起来用，本来就是补丁，不是替代品。

这块空间并不稳固，苹果一年会来清一次，节点就是 WWDC。

SpeechAnalyzer 在 iOS 26 上，Argmax 用英文财报电话会数据集测出的 WER 是 2.12%，好过同场的 Whisper Small、Base、Tiny（Whisper Small 是 3.74%）。这个评测只覆盖英文，但转写这件事在英文场景里已经被系统 API 做掉大半，Voz 的差异化只剩 iOS 18 也能用和逐词时间戳。iOS 27 的 Foundation Models 加了图像输入，一批做视觉理解的第三方零件会被顺手压掉一截。Redact 对面是系统里早有的 NSDataDetector，Gist 对面是 NaturalLanguage 加 Create ML 就能训的文本分类器，都在射程内。

所以第三方零件的寿命，大致等于它待在 Apple 射程之外的时间。这对 Desert Ant 是风险，对用它的开发者则是一条设计约束：任何第三方端侧模型都该做成可替换的一层，别让产品的核心逻辑长在某个具体模型上。能拆下来，它才还算个零件。

这条约束在版本层面同样成立。desert-ant-core 从 7 月 27 日的 v0.5.0 到 8 月 28 日的 v3.1.0，一个月发了 15 个版本，8 月 19 日当天从 v1.2.0 跳到 v3.0.0；9 月 2 日还有一条把 Align 权重钉到固定版本的提交，至少说明此前有段时间权重是跟着分支浮动的。端侧不等于行为不变，锁版本这件事没人替你做。

它最大的那块空地，自己还没吃到

翻一遍语言列表，会看到一件挺割裂的事。

Voz 支持 25 种语言，全是欧洲语言，没有中文。Redact 支持 27 种，也全是欧洲语言，没有中文。Uhm 做语气词检测，只有德、英、西、法、荷五种。三个最拿得出手的模型，中文、日文、韩文全部缺席。

含中文的都在边缘位置：Tongue 和 Ear 做语种识别（84 语和 99 语）；Gist 覆盖 101 语，可只有 36 个面向帖子和文章的固定类目，粒度对不上个人设备里的真实内容；Align 的 9 种语言里有中文，但它要求 iOS 26，等于又落回苹果那条线；Schemer 的 13 语里有中文和日文，可 Schemer 还在闭测，权重公开了，SDK 没有。

而它的官网做了 12 种语言的本地化，简体中文、日文、韩文都在。CJK 开发者明明在它的目标客户里，模型侧的覆盖却没跟上。

这个缺口的位置有点微妙。Apple Intelligence 没进中国大陆，这块地本是第三方端侧模型最大的一片空白，偏偏又是这家阿姆斯特丹公司眼下够不着的。

真去补这块地的，极有可能是国内团队，而且零件其实已经摆在那儿了。SenseVoice（阿里）做中文、粤语和方言的语音识别，sherpa-onnx（小米系的 k2-fsa）把转写、说话人分离、语音增强、VAD 打包成跨平台的离线运行时，FireRedASR（小红书）做工业级中文 ASR，RapidOCR 和 PaddleOCR 一系做端侧 OCR，Qwen 的小尺寸模型提供通用底座。这些东西的能力不比 Desert Ant 的目录差，不少还完全开源可商用。

差的是产品化那一层。它们现在的形态还是「模型 + 权重 + 一份 README」，开发者得自己选型、自己量化、自己做移动端封装、自己扛模型更新和版本漂移。Desert Ant 给的是「几行代码 + 按设备计费 + 版本钉死 + 三端一致的 SDK」。同样的能力，一边还是散装的料，一边已经是装好的零件。把中文端侧能力做成这样一个零件箱，目前还没看到谁认真在做。

拼的不是智能上限，是先被装进多少台设备

模型公司拼的是智能的上限，靠参数和数据往上顶；零件公司拼的是谁先被装进十万台设备，靠的是 SDK 的摩擦系数够不够低。这是两条不一样的曲线。

两年半前那篇文章里说的混合模式确实来了，只是分界线跟当时想的不一样。那会儿以为要在云和端之间划线，决定哪些任务下放设备、哪些留在云上。现在更贴近现实的划法是另一条：Apple 给的，和 Apple 不给的。前者免费，但有系统版本、机型、地区三道门槛；后者才是第三方零件的全部生存空间。

Desert Ant Labs 自己能不能活下来，暂时不知道。五个人、没有公开融资、除自家产品外没有公开客户案例、Hacker News 和中文互联网上几乎搜不到独立讨论，随便哪一条都够让它消失。但它把这一层的形状画清楚了：模型窄到只做一件事，体积压到几十 MB，接口收敛到几行代码，计费从调用换成设备。形状归形状，这家公司的存亡是另一回事。

真正的看点也不在阿姆斯特丹。Apple 每年 9 月都会往这一层塞进更多免费能力，第三方零件的空间只会被逐年削薄，能守住的就剩它自己进不去的那些角落。谁先把中文的端侧能力做成一套「几行代码就装得上」的 SDK，谁就先拿到 Apple 还没进来的这个市场。这扇窗不会一直开着，只是到今天为止，门口还没什么人排队。

来源

返回首页 · 全部文章 · 专题 · RSS