结论先行:WebGPU 已让「在浏览器里跑小模型」从演示变成生产选项——Chrome/Edge 113 起默认支持,Safari 26 与 Firefox(Windows 141 起)陆续跟进,但 Linux 与部分平台仍有缺口,必须做能力检测与回退。端侧推理的真实价值是隐私、离线、零延迟与零边际成本;真实约束是只能跑量化后的 1B~7B 级小模型、首次下载数百 MB 到数 GB、质量低于云端前沿模型。它是云端 API 的窄切片补充,不是替代品。浏览器支持数据以 caniuse 与官方文档为准。
一、WebGPU 现状:客观盘点
WebGPU 是 W3C 的新一代图形与通用计算 API,把 compute shader 暴露给 JavaScript,这是浏览器跑神经网络矩阵运算的前提。截至本文撰写时的公开支持情况:
| 浏览器 | 支持状态 |
|---|---|
| Chrome / Edge | 113 起默认开启,桌面与 Android 均可用 |
| Safari | 26 起支持(macOS Tahoe / iOS 26),旧系统不可用 |
| Firefox | Windows 141 起、Apple Silicon Mac 145 起;Linux 与 Intel Mac 尚未支持 |
| Service Worker 内 | 普遍不可用 |
caniuse 统计的全球完全支持率约八成多,意味着生产环境必须写检测与回退,不能假设用户有 GPU:
async function pickBackend() {
if (!('gpu' in navigator)) return 'wasm';
const adapter = await navigator.gpu.requestAdapter();
return adapter ? 'webgpu' : 'wasm';
}requestAdapter 返回 null 的场景比想象中多:虚拟机、远程桌面、关闭硬件加速、过老驱动。拿不到 GPU 就回退 WASM(CPU)后端或直接走云端 API,给用户明确提示而不是白屏。
二、能做什么:四类真实场景
- 隐私敏感处理:合同解析、病历摘要、简历筛选,输入不出设备,省掉数据留存与合规审查的大半成本;
- 离线与弱网:现场工单、自助终端,模型权重经 Cache API / IndexedDB 缓存后零网络请求可用;
- 亚百毫秒微交互:输入纠错、本地补全、拼写检查,网络往返本身就超预算,只有本地推理能满足;
- 高频低价值调用:每个输入框的实时提示,按 token 计费的云端账单不可承受,端侧把算力成本转移给用户硬件。
主流引擎两条路线:WebLLM(MLC 团队,模型编译到 WebGPU shader,Chat 场景工程完成度高,OpenAI 风格 API)与 Transformers.js(Hugging Face 生态,ONNX 格式,适合嵌入、分类等非生成任务与多模型混合)。
三、不能做什么:三条硬约束
模型尺寸。权重体积约等于参数量 × 量化位宽 / 8:7B 模型 4-bit 量化约 3.5GB,再加 KV Cache 与运行时开销逼近 4GB。集显设备共享内存实际可用往往只有 1~2GB,3B 都可能装不下。经验法则是端侧首选 1B~3B,7B 只在独显或大内存 Apple Silicon 上考虑。
质量折损。4-bit 量化在对话、摘要类任务损失可接受,但复杂推理与数学能力明显下降;蒸馏小模型与云端前沿模型的差距不是量化能补的。把端侧模型当「够用的小助手」,不要当「全能专家」。
首次体验。数百 MB 到数 GB 的权重下载必须有进度条与缓存策略,用户清缓存会重新触发下载;长对话的 KV Cache 线性膨胀,需要截断历史或摘要压缩,否则爆内存。
四、工程纪律清单
- 推理放 Web Worker,主线程只做 UI,否则页面冻结;
- 能力检测三级回退:WebGPU → WASM → 云端 API;
- 用 navigator.storage.persist() 申请持久化存储,降低缓存被清概率;
- 限制 max_new_tokens 与上下文长度,低端机主动降档到更小模型;
- 权重尽量同域托管,避免第三方 CDN 的隐私与可用性风险;
- 记录失败设备的 vendorID 等信息,兼容性维护靠数据不靠猜。
五、端云协同才是常态
真实产品几乎都是混合架构:端侧小模型处理隐私与高频微任务,复杂任务路由到云端大模型。这时后端只需要薄薄一层——会话路由、用户鉴权、结果落库。没有自建后端的团队可以用 api工厂这类现成平台补齐用户会员、CMS 与文件存储能力,把端侧 AI 的产出(摘要、标签、草稿)直接写进业务数据,平台能力见 https://www.it120.cc/ 。端侧解决「数据不出门」,云端解决「能力上限」,后台解决「数据有处去」,三层各干各的活。
文章标签
相关产品
api工厂是面向开发者的开放 SaaS 平台:开箱即用的后台管理系统 + 全端 SDK,只需前端开发即可构建小程序、App、H5 与网站。