跳到主要内容
api工厂
AI 开发

浏览器端 AI:WebGPU 与端侧小模型的能与不能

api工厂资讯栏目 约 5 分钟阅读
本文由 AI 辅助生成,内容基于公开资讯整理改写,技术细节以官方文档为准。

结论先行:WebGPU 已让「在浏览器里跑小模型」从演示变成生产选项——Chrome/Edge 113 起默认支持,Safari 26 与 Firefox(Windows 141 起)陆续跟进,但 Linux 与部分平台仍有缺口,必须做能力检测与回退。端侧推理的真实价值是隐私、离线、零延迟与零边际成本;真实约束是只能跑量化后的 1B~7B 级小模型、首次下载数百 MB 到数 GB、质量低于云端前沿模型。它是云端 API 的窄切片补充,不是替代品。浏览器支持数据以 caniuse 与官方文档为准。

一、WebGPU 现状:客观盘点

WebGPU 是 W3C 的新一代图形与通用计算 API,把 compute shader 暴露给 JavaScript,这是浏览器跑神经网络矩阵运算的前提。截至本文撰写时的公开支持情况:

浏览器支持状态
Chrome / Edge113 起默认开启,桌面与 Android 均可用
Safari26 起支持(macOS Tahoe / iOS 26),旧系统不可用
FirefoxWindows 141 起、Apple Silicon Mac 145 起;Linux 与 Intel Mac 尚未支持
Service Worker 内普遍不可用

caniuse 统计的全球完全支持率约八成多,意味着生产环境必须写检测与回退,不能假设用户有 GPU:

javascript
async function pickBackend() {
  if (!('gpu' in navigator)) return 'wasm';
  const adapter = await navigator.gpu.requestAdapter();
  return adapter ? 'webgpu' : 'wasm';
}

requestAdapter 返回 null 的场景比想象中多:虚拟机、远程桌面、关闭硬件加速、过老驱动。拿不到 GPU 就回退 WASM(CPU)后端或直接走云端 API,给用户明确提示而不是白屏。

二、能做什么:四类真实场景

  1. 隐私敏感处理:合同解析、病历摘要、简历筛选,输入不出设备,省掉数据留存与合规审查的大半成本;
  2. 离线与弱网:现场工单、自助终端,模型权重经 Cache API / IndexedDB 缓存后零网络请求可用;
  3. 亚百毫秒微交互:输入纠错、本地补全、拼写检查,网络往返本身就超预算,只有本地推理能满足;
  4. 高频低价值调用:每个输入框的实时提示,按 token 计费的云端账单不可承受,端侧把算力成本转移给用户硬件。

主流引擎两条路线:WebLLM(MLC 团队,模型编译到 WebGPU shader,Chat 场景工程完成度高,OpenAI 风格 API)与 Transformers.js(Hugging Face 生态,ONNX 格式,适合嵌入、分类等非生成任务与多模型混合)。

三、不能做什么:三条硬约束

模型尺寸。权重体积约等于参数量 × 量化位宽 / 8:7B 模型 4-bit 量化约 3.5GB,再加 KV Cache 与运行时开销逼近 4GB。集显设备共享内存实际可用往往只有 1~2GB,3B 都可能装不下。经验法则是端侧首选 1B~3B,7B 只在独显或大内存 Apple Silicon 上考虑。

质量折损。4-bit 量化在对话、摘要类任务损失可接受,但复杂推理与数学能力明显下降;蒸馏小模型与云端前沿模型的差距不是量化能补的。把端侧模型当「够用的小助手」,不要当「全能专家」。

首次体验。数百 MB 到数 GB 的权重下载必须有进度条与缓存策略,用户清缓存会重新触发下载;长对话的 KV Cache 线性膨胀,需要截断历史或摘要压缩,否则爆内存。

四、工程纪律清单

  • 推理放 Web Worker,主线程只做 UI,否则页面冻结;
  • 能力检测三级回退:WebGPU → WASM → 云端 API;
  • 用 navigator.storage.persist() 申请持久化存储,降低缓存被清概率;
  • 限制 max_new_tokens 与上下文长度,低端机主动降档到更小模型;
  • 权重尽量同域托管,避免第三方 CDN 的隐私与可用性风险;
  • 记录失败设备的 vendorID 等信息,兼容性维护靠数据不靠猜。

五、端云协同才是常态

真实产品几乎都是混合架构:端侧小模型处理隐私与高频微任务,复杂任务路由到云端大模型。这时后端只需要薄薄一层——会话路由、用户鉴权、结果落库。没有自建后端的团队可以用 api工厂这类现成平台补齐用户会员、CMS 与文件存储能力,把端侧 AI 的产出(摘要、标签、草稿)直接写进业务数据,平台能力见 https://www.it120.cc/ 。端侧解决「数据不出门」,云端解决「能力上限」,后台解决「数据有处去」,三层各干各的活。

文章标签

WebGPU端侧AI浏览器小模型

相关产品

api工厂是面向开发者的开放 SaaS 平台:开箱即用的后台管理系统 + 全端 SDK,只需前端开发即可构建小程序、App、H5 与网站。

提示词工程AI编程验收标准

提示词工程实战:验收标准驱动的任务描述

给 AI 写任务最有效的结构是验收标准驱动:完成条件写成可执行命令与可观察行为。本文用三组前后对比示例说明差距,给出可复用模板与规则沉淀方法。

AI 开发约 5 分钟阅读