端侧推理：完全离线的 AI 怎么实现

云服务再方便，也有没网的时刻和不想上云的内容。端侧推理把模型直接装进设备：无网络、无密钥、无费用，推理全程在本机完成。

技术底座

端侧能力基于 Google 的 LiteRT LM SDK（原 TensorFlow Lite 团队的本地大模型运行时），支持安卓、iOS 与桌面（macOS/Linux/Windows）。模型文件是专门的打包格式，从公开模型社区下载后存到本地。

下载与完整性校验

应用对本地模型文件的管理相当较真：

• 每个模型钉死在不可变的版本号上——同一个应用版本下载到的字节永远一致
• 下载时流式计算 SHA-256，长度与摘要都对上才算数；不对就丢弃重下
• 校验通过的摘要写进标记文件，之后每次加载前再核对一遍
• 校验不通过的文件拒绝加载（不会自动删你的文件，留给你自己处置：删了重下或留着）
• 自己导入的模型文件豁免校验（毕竟不是应用自己下的），见下文管理入口

运行特性

• 首次加载约 10 秒初始化引擎，之后会话期间常驻
• 闲置 5 分钟自动释放内存
• GPU 优先，设备不支持时回退 CPU；安卓上可用内存不足 512 MB 时拒绝加载
• 单次推理上限 2 分钟
• 加载中聊天区显示「正在初始化某某模型」的呼吸点提示

端侧模型能干什么、不能干什么

能：正常聊天；基础工具调用（时间、IP 定位、搜索、打开链接、通用记忆三件套，以及开启沙盒后的 Shell 命令）。

不能：

• 收图片附件（本地引擎只吃文本）
• 生成动态交互界面（界面 JSON 对小模型太难）
• 结构化记忆分类与记忆晋升（这两件只给远程模型）
• 当回退目标：云服务挂了不会悄悄切到本地，见回退链

两个平台限制

• 安卓要求 64 位设备：本地库只编了 arm64 与 x86_64，纯 32 位机器上 LiteRT 服务卡片直接隐藏
• Linux 桌面要求 AVX2 指令集：老 CPU 上同样隐藏该选项；远程服务不受影响

模型有多大、选哪个，见端侧模型清单；设置里怎么下载导入，也写在那一页。