随着 LiteRT 技术的出现，在手机端离线运行大语言模型（LLM）已经不再是遥不可及的梦想。过去，我们认为 大语言模型 必须依赖云计算和网络连接才能实现，但现在，即使没有网络，也能在手机上流畅运行 大语言模型，这主要得益于 Google 发布的 LiteRT 技术。这项技术不仅降低了延迟，提高了隐私性，还增强了可靠性，为移动应用开发带来了革命性的变化。本文将深入探讨 LiteRT 的核心概念、优势、应用场景以及实际操作方法，帮助你了解如何利用这项技术在手机端部署和运行 大语言模型。
LiteRT：引擎盖下的秘密武器
LiteRT（Lite Runtime）是 Google 推出的新一代端侧 AI 运行时，可以看作是 TensorFlow Lite 的继任者。它最大的特点是兼容性强，支持 TensorFlow、PyTorch 和 JAX 等多种深度学习框架。这意味着开发者可以使用自己熟悉的框架进行模型训练，然后通过 LiteRT 部署到 Android、iOS、Web，甚至微控制器等多种平台。
LiteRT 的核心升级包括：
-
框架无关的转换器：只需一个命令行工具，就能将各种格式的模型转换为
.tflite文件。这极大地简化了模型部署的流程，降低了开发者的学习成本。想象一下，你用 PyTorch 训练了一个图像识别模型，只需要一行命令就可以将其转换为可以在 Android 手机上运行的.tflite文件，是不是很方便？ -
硬件委托： LiteRT 支持硬件委托，可以将计算密集型的矩阵运算交给手机的 GPU 或 NPU 处理，从而获得 3-5 倍的性能提升。这对于在移动设备上运行 大语言模型 至关重要，因为它可以显著降低延迟和功耗。例如，在配备 Snapdragon 8 Gen 3 的手机上，利用 GPU 委托可以实现 8-12 tokens/秒的生成速度。
-
MediaPipe LLM Inference API： LiteRT 提供了一个简单的 API 封装，将底层的张量操作隐藏起来，开发者只需要调用
generate()方法就可以进行推理。这降低了 大语言模型 的使用门槛，使得即使没有深度学习背景的开发者也能轻松上手。
模型选择：适用于移动端的最佳选择
并非所有 大语言模型 都适合在手机端运行。受限于手机的计算能力和内存大小，我们需要选择经过优化和压缩的模型。目前，Google 的 Gemma 3n 系列模型（2B 和 4B 参数）以 litert-preview 格式发布在 Hugging Face 上，非常适合在主流手机上运行。这些模型通常只需要 2-3 GB 的 RAM 空间。
除了 Gemma 3n 之外，社区开发者也对一些模型进行了剪枝和优化，例如 Stable Diffusion Turbo (<200 MB) 和 YAMNet 等音频模型，这些模型都可以在手机端实现即时离线使用。
一般来说，参数量小于 40 亿的 大语言模型 或大小小于 250 MB 的视觉模型，在性能和电池寿命之间可以取得最佳平衡。这意味着在选择模型时，需要根据实际需求和硬件条件进行权衡。例如，如果你的应用需要进行语音识别，可以选择 YAMNet 这样的轻量级音频模型；如果需要进行文本生成，可以选择 Gemma 3n 这样的 大语言模型。
实战演练：五分钟在 Android 上运行 Gemma 3n
Google 提供了一个现成的 Demo APK，可以帮助你快速体验在 Android 手机上运行 Gemma 3n 的效果。以下是具体步骤：
-
下载 Demo APK：使用
wget命令从 GitHub 下载 Demo APK 文件。wget https://github.com/google-ai-edge/mediapipe-samples/releases/download/v0.1.3/llm_inference_v0.1.3-debug.apk -
安装 APK：使用
adb install命令将 APK 安装到你的 Android 手机上。注意，你需要先启用 USB 调试模式。adb install llm_inference_v0.1.3-debug.apk -
运行 Demo：打开应用，选择 “LLM Inference” -> “Gemma 3n”，然后输入你的 Prompt，点击 “Generate” 按钮即可。
通过这个 Demo，你可以亲身体验到在手机端离线运行 大语言模型 的速度和效果。你会在配备 Snapdragon 8 Gen 3 的手机上看到大约 8-12 tokens/秒的生成速度，这得益于 GPU 委托的加速。
模型转换：将你的模型移植到移动端
如果你想在手机端运行自己的模型，你需要先将模型转换为 .tflite 格式。以下是具体步骤：
-
导出模型：将你的 PyTorch 或 TensorFlow 模型导出为 ONNX 或 SavedModel 格式。
-
使用 AI Edge 转换器进行转换：使用
edge_converter命令行工具将模型转换为.tflite文件。edge_converter \ --input_model=my_model \ --output_model=my_model.tflite \ --quantize=weight_only_4bit其中，
--input_model指定输入模型的文件路径，--output_model指定输出.tflite文件的路径，--quantize=weight_only_4bit表示使用 4-bit 权重量化，可以有效减小模型大小。 -
性能评估：使用
litert-benchmark工具评估模型的 RAM 占用和延迟。这可以帮助你了解模型在手机上的性能表现，并进行相应的优化。 -
代码集成：在你的 Android 代码中加载模型并进行推理。以下是一个简单的示例：
val interpreter = Interpreter(loadModelFile("my_model.tflite")) interpreter.allocateTensors() interpreter.run(inputTensor, outputTensor) -
加速：使用 GPU 委托或 NPU 委托来加速模型的推理过程。
kotlin
val gpuDelegate = GpuDelegateFactory().create()
interpreter.modifyGraphWithDelegate(gpuDelegate)
优化技巧：让你的模型跑得更快更稳
在手机端运行 大语言模型 需要考虑很多因素，例如模型大小、内存占用、功耗等。以下是一些优化技巧，可以帮助你提升模型的性能和稳定性：
-
算子覆盖：如果模型转换失败，可能是因为 LiteRT 不支持某些算子。你可以尝试替换不支持的层，或者启用 Select TF Ops，允许 TensorFlow 接管这些算子的计算。
-
内存预算： LiteRT 需要大约 1.2 倍模型大小的空闲 RAM 空间。为了保证应用的稳定运行，建议将模型大小控制在 2 GB 以下。
-
量化：使用 int8 或 4-bit 权重量化可以有效减小模型大小，同时对模型精度的影响很小。
-
硬件加速：尽可能使用 GPU 或 NPU 进行计算，可以显著降低功耗，提高性能。
未来展望：端侧 AI 的无限可能
Google 已经在内部测试 LiteRT Next，这是一个异步、零拷贝的 API，可以根据运行时的硬件条件自动选择最佳的加速器。据称，该 API 可以带来 30-50% 的性能提升。
随着芯片厂商将 20+ TOPS 的 NPU 集成到中端芯片中，未来在手机端运行参数量小于 70 亿的 大语言模型 将变得更加流畅。这意味着我们可以期待更多离线、隐私保护的 AI 应用出现。例如，我们可以开发一个完全离线的智能助手，它可以在没有网络的情况下回答问题、生成文本、翻译语言等。
LiteRT：端侧 LLM 时代的钥匙
LiteRT 的出现使得在手机端运行 大语言模型 成为一种可行的选择。Gemma 3n 证明，我们可以将多模态、指令微调的 大语言模型 集成到普通的移动应用中。通过 Google 提供的 Demo APK，我们可以立即体验离线 大语言模型 的强大功能。对于开发者来说，只需要进行简单的模型转换和代码集成，就可以将自己的模型部署到手机端。
离线语言理解、创意文本生成、隐私保护的 AI 助手不再是科幻小说中的情节，而是一个五分钟即可完成的 APK 安装。 LiteRT 为我们打开了端侧 大语言模型 时代的大门，让我们一起期待它在移动应用领域带来的更多惊喜吧！