LLM TREND

大模型技术趋势分享：LLM、RAG、Prompt、Agent、Fine-tuning等，学习资料免费领取：https://pan.baidu.com/s/1BPaPISPpQHIIq4-BPhM67g?pwd=22qy

LLM

掌握 Hugging Face：利用 Candle 实现轻量级 AI 推理

By llmtrend #LLM

在人工智能 (AI) 领域飞速发展的今天，Hugging Face 已经成为自然语言处理 (NLP)、计算机视觉以及其他机器学习应用创新的核心平台。作为一个连接全球 AI 社区的开放平台，Hugging Face 提供各种工具、模型和基础设施，助力 AI 开发实现快速、高效和开放。本文将深入探讨如何利用 Hugging Face 的强大功能，特别是结合轻量级推理库 Candle，实现 AI 模型的部署和应用。

Hugging Face 生态系统：AI 创新的基石

Hugging Face 不仅仅是一个模型仓库，它更是一个完整的生态系统。它提供了模型、数据集、Transformers 库以及各种工具，方便开发者进行模型训练、微调和部署。Hugging Face Hub 作为核心组件，汇集了来自世界各地的贡献者，分享了数以万计的预训练模型和数据集，极大地降低了 AI 开发的门槛。例如，你可以轻松地在 Hugging Face Hub 上找到针对特定任务，例如情感分析、文本摘要或图像分类的预训练模型，并直接用于你的项目中。这种共享机制加速了 AI 应用的开发速度，也促进了知识的传播和创新。

Candle：轻量级 AI 推理的利器

Candle 是 Hugging Face 推出的一款轻量级 AI 推理库，专为边缘设备的高性能而设计，尤其是在 CPU 和 WebAssembly (wasm) 环境下。 Candle 采用 Rust 语言编写，保证了其速度、安全性和高效性，非常适合在资源受限的环境中进行机器学习模型推理。不同于 PyTorch 或 TensorFlow 等大型库， Candle 无需 CUDA 或 GPU 即可实现最佳性能，这使其成为轻量级部署的理想选择，例如在小型服务器、边缘设备甚至浏览器中。

Candle 的主要优势在于：

  • 速度与轻量化： 专为速度和内存效率而设计。
  • 多平台支持： 支持 CPU 和 WebAssembly (wasm) 后端。
  • 便携性： 适用于边缘设备和嵌入式系统上的 AI。
  • Rust 语言： 充分利用 Rust 的安全性和高性能。

Phi：Hugging Face Candle 的高效模型应用

Phi 是微软开发的一种轻量级高效的大型语言模型 (LLM)，专为在资源有限的设备上实现快速准确的推理而设计。借助 Hugging Face Candle，我们可以轻松地在本地运行 Phi 模型，即使没有 GPU 也一样可以。以下是运行 Phi 模型所需的关键步骤，以及代码的逐行解释：

  1. 准备 Rust 项目：

    cargo new phi_runner
cd phi_runner

  2. 添加依赖：

    修改 Cargo.toml 文件，添加以下依赖：

    [dependencies]
candle-core = "0.3"
candle-transformers = "0.3"
tokenizers = "0.14"
hf-hub = "0.3"

  3. 代码解释：

    use candle_core::{Device, Result};
use candle_transformers::models::phi::ModelConfig;
use hf_hub::{api::sync::Api, Repo, RepoType};
use std::path::PathBuf;
use tokenizers::Tokenizer;

fn main() -> Result<()> {
    // 确定设备（CPU 或 GPU）
    let device = Device::Cpu;
    // 连接 Hugging Face Hub 并下载模型和 tokenizer
let api = Api::new()?;
let repo = api.repo(Repo::with_type("TheBloke/phi-1_5-GGUF", RepoType::Model));
let model_path: PathBuf = repo.get("model.safetensors")?;
let tokenizer_path: PathBuf = repo.get("tokenizer.json")?;

// 加载 tokenizer
let tokenizer = Tokenizer::from_file(tokenizer_path).unwrap();

// 加载模型
let config = ModelConfig::default();
let model = config.load(&amp;model_path, &amp;device)?;

// 准备输入
let prompt = "什么是人工智能？";
let tokens = tokenizer.encode(prompt, true).unwrap().get_ids().to_vec();

// 执行推理
let output = model.forward(&amp;tokens, 100)?;

// 解码输出
let decoded = tokenizer.decode(output, true).unwrap();
println!("输出：{}", decoded);

Ok(())

    

    }
    

    

    代码解释：
    

      

    • candle_core：定义了设备类型和 Result 类型，用于错误处理。
      • 

    • candle_transformers::models::phi::ModelConfig：导入了 Phi 模型的配置。
      • 

    • hf_hub：用于从 Hugging Face Hub 自动下载模型。
      • 

    • tokenizers::Tokenizer：用于加载和使用 Hugging Face 的 tokenizer。
      • 

    • Device::Cpu：指定在 CPU 上运行模型。
      • 

    • api.repo(...)：从 Hugging Face Hub 获取 Phi 模型。
      • 

    • tokenizer.encode(...)：将输入字符串转换为整数 token，供模型处理。
      • 

    • model.forward(...)：使用输入 token 运行 Phi 模型，生成最多 100 个输出 token。
      • 

    • tokenizer.decode(...)：将输出 token 解码为文本。
      •

  4. 运行结果：

    运行后，模型会生成类似以下的回复：

    输出： 人工智能是计算机科学的一个领域，专注于创建能够模仿人类智能的系统。

RWKV：结合 Transformer 和 RNN 优势的模型

RWKV 是一种结合了 Transformer 和 RNN (Recurrent Neural Network) 架构优势的语言模型。其目标是实现像 RNN 一样高效的推理，同时拥有像 Transformer 一样强大的性能。Hugging Face 通过 Candle 支持 RWKV 的轻量级快速部署，而无需 GPU。这种模型非常适合在边缘设备上运行，并且可以使用 Candle 集成到基于 Rust 的系统中。

与 Phi 类似，运行 RWKV 也需要下载模型和tokenizer。以下是关键代码：

use candle_core::{Device, Result};
use candle_transformers::models::rwkv::{Model, Config as RwkvConfig};
use hf_hub::{api::sync::Api, Repo, RepoType};
use std::path::PathBuf;
use tokenizers::Tokenizer;

fn main() -> Result<()> {
    let device = Device::Cpu;

    let api = Api::new()?;
    let repo = api.repo(Repo::with_type("RWKV/rwkv-4-pile-1b5", RepoType::Model));
    let model_path: PathBuf = repo.get("model.safetensors")?;
    let tokenizer_path: PathBuf = repo.get("tokenizer.json")?;

    let tokenizer = Tokenizer::from_file(tokenizer_path).unwrap();

    let config = RwkvConfig::v4(); // 可以使用手动配置
    let model = Model::load(config, &model_path, &device)?;

    let prompt = "人工智能在教育领域有什么好处？";
    let input_ids = tokenizer.encode(prompt, true).unwrap().get_ids().to_vec();

    let output = model.forward(&input_ids, 100)?;

    let decoded = tokenizer.decode(output, true).unwrap();
    println!("RWKV 回答:\n{}", decoded);

    Ok(())
}

Mistral：轻量级开源 LLM 的强大性能

Mistral 是一种轻量级、快速且高效的开源大型语言模型 (LLM)。 作为 LLaMA 和 GPT 等模型的轻量级替代品而开发， Mistral 采用现代 Transformer 架构，经过优化，可在包括 CPU 在内的各种设备上进行快速推理。 Candle 作为一种基于 Rust 的轻量级推理库，已直接支持 Mistral 以进行本地执行。

以下是关键代码：

use candle_core::{Device, Result};
use candle_transformers::models::mistral::{Config, Model};
use hf_hub::{api::sync::Api, Repo, RepoType};
use std::path::PathBuf;
use tokenizers::Tokenizer;

fn main() -> Result<()> {
    let device = Device::Cpu;

    let api = Api::new()?;
    let repo = api.repo(Repo::with_type("TheBloke/Mistral-7B-v0.1-GGUF", RepoType::Model));
    let model_path: PathBuf = repo.get("model.safetensors")?;
    let tokenizer_path: PathBuf = repo.get("tokenizer.json")?;

    let tokenizer = Tokenizer::from_file(tokenizer_path).unwrap();

    let config = Config::default();
    let model = Model::load(config, &model_path, &device)?;

    let prompt = "AI 在日常生活中的作用是什么？";
    let input_ids = tokenizer.encode(prompt, true).unwrap().get_ids().to_vec();

    let output = model.forward(&input_ids, 100)?;

    let result = tokenizer.decode(output, true).unwrap();
    println!("Mistral 回答:\n{}", result);

    Ok(())
}

Phi、RWKV 和 Mistral 的性能比较

现在，让我们从生成时间、准确性和计算需求三个重要方面分析和比较 Phi、RWKV 和 Mistral 的性能：

| 特性 | Phi | RWKV | Mistral |
| ——————- | ———————————- | ——————————— | ———————————– |
| 生成时间 (Inference Time) | 相对较快 | 最快 | 较慢 |
| 准确性 (Accuracy) | 中等，适合通用任务 | 中等，对特定任务优化 | 较高，更擅长复杂推理和上下文理解 |
| 计算需求 (Resource Usage) | 较低，可在 CPU 上运行 | 非常低，可在嵌入式设备上运行 | 较高，建议使用 GPU |

结论：

  • RWKV 在速度方面表现出色，适合资源受限设备上的实时需求。
  • Mistral 在上下文理解和生成自然流畅的句子方面表现出色。
  • Phi 和 RWKV 可以在普通笔记本电脑/CPU 上运行。 Mistral 需要大量资源，最好在服务器或 GPU 上运行。

建议：

  • 对于轻量级、快速的离线应用 → 选择 RWKV
  • 对于普通 CPU 上的平衡快速响应 → 使用 Phi
  • 为了获得最佳的响应质量和上下文 → 使用 Mistral (尽管更重)

解决 Rust 应用中的常见错误

在使用 Candle 运行模型时，您可能会遇到一些常见的错误。以下是一些解决方案：

  1. 错误：model.safetensors not found

    • 原因： 未能从 Hugging Face Hub 下载模型文件，或者路径错误。
    • 解决方案： 确保添加了 hf-hub 依赖项，并使用正确的路径 repo.get("model.safetensors")?。尝试删除模型缓存：rm -rf ~/.cache/huggingface，然后重新运行程序。

  2. 错误：Failed to parse tokenizer.json

    • 原因： 来自 Hugging Face 的 tokenizer 格式不正确或不完整。
    • 解决方案： 确保下载的模型包含 tokenizer.json。使用经过验证的存储库或来自 TheBloke 的模型（例如：TheBloke/Mistral-7B-v0.1-GGUF）。

  3. 错误：mismatched types 或 expected struct Result<T, E>

    • 原因： 返回类型不匹配，或者 Result 未正确返回。
    • 解决方案： 将 -> Result<()> 添加到 main 函数。用 Ok(()) 关闭函数：fn main() -> Result<()> { ... Ok(()) }。

  4. 错误：加载模型时内存不足或超出范围

    • 原因： 模型对于可用内存来说太大了。
    • 解决方案： 使用较小版本的模型（例如 phi-1.5b 而不是 mistral-7b）。确保您的系统有足够的 RAM。根据需要使用交换内存。

通用调试技巧：

  • 始终注意显示的错误类型； Rust 提供了非常详细的提示。
  • 使用 println!() 查看变量的状态。
  • 如果发生 panic，请在运行时添加 RUST_BACKTRACE=1：RUST_BACKTRACE=1 cargo run

结论

通过本文的六个部分，我们学习了：

  • Candle 的介绍及其在轻量级 AI 推理中的使用。
  • 运行 Phi、RWKV 和 Mistral 模型，并进行逐行代码解释。
  • 对三个模型进行比较分析，从速度到资源。
  • 解决在 Rust 中运行模型时出现的错误。

凭借这些知识，您现在拥有坚实的基础，可以在各种系统（包括边缘设备）上进行基于 Hugging Face 的 AI 部署，而无需依赖重量级框架或昂贵的 GPU。 Hugging Face 和 Candle 的结合，为 AI 应用的开发和部署提供了前所未有的灵活性和效率，必将在未来的 AI 发展中发挥越来越重要的作用。

By llmtrend

Related Post

LLM

大模型：千亿美金背后的秘密，AI革命如何重塑世界

llmtrend
LLM

MatFormer：Gemma 3n背后的模型压缩与高效推理利器

llmtrend
LLM

MatFormer：Gemma 3n背后的算力效率革命，嵌套Transformer引领模型部署新范式

llmtrend

You Missed

LLM

MatFormer：Gemma 3n背后的算力效率革命，嵌套Transformer引领模型部署新范式

LLM

MatFormer：Gemma 3n背后的模型压缩与高效推理利器

LLM

大模型：千亿美金背后的秘密，AI革命如何重塑世界

LLM

Ilari 协议：构建大模型时代的人机共生关系

Copyright © All rights reserved | Blogus by Themeansar.