本地LLM赋能：使用模型上下文协议(MCP)构建生成式AI应用

随着生成式AI应用的蓬勃发展，越来越多开发者希望能够摆脱对昂贵付费ChatGPT服务的依赖，探索本地化、离线化的LLM（大语言模型）开发方式。本文将深入探讨如何在本地运行LLM，并利用模型上下文协议（MCP），构建功能丰富的生成式AI应用，例如像Airbnb那样具备聊天和房源列表功能的本地化应用。我们将以Ollama为例，展示如何搭建本地LLM环境，并接入Airbnb的MCP，释放本地LLM的无限潜力。

本地LLM：打破云端束缚，释放开发自由

长期以来，开发者习惯于依赖云端LLM API，如OpenAI的ChatGPT，但这带来了一系列问题：成本高昂、数据隐私风险、网络依赖等。本地LLM的出现，为开发者提供了另一种选择。它允许开发者在自己的计算机上运行LLM，无需联网，无需支付高额API费用，同时也保障了数据的安全和隐私。

目前，市面上涌现出许多优秀的本地LLM引擎，如Ollama、LM Studio等。以Ollama为例，它简化了LLM的安装和管理，开发者可以通过简单的命令下载和运行各种开源LLM模型，例如Llama 2、Mistral等。这极大地降低了本地LLM开发的门槛，让更多开发者能够参与到生成式AI应用的开发中来。

更重要的是，本地LLM为开发者提供了更大的自由度。开发者可以根据自己的需求，对LLM进行定制和优化，而无需受到云端API的限制。这为开发者创新提供了无限的可能性。

模型上下文协议(MCP)：连接LLM与外部世界的桥梁

仅仅拥有本地LLM是不够的，我们需要一种机制，让LLM能够与外部世界进行交互，执行各种任务。模型上下文协议（MCP）应运而生。MCP是一种标准化的协议，它定义了LLM如何接收指令、如何访问外部数据、如何执行特定任务。

MCP的核心思想是，将LLM的推理能力与外部服务的能力相结合，从而实现更复杂的应用场景。例如，Airbnb的MCP允许用户通过自然语言与LLM进行交互，查询房源信息、预订房间等。

https://github.com/modelcontextprotocol/servers 上提供了大量的 MCP 服务供开发者探索。这些 MCP 服务覆盖了各种领域，例如：电商、金融、医疗等。开发者可以根据自己的需求，选择合适的 MCP 服务，与本地LLM进行集成，构建各种各样的生成式AI应用。

举例说明： 假设我们需要开发一个本地化的电商助手，可以帮助用户搜索商品、比较价格、生成购买建议。我们可以利用一个电商领域的MCP服务，该服务提供了一系列API，可以访问商品信息、价格信息、用户评价等。通过MCP，我们可以将用户的自然语言指令传递给LLM，LLM解析指令后，调用MCP提供的API，获取相关信息，然后将结果返回给用户。

Ollama：简化本地LLM部署的利器

Ollama 是一个开源工具，它旨在使在本地机器上安装、运行和管理大语言模型（LLM）变得简单。Ollama 通过将模型、依赖项和配置打包成一个单一的、易于分发的格式来实现这一点。

使用 Ollama 的主要优点包括：

简单性：Ollama 提供了一个简单的命令行界面，用于下载、运行和管理 LLM。
可移植性：Ollama 模型可以轻松地在不同的机器和操作系统之间共享。
隔离性：Ollama 模型在容器中运行，这有助于隔离它们并防止冲突。
效率：Ollama 优化了 LLM 的性能，使其能够在本地机器上高效运行。

安装 Ollama

您可以从 Ollama 官方网站下载并安装 Ollama：https://ollama.com/

安装完成后，您可以使用以下命令来运行 Ollama：

ollama serve

下载 LLM 模型

Ollama 提供了许多预训练的 LLM 模型，您可以从 Ollama 库中下载这些模型：https://ollama.com/library

例如，要下载 Llama 2 模型，您可以使用以下命令：

ollama pull llama2

运行 LLM 模型

下载模型后，您可以使用以下命令来运行它：

ollama run llama2

这将启动 Llama 2 模型，您可以开始与它进行交互。

Ollama 极大地简化了本地LLM的部署过程，开发者无需关注复杂的底层细节，即可快速搭建起本地LLM环境。

Airbnb MCP实践：构建本地房源查询助手

现在，让我们以Airbnb的MCP为例，演示如何构建一个本地化的房源查询助手。

安装 Airbnb MCP Server

首先，我们需要安装 Airbnb MCP Server。可以从GitHub上克隆该项目：
```
git clone https://github.com/openbnb-org/mcp-server-airbnb
cd mcp-server-airbnb
```
按照项目文档中的说明，安装所需的依赖项并启动Server。通常需要安装Docker，并运行Docker Compose来启动server。

连接 Ollama 和 Airbnb MCP Server

我们需要编写一个简单的程序，将用户的自然语言指令传递给Ollama，Ollama解析指令后，调用Airbnb MCP Server提供的API，获取房源信息，然后将结果返回给用户。

这涉及到使用Ollama提供的API和Airbnb MCP Server提供的API。我们可以使用Python等编程语言来实现这个程序。

示例代码（Python）:

import ollama
import requests

# Ollama model to use
model = "llama2"

# Airbnb MCP server URL
mcp_url = "http://localhost:8000/query" # 假设 MCP server 运行在本地 8000 端口

def query_airbnb(query):
    """
    Queries the Airbnb MCP server with the given query.
    """
    payload = {"query": query}
    try:
        response = requests.post(mcp_url, json=payload)
        response.raise_for_status()  # Raise HTTPError for bad responses (4xx or 5xx)
        return response.json()
    except requests.exceptions.RequestException as e:
        print(f"Error connecting to Airbnb MCP server: {e}")
        return None

def main():
    while True:
        user_input = input("Enter your Airbnb query (or 'exit'): ")
        if user_input.lower() == "exit":
            break    # Pass user input to Ollama to potentially refine or rephrase
    ollama_response = ollama.generate(model=model, prompt=user_input, stream=False)
    refined_query = ollama_response['response']  # Use Ollama's response as the query for the MCP

    print(f"Ollama Refined Query: {refined_query}") # Display the refined query

    airbnb_results = query_airbnb(refined_query)

    if airbnb_results:
        print("Airbnb Results:")
        print(airbnb_results) # Display the raw JSON response for now.
    else:
        print("No Airbnb results found or an error occurred.")

if __name__ == "__main__":

    main()


这段代码首先定义了Ollama的模型名称和Airbnb MCP Server的URL。query_airbnb函数负责与Airbnb MCP Server进行通信，发送查询请求并接收响应。main函数负责接收用户的输入，调用Ollama来对用户的输入进行潜在的改进和优化，然后将Ollama改进后的query发送给Airbnb MCP Server，并将结果打印出来。
注意： 这只是一个简单的示例，实际应用中需要进行错误处理、结果解析和用户界面设计等。

测试和优化

运行程序，输入一些自然语言指令，例如“我想在旧金山找到一间价格低于200美元的公寓”，查看返回的房源信息。根据返回结果，不断调整Ollama和Airbnb MCP Server的配置，优化查询效果。

通过以上步骤，我们就成功构建了一个基于本地LLM和Airbnb MCP的房源查询助手。用户可以通过自然语言与LLM进行交互，方便快捷地找到心仪的房源。

本地LLM与MCP的未来展望

本地LLM与MCP的结合，为生成式AI应用的开发带来了全新的可能性。我们可以预见到以下发展趋势：

更多领域的MCP服务涌现： 随着MCP标准的普及，越来越多的开发者会贡献出各种领域的MCP服务，覆盖电商、金融、医疗、教育等各个行业。
更智能的LLM： LLM的模型规模和推理能力会不断提升，能够更好地理解用户的意图，执行更复杂的任务。
更便捷的开发工具： 会出现更多便捷的开发工具，简化本地LLM和MCP的集成过程，降低开发门槛。
更广泛的应用场景： 本地LLM和MCP会被应用到各种场景中，例如智能客服、智能家居、智能助手等。

数据驱动的优化： 本地LLM的优势在于能够处理本地数据，而这些数据可以用于进一步微调LLM，使其更适合特定应用场景。例如，一个企业可以将内部文档用于微调LLM，使其能够更好地理解和处理企业内部的知识。

隐私保护： 在数据隐私日益受到重视的今天，本地LLM可以有效保护用户数据，因为它无需将数据上传到云端。这对于金融、医疗等敏感行业尤为重要。

个性化定制： 通过结合MCP，可以将LLM与用户的个性化数据进行连接，从而提供更加个性化的服务。例如，一个智能购物助手可以根据用户的历史购买记录和偏好，推荐更符合用户需求的商品。

总结

本文深入探讨了如何在本地运行LLM，并利用模型上下文协议（MCP）构建功能丰富的生成式AI应用。通过Ollama搭建本地LLM环境，并接入Airbnb的MCP，开发者可以快速构建一个本地化的房源查询助手。本地LLM与MCP的结合，为生成式AI应用的开发带来了全新的可能性，它打破了云端束缚，释放了开发自由，也保障了数据的安全和隐私。随着技术的不断发展，我们有理由相信，本地LLM与MCP将在未来发挥越来越重要的作用。现在就开始你的 本地LLM 之旅，并探索 模型上下文协议（MCP） 的无限可能性吧！相信通过本文的介绍，您已经对如何在本地运行 LLM 并构建 生成式AI应用 有了更深入的了解。

本地LLM赋能：使用模型上下文协议(MCP)构建生成式AI应用