在 AI 编码助手 的浪潮下，如 Zed 这样的工具凭借其智能的代码补全、错误诊断和代码生成能力，正逐渐改变着软件开发的方式。然而，这些 AI 编码助手 的内部运作机制往往如同一个黑盒，对于开发者而言，了解其背后的原理，特别是其 Prompt 策略 和与 LLM API 交互 的方式，对于优化工作流程、提升开发效率至关重要。本文将深入探讨如何利用 mitmproxy 这样的抓包工具，对 Zed 进行反向工程，揭示其内部的 Prompt 策略、API交互 细节，并分析其潜在的优化空间。

1. 反向工程与 AI 编码助手的必要性

随着 AI 编码助手 的普及，我们越来越依赖这些工具来加速开发进程。然而，如同任何复杂的系统一样，仅仅依赖而不去理解其内部运作机制，可能会限制我们对其能力的充分利用。反向工程，通过分析软件的输入输出、网络通信等行为，来推导出其内部设计和实现原理，对于理解 AI 编码助手 的工作方式至关重要。

具体来说，通过反向工程，我们可以：

• 评估框架的必要性： 确定 AI 编码助手 使用的框架是否真正必要，或者是否存在更简单、更高效的替代方案。例如，某些助手可能过度依赖复杂的深度学习模型，而对于某些任务，简单的规则引擎可能就足够了。
• 优化 Prompt： 分析 AI 编码助手 发送给 LLM 的 Prompt，识别其中的模式、结构和特殊格式。这有助于我们理解助手是如何引导 LLM 产生期望的输出的，并可能发现可以手动优化 Prompt 的空间。例如，通过分析 Zed 的 Prompt，我们可以了解它如何结合上下文代码、用户输入以及特定的指令，从而产生更准确的代码补全建议。
• 提升 API 调用效率： 检查 AI 编码助手 发送给 LLM 的 API 请求参数，包括模型名称、温度设置、最大 Token 限制等。这有助于我们理解助手是如何控制 LLM 的行为的，并可能发现可以减少 API 调用次数、降低延迟的策略。例如，通过分析 Zed 的 API 请求，我们可以了解它是否发送了过多的 countTokens 请求，以及是否可以通过缓存机制来优化。
• 改进响应处理： 观察 AI 编码助手 如何处理 LLM 的响应，包括后处理、错误处理和验证。这有助于我们理解助手是如何确保输出的质量和可靠性的，并可能发现可以改进错误处理机制、提升用户体验的方法。

2. mitmproxy：反向工程的利器

mitmproxy 是一款强大的中间人代理工具，可以拦截并检查网络流量，包括 HTTP 和 HTTPS 请求。通过将 mitmproxy 设置为代理服务器，我们可以捕获所有 AI 编码助手 与 LLM 提供商之间的通信，从而深入了解其内部运作机制。

使用 mitmproxy 进行反向工程的步骤如下：

1. 安装 mitmproxy： 根据 mitmproxy 官网的指引安装 mitmproxy。在 macOS 上，可以使用 Homebrew 轻松安装：brew install mitmproxy。
2. 启动交互式 UI： 运行 mitmweb 命令启动 mitmproxy 的交互式 UI。UI 会显示 mitmproxy 的 URL（例如 http://127.0.0.1:8081/），可以在浏览器中访问。
3. 配置系统代理： 配置操作系统将流量路由到 mitmproxy。在 macOS 上，可以在“系统设置”->“网络”->“高级”->“代理”中，将 HTTP 和 HTTPS 代理设置为 localhost 和 8080。
4. 安装 CA 证书： 为了拦截 HTTPS 请求，需要安装 mitmproxy 的 CA 证书。该证书通常位于 ~/.mitmproxy 目录下。使用以下命令安装证书：sudo security add-trusted-cert -d -p ssl -p basic -k /Library/Keychains/System.keychain ~/.mitmproxy/mitmproxy-ca-cert.pem。

安装并配置好 mitmproxy 后，就可以启动 Zed，并执行一些常见的编码任务，例如代码补全、错误诊断和代码生成。mitmproxy 的交互式 UI 会显示 Zed 发送的 API 请求和接收到的响应，我们可以通过分析这些数据来了解 Zed 的内部运作机制。

例如，通过观察 Zed 的 API 请求，我们可以发现：

• Zed 如何构建 Prompt，包括如何结合上下文代码、用户输入以及特定的指令。
• Zed 使用哪些 LLM 模型，以及如何配置模型的参数（例如温度、最大 Token 限制）。
• Zed 如何处理 LLM 的响应，包括后处理、错误处理和验证。

3. 分析 Zed 的 API 调用

通过 mitmproxy 拦截到的 Zed 的 API 调用，我们可以深入了解其内部运作机制。以下是一些有趣的观察：

• 过多的 countTokens API 调用： Zed 似乎发送了过多的 countTokens API 调用，几乎在用户每次输入一个字符时都会发送一个请求。这可能会导致不必要的延迟和资源消耗。一种可能的优化方案是使用本地的 Tokenizer 库来估算 Token 数量，从而减少对 API 的依赖。
• 用户提交时的 streamGenerateContent API 调用： 当用户点击 Zed UI 上的提交按钮时，会发送一个 streamGenerateContent API 调用，其中包含用户 Prompt 和 Zed 的系统 Prompt。这表明 Zed 使用系统 Prompt 来引导 LLM 产生期望的输出。
• 生成标题的 streamGenerateContent API 调用： 在用户提交后，Zed 还会发送一个 streamGenerateContent API 调用，用于生成用户会话的标题。这表明 Zed 使用 LLM 来自动化一些辅助任务，例如会话管理。

4. 深入剖析 Zed 的 System Prompt

系统 Prompt 是 AI 编码助手 与 LLM 交互的关键组成部分。通过分析 Zed 的系统 Prompt，我们可以了解它如何引导 LLM 产生期望的输出。

Zed 的系统 Prompt 可以分解为以下几个关键方面：

I. 角色与职责：

系统 Prompt 将 LLM 定义为一个“具有广泛编程语言、框架、设计模式和最佳实践知识的高技能软件工程师”。它强调了专业的交流风格，并要求 LLM 严格遵守事实。系统 Prompt 明确指示 LLM 避免为意外结果道歉，而是专注于解决问题和解释情况。这体现了 Zed 希望 LLM 扮演一个可靠的、以解决问题为导向的助手的角色。

II. 工具使用：

系统 Prompt 为 LLM 使用工具提供了严格的指导方针。这些指导方针包括：

• 遵守模式： LLM 必须正确使用提供的 API，包括提供所有必需的参数。
• 上下文感知： LLM 不应使用工具访问上下文中已经可用的信息。
• 可用性检查： LLM 只能使用当前可用的工具。这意味着工具可以是动态启用的或禁用的。
• 进程管理： LLM 明确禁止运行长时间运行的后台进程，如服务器或文件监视器。

III. 搜索与阅读：

系统 Prompt 详细说明了 LLM 如何浏览文件系统和搜索代码。它强调：

• 主动信息收集： 如果不确定如何满足用户的请求，LLM 应使用工具调用和/或澄清问题来收集更多信息。
• 项目结构意识： LLM 了解项目的根目录（在本例中为 kvwc）。
• 路径特异性： 提供给工具的路径必须源自其中一个根目录。不允许猜测路径。
• 工具偏好： grep 工具是代码符号搜索的首选，而 find_path 用于基于路径的搜索。

IV. 代码块格式：

系统 Prompt 强制执行非常具体的代码块格式：“`path/to/Something.blah#L123-456(code goes here)“`。即使对于与项目没有直接关系的示例代码，路径也是强制性的。这种严格的格式可能是由于所使用的 Markdown 解析器的限制造成的，这意味着系统具有未直接在系统 Prompt 中定义的特定约束。这种严格的代码块格式，可能是为了解决Markdown渲染引擎的兼容性问题，也是一种非常值得借鉴的实践方案。

V. 诊断处理：

系统 Prompt 概述了 LLM 如何修复软件诊断（错误、警告）：

• 有限的尝试： LLM 应该只尝试修复诊断几次，然后寻求用户输入。
• 代码保留： LLM 不应不必要地简化或修改生成的代码来解决诊断问题。

VI. 调试：

系统 Prompt 鼓励调试的最佳实践：解决根本原因、添加日志记录和使用测试函数。

VII. 外部 API 使用：

系统 Prompt 指导 LLM 如何使用外部 API。它包括：

• 主动使用： LLM 应使用合适的外部 API，无需明确的用户许可。
• 版本选择： LLM 必须选择与用户的依赖管理文件兼容的 API 版本；否则，它必须选择可用的最新版本。
• API 密钥处理： LLM 警告有关安全 API 密钥管理。

VIII. 系统信息：

系统 Prompt 提供了基本的系统信息，如操作系统和 Shell，这可能与某些工具调用相关。

通过分析 Zed 的系统 Prompt，我们可以更深入地了解其内部运作机制，并发现可以优化的地方。例如，我们可以尝试修改系统 Prompt，以改善 LLM 的输出质量、减少延迟或降低资源消耗。

5. mitmproxy 的更多应用场景

除了反向工程 AI 编码助手，mitmproxy 还可以用于其他各种场景，例如：

• 调试 Web 应用： 可以使用 mitmproxy 拦截和修改 Web 应用的 HTTP(S) 请求和响应，从而调试 Web 应用的性能问题和安全漏洞。
• 测试 API： 可以使用 mitmproxy 模拟 API 的响应，从而测试客户端应用对不同 API 响应的处理能力。
• 分析移动应用： 可以使用 mitmproxy 拦截和分析移动应用的 HTTP(S) 流量，从而了解移动应用的行为和安全风险。

6. 结论与展望

通过使用 mitmproxy 对 Zed 这样的 AI 编码助手 进行反向工程，我们可以深入了解其内部运作机制，包括 Prompt 策略、API 交互 以及潜在的优化空间。这有助于我们更好地理解 AI 编码助手 的工作方式，并可能发现可以优化工作流程、提升开发效率的方法。

未来，随着 AI 编码助手 的不断发展，反向工程将变得越来越重要。通过深入了解这些工具的内部运作机制，我们可以更好地利用它们的能力，并可能开发出更高效、更智能的开发工具。而且通过 Prompt 策略 的研究，我们可以构建更符合自身需求的 AI 编码助手，从而更有效的提升工作效率。

因此，掌握 mitmproxy 这样的反向工程工具，对于软件开发者而言，将是一项非常有价值的技能。通过分析 API 调用、剖析系统 Prompt，并深入了解 AI 编码助手 的内部运作机制，我们可以更好地利用这些工具，并可能开发出更高效、更智能的开发工具。