大语言模型（LLM）的崛起，让我们见识到了人工智能的强大。从流畅的文本生成到精确的代码合成，LLM 无疑是当前 AI 领域最耀眼的明星。然而，本文作者 Jay Noon 指出，LLM 的“流利”和“智能”背后隐藏着一个巨大的隐患：缺乏上下文。 这篇文章的核心观点是，仅仅依靠注意力机制（Attention Mechanism）是不够的，上下文（Context）的理解和运用才是构建真正可靠的人工智能系统的关键。信息若脱离上下文，即使再流畅，也可能带来误导，甚至造成危害。本文将深入探讨这一观点，并阐述为何在 LLM 应用中，上下文至关重要。
注意力机制的局限性
注意力机制（Attention Mechanism）是 Transformer 模型的核心，它使模型能够关注输入数据中最重要的部分。这种机制让 LLM 能够生成连贯且看似智能的文本，但这仅仅是表象。 LLM 本质上是一个统计模型，它根据训练数据中的概率分布生成文本，并不具备真正的理解、推理和记忆能力。
举个例子，一个 LLM 可以根据“巴黎是法国的首都”这个知识点生成关于巴黎旅游的各种信息，但它并不知道巴黎的实际地理位置、历史文化以及当地人民的生活状态。 它只是在模仿人类的语言模式，而缺乏真实的上下文理解。
作者提到，LLM 擅长模仿智能，但模仿得越像，危险性就越大。LLM 不会说“我不知道”，即使面对不确定的问题，也会自信地给出答案，这在医疗、法律等需要高度准确性的领域可能会造成严重后果。想象一下，一个医疗 AI 基于错误的上下文信息给出了错误的诊断建议，这可能会危及患者的生命。
上下文的重要性：克服 LLM 的固有缺陷
上下文（Context）的缺失是 LLM 的一个根本性问题。为了克服这一缺陷，我们需要构建能够跟踪先前信息、学习关键内容并相应调整的系统。这意味着我们需要为 LLM 增加记忆（Memory）、反馈（Feedback）和约束（Constraints）。
作者的 PADMA 项目就是一个旨在解决上下文窗口问题的尝试。PADMA 的目标是构建一个私有、安全且个性化的系统，让每个人都能使用。 通过将上下文信息融入到系统的设计中，PADMA 能够更好地理解用户的需求，并提供更准确、更有用的服务。
例如，在代码生成方面，一个缺乏上下文理解的 LLM 可能会生成运行正常但效率低下或不安全的代码。一个初级程序员可能会直接使用这些代码，而没有意识到潜在的风险。 而一个具备上下文理解的系统则能够考虑到代码的整体架构、性能要求和安全风险，从而生成更可靠的代码。
检索增强生成（RAG）是另一种尝试弥补 LLM 缺乏上下文的方式。RAG 通过从外部知识库检索相关信息，并将其添加到 LLM 的上下文窗口中，从而提高 LLM 的生成质量。但即使使用了 RAG，上下文窗口的限制仍然存在，因为窗口一旦填满，就无法再添加新的信息。
上下文构建：系统提示与 Prompt 工程
在有限的上下文窗口内最大化信息利用率，系统提示（System Prompt）至关重要。 系统提示相当于给 LLM 提供一个初始的上下文框架，引导它按照特定的方向进行生成。 这也正是 Prompt 工程（Prompt Engineering） 能够创造价值的原因。
精心设计的系统提示可以有效地引导 LLM 理解用户的意图，并生成更符合用户期望的文本。 例如，我们可以通过系统提示告诉 LLM 扮演一个专业的 SEO 写作专家，并要求它按照特定的格式和风格撰写文章。
但是，即使有了精巧的 Prompt 工程，也无法完全弥补 LLM 缺乏真实理解的缺陷。 LLM 仍然只是在模仿人类的语言模式，而缺乏对世界的真正认知。
构建具备上下文感知能力的系统
作者强调，构建 LLM 驱动的系统时，需要认真对待上下文问题。这意味着我们需要：
- 添加记忆（Memory）：让系统能够记住之前的交互历史，并将其纳入当前的决策过程中。
- 添加反馈（Feedback）：让系统能够根据用户的反馈进行学习和改进。
- 添加约束（Constraints）：限制系统的输出范围，避免生成不准确或不相关的信息。
- 构建能够说“我不知道”并寻求帮助的代理（Agents）：让系统在面对不确定的问题时，能够诚实地承认自己的不足，并主动寻求帮助。
这些措施能够帮助我们构建更可靠、更负责任的 LLM 系统。
例如，一个智能客服机器人不应该总是试图给出答案，而应该在必要时转接人工客服。 这样做可以避免机器人提供错误的信息，从而损害用户的利益。
上下文的价值：自动化不应等同于“胡说八道”
上下文（Context）不仅是有用的，而且是至关重要的。如果缺乏上下文，我们就是在以大规模的方式自动化“胡说八道”。 LLM 的“流利”和“智能”可能会掩盖其缺乏真实理解的缺陷，从而导致严重的错误。
在一个追求效率和自动化的时代，我们必须警惕 LLM 的潜在风险。 我们不能仅仅依靠 LLM 来解决所有问题，而应该将其作为一种工具，并结合人类的智慧和经验，才能充分发挥其潜力。
举个例子，一个自动驾驶系统需要理解周围环境的各种上下文信息，例如交通信号、行人、其他车辆等。 如果系统无法正确理解这些信息，就可能会发生交通事故。
PADMA 项目的启示：超越注意力机制
作者的 PADMA 项目代表了一种新的尝试，旨在超越注意力机制的局限性，构建真正具备上下文感知能力的 AI 系统。 PADMA 的成功与否还有待时间的检验，但它所代表的理念是值得我们深入思考的。
我们不能满足于 LLM 的表层智能，而应该努力构建能够真正理解世界、推理和决策的 AI 系统。 这需要我们投入更多的精力和资源，进行更深入的研究和探索。
结论：谦逊与上下文同等重要
综上所述，LLM 的“流利”和“智能”是建立在统计概率之上的，缺乏真实的理解和推理能力。上下文（Context）的缺失是 LLM 的一个根本性问题，可能导致严重的错误。为了构建可靠的人工智能系统，我们需要为 LLM 增加记忆（Memory）、反馈（Feedback）和约束（Constraints），并构建能够说“我不知道”并寻求帮助的代理（Agents）。
在 LLM 应用中，上下文至关重要。缺乏上下文的信息是危险的，会导致自动化“胡说八道”。除了上下文，谦逊（Humility）也同样重要。如果我们不认真对待这些问题，就可能会被 LLM 的表层智能所迷惑，从而做出错误的决策。
因此，在拥抱 LLM 的同时，我们也要保持警惕和谦逊，才能充分发挥其潜力，并避免潜在的风险。我们需要记住：流利而不谦逊，无异于另一种形式的错误信息。 未来的人工智能发展方向，一定是注重上下文理解，而非仅仅追求注意力机制的优化。唯有如此，才能真正实现人工智能的价值，服务于人类社会。