大型语言模型（LLMs）已经成为自然语言处理领域的重要工具。这些模型能够理解和生成自然语言文本，为各种应用场景提供了强大的支持。然而，LLMs对提示（prompts）的敏感性和脆弱性也带来了挑战，比如任务逃避和不同模型间提示重用的困难。尽管随着LLMs的广泛采用，涌现出了大量的提示技术，但由于缺乏底层逻辑，这些技术往往呈现出碎片化的“补丁式”解决方案。本文将探讨一种基于“3Cs”（命令、上下文和约束）的新型提示构建方法，旨在为与LLMs的交互提供更加结构化和有效的方法。
引言
3C提示框架受到营销领域4P方法（产品、价格、促销、地点）的启发，为大型语言模型（LLMs）构建有效的提示提供了一种结构化方法。这种方法总结了现有提示技术的关键要素，以增强模型在多样化场景中的应用。3C提示可以简洁地描述为“做什么，需要什么信息，以及如何做”。它包括三个基本类型的信息：命令（任务）、上下文（相关背景）和约束（执行指南）。通过整合这三个关键要素，3C提示旨在为LLMs提供全面的指导，使其能够更准确、一致地完成各种任务。
命令（Command）
在3C提示框架中，命令组件对于有效地指导大型语言模型（LLMs）至关重要。它定义了模型应该实现的具体目标或结果，回答了“你想让模型做什么？”这个问题。关键要素包括：
- 明确的任务指令（例如，“写一篇关于……的文章”）
- 预期的输出类型（例如，“生成五个关键点的列表”）
- 隐含的目标（例如，字数限制意味着简洁性）
- 期望的质量或特征（例如，“写一个吸引人的故事”）
命令的重要性在于LLMs如何处理信息。一个清晰、结构化的提示，带有明确的连接，可以增强令牌相关性，允许前馈网络（FFN）更有效地捕获和编码信息。这导致更深入的理解和更有效的推理。
此外，LLMs中的注意力机制专注于相似性计算和信息聚合。一个明确定义的命令有助于模型将注意力分配到提示的相关部分，增强长距离依赖性和整体性能。通过明确陈述任务目标和相关概念，我们使LLM能够更有效地处理信息，并产生更准确的输出。
上下文（Context）
在3C提示框架中，上下文组件对于为大型语言模型（LLMs）提供执行任务所需的背景至关重要。它解决了“模型需要知道什么才能表现良好？”这个问题。关键要素包括：
- 与任务相关的背景信息
- 用于处理的输入数据
- 用户角色或意图
- 时间、地点或环境信息
- 相关定义、概念或术语解释
上下文帮助LLM弥合知识差距，并适应特定场景，从而产生更准确、相关的响应。提供上下文的逻辑涉及从目标向后思考，以识别缺失的必要背景信息。
内联指令在组织上下文中的信息中也扮演着关键角色。这些简洁的指令有助于构建提示，创建示例，并引导模型完成不同阶段或方面的任务。通过利用模型的归纳头（一种注意力模式），内联指令还有助于缓解“迷失在中间”的问题，确保在更长的提示中不会忽视重要信息。
通过精心构建上下文组件，我们使LLM能够更好地理解和处理给定的任务，从而产生更精确、上下文适当的输出。
约束（Constraints）
在3C提示框架中，约束组件对于指导大型语言模型（LLMs）产生符合特定期望和要求的输出至关重要。它解决了“我们如何实现期望的结果？”这个问题。关键要素包括：
- 推理过程指令（例如，“逐步思考”）
- 格式要求和示例
- 风格和语调规范
- 目标受众识别
约束有效地控制模型的输出，确保遵守特定需求和标准。它们有助于防止不相关、格式错误或风格不当的响应。
这个组件利用了模型的上下文学习能力，这与它的归纳头密切相关。通过提供明确的约束，我们强调了最终交付的确定性，并指导了模型的推理过程。一些现有的提示方法专注于过程约束，包括链式思考（CoT）、ReACT和分解。这些技术有助于构建模型的推理和输出生成，导致更准确、相关的响应。通过精心构建约束，我们可以显著提高LLM产生符合特定要求的输出的能力，同时最小化潜在的风险和错误。
3C提示结构的布局
3C提示结构旨在通过与LLMs的处理特性对齐来优化与大型语言模型（LLMs）的交互。这种布局将核心命令放在开头，以集中模型的注意力，使用内联指令在中间组织上下文（背景信息）以保持焦点，并将约束放在末尾以产生最大影响和易于重用。这种结构是基于研究显示提示长度和错误率之间存在U形关系：最初，增加内容可以减少错误，但超过一个最佳点后，进一步增加会导致错误率上升。遵循这种结构，提示工程师可以创建更有效、适应性更强的提示，利用LLM的处理能力，可能导致更准确、相关的输出。
一般讨论
这次一般讨论提供了有关大型语言模型（LLMs）如何处理提示和生成输出的有价值见解：
- 模型训练和结构：模型在训练过程中使用反向传播来修改内部权重和偏差。最终权重分布在注意力头、前馈网络（FFN）和线性层中。
- 提示处理：提示被转换为向量矩阵数据流。这些数据流通过注意力层逐层处理，每一层都为下一层细化特征。特征的聚合最终导致下一个令牌的生成。
- 注意力模式：第一层和最后一层：广泛的注意力，具有更高的熵，专注于全局特征和整体上下文。中间层：集中在提示的开头和结尾的注意力，熵较低。在更长的提示中会发生“迷失在中间”的现象，这可以通过使用内联指令来缓解。
- 信息处理：每一层几乎平均地贡献于信息汇聚。输出特别敏感于提示末尾的信息。
这些见解为有效的提示设计策略提供了信息：构建提示以利用第一层和最后一层的广泛注意力。使用内联指令在更长的提示中间保持对重要信息的关注。将关键约束放在提示的末尾以产生最大影响。了解这些内部过程有助于构建与LLM的处理机制对齐的更有效的提示，可能导致更准确、相关的输出。
3C提示结构（命令、上下文、约束）通过提供一个清晰的框架来增强LLMs的性能，该框架与模型的处理能力对齐。一个结构化的提示使模型能够学习更细微的特征，提高其理解和推理能力。开头的命令清楚地陈述了任务目标和相关概念，指导LLM的注意力分配。上下文被系统地分解为包括必要的背景信息，并使用内联指令进行组织，以清晰和专注。约束被放在末尾，应该是清晰和明确的，而不是过于限制性的，允许模型创造性地工作，同时确保期望的输出。这种结构允许根据需要轻松调整和迭代约束，使提示在各种任务中更具适应性和有效性。