探索大模型（LLM）的心理学，就像解开一个巨大而复杂的魔方。在之前的文章中，我们已经探讨了预训练阶段海量数据的基石作用，以及Tokenization（分词）的奥秘和类神经网络的训练过程。今天，我们将更深入地探究机器的核心：基座模型的心理学。 这是一切变得原始、强大，有时甚至非常奇怪的地方。
基座模型：未雕琢的璞玉
究竟什么是基座模型？我们可以将其视为LLM的预指令版本。 它已经吞噬了惊人数量的人类知识，吸收了我们的语言、语法、逻辑和行为模式——但尚未被教导如何礼貌地与你交谈。
它就像一位阅读了图书馆里所有书籍的天才，但尚未学会成为一名乐于助人的导师。想想 Meta 的 LLaMA 3.1 405B，这是一个拥有 4050 亿参数的模型，使其成为迄今为止最大的开源 LLM 之一。 它的“大脑”（参数）编码了互联网压缩知识——书籍、代码、维基百科、Reddit、新闻文章等等。 这个模型是原始的、未经过滤的，并且具有令人难以置信的能力。 但请记住：它缺乏精细调整，因此它的输出可能不连贯、不准确，甚至具有冒犯性。
例如，假设你向未经调整的 LLaMA 3.1 405B 询问有关 “巴黎最好的餐厅” 的问题。 即使模型掌握了关于巴黎餐厅的大量信息，它也可能以一种冗长、毫无组织的方式呈现信息，列出数百家餐厅，没有清晰的排名或推荐理由。 它甚至可能包含不准确或过时的信息。这与经过指令调整的 LLM（如 ChatGPT）形成鲜明对比，后者会提供一个精选的、有充分理由的建议列表。
预训练：知识的海洋
预训练是基座模型学习的基础。 在此阶段，模型会接触到大量未经标记的文本数据。 目标是让模型学习语言的底层模式和结构。 这就像教一个孩子如何通过阅读各种书籍和文章来理解语言。
预训练数据集通常包含来自各种来源的文本，包括书籍、文章、网站和代码。 这些数据被用来训练模型预测序列中的下一个单词或token。 通过预测下一个token，模型学习了单词之间的关系、语法规则以及事实知识。
预训练数据集的大小对基座模型的性能有重大影响。 拥有更多数据的模型通常可以学习到更复杂的模式并更好地泛化到新的任务。 例如，GPT-3 在一个包含超过 45TB 文本数据的数据集上进行了预训练，这使其能够生成连贯且信息丰富的文本。
然而，仅仅拥有大量数据是不够的。 数据的质量同样重要。 如果数据集包含大量噪声或偏见，则模型将学习这些噪声和偏见。 这可能会导致模型生成不准确或具有冒犯性的文本。
参数：连接知识的神经元
参数可以被认为是基座模型的神经元连接。 参数越多，模型就越能存储和处理信息。 这就像一个人的大脑中的神经元数量越多，这个人就越聪明。
基座模型的规模通常以参数的数量来衡量。 例如，GPT-3 有 1750 亿个参数，而 LLaMA 3.1 405B 拥有 4050 亿个参数。 一般来说，参数越多的模型性能越好。 然而，增加参数数量也会增加模型的计算成本。
参数不仅仅是数量问题，更重要的是质量问题。 模型的架构和训练方式也会影响参数的有效性。 例如，Transformer 架构已被证明在语言建模方面非常有效，因为它允许模型关注输入序列中的相关部分。 此外，使用良好的优化算法训练的模型可以更有效地利用其参数。
例如，PaLM 2 是 Google 开发的大模型，虽然其具体参数数量未公开，但据报道少于 GPT-4，但其在特定领域的表现却能与其匹敌甚至超越，这很大程度上归功于其架构的优化和训练数据的选择。
Tokenization：语言的解构
Tokenization是将文本分解为更小单元（称为token）的过程。 这些token可以是单词、子词或字符。 Tokenization是基座模型处理文本的第一步。 这就像将句子分解成单独的词语，以便更好地理解其含义。
Tokenization算法的选择会影响基座模型的性能。 一种常见的Tokenization算法是字节对编码（BPE）。 BPE 是一种基于统计的算法，它通过迭代地合并最频繁出现的字节对来学习词汇表。
Tokenization的挑战之一是处理词汇表外的单词（OOV 单词）。 OOV 单词是指未包含在模型词汇表中的单词。 处理 OOV 单词的一种方法是将其分解为子词。 例如，单词 “unbreakable” 可以分解为子词 “un”、”break” 和 “able”。
不同的Tokenization策略会对模型的性能产生影响。例如，使用基于字符的Tokenization可以更好地处理拼写错误和罕见单词，但可能会导致更长的序列和更高的计算成本。 而使用基于单词的Tokenization可能更高效，但难以处理 OOV 单词。 因此，选择合适的Tokenization策略需要权衡各种因素。
无监督学习：自学的艺术
基座模型通过无监督学习进行训练。 这意味着模型没有明确的标签或指导来学习。 相反，模型必须通过观察数据中的模式来自己学习。 这就像教一个孩子通过观察世界来学习。
无监督学习算法的一个例子是语言建模。 在语言建模中，模型被赋予一个文本序列，并且必须预测序列中的下一个单词或token。 通过预测下一个token，模型学习了单词之间的关系、语法规则以及事实知识。
无监督学习的挑战之一是模型可能会学习到虚假的相关性或偏见。 例如，如果模型在一个包含大量偏见文本的数据集上进行训练，则模型可能会学习到这些偏见。 这可能会导致模型生成不准确或具有冒犯性的文本。
为了解决这个问题，研究人员正在开发新的方法来减少无监督学习中的偏见。 一种方法是使用对抗性训练来训练模型区分真实数据和虚假数据。 另一种方法是使用数据增强技术来增加训练数据的多样性。
指令调整：从博学到好用
虽然基座模型拥有丰富的知识，但它们并不能直接用于实际应用。 为了使基座模型更有用，需要对其进行指令调整。 指令调整是指使用标记数据对模型进行微调的过程，以使其能够遵循指令并执行特定任务。
指令调整可以被视为将一个博学但缺乏实践经验的学者训练成一个能解决实际问题的专家。通过提供明确的指令和相应的输出示例，模型可以学习理解人类的意图并生成符合期望的结果。
指令调整数据集通常包含指令、输入和输出。 例如，一个指令调整数据集可能包含以下示例：
- 指令： 翻译成法语。
- 输入： Hello, world!
- 输出： Bonjour, le monde!
通过在这些数据集上进行训练，基座模型可以学习遵循指令并执行各种任务，例如翻译、摘要、问答和代码生成。
指令调整对基座模型的性能有重大影响。 经过指令调整的模型通常比未经调整的模型更准确、更连贯且更有用。 例如，ChatGPT 是一个经过指令调整的 大模型，它能够以一种非常自然和引人入胜的方式与用户交谈。
涌现能力：意想不到的惊喜
大模型的一个有趣现象是涌现能力。 涌现能力是指模型在达到一定规模后突然表现出来的能力，而这些能力在较小的模型中并不存在。
例如，GPT-3 在达到 1750 亿个参数后，表现出了执行零样本学习的能力。 零样本学习是指模型能够在没有明确训练的情况下执行新任务的能力。 这意味着 GPT-3 可以执行一些任务，即使它没有在这些任务上进行过训练。
涌现能力的确切原因尚不清楚，但一种可能的解释是，较大的模型能够学习到更复杂的模式和关系。 另一种可能的解释是，较大的模型能够更好地泛化到新的任务。
涌现能力对 大模型 的未来具有重要意义。 如果模型能够继续涌现出新的能力，那么它们可能会变得更加有用和强大。
安全性与伦理：不可忽视的责任
虽然大模型具有巨大的潜力，但也存在一些安全性和伦理方面的考虑。 例如，大模型可被用于生成虚假信息、传播仇恨言论或进行恶意活动。
此外，大模型可能会强化现有的偏见。 如果模型在一个包含大量偏见文本的数据集上进行训练，则模型可能会学习到这些偏见。 这可能会导致模型生成不准确或具有冒犯性的文本。
为了解决这些问题，研究人员正在开发新的方法来提高 大模型 的安全性与伦理水平。 一种方法是使用对抗性训练来训练模型区分真实数据和虚假数据。 另一种方法是使用数据增强技术来增加训练数据的多样性。 此外，建立一套完善的监管框架，明确大模型的开发和应用边界，也是至关重要的。
结语：拥抱未来，谨慎前行
大模型的心理学是一个复杂且迷人的领域。 通过了解基座模型的工作原理，我们可以更好地利用它们的潜力，同时减轻潜在的风险。 从预训练的数据基础到Tokenization的精细解构，再到指令调整的实用化改造，每一个环节都至关重要。 重要的是，我们要拥抱技术进步带来的机遇，同时保持警惕，确保大模型的发展符合伦理道德，服务于人类的共同利益。 未来，随着技术的不断进步，我们有理由相信，大模型将在各个领域发挥越来越重要的作用。