扩散LLM时代来临?LLaDA引领大语言模型范式转变
大语言模型 (LLM) 在近年来取得了显著的进步,为实现通用人工智能 (AGI) 奠定了基础。传统LLM主要依赖于自回归 (Autoregressive) 机制,这意味着它们通过逐个预测下一个token的方式生成文本。然而,这种方法也面临着计算成本高昂和逆向推理能力受限等挑战。而扩散模型的引入,为LLM带来了新的可能性。本文将深入探讨一种名为LLaDA(Large Language Diffusi