Editing 自然语言处理 (section)

== 关键技术与方法 ==

=== 传统方法 ===
早期自然语言处理依赖人工编写的语法规则与词典，后发展为基于统计的 n-gram 语言模型、隐马尔可夫模型（HMM）与条件随机场（CRF）等概率方法。

=== 词向量与表示学习 ===
Word2Vec、GloVe 等词嵌入技术将词语映射为稠密向量，使语义相近的词在向量空间中彼此接近，为神经网络处理语言奠定了基础。

=== 循环神经网络 ===
循环神经网络（RNN）及其变体长短期记忆网络（LSTM）擅长处理序列数据，曾长期是机器翻译与文本生成的主流架构。

=== Transformer 与预训练模型 ===
2017 年提出的 Transformer 架构凭借自注意力机制高效建模长距离依赖，催生了 BERT、GPT 等预训练语言模型。"预训练 + 微调"范式成为现代自然语言处理的标准方法，并最终演化出参数规模庞大的 [[大语言模型]]。