NLP语言模型之N元语法(N-gram)简介
发布网友
发布时间：2024-10-23 16:57
共1个回答
热心网友
时间：2024-11-01 12:34
N元语法模型（N-gram）是一种基于概率的语言模型，它通过分析前面N-1个单词来预测下一个单词。在语音识别领域，语言模型常用于统计单词序列的概率。这种模型的核心是给单词序列赋予概率，无论是计算整个句子的概率，还是预测单词的概率，都依赖于概率计算。
以简单二元语法为例，预测“white”后可能的单词时，我们不仅考虑单词的绝对频率，还会考虑它在特定上下文中的条件概率。例如，尽管“rabbit”的绝对频率很低，但在“white rabbit”这样的上下文中，它可能更合理。计算完整句子概率时，可以使用链式规则分解，但对于长序列，计算复杂，故常使用马尔科夫假设简化问题，即预测单词仅依赖于前一个单词的概率，形成二元语法模型，进而扩展到三元语法和N元语法。
N元语法模型有两个关键特性：一，增加N的值通常会提升模型精度；二，模型性能高度依赖于训练数据，即语料库的质量。然而，由于语料库的有限性，标准模型可能会出现零概率或稀疏性问题，这时就需要通过平滑技术如加1平滑、Witten-Bell打折法或Good-Turing打折法，为零概率或低概率的N元语法分配非零值。
除了平滑，解决零频度问题还有回退方法，如在缺乏三元语法概率时，可以退化到二元或一元概率。例如，三元语法的回退规则可以表示为递归式。此外，删除插值法通过线性组合不同N元语法，如在计算三元语法概率时，结合一元、二元和三元语法，赋予每个模型不同的权重，确保总和为1。
