Rule Based Approach in NLP

notes › AI-security
,

Rule Based Approach in NLP

  1. 有三种自然语言处理（NLP）方法：

    1. 基于规则的方法 - 基于语言学规则和模式
    2. 机器学习方法 - 基于统计分析
    3. 神经网络方法 - 基于各种人工神经网络算法，包括人工、循环和卷积神经网络

Steps in Rule-based approach in NLP:

img

  1. Rule Creation: Based on the desired tasks, domain-specific linguistic rules are created such as grammar rules, syntax patterns, semantic rules or regular expressions.

  2. Rule Application: The predefined rules are applied to the inputted data to capture matched patterns.

  3. Rule Processing: The text data is processed in accordance with the results of the matched rules to extract information, make decisions or other tasks.

  4. Rule refinement: The created rules are iteratively refined by repetitive processing to improve accuracy and performance. Based on previous feedback, the rules are modified and updated when needed.

  5. 规则创建：

    • 任务: 从文本中提取日期信息。
    • 规则: “如果句子中包含类似于 ‘年’、‘月’ 和 ‘日’ 的词语，则认为该句子包含日期信息。”

  6. 规则应用：

    • 输入数据: “会议将于2023年12月15日在会议室举行。”
    • 应用规则: 规则检测到句子包含与日期相关的词语。

  7. 规则处理：

    • 处理结果: 提取的信息是"2023年12月15日"作为日期信息。

  8. 规则细化：

    • 反馈: 在处理过程中，发现一些日期形式未被正确识别，例如"12/15/2023"。
    • 更新规则: 修改规则以包括不同的日期格式，例如添加规则 “如果句子中包含类似于 ‘月/日/年’ 的形式，则认为该句子包含日期信息。”

例子

实际上就是简单介绍了spacy工具的使用

1. Matching Token with Rule-based Approach

设定规则,match到token

1
2
#pattern to be searched 
pattern = [[{'LOWER': 'language'}],[{'LOWER':'human'}]]

2. Matching Phrases with the Rule-based Approach

match到phrase

1
2
3
4
# list of phrases 
term_list = ["Language Processing", "human language"] 
# phrases into document object 
patterns = [spacy.make_doc(t) for t in term_list]

3. Named Entity Recognization with Spacy

Rule-based方法的优势：

  1. 易于解释： 规则是明确定义的，因此容易理解。

  2. 半自动标注数据： 在没有标注数据的领域，规则方法可以帮助半自动地对一些数据进行标注（例如，在特定领域中的命名实体识别任务）。

  3. 即使在有限或贫乏的训练数据情况下也能发挥作用： 适用于训练数据有限或质量较差的情况。

  4. 计算时间快且精度高： 提供快速的计算时间，并具有较高的精度。

  5. 对于一些问题，通过规则可以实现确定性解决方案： 例如，在某些语言中，可以通过规则实现对各种问题的确定性解决，如分词、句子划分或形态学。

Rule-based方法的劣势：

  1. 工作量大： 需要更多规则以进行泛化，因此工作量较大。

  2. 生成复杂任务的规则耗时： 为复杂任务生成规则是耗时的。

  3. 需要定期维护： 需要定期维护，以适应变化的需求和数据。

  4. 在处理语言使用中的变化和异常时性能可能不佳： 可能在处理语言使用的变化和异常时表现不佳。

  5. 可能没有较高的召回率指标： 在涉及到各种语言使用变化和异常的情况下，可能无法实现较高的召回率。

为什么结合规则型方法、机器学习和神经网络方法？

规则型方法通常用于处理边缘情况，特别是当与其他方法结合使用时。以下是一些原因：

  1. 处理边缘情况： 规则型NLP通常用于处理一些边缘情况，例如处理特定格式的URL、日期等，而不同于通用的语言处理。

  2. 加速数据标注： 规则型技术可用于快速标注数据。例如，可以使用基于规则的技术处理URL格式、日期格式等，而机器学习方法可以用于确定PDF文件中文本的位置（包括数字数据）。

  3. 多语言支持： 在英语以外的语言中，甚至对于常见任务，标注数据可能非常有限，而规则型NLP可以帮助解决这一问题。

  4. 提高计算性能： 使用规则型方法可以改善管道的计算性能。通过规则处理一些明确的任务，可以降低机器学习和神经网络方法的计算负担，提高整体性能。



本文总阅读量次