ACL 2023 | 增强语法纠错系统的可解释能力

因此，我们提出了可解释语法纠错任务，基于当前强大的纠错模型，在其结果上预测每一个修改对应的语法错误及线索词。并且基于二语学习者英语失误分析的认知模型设计了 15 种语法错误类型，共同帮助写作者理解和学习英语语法。

收录会议：

论文链接：

数据代码：

数据集

▲ 图1 数据集中的语法错误类型、线索词例子、数量占比和所处认知模型层面

我们在现有的 GEC 数据集 [1] 上标注了线索词和语法错误类型，包括 2 万条错句，39,500 个线索词。基于认知语言学中第二语言学习的错误认知模型 [2]，我们在三个错误认知层面（词汇感知、词汇语法感知和句法感知）上设计了学习者容易犯的 15 种不同的语法错误类型及其线索词标注标准。

为了更好地泛化到现实应用场景，我们也在现有的 GEC 模型输出上收集并标注了测试数据，并报告了相应结果。图 1 中展示了了所有错误类型、例子、数量占比和对应的认识模型层面。表 1 展示了数据集的具体统计结果。

▲ 表1 标注数据统计结果

方法

本文主要探索序列标记方法。为了增强修改词的位置信息，我们新增了一个 Correction Embedding 对其位置信息进行编码，如图 2 中所示。了强化句子之间交互，我们设计了交互矩阵，以同时建模错误句子和正确句子之间的对齐关系和线索词位置，类似于图 3 中所示。

▲ 图2 基于序列标注的句法增强的预测模型

受到语言学习者进行语法纠错过程中很大程度上借助到了句法信息的启发，我们统计了线索词在句法树中和修改词的相邻关系。如表 2 中所示，在句法树中 46% 的线索词在修改词的一阶相邻节点中，51% 的线索词在修改词的 2 阶相邻节点内。因此可以合理推断，修改词和线索词在句法树中存在较强的相关性。于是我们分别在 Embedding 层面和交互矩阵层面设计了融入句法的预测模型，分别如图 2 中和图 3 所示。

▲ 表2 句法树中线索词和修改词的相邻关系

▲ 图3  句法增强的交互矩阵

实验

我们在序列生成、序列标记和交互矩阵模型上分别进行了训练和评估，包括含句法信息和不含句法信息的方法。观察表 2 所示的实验结果，发现交互矩阵模型相比于序列标注模型，准确率更高但召回率更低。在交互矩阵模型上增加句法信息，比在序列标记模型上增加句法信息优势更明显。说明，一，句法信息能有效帮助线索词的预测，二，交互矩阵能更好地将句法信息融合到模型中。

▲ 表2 实验结果

句法知识的影响

为了探究句法知识对模型效果的具体影响，我们将线索词处于句法树修改词的一阶节点内、二阶节点内和二阶节点外的数据分别在模型上进行测试。发现整体效果随着线索词距离修改词越远，模型预测效果越差，说明模型较难处理句法复杂的结构。但是在加入句法知识之后，在所有句法距离的数据上效果均有明显提升，说明句法知识表示的有效性。

我们报告了不同错误类型数据在加入/不加入句法知识的模型上的效果。发现在主谓一致、助动词、词汇选择、词性搭配、名词一致性几种错误类型上加入句法知识后效果均有明显提升。

人工评估

为了评估可解释 GEC 帮助英语学习者理解语法纠错的有效性，我们分别采样了 500 条 GEC gold 标注和 SOTA GEC 模型 GECTOR 的解码结果，并用本文提出的模型预测了可解释结果，然后雇用了 5 个英语学习者进行人工评估。结果显示在 gold 标注和模型解码上，分别有 84.0% 和 82.4% 的数据具有线索词和错误类型解释，其中分别有 87.9% 和 84.5% 的语法错误解释能帮助学习者更快、更好得理解犯的语法错误。

本实验表明了我们的可解释 GEC 系统可以作为现有的 GEC 系统的后处理模块，以提供更多的语法知识帮助英语学习者学习。

总结

本工作提出了可解释 GEC 任务并发布了对应的可解释 GEC 数据集，包括 21,017 个标注了线索词和语法错误类型句子。我们设计了不同的模型并进行了详细的实验分析。实验结果显示，句法知识能有效帮助模型预测可解释结果。人工评估验证了可解释 GEC 任务在实际英语学习中的有效性。希望我们的任务和数据能进一步推动未来可解释 GEC 方面的研究。

🔍

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧