早在2016年12月，微软官方发布了一个包含10万个问题和答案的数据集MS MARCO，研究者可以使用这个数据集来创造像人类一样阅读和回答问题的系统。目前已有众多来自DFKI（德国人工智能研究中心）、卡耐基梅隆大学、华盛顿大学、新加坡管理大学等世界各国顶尖AI机构和高校的研究人员及学者参与，不断刷新排名榜单。

微软 Bing 搜索引擎部门项目经理合伙人 Rangan Majumder 说：“为了实现人工通用智能的目标，我们首先需要机器能够像人类一样阅读和理解文档。这个数据集是向这个方向迈出的一步。然而在许多案例中，搜索引擎和虚拟助手只会将用户引导至一些搜索结果，回答复杂问题的系统仍然处在婴儿阶段，就目前而言，机器理解人类所说的、看见的或写出的内容——即“人工通用智能”还远远没有实现”。

NLP-人工智能桂冠上的明珠

“以机器阅读理解任务来说，机器应该很快会从指标上超过人类的现有水平，但真正的阅读理解过程需要深层的推理和归纳，这恰恰是目前机器所欠缺的，还需要通过底层算法的突破才有可能实现机器在 NLP 领域的真正突破。”

不久前，百度自然语言处理团队提交的 V-Net 模型以 46.15 的 Rouge-L 拿下了微软 MS MARCO（Microsoft MAchine Reading Comprehension）机器阅读理解测试首名。



百度在自然语言处理领域已经过十余年积累与沉淀，具备了最前沿、全面、领先的技术布局，不仅专注于前瞻技术探索，更致力通过技术应用解决实际问题。目前，百度的阅读理解、深度问答等技术已在搜索等产品中实际应用，它可通过深入分析理解用户问题，定位答案并进行总结、提炼、归纳后，将其直接提供给用户，大大地提升了搜索效率。这样的技术和服务，每天响应着数亿次的用户请求。百度之所以选择 MARCO 数据平台研究模型，是希望通过更好的技术来解决前沿真实问题，并与来自全世界的顶级团队进行竞赛和对比。

经过近年深度学习的发展，NLP 开始落地不同行业，逐渐渗入进家居、车载、金融、医疗、教育等众多领域，未来发展前景不可限量。面对当下 NLP 发展现状，业内人士也从数据、底层算法、知识图谱、应用等维度给出进一步发展的路径。作为人工智能桂冠上的明珠，NLP 技术的重要性和挑战性不言而喻。机器阅读理解能否向图像识别一样，引领人工智能的下一场革命？

PaddlePaddle系列之智能问答挑战赛

在去年 11 月百度世界大会 AI 技术与平台论坛上，百度 3D 视觉首席科学家杨睿刚宣布推出了百度 AI 公开数据集计划——BROAD（Baidu Research Open-Access Dataset），并确认首批室外场景理解、视频精彩片段、阅读理解 3 个数据集即日起对公众公开。 

在大量而真实的数据基础上，百度的深度学习框架 PaddlePaddle 部门联合科赛上线了一系列基于前沿真实问题的赛题，最先发布和完成的是聚焦于综艺领域的智能视频剪辑 AI 大赛。 

上月，该赛事已顺利收官。比赛采用了科赛自有的在线数据分析工具K-Lab，在K-Lab中可直接调用PaddlePaddle深度学习框架，并在线挂载BROAD数据集。赛事将K-Lab搭载在百度云CPU/GPU上，选手可直接提交模型结果到评测系统，即得模型分数。至赛事结束之时，共281支队伍合计496人报名，总提交数高达909次。

这次上线的 NLP 智能问答赛事则是要挑战人工智能领域里最具挑战的议题——阅读理解。目前世界上已有不少关于 NLP 的经典赛题，如斯坦福大学发起的 SQuAD 挑战赛、上文提到的 MS Marco 挑战赛、Google DeepMind 阅读理解公开数据测试集、Facebook 阅读理解公开数据测试集。这些多为英文数据集，且部分基于词义识别（span of words）或文字标签分类。而通过机器学习实现真正阅读理解，难度远高于词义精准识别和搜索结果调用，一方面需要通过算法对语意进行全方面的分析理解，另一方面也需要引入优质的数据集配合训练。

BROAD中包含着迄今为止规模最大的中文公开领域阅读理解数据集，DuReader。该数据集基于真实应用需求，所有问题均来源于百度搜索用户的真实问题，文档来自全网真实采样的网页文档和百度知道UGC文档，答案基于问题与文档由人工撰写生成。数据集标注了问题类型、实体和观点等丰富信息，弥补了现有主流数据集对于观点类问题覆盖不足的问题。首批发布的阅读理解数据集包含20万个问题、100万份文档及42万个人工撰写的优质答案，并提供开源基线系统。DuReader将为阅读理解技术研究提供有力支撑，希望加速相关技术和应用的发展。 

本次 PaddlePaddle AI 系列赛事-智能问答赛事依然会为参赛选手提供百度云 CPU 与 GPU 计算资源，选手需要根据数据建立基于文本与问题，输出正确答案的模型，考验模型的归纳总结与改述能力。通过提供对人工智能回答实际问题的模型训练，将来可能无需手动筛选答案，即可以为用户提供相应解决方案的应用，能够节省大量时间。

赛事基于百度深度学习平台 PaddlePaddle 进行。PaddlePaddle 是大规模并行分布式深度学习框架，是目前全球开发热度（用 Github pull request 数量衡量）增速最高的开源深度学习平台。现已集成了 CNN、RNN 等多种神经网络及深度学习算法，同时支持 CPU、GPU、FPGA 等多款硬件，并与 Kubernetes 合作了 PaddlePaddle EDL 弹性深度学习，成为全球首个支持弹性作业调度的开源 AI 云解决方案。 

在线数据工作平台 K-Lab 为本次赛事提供全程支持，并封装了包含 PaddlePaddle 等近百个 AI 开发常用工具，可直接调用来自百度云的算力。选手可在 K-lab 中直接加载 BROAD 数据集、模型训练、调用 PaddlePaddle，享受统一便捷的计算环境。复赛阶段选手还可在 K-Lab 中调用来自百度云的免费 GPU 算力，无需任何安装或申请，打开 K-Lab 即可开始深度学习，极大地提高学习与工作效率。

本次赛事按照初赛-复赛-决赛三轮进行，初赛分数排行榜上前 30 名入围复赛，复赛排行榜上前 10 名入围决赛，最终决赛评委审核 notebook 决出前 6 名获胜队伍。

目前赛事正在火热进行之中，技能高超的你，不要错过 battle机会，点击阅读原文报名，一起来探索 NLP-人工通用智能吧！

关于PaperWeekly

PaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域，欢迎在公众号后台点击「交流群」，小助手将把你带入 PaperWeekly 的交流群里。

▽ 点击 | 阅读原文 | 报名参赛