作者 | 滴滴 AI Labs
编辑 | Pita
天下数据挖掘领域顶级学术会议KDD2019连续在美国阿拉斯加州安克雷奇市举行。本次KDD大会首次采取双盲评审制，共吸引了环球范围内约1879篇论文投递。个中，Applied Data Science track收到约 700 篇论文投稿，终极45篇被吸收为Oral论文，100篇被吸收为Poster论文；而Research track 共收到了 1179 篇投稿，终极111篇被吸收为Oral论文，63篇被吸收为Poster论文。
今年，滴滴共有三篇Oral论文入选KDD2019，研究内容涵盖基于深度学习方法自动化地天生工单择要、基于深度强化学习与半马尔科夫决策过程进行智能派单及模拟学习和GAN在环境重构的探索。
本文是对滴滴AI Labs团队Oral论文《Automatic Dialogue Summary Generation for CustomerService》的详细解读，在这篇论文中，滴滴基于赞助要点序列提出了Leader-Writer网络来帮助办理客服工单择要天生问题，能让客服工单择要的自动化天生更具完全性、逻辑性与精确性。
研究背景
滴滴的客服每天须要处理大量的用户进线。客服职员在解答或处理用户问题的时候，须要按照以下流程严格实行：1) 理解用户问题与诉求；2) 供应办理方案或者安抚用户感情；3) 记录工单择要。
工单择要对付滴滴客服系统非常主要，它有两个目的：
当工单在内部流转，被其他客服处理的时候，工单择要可以赞助客服来快速理解用户问题、办理方案、以及用户反馈等信息，进而调度自己的做事策略；
质检职员会检讨工单择要，评估客服供应的方案是否有效，用户是否认可，进而来判断客服的做事质量；
在自动化工单择要系统上线前，工单择要紧张由客服手工撰写，耗费客服大量的韶光。而客服逐日办理的用户进线量很大，这导致大量客服资源的占用；其余，手工撰写的工单择要存在标准分歧一、错词漏句等情形，缺点或者不规范的工单择要会给利用工单择要的其他客服职员的事情带来负面影响。
本文紧张研究如何利用深度学习方法，自动化的天生工单择要，提高客服事情效率，进而节约客服资源。
问题寻衅
相对付一样平常的文本择要问题，客服工单择要有其分外性。我们须要担保工单择要知足以下三个条件：
完全性：即工单择要须要包括所有的要点；一样平常情形下，择要至少要包括用户问题描述、办理方案、用户反馈这几个要点。在一些场景下，还须要包括用户联系办法、反馈时效等要点。
逻辑性：即工单择要中的要点须要按精确的逻辑顺序组织起来。工单择要该当先记录用户问题，再记录办理方案，最后记任命户反馈以及后续跟进策略等。顺序禁绝确会导致择要难以让人理解。
精确性：即工单择要中的核心要点须要担保是精确的，例如用户反馈部分中的”认可办理方案”与“不认可办理方案“。由于两者从文本相似度很高，利用End-to-End方案学习效果常日比较差。
目前的抽取式和天生式的文本择要方案均不能很好的办理这些问题；针对以上寻衅我们提出了自己的办理方案。
办理方案
我们提出利用赞助要点序列（Auxiliary keypoint sequence）来办理以上这些寻衅。要点（key point）是工单择要中一个片段的主题，例如“问题描述”。我们通过人工总结工单择要，整理得到滴滴场景下51个要点；详见表1
表1：滴滴场景下的工单择要要点（部分）
我们利用规则，从人工撰写的工单择要中抽取出择要中的要点。一个择要中的所有要点构成了要点序列（Key point sequence）。如果一个择要在要点序列上是完全的、有逻辑的、且精确的，那么对应的工单择要则是完全的、有逻辑的、且精确的。同时，为了更好的区分“用户认可”和“用户不认可”这种文本相似度高的要点，我们将对立的要点记为两个不同的要点。
我们将工单择要天生问题建模成一个多任务学习问题。首先模型根据对话信息天生要点序列；然后再利用对话信息和天生的要点序列天生每个要点对应的子择要；末了根据要点序列中的逻辑拼接子择要即可得到完全的工单择要。全体流程如图1所示。
图1：办理方案示意图
通过引入赞助要点序列，可以带来如下好处：
模型通过对赞助要点序列的学习，可担保天生的工单择要的完全性、逻辑性与精确性，担保工单择要的质量；
赞助要点序列的词典凑集小（滴滴场景下为51），序列长度一样平常较短（不超过10），随意马虎天生准确的要点序列；
天生每个要点的子择要，其长度也要显著短于完全择要，可提高择要的质量。
Leader-Writer网络
基于赞助要点序列，我们提出了Leader-Writer网络来办理工单择要天生问题。详细而言，Leader-Writer网络具有层次化对话编码器 (Hierarchical Transformer Encoder)，要点序列天生网络 (Leader-net) 和子择要天生器 (Writer-net)，并基于要点序列天生和子择要序列天生的交叉熵丢失和强化学习丢失函数进行联合演习。图2是模型网络构造图，接下来分模块先容实在现过程。
图2：Leader-Writer网络架构图
1. 层次化对话编码网络(Hierarchical Transformer Encoder)
层次化对话编码器包括词级别（token-level）和句子级别(utterance-level)的编码器，词级别的编码器通过Transformer编码每一句对话中的单词的embedding进行编码并通过把稳力机制（attention）聚合得到每句话的表示；句子级别的编码器也是一个Transformer编码器，通过编码聚合的句子表示，获取高下文干系的句子表示，并作为解码部分中对话信息的表示。这里句子级别的编码器引入了相对位置embedding，相对付传统Transformer模型采取的绝对位置embedding使整体效果提升。
2. 要点序列天生网络（Leader-net）
要点序列天生器（Leader）是一个标准的Transformer解码器，以要点序列做为监督信息，根据对话信息解码要点序列。在丢失函数中，我们同时考虑了交叉熵丢失和自我批驳的（self-critical）[1] 的强化学习丢失。
3. 子择要天生网络（Writer-net）
子择要天生器（Writer）则是考虑指针机制（Pointer-generator）的Transformer解码器。通过指针机制，子择要天生器可以拷贝原始对话中的部分信息，例如数字和电话号码等。须要把稳的是，由于模型中采取了层次化编码器对对话进行编码，在指针机制中，为了担保能选择到对话中的词，须要考虑层细化的指针机制。要点序列中的不同位置可能具有相同的要点，例如“问题描述 -> 办理方案 -> 不认可 -> 办理方案 –> 认可”中，两个“办理方案”对应的子择要内容不同。为理解决该问题，我们采取要点序列天生器的解码状态作为子择要天生器的解码起始状态。基于多任务学习的设置，我们独立了考虑了要点序列天生和子择要天生的丢失。
4. 演习与预测：
在演习阶段，Leader-Writer模型利用要点序列与对应的子择要做为监督信息，学习模型参数。在预测阶段，Leader-Writer模型首先根据对话信息天生要点序列，然后根据要点序列的每个要点的解码状态天生末了的子择要，末了拼接择要后，获取末了的工单择要。
实验与结果
我们比拟了一系列的基于深度神经网络的文本择要方案，包括：
基于LSTM的Seq2seq的文本择要模型[2] ；
基于LSTM+ Attention的文本择要模型[3] ；
基于Transformer的文本择要模型[4] ；
基于Pointer-Generator的文本择要模型[5] ；
以及基于Hierarchical Transformer的文本择要模型。
同时我们也实现了Leader-writer模型的三个变种，包括：
Hierarchical Encoder+Leader-net+Writer-net的网络架构（不考虑强化学习丢失，Writer-net不引入Pointer Generator机制）；
Hierarchical Encoder+Leader-net+Pointer Writer-net的网络架构（不考虑强化学习丢失）；
Hierarchical Encoder+Leader-net+Pointer Writer-net+Self-criticalloss的网络架构。
通过实验，我们的Leader-Writer网络在工单择要天生上取得了比目前领先方法更好的效果，同时我们天生的择要在完全性和逻辑性上比比拟方法效果更好；而在核心要点上的精确性，我们的方法在准确性上也优于比拟方法。针对具有繁芜逻辑的对话内容（即更长的要点序列），我们的方法也在总体择要效果和完全性、逻辑性和精确性上远远优于比拟方法的效果。
论文全文：https://www.kdd.org/kdd2019/accepted-papers/view/automatic-dialogue-summary-generation-for-customer-service
封面图来源：https://blog.prototypr.io/why-customer-service-is-such-a-bad-user-experience-6a5516079868
在最新一期的 AI 研习社大讲堂上，滴滴 AI Labs技能团队也为我们带来了相应的详细解读分享。详情可扫码 或点击阅读原文 不雅观看回放视频！