AI在企业做事中已经得到了广泛运用,个中“智能管理”的产品定位与“智能客服”有明显的差别。
智能客服是用Bot来代替客服职员完成对话过程,降落企业用人本钱;智能管理是利用AI帮助质检员做数据洞察,帮助客服坐席完成实时协同、仿真陪练,其核心代价是合规、风控和提效,降落管理本钱只是它的附带代价。我们将智能管理的发展定义为4个阶段:
第一阶段:基于传统专家系统的智能质检。
通过关键词模版、正则表达式对客户和坐席的会话日志进行剖析,天生文实质检报告。在此根本上前置一层 ASR和声学特色检测,可天生语音通话的质检报告。但这类实现办法在准确率、泛化能力和运营有效性上都存在明显瓶颈。
第二阶段:基于深度学习(语音+语义)的智能质检
很多客户找到我们说想要改换质检系统,缘故原由是老系统要掩护关键词模版,效率低下,还随意马虎涌现漏命中、误命中的情形。这些痛点正好可以靠深度学习来填补,比如:用 RNN 实现语义理解,用 CNN、RNN 实现声学和文本的情绪剖析,用 CNN、Bi-LSTM 实现 VAD(语音活动检测)。
监督学习依赖标注数据,初始化阶段须要一定的人力投入。但长期来看 AI 演习师的投入会逐步递减,整体 ROI 远超专家系统。
第三阶段:利用自学习的智能化运维工具,大幅提升质检引擎的运营有效性
基于深度学习的 B 端产品能否取获胜利,不仅取决于神经网络等底层技能,很大程度上取决于工程化、产品化和运营的成熟度。模型效果可以决定产品的下限,而运营有效性、用户体验、交付和售后做事则决定了产品的上限。
客户拿到产品后,大量的演习数据须要人工标注,规则策略须要人工编写,Badcase 须要人工核查,效果调优须要人工操作。高门槛、高频的人工操作,已经成为 B 端 AI 产品的最核心痛点。为理解决这一痛点,我们做了两件事:
(1)供应智能化运维工具包
例如:数据标注、深度学习演习平台、语义快速教诲、新语义创造、语义智能消歧以及模型调试等工具,尽最大可能减少掩护的难度。
(2)授人以鱼不如授人以渔。
将运营过程中的履历、方法论沉淀成《智能管理运营手册》,详细描述智能冷启和持续运营的 5 个阶段。它可以作为辅导教材,帮助 AI 演习师有坡度、有温度地节制工具,帮助企业牢牢守护住运维 ROI。
第四阶段:事前+事中+事后的闭环智能管理办理方案。
随着企业对风控、质控的哀求越来越高,事后质检很难知足时效性的需求。以是培训机器人和坐席助手两种产品形态就应运而生,它们分别补全了事前培训和事中人机协同的环节,合营智能质检覆盖了全体坐席做事的周期。
回顾一下智能管理这四个发展阶段:从专家系统到深度学习,从穷举式运维到智能化运维,从事后质检到全周期做事管理,共发生了三次质变。
闭环化的智能管理产品
目前在智能管理方向上,绝大多数厂商处于第一阶段,第二阶段的厂商不到3家。只有1家公司能供应三款闭环产品 + 基于深度学习的语义理解 + 智能化运维工具包,并支持标准化交付。
下面分别先容智能管理的三款产品:
1. See:智能质检
See 的定位是对坐席与客户的通话录音、文本会话进行质检剖析。其模块包含质检引擎、分角色的事情台(人工抽检、客服申说、复审、演习师)和数据统计等功能。质检引擎包含 12 个维度的剖析算子,帮助质检员实现更加精准的质控。
See 的剖析引擎支持十几种算子,除了关键词、正则、RNN、感情等文本算子以外,还支持语音感情、语速、抢话、静音等声学算子。初始化阶段会有一定的 AI 演习师投入,后期业务方每周只须要投入少量韶光即可完成调优事情。
2. Pal:坐席助手
Pal 的定位是坐席的智能助手,在电话做事过程中为客服坐席供应人机协同能力。包括合规管理、流程导航、用户画像、话术推举、智能表单和一键直达等功能,帮助提升业务效率、降落上岗门槛,提升营销转化。
客服坐席在通话过程中会伴随大量业务操作,比如工单系统、CRM。好的产品是用完即走的,Pal 如何以知心助手的角色融入到场景中呢?
我们为它设计了三种模式:隐蔽模式、大略模式和完全模式。只有当坐席须要的时候,各项功能才会冒出来与坐席交互,多数情形下在后台就自动完成剖析过程。
3. Learn:智能培训
Learn 的定位是对新手或者有短板的坐席进行场景仿真练习。客服行业职员流动率非常高,传统的老带新培训模式效率较低,老员工的耐心有限,但机器人是不知疲倦的。
Learn 分为学、练、考、评四个模块:
学习:坐席通过传授教化视频、PPT 等素材完成学习输入的过程。练习:坐席与机器人仿照接听、外呼等场景,反复仿照练习,直到节制业务。考试:场景交互过程比练习模式增加了难度,去掉了提示指引。除了场景交互考题,也有选择、判断等传统题型。评分:自动化阅卷天生评分,将多维考评项合成能力脸谱,为学员指明提升路径。以上便是三款产品的先容,智能管理是一套闭环的办理方案:Learn 在做事前帮助学员达到上岗门槛;Pal 赞助坐席完成实时人机协同,并将语音流、实时剖析结果给到 See 做进一步的挖掘;See 输出坐席画像、将优质案例和反面案例给到 Learn 做为课件和题目的参考素材,并根据坐席能力短板推举课程和考题。三款产品贯穿客户做事的全流程,实现了数据的高效复用。
做产品创新的团队,须要主动承担起定义标准、阐明标准和推广标准的任务。我们为智能管理制订了一套验收标准,包含功能模块、效果指标、用户体验等三个方面。项目履行的过程中,客户会收到详细的自测验收报告。
寻衅与思考1. 智能剖析引擎该当依赖深度学习还是专家系统?
先来看下 RNN 和关键词紧张有哪些差异:
(1)匹配模式不同
关键词是精准匹配,上风是可阐明性,配置后立即生效。RNN 有更强的泛化能力,局限是不可阐明,无法做可控的调优(AI 演习师可以凭借履历做一定的优化)。举个例子:当 ASR 转译出错的时候,用关键词匹配就很难精确命中。
(2)数据来源和运维效率不同
关键词和正则更依赖用户对业务的理解,须要人工梳理出关键词;而 RNN 的演习数据紧张来源于生产系统的会话日志,后期的掩护效率也比关键词高 1.5 到 2 倍。
(2)适用的语境不同
开头语、结束语、礼貌用语、禁用语就很适宜用专家系统,例如「你好,很高兴为您做事」,这种讲话的定式很随意马虎用正则来穷举。但像【客户表达不满】这种相对发散的语义,阐述办法灵巧多变,更适用 RNN 来匹配。
为了剖析 RNN 和关键词的取舍问题,我们拿实际落地的项目做了些研究。在确保质检引擎准确率≥90% 的条件下,探求效果最优的匹配逻辑,不刻意侧重利用关键词或 RNN。结果某基金公司有 80% 的质检规则利用 RNN+关键词,10% 的规则纯用关键词,10% 的规则用声学算子;某新能源车企的 33 条质检规则都同时利用 RNN 和关键词;其他项目大多数规则也是两种算子共存。
终极结论是:关键词决定了质检水平下限,RNN 决定了质检水平的上限。过度依赖个中的一种,都是产品不足成熟的表现,二者相互结合才能做出好的效果。
除了算子的选取,影响质检引擎效果的成分还有很多,比如分类体系、语料歧义、数据量、数据粒度、话者分离等。在讲智能管理发展阶段的时候,我提到了运营有效性和方法论。通过《智能管理运营手册》和行业数据积累,可以帮助客户完成高效的智能冷启和持续运营。
2. 如何做好语音交互的场景化?
B 端产品终极也是给人用的,我们在打造智能管理的过程中,很多场景体验都按照 C 真个标准。
语音类产品的场景化有三个原则:
单场景的极致闭环:例如 Pal 坐席助手的 5 个模块有相互独立的触发条件,流程上相互照料,交互体验和谐统一。跨场景的无缝衔接:例如智能管理将实时、事前和事后的三个场景衔接贯通,共用剖析引擎和演习数据;质检剖析结果回流到培训系统中,形成做事闭环。人性化的交互体验:例如机器人的 TTS 播报略显生硬,如果用录音来代替,交互的感想熏染就更有温度。同时也减少调用 TTS 做事的韶光,还能砍掉 TTS 的本钱;在 VUI 逻辑中,我们加入了容错轮次,给坐席一次重说的机会,避免了学员的尴尬。在技能选型上,也须要忠于用户体验。对付偏流程化、目的性强的语音场景,业界一样平常用任务型来实现。但培训机器人和智能外呼的角色完备对调,我们反复考虑了二者的差异性,终极决定只引入任务型的设计思想,没有拿外呼的 NLP 方案来生搬硬套。
3. 客户对 AI 产品的过高期望和误解
(1)客户该当对 AI 抱有若何的期望?
有人提出要用机器代替人去扛营销转化率,实在营销是一门表示情商和柔性技巧的学问,连人类都未必能扛得住营销转化率。在营销场景中,机器赞助人的可落地性远远强于机器人代替人。如果一定要用 Bot 直接做营销,可以只管即便避免过于发散的场景,截取一段相对收敛的流程用任务型来实现。
就连大家津津乐道的 Alpha Go,也是挑选了收敛的围棋场景,在既定规则内最大化发挥出打算性能的上风。深度学习的根基是统计学,神经网络的抽象层级还比较浅。比较于人类,AI 不具备背景知识,更没有自我意识和感情,不要苛求它去做特殊深刻的逻辑推理。
(2)AI 技能是场景落地的紧张瓶颈么?
技能实力的确是落地的核心根本,但发展到一定规模后,产品运营、后端资源、做事能力会成为商业化成功的关键。即便是拥有超强算法能力的 AI 巨子,也没有精力做好每个细分领域的产品。各种算法模型从实验阶段到工程化、产品化、规模化交付再到口碑运营,中间有太长的路要走。
(3)如何快速验证一款深度学习产品的水平?
任何厂商都可以对别传播宣传自己拥有某项 AI 技能,但产品的落地依托于真实的投入与沉淀。很多客户都没意识到这一点,也很难分辨出厂商之间的真正差距在哪里。实在到底有没有,拉出来遛一遛就知道了。
分享个小技巧:让厂商实际操作数据标注、模型演习和模型调用的流程,证明自己有基于深度学习的智能运维工具。然后看这套工具是否跟产品系统领悟统一,给到用户的交互界面是否友好。如果这些都知足,就解释产品相对成熟,技能也差不到哪里去。
(4)深度学习 or 专家系统?
现在有很多 AI 厂商过度渲染深度学习的上风,也有更多专家系统的厂商攻击深度学习冷启动周期的弊端,实在这些都是有局限性的无意义比拟。比如:智能管理场景的最优方案,便是通过专家系统+深度学习的多维算子叠加来实现。并不绝对依赖于某一种技能,同时也能确保运维的效率。鼓吹个中的任何一种,都是产品不成熟的表现。
(5)一些演习数据或模型能否复用?
关键看场景的重合度,比如智能管理的 3 款产品之间有部分模型可以复用,而外呼机器人跟智能质检的模型就无法强行复用。客户想要复用模型,实在质诉求无非便是降本升效。我们假设模型真的可以复用,也就只提升了 1 倍的运维效率,依然无法应对新业务的迭代,而我们供应的【新语义创造】+【快速教诲】工具却可以将运维效率提升 10 倍以上。
(6)会话轮数是不是越多越好?
会话轮数从来都不是考察 Bot 交互能力的指标,关键是多轮会话的目的是要完成一项清晰的任务,还是完成一通闲聊?如果是为了完成任务,就要将场景尽可能收敛,交互路径尽可能缩短。聊的越久,越随意马虎出错。
4. AI 时期团队如何敏捷进化?
末了是一些关于敏捷的思考。我们团队是公司的一个产品研发小组,在 18 年 3 月上线 See,6 月上线 Pal,9 月上线 Learn,12 月份做出其他创新型产品,奔跑速率已经不弱于互联网公司。
快速裂变的过程中,蒙眼狂奔一定会掉链子,关键看如何坚守克制与取舍。我国的 toB 大环境下很难避开定制化,如何探求标准化与定制化的平衡点呢?
这非常磨练产品团队的基本功,我常常拿 2 个问题来寻衅组员:
给产品做加法时,能办理人无我有的问题,还是人有我优的问题?终极能得胜的凭什么是你?须要讲清楚背后的隐性逻辑。做产品必须要敢于接管直逼灵魂的拷问。这是个不缺脑暴的时期,模糊、发散的 idea 并不值钱。只有当我们对核心细节做到入微操控,推演出金字塔尖的东西时,才可能做出核心竞争力。
然后,组件化思维非常主要,通用的 AI 能力该当趁早被抽象出来,以便后期快速复用到新的 AI 产品上。
同时,敏捷进化只靠内部团队远远不足,更须要群智效应和创造力赋能。群智效应是指业务方、厂商一起贡献聪慧;创造力赋能是指代价通报过程中,给到客户的不仅是工具本身,更包含驾驭工具、探索新事物的能力。客户与互助伙伴的创新型探索,也可以倒逼产品的进化。
目前 AI 行业竞争非常激烈,各公司的保密事情都很到位。外界对 AI 公司有强烈的好奇心,希望能得到业内的更多分享。AI 公司也渴望通过更多互助来获取数据、打磨场景,提升业务纵深能力和规模化落地能力。
产品和业务实质上是共生关系,分开业务的 AI 产品便是没有灵魂的躯壳,如果业务方和 AI 公司都持有更加开放的心态,大家坐下来深入磋商场景,就一定能挖掘出有代价的办理方案。
作者:于长弘,"大众年夜众号:AI小宇宙(ID:AI_endless)
本文由 @于长弘 原创发布于大家都是产品经理。未经容许,禁止转载
题图来自Unsplash,基于CC0协议