作者：邱陆陆
「知乎希望利用 AI 技能打造一个智能社区。」
每次知乎的技能卖力人公开谈及人工智能技能，「智能社区」都是一个绕不开的词汇。然而「智能社区」也是一个相对陌生的观点：如今研究者与工程师们明确了深度神经网络在语音、图像和自然措辞数据上的浸染，并将它们进行逐一的细化和延展成了各类「智能运用」。然而「智能社区」是什么？
「每个人来到知乎，都能快速看到他感兴趣的人和内容，他的疑问可以被极速送达到故意愿和能力回答的人，他也会快速碰着让他拍案的好问题，分享只有他最懂的信息，收成最令他知足和愉悦的认同，与他希望碰着的人产生有代价的互换、谈论，乃至争执。这统统会是这个时期的思考和总结。我们会以从未有过的效率，创造思维的连接。让每个个体的思考和履历，被分享，被筛选，被总结，被转化成为这个时期的知识。知识的生产办法和迭代效率会由于这样的连接发生质的改变。」这是知乎合资人、高等副总裁李大海对智能社区的定义。
然而为什么选择 AI 技能实现这一目标？AI 技能为社区带来了哪些变革？五月，机器之心来到知乎，希望找到这些问题的答案。
请输入描述
不是「哪里有 AI」而是「处处皆 AI」
知乎出身的初心因此为「在信息爆炸的互联网海洋中，有代价的信息仍旧是稀缺的」。而个中最有代价的部分，是那些深藏在某些特定用户的脑海中的知识、履历与见地。平台须要对这些内容进行大量的挖掘与沉淀事情，才能让它们被真正须要的用户利用起来。完成这样的事情须要弘大的用户基数——这一点知乎已经通过成为最大的中文知识分享平台做到了。而规模也带来了问题多样性的指数级增长，让原有的产品机制开始「失落效」，对排序、推举算法都提出了更高的需求，这便是 AI 技能引入的必要性。
这个过程与深度学习本身的兴起逻辑是同等的：当数据的数量超出一定范围，人类就很难从大量数据中找到规律，须要在自己设置设计模型构造的根本上，引入可演习的模型，让机器帮助研究者完成参数的选择。而当数据的维度也超过一定范围时，进行特色提取变成了须要花费大量人力物力进行试验的事情，因此研究者进一步引入可演习的特色提取器。
「AI 技能的引入让每一个人持有的信息都能高效地被发掘、得到互换、并且通过大家评价的过程进行过滤。换言之，全体知识生产的办法、节奏和效率都得到了质的变革，知识的生产与消费、社区的建立与管理，都变成了一个不一样的过程。」李大海总结道。
在这样的一个智能社区里，对 AI 技能的运用情形是十分惊人的。当我们试图从业务逻辑对知乎对 AI 的运用进行梳理，会创造从内容生产、消费到用户连接与社区管理，每一个过程都涉及不同的机器学习问题，放眼望去，与其说「哪里有 AI」，不如说「处处皆 AI」。
内容生产部分，可以分为问题提出与问题路由。问题提出是一个从用户的查询中识别出意图，创造知乎现在还无法知足的意图，勾引用户进行提问，并根据用户的意图天生合理的问题的过程，得到提问和描述后，后台的卷积神经网络模型会从知乎超过二十五万个话题中选择出最匹配的话题，进行话题的推举和绑定。问题路由则是如何分发问题以让得当的用户看到问题、引发他们的创作希望。这便是一个范例的机器学习排序（learning to rank）问题。先在浩瀚用户中通过召回定位得当的范围，然后通过 pointwise／pairwise／listwise 等排序方法，找出最有可能接管约请以及最有可能产生优质回答的用户，进行推举，或让用户选择委托系统进行约请。
内容的分发和消费部分，按照情景可以分为首页信息流、搜索和干系推举等。在信息流部分，李大海特殊强调，「知乎的信息流设计与其他平台有所不同的地方在于，知乎希望用户来探索更大的天下而不是进入信息茧房，因此我们特殊看重在信息流里拓展用户的兴趣边界。」除此之外，搜索是范例的文本与问题之间干系性回归问题，而干系推举则既可以基于用户进行，也可以基于问答文本进行，可以用协同过滤（Collaborative Filtering）的方法进行，也可以用深度表示的方法进行。
连接和管理则是社区特有的需求，知乎在连接方向的追求是「让人创造更多有趣的灵魂」，实质上是理解用户代价不雅观、兴趣，然后进行推举的过程。而管理则是甄别不同类别的低质行为（如答非所问、软文）和不友善行为（阴阳怪气、贴标签），以针对不同情形进行不同处理，降落对谈论氛围的影响。
而除了业务逻辑主线的各个部分外，AI 技能也帮助进行了浩瀚的细节优化，比如如何对不同呈现形式的信息流进行针对性渲染：如何挑选封面图、挑选后如何进行
裁剪操作，以在首页的卡片中呈现更多信息量，帮助用户判断是否要进行消费。
「知乎从 16 年起进行开始引入机器学习干系算法，最开始从经典机器学习方法开始（例如梯度提升决策树（GBDT）），再逐步更换成深度神经网络（DNN）的新方法。」李大海也提到了在业界的深度学习方法迭代之迅速，「一、两年前，带把稳力机制的双向 LSTM 模型还是一个『新方法』，如今已经是一个『经典方法』了。」
内容消费里的 AI 技能：从首页信息流提及
当你打开知乎，你看到的是什么？
知乎的「推举」信息流是首页里十分主要的一栏。用户在这里可以看到符合自己兴趣的内容，当下的一些热点谈论，也有知乎帮助你拓展兴趣边界的探索。然而知乎上仅问题与回答就超过 1 亿条，个中还有类目繁多的 live、电子书等付费内容。这道拥有超过一亿个选项的多选题，没有任何一个排序算法能独立给出令人满意的答案。因此弘大的内容体系决定了，只有分层级的排序系统才能胜任这个任务。
知乎的首页卖力人张瑞用一张架构图为机器之心详细地描述了这个名为「水晶球」的推举系统的组成。
首页上涌现的内容经历过两次排序。第一次是从数十个推举行列步队里被「召回」，第二次是在合并后经由深层神经网络（DNN）的「排序」。
「召回」的第一个步骤是，召回模块根据用户的历史行为表现（用户画像），确定数十个推举行列步队，或者说数十个「召回源」的召回比例和召回数量。
推举行列步队是一个个含有特定标签的内容合集。有些行列步队里内容性子相似，比如热点新闻行列步队、视频行列步队。还有的行列步队与用户行为紧密干系，比如关注的人行列步队、搜索关键词行列步队。
「召回」过程的第二个步骤是各召回源根据用户的需求分别将自己的行列步队中的内容做排序后，按召回数量返回内容。
全体「召回」过程都因此用户为中央的、高度个性化的：
比如一个初来乍到的新用户还没有「关注的人」，召回模块就不会从关注的人行列步队拉取内容，而是转向兴趣探测行列步队，帮助算法更好地理解用户。
再比如本日的视频类内容非常丰富，但是根据用户画像，这位用户极少消费视频内容，那么召回模块仍旧只会从视频行列步队要求三条内容，视频行列步队也只推举三条最符合用户需求的内容。
而不同的推举行列步队长度从几千到数十万各有不同、召回过程中采取的排序方法也各有不同。有的召回源会对用户和内容都做嵌入式表示 (embedding)，进而通过内积的办法确定召回的工具；还有的召回源，比如关键词行列步队，会采取倒排索引的办法，用自然措辞处理的办法把内容打上标签，然后针对用户的关键词需求，组建倒排索引，进行召回。
「召回」过程会选出数百条候选内容进入「排序」过程，末了，DNN 可以在一百毫秒内对这数百条完成打分和排序过程，决定推送给用户的内容。
「我们把系统命名为『水晶球』，是希望能够通过这个别系得以一窥用户想要看到什么内容，然后推举给他。」
排序算法进化史：从 edgerank 到深度神经网络
张瑞也为我们讲述了首页信息流的「算法进化史」。
「首页一开始是基于 edgerank 算法进行大略的算法排序，后来逐渐引入了以 GBDT 为主的机器学习排序技能，现在这个阶段会把深度神经网络技能（DNN）运用在召回和排序的各个阶段，现在的大部分推举结果都是通过神经网络推举的。」
现在的 DNN 模型实质上是一个用于预测的回归模型，预测的工具是用户是否对一条内容感兴趣。回归的目标是一个与兴趣干系的用户行为的综合打分：用户是否有点击、是否进行阅读、阅读了多永劫光、是否收藏、是否有正面或负面的评论等等。
预测所利用的特色紧张可以分为三类：用户干系、内容干系以及高下文干系。用户干系的特色包括用户画像、用户一段韶光内的阅读历史等等，内容干系的特色包括内容的标签、赞数、历史点击率等，高下文特色则是可能影响用户行为的韶光空间特色。例如用户在早上可能会偏好阅读与发展干系的内容，晚上则更多阅读泛兴趣类内容。
预测模型主体是一个多路径网络构造：一个四层的神经网络把用户特色都表达为一个 256 个浮点数输出单元的向量，另一个神经网络把内容特色提取为另一个 256 维的向量，两个向量与代表高下文的向量一起，经由一个两层的全连接神经网络，输出末了的预测结果，即用户感兴趣的程度。
DNN 排序模型的前身是 GBDT 模型。「GBDT 模型的缺陷来自它能接管的数据规模。」张瑞先容道，「我们曾经做过实验，分别用 2000 万和 2 亿条数据演习同样的 GBDT 模型，得到的模型效果没有太大差异，换言之，数千万的数据量，已经达到了 GBDT 的容量极限。而这正是深度学习模型的上风所在：更大规模的数据、更多的特色会进一步增加深度学习模型的效力。如今在线上对排序阶段的内容进行打分的便是我们利用数亿条样本演习的一个 DNN 模型。」
张瑞也展示了两张 DNN 模型的引入在用户数据上得到的表示：
「在半年的韶光里，用户在线时长取得了 50% 的增长。用户人均在线时长是每个用户每天利用信息流的均匀韶光长度，是一个代表了用户兴趣的良好指标，1 月开始的第一波增长来自于召回逐渐开始利用 DNN 技能，3 月开始的增长紧张对应排序开始利用 DNN 模型的过程。」
他还格外愉快地讲述了点击率「低落」背后的故事：
「我们创造，完备基于用户反馈进行推举后，用户的表现会表现出趋同性——大家都去看热门的、吸引眼球的内容。我们以为这虽然增加了点击率，但给用户带来的整体体验是不好的。以是我们通过产品策略等手段对这部分内容进行了比例上的调度，掌握吸引眼球但是对用户发展浸染不大的内容的比例，提高知识型内容的推送比例。」
这样的产品策略变动一定引起了点击率的低落，「但是在线时长仍旧在稳定的增长，解释用户对我们的改进是认可的。我们希望大家不但是刷知乎的时候很愉快，之后也能得到发展。新闻是有时效性的，但知识是不会随着韶光贬值的。我们希望算法能够挖掘到长效的优质内容，把这部分内容通报给用户。」
知乎的独一无二：以社区为根本的 AI
作为一个独一无二的社区，知乎在利用 AI 技能方面有着明确的上风：
「知乎的特长在于我们拥有非常多附带用户行为的语料。我们很少去进行人工数据标注，而是更多地利用语料与行为数据之间天然的干系关系。」李大海说。
在拥有大量评论的根本上，还有大量用户对评论的反馈：哪些用户点了附和、哪些用户点了反对，又有哪些用户进行了举报，进行每一种操作的用户都是什么样的用户；在拥有大量问题及描述的根本上，还有非常多约请数据：约请了哪些用户，他们是否接管了约请，是否产生了优质回答。
这些数据都可以转化为大量的高质量标注数据。尤其是对付自然措辞领域这类主不雅观性更强、不随意马虎得到「标准答案」的问题而言，用户反馈是最高质量的标签。
知乎的另一个特长在于明确的落地场景和非常乐意表达的用户群体。
张瑞也谈及了知乎的「推举算法发展」与「用户发展」之间密不可分的关系。
「我们用成熟稳定的内容帮助新用户完成兴趣探测，也向成熟稳定的用户群体投放新内容剖断内容的质量。」张瑞说。
一个用户画像尚不完备、亟需补充的新用户会收到许多来自「兴趣探测」行列步队的内容，这部分行列步队的内容相对稳定，能够担保产品体验，用户在这部分内容上进行的点赞、收藏等行为都能够帮助算法更好地理解用户。
而另一方面，知乎的算法初步剖断可能为「优质」的新内容则会被随机分发给在干系话题下表达出强烈兴趣的老用户，由他们给出反馈来判断一条内容是否真的优质，是否值得进行更大范围的分发。
知乎明确的场景意味着算法与用户可以有针对性地快速迭代、优化，形成闭环，而乐意明确表达的用户则在闭环中供应最主要的一环：及时的反馈。
现在，知乎也在致力于将自己的上风以数据集与数据竞赛的形式开放向学术界与业界。
今年，知乎和中国信息检索学术会议（CCIR）、清华大学打算机系信息检索课题组（THUIR）一起举办了「移动环境下知识分享平台上的内容推举」比赛。拿出了来自超过七百万名用户的两千四百余万条知乎移动端信息流推举数据，让选手从一个约六万条的内容候选凑集中产生推举给用户的内容列表。
「我们希望以这种形式回馈学术界一些真实的问题和一些真实的数据，让他们能够做一些更故意思的研究。」李大海提到，「有非常多的实验室找到知乎，说『你们的数据太好了，我们能不能和你们互助。』如果大家都有这种需求，我们不如以数据集和数据竞赛的形式把资源开放给大家。」
除了学术界以外，业界的互换以及人才的引入也是知乎格外看重的方面，「知乎一贯在踏实地干工作，我们也希望业界能够知道，也希望有更多机会和同行进行互换。其余也希望能够在这个过程中创造人才。以智能社区为目标的话，我们的人才需求仍旧在日益扩大，仍旧须要非常多新鲜血液加入进来。」