如上图所示，左一场景为AIO综合会场，包括AIO日常场景（淘抢购、有好货、清单等）、双11人群会场及行业会场；中间为AIOplus场景卡片综合会场，包括5张会场卡片，每张卡片融入了行业主分会场、标签会场，该业务涉及到20多个日常业务以及标签、行业会场的分发；右三为主会场入口所见所得，用两个素材轮播的办法给双11主会场进行引流。双十一当天整体点击UV引流效果方面，首页给各会场还是取得了很好的分发效果，数据达到数千万UV以上。
与此同时，今年双十一在推举的去重打散及探索创造上做了很多深度的优化，过去更多的是在相似性推举的单一数据目标上进行优化，今年在match及rank技能上采取了更多多阶游走及探索创造的embedding技能，力争在ctr效果有一定担保的情形下，加大对用户体验比如多样性、搭配潜在兴趣、深度用户偏好等方面的推举。
举个大略例子，之前的推举系统在捕捉到用户对茶杯这一商品感兴趣后，很可能会推出更多的相似茶杯，新的推举系统在多阶召回技能的根本上通过对用户兴趣进行深度学习的挖掘，会按一定的概率推举茶叶、茶具等\"大众弱相似\"大众但知足用户搭配潜在兴趣的商品。
究竟阿里如何利用AI构建淘宝首页？本日一起来揭秘。
一. 业务技能简介
首页个性化在算法技能上紧张涉及Graph Embedding召回模型、DeepCross&ResNet实时网络排序模型，并在搜索工程Porsche&Blink、Rank Service、Basic Engine等系统的根本上结合业务运用的需求沉淀了Graph Embedding召回框架及XTensorflow排序模型平台供推举其他场景利用，提升效果均达到两位数以上。
二. 首页个性化推举框架（包括MATCH召回和RANK排序两部分）
1.万物皆向量--Graph Embedding深度召回框架
在推举系统的发展进程中，面临了两个核心问题，用户的长尾覆盖度以及新商品的冷启动，这两个维度的数据扩展性瓶颈一贯以来对广大推举算法工程师都是不小的寻衅。而我们基于Graph Embedding的理论知识提出的干系创新框架在召回阶段利用用户的序列化点击行为构建全网行为graph，并结合深度速随机游走技能对用户行为进行\"大众虚拟采样\"大众拟合出多阶（一样平常5以上）的潜在兴趣信息，扩大用户的长尾兴趣宝贝召回，并同时利用side information-based的深度网络进行知识泛化学习，在一定程度上办理了用户覆盖、新商品面临的冷启动问题，同时虚拟样本的采样技能结合深度模型的泛化学习等在用户对商品的探索创造上加大的扩大了召回量，提升了多样性及创造度。
Graph Embedding是一种将繁芜网络投影到低维空间的机器学习算法，范例的做法是将网络中的节点做向量化表达，使节点间的向量相似度靠近原始节点间在网络构造、隔壁关系、meta信息等多维度上的相似性。淘宝个性化推举场景所面对的数以十亿计的用户、商品、交互数据和各种属性构成了一个规模弘大的异构网络，如果能将网络中的各种信息统一建模在同一个维度空间，用向量的办法进行表达，它的简洁和灵巧性会有巨大的运用空间，诸如扩展I2I打算、办理商品冷启动、作为中间结果输出到上层高等模型。据我们所知，业界尚未有，对如此大规模繁芜网络进行embedding建模的成熟运用。
本篇紧张先容我们近期在这个方向上所做的一些探索：针对推举场景，在Graph Embedding根本上，提出了新的S³ Graph Embedding Model对上亿级别的商品进行embedding建模，并将embedding结果运用在商品Item to Item打算中，作为一种全新的match召回办法在手淘首图个性化场景进行运用。从线上BTS结果来看我们改进的Graph Embedding I2I得到不错的效果提升，在覆盖长尾用户以及新宝贝的冷启动上有效扩展了match召回候选。
1.1、Graph Embedding-DeepWalk算法
Graph Embedding是近期热门的一个课题，14年KDD的《DeepWalk: Online Learning of Social Representations》开启了这个方向的热潮，文中借鉴了深度学习在措辞模型中的运用，以全新的办法学习网络节点的潜在向量表示，在社会化网络多标签网络分类任务中取得了很好的效果。
DeepWalk是一个two-stage算法：
①构建同构网络，从网络中的每个节点开始分别进行Random Walk 采样，得到局部干系联的演习数据； ②对采样数据进行SkipGram演习，将离散的网络节点表示成向量化，最大化节点共现，利用Hierarchical Softmax来做超大规模分类的分类器；
DeepWalk框架：SkipGram演习：首先从网络中采样演习数据，每一个演习数据是由局部相邻的节点组成的序列，DeepWalk将这组序列算作措辞模型中的一个短句或短语，将短句中的每个词转换成隐式表达，同时最大化给定短句某个中央词时，涌现高下文单词的概率，详细可以表示为下面这个公式：
个中v_i是中央词(对应于网络中的target node)，v_(i-w),···,v_(i+w)是高下文单词（对应于网络中的N阶隔壁的node）。在独立分布的假设下，可以简化为：
1.2、S³ Graph Embedding Model
针对推举场景，我们将原来的Graph Embedding进行了多个方向上的创新改造，历经多个版本逐步蜕变出S³ Graph Embedding Model，个中S³紧张表示在三个方面：
Sequence BehaviorSub-graphSide-information下面我们对蜕变的过程进行先容：
（1）Naive版本
将Graph Embedding运用到商品推举领域中，第一步要办理的便是构建网络，由于商品推举的全体网络是大规模的异构网络，网络节点类型包括用户、商品、商品种别、用户画像等各种根本属性，不同类型的节点无法在统一的空间进行向量表示。为了简化问题，首先利用阿里原创算法swing来打算商品间的相似度（swing利用user-item二部图打算i2i，比改进过的CF算法仍有明显提升，目前已在各场景中已经广泛运用，构建关于商品的有向带权图同构网络；第二步是对商品网络进行Random Walk采样，此处我们借鉴了《Node2vec: Scalable Feature Learning for Networks》中灵巧的BFS and DFS search strategies（在采样时以一定的几率回溯），通过改变掌握参数灵巧的掌握Random Walk游走过程，在Item Graph的局部稳定性和全局扩展性间做出权衡，调节match结果中多样性和准确性之间的balance。在采样得到item序列之后，第三步是进行Embedding表示学习，这里对原文的SkipGram模型进行了两处优化：（1）针对超大规模的字典，采取负样本采样（Negative Sampling）替代Hierarchical Softmax分类器，大幅提高演习速率；（2）在措辞学中，词按照涌现频率从大到小排序之后，服从 Zipfian 分布（即log-uniform分布），以是SkipGram演习多直接采取Zipfian来打算负样本采样的概率，而对我们的数据进行剖析后，创造item涌现的频次与log-uniform并不完备吻合，不同韶光段的数据间也呈现一定的颠簸趋势，针对这个征象，我们用边演习边统计每个item的涌现频次，掩护一个能够按照item涌现频次天生负样本的动态采样器。模型构造如图所示：可以看到，比较于swing的一阶扩展，Graph Embedding的相似度打算将高阶信息也纳入个中。
（2） Sequence+Side-information版本
通过人工看case和统计得到的初步结论是基于已有Swing图打算Graph Embedding再召回的结果与原来的召回办法有较高的重复度，这在一定程度上给了我们信心，表明embedding的办法是靠谱的，为了在丰富多样性和提高精准度上有所打破，我们接下来做了三方面的考试测验：
（1）通过用户session内的行为序列直接进行embedding建模；
（2）在session行家为构建全网图后，引入类似tf-idf的转移概率连接边，战胜哈利波特热点问题，且在此根本上进行概率采样，构建用户行为的\"大众虚拟样本\公众，以扩大后面输入到深度模型里面的宝贝覆盖量及准确度，使多阶扩展信息更加完善；
（3）引入side-information（如一级类目、叶子类目、店铺、品牌、材质、购买力等级等）多维信息，通过shared-embedding 加 pooling的构造嵌入到item语义中。模型构造如图所示：
对付行为序列，短韶光内的高密度点击更能够反响用户的真实意图，短期的兴趣偏好也更为集中，比拟而言，基于用户点击共现的传统CF算法在数据层面会有更多的噪声。在实践中，准备行为序列数据有两个关键点值得把稳：（1）如何选取行为序列的韶光窗口，须要结合业务特点来进行仔细的调节；（2）如何过滤由于用户误操作而带来的噪声点，我们的实践履历是根据勾留时长和类目不相似度来过滤范例的非常点击提出并定义了新的转移概率连接图，是为了战胜用户真实的session行为中存在的大量节点热点问题，以每个节点为中央，利用其扩散子节点的连接频次及行为共现频次打算转移概率，构建全网的转移概率连接图，并在此根本上进行deep walk的随机采样，布局出千亿级别的多阶虚拟样本，用于后续的深度网络学习引入宝贝的side-information信息则受到措辞模型中sub-word观点的启示，可类比于在word2vector中加入单词的词根、词缀等sub-word信息，认为某些具有同样词根词缀的单词在某些维度上具有相似的语义，具有同店、同品牌的宝贝也有一定的干系性。引入side-information后i2i结果的头部精度得到提高，同店、同品牌的宝贝在排序中更为靠前；同时对付一些没有涌现行为的、新鲜上架的宝贝，根据它的side-information对它进行embedding表达，有效办理宝贝的冷启动问题。
（3） S³终极版本
在引入side-information和sequence行为序列之后，模型准确性大幅提升，但仍旧面对全网宝贝embedding参数空间太大、演习样本过多的难题（均在千亿量级以上）。为理解决这一问题，我们根据行为序列天然的转移概率重构全网宝贝的weighted directed Graph，再将全体网络切分成多个sub-graph，在每个sub-graph内部进行Graph Embedding演习，不同的sub-graph间并行演习，缩短演习迭代周期，网络构造如下图所示：
在终极打算i2i的召回环节，对embedding结果构建查询索引，基于GPU集群以batch形式进行高效的Nearest Inner Product Search最近邻检索，同时将整套框架落地在搜索工程团队的BE引擎当中，实现用户到trigger到embedding宝贝结果的实时召回。
比较于经典的基于共现的i2i算法，终极版本整体在召回上更加丰富，badcase涌现情形较少。全网商品在首图商品池召回的case如下，图中三列分别是原始宝贝、swing召回、graph embedding召回：
下面这幅炫酷图对我们的embedding高维向量有一个更直不雅观的阐明，我们随机选取了运动鞋这个一级类眼前的宝贝embedding向量降维，不同的颜色代表不同的叶子类目，每一个点代表一个商品降维后的坐标，可以清晰的看出同一个类眼前的宝贝embedding向量很\"大众自觉\"大众的cluster在一起，解释这种自觉的实质便是graph embedding的向量是靠谱的。
1.3、在推举场景中落地及调优
在算法的深度模型演习部分，我们依赖了搜索工程团队的Porsche blink系统，在XTensorflow上进行了模型TF版本的开拓，构建全网序列行为图并完成采样，样本级别达到千亿，基于并行的GPU集群演习。全体召回框架中采取subgraph的拆图构造，也是加速迭代效率的关键点，同时在PS的参数大规模上涨的情形下，样本的遍历及样本的演习覆盖率对全体模型的收敛效果也至关主要。
首页个性化推举框架在在线召回阶段，紧张运用了搜索工程团队的Basic Engine在线化召回引擎，我们将Graph Embedding演习完成的模型用隔壁检索的办法把数据载入到引擎中，且将原有的offline,online结合的办法全部在线化，增强了推举系统的灵巧性，实时性及召回能力，整体框架如下图所示。
在双11之前，我们在这块的事情迭代调优过程历时近两个月，期间分别考试测验了多种不同的网络模型构造，样本选取过滤办法，引入sequential行为信息、转移概率边的全新构建方法、side information等多方面，多角度调优方法，在日常首页个性化（AIO）日常场景中uctr比拟swing版本i2i提升明显，同时双11在该场景全面更换线上的最优召回办法。
2. 基于XTF的深度排序模型
2.1、 XTensorflow简介
2017双十一我们承接了手淘首页流量分发最大的几个首页场景，这几个场景的特点是流量大、业务规则限定多、同时业务变动频繁，我们须要一个稳定、能支持快速迭代和实时打算的机器学习平台来支撑我们演习模型以及在线打分。为此，我们参与了工程团队的共建事情基于Porsche blink的分布式Tensorflow演习及在线打分平台，首页算法同学基于该平台开拓出了多少Rank模型，在相应的业务场景拿到了不错的效果，我们称该平台为XTensorflow，简称XTF。
在这个深度学习平台上，我们在双十一上线了包括DCN、DeepResNet的深层高阶特色学习模型，以及更加推广及成熟运用了WDL深度模型，相对付WDL模型，更为繁芜深度模型的考试测验也取得了明显的效果。
2.2、DeepResNet在AIOplus场景的运用
在深度学习的推举领域，当用户宝贝数据以及相应的参数膨胀到一定规模后，加深网络的深度增强模型的学习泛化能力是众所周知的办法，但网络盲目的加深又会同时引入参数爆炸、梯度消逝、乃至过拟合等问题。参考Resnet网络技能在图像领域的得到的成功，其办理的根本问题便是当网络深度不断加深之后，梯度消逝越来越明显，效果越来越差。关于这一点，之前我们在WDL的deep侧做过相应的考试测验，随着网络导数及隐层结点数的增加，普通NN网络逐步的演习效果会越来越差，乃至导致效果涌现较明显的低落。基于这些实验征象，我们将WDL进行了Deep Resnet的深层扩展，基本事理图如下：
原始的input层包含实值特色及id类特色的embedding向量，接入一个10层的Resnet层，末了通过logloss来定义终极的loss。同时，基于场景双十一用户行为变革迅速，以及AIOplus区块活动素材的多变性(运营会根据BI数据，实时调度素材等)，演习了实时的Deep Resnet Model，在预期热及双11当天在场景卡片会场业务上上线拿到效果。
2.3、DCN（Deep & Cross Network）在主会场入口个性化的运用
通过将稀疏特色embedding，合营多层全连接Relu层，DNN能够自动进行特色交叉，学习到高阶非线性特色，但是这种交叉是隐性的，交叉阶数无法显示掌握，而且随意马虎\"大众over-generalization\公众。为了填补这一点，WDL模型引入了wide侧，显示影象一些可阐明的特色交叉信息以担保模型的精准性。但是wide侧的引入带来了大量的特色工程的事情，同时也只能学习2阶（cross-product）浅层的交叉。DCN引入了cross network，通过网络层数掌握特色交叉的阶数，并且它实现高阶特色交叉须要的参数量远远小于DNN；cross layer的定义比较大略：
这个设计跟ResNet比较像，l+1层的映射函数f实际上是在拟合残差
；cross network终极会和deep network进行jointly learning，完全的网络构造如下图：
双十一主会场入口场景展位少召回相对充分对top n的精准度哀求很高，因此我们选择DCN模型，借用cross network的高阶特色交叉提升ctr预估精准性，同时由于从入口点进去后主会场承接模块变革频繁，我们必须选择item粒度（而非素材content粒度）来建模，并且对模型泛化能力的哀求较高，因此我们用了较深的DNN网络来提升模型的泛化能力。作为紧张引流场景之一，我们有充分的数据来学习模型，终极上线的版本中，我们设置了3层cross layer，以及10层Deep Layer（Resnet构造）。为了适应场景的变革我们做了大量的日志清理事情，相对付纯实时样本流，小时级样本流更加方便做繁芜的样本清理，因此在调优阶段选择的是incremental的小时级演习，再切换到实时模型的办法。
2.4、Union-DeepModel
Google 提出Wide&Deep model之后，这种基于Deep侧做高维特色提取（泛化），Wide侧进行显示特色交叉（影象），最后进行Jointly Learning的框架被进行了各种各样的升级。我们整理并实现了里面比较经典的故意思几个模型，包括WDL、PNN、DeepFM、NeuralFM、DCN、DeepResNet等，这些模型均基于TF Estimator框架实现，封装为model_fn，特色处理以及模型演习过程高度可配置。同时，基于这个长期在深度模型上的积累，提出了Union构造的DeepModel，用以适应各种各样业务场景对深度模型的需求。
须要理解获取最新Python、人工智能、自动化运维方面的技能可以关注我的公众年夜众号其余最近在整理一套Python根本的系统传授教化视频，免费分享给你们，大家可以关注我微头条的更新。