来源:大数据DT
本文约7695字,建议阅读15分钟。
本文通过案例分门别类地深入磋商人工智能的实际运用。案例甚多,此处所列举的仅是九牛一毫。本该按行业或业务对这些案例进行分类,但相反我选择按在行业或业务中最可能运用的顺序来分类。
本文将利用“算法”一词,以高度简化的办法来描述单个算法、模型或者利用多种算法的软件。在每个种别中,逐一谈论数据输入的类型、作为黑箱的算法以及输出(为了简便易行,纵然真实算法不是黑箱也暂且把它当成黑箱)。
由于这是高层次的概述,以是我鼓励你深入研究感兴趣的详细运用,搞清楚它们究竟是如何运用于行业或者业务活动的。目前也有很多资源可供给用,以学习所涉及的技能细节和详细算法。
预测剖析预测是预测剖析或者预测建模的同义词,这是根据有标签,以及有时乃至无标签的输入数据来判断输出数据的过程。在机器学习和人工智能中,预测剖析可以进一步细分为回归和分类。
下面将对利用有标签数据(有监督)进行预测的两个子类进行谈论。
1. 回归
图1-1展示了在回归方法中输入有标签数据,经预测模型处理,然后从连续数列中天生数值的过程(例如股市的闭时价)。
▲图1-1:回归
运用包括客户全周期的股票代价和净利润、收入及其增长预测、价格变动、信贷违约风险以及股票交易打算。
2. 分类
分类指的是输入有标签数据,经由分类模型处理后,把输入数据分成一类或多类的过程,如图1-2所示。
▲图1-2:分类
垃圾邮件过滤器是二元分类运用的标准案例。电子邮件是经分类模型处理后的输入数据,输出数据是确定了的垃圾邮件或者非垃圾邮件,非垃圾邮件专指那些不含垃圾内容的好邮件。垃圾邮件会被送入垃圾箱,而非垃圾邮件则被送入收件箱。
如果引入第三个种别“不愿定”,那么分类器现在就可以把输入的邮件分成三类。由于超过了两个种别,以是这是多元分类的例子。在该例子中,电子邮件的客户端可能有“疑似垃圾邮件”的文件夹供用户审查每封邮件,并以此演习分类器更好地区分垃圾与非垃圾邮件。
如果要把输入数据分成三类或更多类,那么算法可以为输入数据选择单一种别或者打算输入数据属于每个类别的概率。在后一种情形下,可以采取概率最大的种别作为选择的结果,或者采取所有类别的概率来按你自己定制的规则处理。
在这种情形下,假定一封刚收到的邮件被确定有85%的可能性是垃圾邮件,10%的可能性是非垃圾邮件,5%的可能性为不愿定。由于是垃圾邮件的可能性最高,因此可以剖断该邮件为垃圾邮件,或者以其他办法来利用打算出的概率。
末了,某些算法可以为同一输入分配多个标签。这里有一个与图像识别干系的例子,假设输入的数据是红苹果的图像,那么算法可以为该图像分配赤色、苹果和水果等多个不同的标签。该案例为图像分配所有三个类别的做法是得当的。
运用包括信用风险、贷款审批和客户流失落。分类可以与本文后续谈论的识别运用相结合。
个性化和推举系统推举系统是依据现有信息进行推举的一种个性化形式,其结果与各个用户甚为干系。其可以用来提高客户转化率、发卖率、满意度和留存率。事实上,亚马逊便是通过增加这些引擎把业务收入提高了35%, 75%的Netflix不雅观赏节目也来自于这样的推举。
推举系统是一种特殊的信息过滤系统。也可以通过用户搜索、排名和评分的办法来完成个性化。推举系统根据诸如商品或者用户等的输入数据,经由推举模型或者引擎的处理来完成推举(例如产品、文章、音乐、电影),如图2所示。
▲图2:推举系统
值得一提的是与推举系统干系的“冷启动问题”。冷启动是指智能运用尚未拥有足够的信息来为特定用户或者群体做出高度个性化和关联度的推举。例如,用户尚未产生关于它们的偏好、兴趣或购买历史的信息。
另一个例子是当商品(例如衣服、产品、视频、歌曲)刚刚面世的时候。有几种技能有助于办理这个问题,但因篇幅所限就不深入谈论了。
推举系统运用包括推举产品、视频、音乐、歌曲、书本和电视节目(例如亚马逊、Netflix、Spotify)。除了推举以外,也包括个性化的内容,包括新闻、宣布、电邮和定向广告(例如推特)。
其他的案例还包括个性化医疗操持、个性化图像和图标(例如YouTube、Netflix、Yelp)、葡萄酒推举、个性化购物(例如完美的夹克衫搭配)、时尚穿搭(例如StitchFix)以及全套的自动化推举。
打算机视觉打算机视觉是一个广阔的领域,它包括涉及诸如图像和视频之类视觉信息的模式识别(下一节将谈论其余一种技能)。打算机视觉以照片、静止的视频图像和一系列图像(视频)作为输入,经由模型的处理,产生输出,如图3所示。
▲图3:打算机视觉
输出可以是识别、检测和创造某个目标、特色或者活动。视觉干系的运用隐含着一定程度的自动化,特殊是自动化视觉,常日须要人在运用中参与(例如检讨)。机器视觉一词用来描述在工业运用中的类似或者有一定重叠度的技能,诸如检讨、过程掌握、丈量和机器人。
打算机视觉有许多有趣而且强大的运用,同时运用处景也在快速增加。例如,可以不才述场景中利用打算机视觉:
视频剖析和内容筛选唇读指挥自动化机器(例如汽车和无人机)视频识别和描述视频字幕识别像拥抱和握手之类的人际交互动作机器人及其掌握系统人群密度估算清点人数(例如排队、根本举动步伐方案、零售)检讨与质量掌握零售客户步辇儿路径剖析以及参与度剖析无人航空器(UAV)常常被称为无人机。通过运用打算机视觉,无人机能够实行检讨(例如石油管道、无线旗子暗记塔)、完成建筑和区域搜索、帮助制作舆图和送货。打算机视觉现在正广泛运用于公安、安保和监控。当然,这类运用也要把稳符合伦理道德,保护人们的利益。
打算机视觉还有末了一件事值得一提。通过看、闻、听、触和味五大觉得,人类能够感知环境和周围的天下。感官捕获信息,然后通报到神经系统进行转换,同时也决定该当采纳什么行动或者该当做出什么样的反应。打算机视觉是对特定人工智能运用视觉的一种类比。
模式识别模式识别涉及输入非构造化数据,经由模型处理,继而检测是否存在某种特定的模式(检测),然后为识别出的模式分配一个种别(分类),或者创造所识别模式的主题(识别),如图4-1所示。
▲图4-1:模式识别
这些运用的输入可以包括图像(包括视频——一系列静止的图像)、音频(例如讲话、音乐和声音)和文本。文本可以根据其特性进一步细分为电子、手写或者打印(例如纸、支票、车牌号)。
以图像为输入的目的可能是检测目标、识别目标、创造目标,或者三者皆有。人脸识别便是一个好例子。演习模型来检测图像中的人脸,并对检测到的目标进行分类,打上人的标签,这便是目标检测的例子,这里的目标是未经识别的人脸。
“检测”用来指代所创造的不同于背景的目标。其也包括对目标位置的丈量和环绕被检测目标边际框的详细丈量。识别是指为检测到的目标分类或打标签的过程(在本案例中是人脸),识别会更进一步,并为所识别的人脸分配一个身份。图4-2呈现了一些图像识别的案例。
▲图4-2:图像识别与检测
诸如人脸识别这样的生物特色识别技能可以用来为图中的人自动打标签。生物特色识别的其余一种形式是根据指纹来识别。
其他的运用包括:
读出视频和音频中的笔墨在图像上打标签和分类汽车保险中基于图像来评估汽车受损程度从视频和音频中提取信息基于面部和声音的情绪识别面部表情识别音频识别的运用包括:
语音识别将语音转换为文本分离并识别出讲话者基于声音、实时客服和发卖电话的情绪智能剖析伐木和森林砍伐声音检测毛病检测(例如制造过程中的毛病或零配件失落效)末了,手写或打印的文本可以通过光学字符识别(OCR)和手写字符识别转换为电子文档。文档也可以转换为语音,但这被认为更可能是人工智能的天生性运用,而不是识别性运用。本文稍后会谈论天生性运用。
聚类和非常检测图5中所示的聚类和非常检测是两种最常见的无监督机器学习技能。它们也被认为是模式识别技能。
▲图5:聚类和非常检测
这两个过程都以无标签数据作为输入,经由相应算法(聚类或非常检测)的处理,在聚类的场景下完身分组,或者在非常检测场景下确定是否属于非常。我们首先谈论聚类。
聚类把无标签数据中相似的数据聚合成组。详细的组数由完成聚类任务的人(常日是数据科学家)决定。并没有绝瞄准确或者缺点的组数,但对某一特定的运用,常日可以通过试错来确定空想的组数。
由于数据没有标签,以是聚类者必须为每组指定某种含义或标签以便清楚地描述(例如运动狂)。然后用模型把新数据分配给某个组,从而假定该组的标签或描述。可以把这个过程想象成某种形式的预测分类,也便是为每个新数据点分配一个类(通过分组标签)。
把新数据点(例如客户)分配给集群(细分市场),会为我们供应一种可以精准定位、个性化以及策略性定位产品的更好方法,并可以用得当的办法来对每个细分市场的客户进行营销。
聚类运用包括细分和聚焦市场与客户、三维医疗影像剖析、按照购物习气分类产品以及社交媒体剖析。
非常检测是用来检测非常数据(高度不屈常、偏离常规或畸形)模式的一种技能。非常检测运用包括基于音频的毛病和裂纹检测、网络安全、质量掌握(例如制造毛病检测)以及打算机与网络系统康健(例如NASA的毛病和缺点检测)。
在网络安全的非常检测运用方面,常见的威胁包括恶意软件、打单软件、打算机病毒、系统和内存攻击、谢绝做事(DoS)攻击、网络钓鱼、不须要的程序实行、凭据盗窃、数据传输和盗窃等。毋庸讳言,这方面的非常检测场景层出不穷。
自然措辞自然措辞是人工智能发展与运用中非常有趣且令人激动的领域,常日分成三个子领域:自然措辞处理(NLP)、自然措辞天生(NLG)和自然措辞理解(NLU)。让我们分别进行谈论。
1. NLP
自然措辞处理(NLP)输入文本、语音或手写形式的措辞,经由NLP算法处理后,输出构造化的数据,如图6-1所示。现在有很多潜在的NLP场景和输出。
▲图6-1:NLP
值得一提的是,有时NLP也被认为是NLG和NLU的超集,因此人工智能自然措辞运用在总体上可以被认为是NLP的一种形式。也有人认为它是自然措辞运用的特定凑集,我们正在谈论的便是个中的一部分。
与NLP干系的详细任务和技能包括:
量化和目标文本分析语音识别(语音转换为文本)话题模型(例如话题以及文档中谈论的主题)文本分类(例如电视剧《权利的游戏》)情绪剖析(例如正面、负面、中性)主体检测(例如人、地点)命名识别(例如大峡谷、迈尔斯·戴维斯)语义相似性剖析(例如不同词和文本之间在总体上意思的相似性)为部分语音打标签(例如名词、动词)机器翻译(例如英文到法文的翻译)一个详细的NLP运用涉及公司会议录音、文本转换,然后供应会议总结,个中包括环绕不同话题的剖析和会议表现(https://www.chorus.ai)。
其余一个运用采取NLP来对招聘口试进行剖析,并根据性别中立性、语调、说话等成分给出整体评分。它还为提高评分和整体事情描述供应优化建议。
其他的运用还包括:
基于情绪的新闻聚合情绪驱动的社会媒体调查以及品牌监控基于板的父母疫苗关注剖析电影评论和产品评论的情绪剖析动物声音转换现在有许多云做事供应商通过NLP做事和API接口来供应这方面的一些功能。
2. NLG
NLG以构造化数据的形式来输入措辞,经由NLG算法处理,产生对应措辞作为输出,如图6-2所示。这种措辞输出可以是文本或者文本转换为语音的形式。构造化输入数据的案例可以是比赛中运动员情形的统计数据、广告效果数据或者公司的财务数据。
▲图6-2:NLG
运用包括:
根据句子和文档自动产生文本概述https://arxiv.org/abs/1602.06023https://arxiv.org/abs/1603.07252简要回顾(例如新闻和体育)关于图片的故事业务剖析报告概要招聘职员参与医院研究自然措辞形式的患者医院账单梦幻足球选秀总结和每周比赛回顾房产描述和房地产市场报告与公司收入报告干系的新闻发布安德烈·卡帕西创建的模型可以自动产生维基百科文章、婴儿姓名、数学论文、打算机代码和莎士比亚的模型。其他的运用包括天生手写文本乃至创作笑话。
3. NLU
末了,NLU以措辞为输入(文本、语音或手写),经由NLU算法的处理,产生可以被理解的措辞作为输出,如图6-3所示。所产生的可理解措辞可以用来采纳行动、天生相应、回答问题、进行对话等。
▲图6-3:NLU
“理解”一词可以非常深奥且具有哲学性子,并会涉及领悟的观点,把稳到这一点非常主要。理解所指的能力,每每不仅是领悟信息(与去世记硬背相反),而且是把理解的信息与现存知识整合,并以此作为不断增长的知识根本。
缺少与人类相似的措辞理解和领悟是本日基于自然措辞的人工智能运用的一大缺憾,其根源在于让机器获取与人类相似的措辞理解能力难于上上苍。还记得前面关于人工智能现状和人工智能难题的谈论吗?这便是一个明证。
在不进行全面哲学谈论的情形下,让我们仅用术语“理解”来表示算法(重申,大大简化)能够对输入措辞做更多的事情,而不仅是解析并实行大略的任务,如文本分析。NLU要办理的问题显然比NLP和NLG(普通人工智能问题)难得多,而且NLU是实现通用人工智能(AGI)的紧张基本组成。
目前的NLU日臻完善,已经有了包括个人虚拟助理、谈天机器人、客户成功(支持与做事)代理、发卖代理等在内的运用。这些运用常日包括某些形式的手写内容或语音对话,常常环绕着信息搜集、问题解答或者某些帮忙性工具。
个人助理的详细运用案例包括诸如亚马逊的Alexa、苹果的Siri、谷歌的Assistant以及Nuance的Nina。谈天机器人的运用案例包括润滑油专家、事情口试、学生贷款顾问和商业保险专家。这是人工智能研究非常生动和有潜在发展空间的领域,绝对值得关注。
韶光序列和基于序列的数据多数情形下,数据都是按照序列采集的,因此数据的序列极为主要而且由特定索引所确定。
最为常见的数据序列索引是韶光,按韶光排序的数据被称为韶光序列数据。每天交易时段股票的价格颠簸、DNA序列、物联网传感器数据,以及诸如风向等科学征象,都是韶光序列的好例子。
韶光序列剖析和建模可用于学习、判断和预测基于韶光的事宜,包括趋势、时令变动、循环和噪声。
对某些特定运用,字母和单词的序列也是有效的序列数据,这些序列被打上不同的标签,诸如n-grams、skip-grams、句子、段落,乃至措辞本身,个中措辞因此语音、笔墨或者电子的办法来表达的。其余,音频和视频也是序列数据。
运用包括:
预测(回归与分类)非常检测预测货币的未来兑换率康健趋势的实时追踪市场预测景象预报基于序列的推举情绪剖析DNA测序文本天生序列到序列的预测(如机器翻译)信息搜索、提取、排序和评分许多强大的人工智能运用都环绕着信息的搜索、提取和排序(评分)。这特殊适用于非构造化和半构造化数据,例如文本文档、网页、图像和视频。
可以利用这类数据(有时候辅以构造化数据)来提取信息、供应搜索或优化处理推举,以及按照干系性、主要性或优先级来对条款进行排序或评分。这组技能大多都与个性化有关,由于搜索结果和其他条款可以按照针对某个用户或群体的干系性的大小排列或排序。
目前,有许多搜索任务都是通过键盘输入或者语音供应给诸如谷歌这样的搜索引擎,该引擎利用谷歌独占的人工智能搜索算法。电子商务运用也利用他们自己的引擎来搜索产品,搜索过程可以由文本、声音(语音)及视觉输入驱动。
文本搜索包括谷歌搜索、微软的Bing,以及分布式、透明和社区驱动的搜索。
基于声音和图像的搜索运用包括:
衣服和时装搜索歌曲和艺术家搜索Pinterest镜头搜索图像和视频搜索字体搜索视频搜索基于图像内容进行搜索。早就有购物运用采纳这种办法。用户把拍摄的照片提交给视频搜索引擎。接着用照片产生相似性搜索结果,诸如衣服。有些图像引擎也能以视觉办法展示相似的其他产品和推举。
除了分类技能以外,还有排序和评分技能,包括下述这些运用:
发卖线索评分信息与文档检索(例如网页搜索)机器翻译致病基因搜索与创造测定蛋白质的顺序构造强化学习强化学习(RL)与这里迄今描述过的人工智能技能迥然不同(大略回忆一下前面提到的人类学习的方法)。基本的想法是有一个代理在虚拟环境中行动以得到积极的回报。每个动作都会引起环境状态的变革,而且每个动作都由称为策略的模型来决定。策略考试测验确定在给定状态下要采纳的最佳操作。
如果暂时不理解请别担心;我会举个例子,希望能阐明得更清楚。图9很形象地展示了强化学习。
▲图9:强化学习
你可以考虑以游戏《吃豆女士》(Ms. Pac-Man,为何不是Ms. Pac-Woman?)为例。吃豆女士的目标是吃掉屏幕上所有的点,但是更大的目标是从可能吃掉的点中得到最多的分数。为什么得分最多才是真正的目标?或者说为什么要玩这个游戏?
首先,得分越多,能得到的自由生命就越长,自由生命越长就能玩得越久,就可以连续积累更多的分数。其次,如果能完成比赛或者创造天下记录,就能得到正式的“吹牛权”,谁不肯望呢?
在这种情形下,得分是褒奖,吃豆女士是代理,环境是屏幕,参与个中的人(玩家)是通过操纵游戏掌握杆决定采纳行动的策略。
当然环境是有状态的。有一个普通的不易察觉的情形,那便是在吃豆女士吃屏幕上的点和水果时,必须躲开追赶她的幽灵,还有一个不可降服的情形,那便是当吃豆女士吃了无敌药丸(我不知道它到底叫什么)后,她就可以吃掉幽灵从而得到很多额外的分。
决定无敌与非无敌的是环境状态的变革,也是代理人在环境中能力的变革。
值得一提的是,在人们玩《吃豆女士》游戏的过程中,有时会受完成屏幕目标的使令,尽可能打通更多关卡而不是得最多分。在这种情形下,人们只会利用无敌状态来加速,吃尽可能多的不受阻碍的点,可能不会通过吃幽灵来得到最多分。
假设你有强化学习运用,目标是得最多分。在这种情形下,运用将考试测验学习如何做到这一点,也便是吃尽可能多的幽灵和水果。
还有一件事要提,得分是一种积极的回报。碰到幽灵丧命是一种悲观的回报。随着韶光的推移,强化运用该当考试测验最大化得分和最小化生命丢失。只管这个例子是在游戏场景中构建的,但是我们可以通过许多其他的办法来利用强化学习。
运用包括:
击败围棋天下冠军找到神经网络的最佳配置机器人技能优化药物剂量优化交通信号掌握优化化学反应自动驾驶稠浊、自动化与其他实际运用的末了一节指出了一些运用,由于涉及多种组合技能,或者不适宜已经谈论过的任何种别,以是将它们归类为稠浊或杂项。
运用案例包括:
自动驾驶汽车和车队以及自动驾驶航天飞机实时翱翔路线预测和空中交通优化无人驾驶赛车仓库物流和拣配自动化狗和类人机器人机器人类人的巧手珊瑚礁监测水母机器人医院病患照顾护士事情自动化疾病暴发预测减少冷却用度景象预报自动化会议折衷预测掩护与物联网干系的智能系统人工智能开拓的另一个真正有趣的领域是天生性运用,基本上指能从特定类型输入为给定运用天生某些东西的人工智能。包括下面这些例子:
根据文本天生图像天生图像和图像区域描述天生星系和火山的图像根据草图天生图像根据歌曲的特点天生音乐天生多样化的声音和语音合成唱歌根据设计模型天生软件代码根据文本天生视频其他的运用包括风格转换(例如普通图像转换,使梵高或毕加索风格的“艺术”再现)。还有一种被称为超分辨率成像技能,通过天生缺失落的三维图像数据,将二维图像转换为三维图像。末了,图像自动着色是另一个有趣的人工智能运用。
关于作者:Alex Castrounis,InnoArchiTech的前CEO和首席顾问,也是业务、剖析以及产品管理专家,Alex有近20年的创新履历,曾向数以千计的人讲授数据科学和高等剖析的代价。
本文摘编自《AI计策:更好的人类体验与企业成功框架》,经出版方授权发布。
—完—
想要得到更多数据科学领域干系动态,诚邀关注清华-青岛数据科学研究院官方微信"大众年夜众平台“ 数据派THU ”。