人工智能研究这个领域是有一定门槛的。对付初学者来说,一样平常常日的做法是直接购买一些热门的书本,比如“西瓜书”、“花书”、“xx天从入门到精通”、“xx天从入门到放弃”等等,但大多数书本都是讲的根本知识,稍显乏味和呆板,此外内容太深奥,初学者可能看一段韶光就想放弃了。本文以过来人的身份将自身2年的研究履历毫无保留地分享给大家,希望对即将开始从事人工智能研究的朋友有所帮助。
起步找一个你随时方便提问的人
刚进入公司时,常常会对一些基本问题犹豫未定,这些问题可能会暴露出自身缺少专业知识。但是过了几个月后,我的提问才逐步感到自然,提问都是精心拟定的。在此之前,我会积累大量的问题,但现在只要碰着一个问题,我就会立马提问,这样不会造成问题积压以至于越来越困惑。
探求不同领域的研究灵感
现在不是单打独斗的时期,讲究互助。知识也不例外,多学科互换。对付每个人而言,决定从事什么方向可能是研究中最困难的部分,以下是我所看到的一些具有长期记录的研究职员所采取的策略:
1.与不同领域的研究职员互换。咨询他们感兴趣的问题,讯问是否有想要剖析的数据集、现有技能存在哪些不敷。机器学习中最有效的事情是与生物学、化学、物理、社会科学或纯数学的碰撞。例如,我正在思考Matthew Johnson 在2016年NIPS的文章以及Justin Gilmer在2017年ICML的文章,两篇文章分别是关于鼠标行为数据集的剖析以及量子化学的运用;
2.编写一个大略的基线以得到对问题的觉得。比如,考试测验编写一些用于掌握倒立摆的校准代码。在写基线代码时,会碰着很多情形、各种问题或者一些临时产生的想法,这些都能够加深对问题的理解。
3.扩展喜好的某篇论文的实验部分。仔细阅读一篇论文,理解其采取的方法和得到的实验结果,设法找到一些可以完善的地方。首先考虑最大略的扩展,然后思考下论文的方法是否合理,实验结果有没有不完善的地方。
重视可视化工具和技能
运行可视化脚本许可我们快速验证代码是否与想法匹配。更主要的是,良好的可视化每每使得想法和代码中的缺点变得更加明显以及可阐明性。
对付一个实际任务,想出办理问题的精确方法是很困难的。如果采取的是迭代优化模型(比如深度学习),那么绘制出丢失函数会是一个好的开端。此外,对付深度学习这个“黑匣子”方法,可视化也能够部分阐明其学习到的神经网络参数。比如,当处理图形模型事,可视化其一维或二维变量的分布,当它改变时,可以推断出很多信息。可视化是技能有效性的晴雨表,每次可视化剖析结果都能对所采取的的方法或代码起到一定的反馈。
TensorFlow可视化工具Tensorboard
分布图
Q值学习图
弄清楚研究者和论文的最初动机
在学术界可以创造很好玩的征象,研究职员在同一个会议上揭橥论文,利用相同的技能行话,但两个人的研究动机可以是完备相反的。动机分为以下三个动机——“数学”动机、“工程”动机和“认知”动机:
“数学”动机:智能系统的基本属性和局限性是什么?
“工程”动机:如何开拓比其它方法更好地办理实际问题的智能系统?
“认知”动机:如何仿照像人类或其它动物那样的自然智能?
有些论文不止一个动机,此外,每个研究者的动机不可能一贯保持不变,这和工程师的兴趣有关。精良的论文和研究职员将在一开始就解释其研究动机,但有些论文每每表述的不是很清楚,这就须要读者们仔细阅读,此外,在自己写作时也要把稳这一点,以防动机不明显而被退稿或退修。
深入研究学会找论文
网络上充斥着大量的人工智能论文,大多数人首先会揭橥在arXiv上,由于该平台可以先揭橥再经由审稿,因此须要学会从中辨别。其余,建议在社交软件上跟踪你最喜好的研究职员的动态。此外,还有各种会议也值得关注。三大会议分别是NIPS、ICML以及ICRL。其它著名的一样平常会议包括AAAI、IJCAI和UAI。对付每一个分支学科而言,都有更加详细的会议。比如打算机视觉领域有CVPR、ECCV和ICCV;自然措辞领域有ACL、EMNLP和NAACL;机器人学领域有CoRL、ICAPS、ICRA、IROS和RSS;与理论事情干系的会议有AISTAS、COLT和KDD。此外还有一些期刊也值得关注,JAIR和JMLR是人工智能领域最突出的两个期刊,不过在Nature和Science期刊中也会有很好的论文。
对付一些早期论文的查找也是非常主要的,那些被奉为“经典论文”的论文每每会在参考论文中涌现。其余一种创造早期论文的方法是从资深教授的个人主页开始查找,其成名作一样平常会挂在上面。此外还可以通过一些搜索助手,比如谷歌学术、百度学术等查询关键词。
读论文要花多少韶光?
关于如何读论文,人们常常给出两个建议。第一个便是在研究生的第一学期或者第一年度把所有干系的论文都读一遍;第二个是当读了大量论文后,不要再泛读,而是找到打破口,想出创新的办法。
我个人赞许第一个建议,但不同意第二个建议。只要有足够的韶光用于原始研究,那么就该当尽可能多地阅读论文。对付专业研究员而言,不可能总依赖个人幸运来创造创新的办理办法,有时候你想到的方法别人可能已经考试测验过,只是你不知道而已。绝大多数的研究者都是耐心的跟踪研究方向的进展以及发展趋势,井井有条地思考并办理问题。阅读干系论文也是弄清楚目前所处的阶段以及接下来须要做什么的一个好方法。
关于尽可能多地阅读论文有一个主要的提示:花韶光理解消化一篇论文和阅读一篇论文同样主要,阅读的时候可以做些条记,而不是不求甚解,只求数量,不求质量。
对话 >> 视频 >> 论文 >> 会商
论文无疑是理解不熟习的研究理论最随意马虎获取的来源,但是什么路径是最有效的呢?不同的人可能感想熏染不一样。对我而言,我创造对话(与那些已经理解的人)是迄今为止最快且最有效的理解路子。如果找不到和这样的人对话的机会,可以找下关于问题的干系视频,例如论文作者访谈视频,这样的视频可以供应很好的不雅观点。此外,当演讲者向现场不雅观众演讲时,他们每每优先考虑的是清晰度而不是简洁性。在大多数论文写作中,作者将优先权顺序互换了,个中词数为王,背景知识阐明得太多反而显得作者对该领域不熟习。排在末了的是会商,大略的会商每每显得比较正式,与主持人的发言内容可能会非常有代价。
严防炒作
人工智能取得一系列的成果吸引了"大众的关注,使得更多的人投入这个领域,进而匆匆使人工智能取得更多打破性的进展。全体循环是良性的,但有一个副浸染便是存在大量的炒作。视图得到点击量的、热钱投资者、创业型公司都是浮夸炒作泡沫的罪魁罪魁。因此,在我们阅读新闻或论文时,要把稳“标题党”,以免被误导。
在2017年的NIPS的问答环节,一位著名的教授拿着麦克风(代表炒作警察)告诫作者在论文标题中慎重利用“想象”一词。这和我们看新闻时一样,标题很吸引人,但里面的内容却跟标题关系不大,使得阅读者大失落所望。阅读论文同样如此,严防炒作,我们须要做的是根据实验方法和结果来评估一篇论文是否对自己有所帮助。
研究是场马拉松总是在不断进步
在早期探索研究项目时,一样平常我会花几个小时开展头脑风暴,希望一些模糊的直接能够指引一个详细的方向。有时候项目没有任何进展,但在阴郁中摸索也算是全体研究过程中的一部分。当不知道下一步该当做什么时,可以基于目前已有的情形将最模糊的想法写下来,并在写的过程中进行逐一打消(写出打消的缘故原由)。在没有任何想法的情形下, 可以采纳阅读或与同事互换的形式以得到灵感。
从去世胡同中学会判别和止损
大牛们一样平常花更多的韶光在好的想法上,能够区分想法的好与坏在很大程度上依赖于个人的履历。只管如此,任何水平的研究职员都会不断遭遇以下决定:研究思路是否有缺陷、是否该当挽救或进一步支持所提出的想法、是否完备放弃所提出的想法?尤其是在早期时,研究职员踏入去世胡同后会勾留很长一段韶光,而不愿放弃。虽然放弃意味着之前的花费的韶光空费了,但有的时候要懂得及时止损。
写作
一些大牛给出的早期职业建议是:写作。平时可以写写博客和论文,但更主要的是把自己的想法记录下来。由于写作有助于我们理解与思考干系知识。
生理康健和身体康健是科研的先决条件
学术研究者在追求科学创造的过程中常常会碰着熬夜、顾不上用饭等问题,这些都不是好习气。很多博士都开始光头,乃至硕士就开始掉头发。磨炼身体并放空自己内心也是对科研的投资,并不是阻碍科研。睡8个小时后再事情4个小时,其效率比睡4个小时事情8个小时要高得多。有的时候会碰着卡壳,纵然使出浑身解数也无法取得一丝进步,这个时候建议离开事情岗位,轻微活动一下并做长呼吸,放空下自己
作者信息Tom Silver,专注于打算科学与数学、人工智能
本文由阿里如斯栖社区组织翻译。
文章原标题《Lessons from My First Two Years of AI Research》,译者:海棠,审校:Uncle_LLD。