在雷锋网的AI研习社直播课上，张智伟，李振，陈闽川三位老师分别为大家带来了利用TensorFlow实现DQN实战、深入讲解图像分类和网络优化以及AI视觉芯片共三场干货满满的直播。该课程结合CS231n课程同时将课程内容与运用领域连接起来，让大家可以真正的学会如何运用深度学习。
以下是高朋分享内容：
张智伟：手把手教你用TensorFlow实现DQN
本次分享的内容紧张集中在CS231n第十四课——Deep Reinforcement Learning。首先回顾深度学习的几大分支。
什么是强化学习？强化学习是机器学习中的一个领域，强调如何基于环境而行动，以取得最大化的预期利益。强化学习有两个主体，agent和environment，每个韶光节点，agent会输出一个action并传送个环境，环境会产生下一个状态以及产生一个褒奖并输入agent，从而构成闭合的循环。
用数学来描述这个过程便是马尔可夫决策过程（MDP），马尔可夫决策过程(Markov Decision Process, MDP)也具有马尔可夫性，与上面不同的是MDP考虑了动作，即系统下个状态不仅和当前的状态有关，也和当前采纳的动作有关。MDP实际上是一个五元组，由五个元素组成。
什么是Q-Learning？Q为动作效用函数（action-utility function），用于评价在特定状态下采纳某个动作的利害，可以将之理解为智能体（Agent）的大脑。Q-Learning的核心是贝尔曼方程，它给我们的启迪是我们可以用下一时候的最佳Q值函数表示当前的最佳Q值函数。这样就可以迭代的求贝尔曼方程。
在深度学习的背景下，我们可以用神经网络拟合出最佳Q函数。有了神经网络该如何优化它的函数呢？还是要用到贝尔曼方程。
接下来给大家解读一下DQN算法，紧张分为六个部分，对我们比较有用的包含在第二部分和第四部分。
这篇论文我总结了有三个亮点。一是replay memory，二是演习网络与打算标签的网络分离，三是网络构造。
先容完三个亮点，我们再来看一下算法流程。
讲了论文，我们开始自己利用TensorFlow来实现一个神经网络。紧张用的库包括TensorFlow、numpy（数组）、pil（根本图像操作）、gym（openai开源的库）、random。
末了把代码链接发给大家，如有疑问可以看源码：https://github.com/BigJerry/TooNaive/blob/master/DQN/DQN.py
李振：图像分类与网络优化
首先还是遍及一下深度学习的基本观点，然后再给大家先容一下我本日禀享的思路，并先容一些我个人的关于运用的见地。
接下来给大家分享一下我个人对图像分类的一些理解与思路。
首先是任务剖析，任务剖析紧张包括任务的基本情形和数据的基本情形。
确定好任务之后是选择得当的网络，这里我建议大家可以选择已经被验证的比较好的网络，不要急着写自己的网络。网络选完接着便是平台选择，个人建议还是选一些比较随意马虎入手，用的人比较多，资源又丰富的平台。
选定平台后就可以进行预演习，准备数据库。然后便是比较关键的内容即网络的演习、测试与优化，这些内容我跟大家分享一下我个人的技巧。
上面先容的网络优化中我还想分享一些其他的技巧。我们应优先办理影响最大的问题，即从缺点样本里抽取一定数量的样本并进行分类，先办理最随意马虎纠正的。我们还可以用表格记录考试测验的的情形。
这些便是我本日全部的分享。
陈闽川：我如何跨界进入AI行业开拓视觉芯片
首先我先容一下自己的学习经历，我硕士毕业之后紧张从事芯片的电子设计自动化的事情，紧张卖力芯片的物理设计，包括芯片的布局布线，还有芯片的自动化流程的开拓。这些经历对我进入AI行业有一定帮助。
之后我学习过一些斯坦福公开课比如CS231n，吴恩达的机器学习，以及Coursera的并行打算编程等。我自己也看了一些书，比如周志华的机器学习等。我这次紧张想分享一些我转行的经历，以及我的一些不雅观点和视角。
首先我想从毕加索的画提及。
毕加索作为二十世纪最精彩的画家之一，他曾经说过一句话“我画的不是事物的表象，而是不能用肉眼看出的实质”。先容毕加索和CS231n有什么关系呢？我以为毕加索的画风类似于深度学习的特色提取。
他从事物的线条逐渐抽象不断提取特色十分类似卷积神经网络中图像识别、图像理解的过程。
接下来我想先容一下分割迁移，我以为学习该当以兴趣为导向，我刚开始打仗深度学习的时候对风格迁移非常感兴趣。图片的风格迁移的例子如下。
风格迁移的思路是用深度学习学到的特色中的统计信息（分布）描述图像风格。在卷积网络中利用不同的层来提取不同的特色。
自己动手试一下实现风格迁移可以更加觉得到学习的意见意义。接下来，我先容一下经典的神经网络的框架构造。紧张包括LeNet、ResNet等。
下面我们紧张先容一下深度学习对芯片行业的影响，目前比较火热的商业场景包括消费电子、安防监控、自动驾驶汽车和云打算。现在比较大的的芯片公司如下。
末了我也希望海内涵这波AI浪潮中可以涌现天下级的芯片公司。在此引用一段谷歌研究员吴军的话：“一百多年来，总有一些公司很幸运的、故意识或无意识的站在技能革命的浪尖之上。对付一个弄潮的年轻人来说，最幸运的，莫过于遇上一波大潮。”
雷锋网认为目前AI发展正处于壮盛期间，三位老师都从实践的角度向大家展示了CS231n涉及的内容。希望我们的课程可以给大家一些启示。