海外TMT行业中期策略：AI算法教学相长，顶级会议百舸争流

敬请阅读末页信息披露及免责声明 海外 TMT 行业中期策略：AI 算法教学相长，顶级会议百舸争流主要观点：q ⾕歌和 DeepMind 占 ICLR 总接收论⽂的 20%，具有绝对的影响⼒ ⾕歌、DeepMind、Facebook、OpenAI、微软，这 5 个科技公司在今年 ICLR 中共贡献了 9 篇 oral（⼝头报告）论⽂和 107 篇 poster（海报展示）论⽂，在会议接受论⽂总数的 23 篇 oral、314 篇 poster 中已经占据了接近半壁江⼭。（⾕歌、FB、微软重点在于其中的⼈⼯智能研究机构：⾕歌⼤脑/⾕歌 AI，Facebook ⼈⼯智能研究院，微软研究院）。每家机构的数量⽅面，DeepMind 22 篇、⾕歌 47 篇、Facebook 25 篇、OpenAI 7 篇、微软 15 篇。⾕歌和 DeepMind 加起来就占了会议总接收论⽂的 20%，具有绝对的影响⼒。 q 强化学习是今年⼀⼤研究热点，与语⾔相关的论⽂也成为重要⽅向 强化学习是今年⼀⼤研究热点，不仅 DeepMind 依旧把强化学习作为重要研究对象，其它研究机构也在强化学习⽅面有许多研究，以及把强化学习作为⼯具，研究其它领域的问题。这 106 篇论⽂中有 20 篇左右是关于强化学习的。去年⽕热的 GANs 今年则热度有所下降。另⼀⽅面，与语⾔相关的论⽂也有 22 篇之多，涵盖的内容包括对语⾔演进的探索、弱监督/⽆监督翻译、阅读理解、问答等。 q ⼤模型、⼤计算、⼤数据是深度学习三⼤支柱，需要多维度更新 深度学习的成功主要归功于三⼤因素——⼤数据、⼤模型、⼤计算。模型技术的发展使得训练⼤模型成为了可能，例如上千层的深度神经⽹络都已经发展成为现实。同时硬件的提升可以实现⼤计算，从 CPU 到 GPU，可获取的计算资源越来越丰富。⼈⼯智能的模型算法可以分为两个⽅向：以统计⽅法为主的机器学习，和以神经⽹络架构为主的深度学习。近⼗年来深度学习有了长⾜的发展，神经⽹络被应用到图像识别、语音识别、自然语⾔处理、⽆⼈驾驶等许多细分领域。伴随着 CPU、GPU、FPGA、ASIC等硬件的更迭，深度学习的平台和系统也逐步建立完善。预计未来硬件和软件的结合将会更加紧密。 q ⾕歌等软技术公司引领 AI 主流，电商和社交巨头耕耘垂直领域 ⾕歌的⼈⼯智能位于全球前列，在图像识别、语音识别、⽆⼈驾驶等技术上都已经落地。⽽百度实质意义上扛起了国内的⼈⼯智能的⼤旗，覆盖⽆⼈驾驶、智能助⼿、图像识别等许多层面。苹果业已开始全面拥抱机器学习，新产品进军家庭智能音箱并打造⼯作站级别 Mac。另外，腾讯的深度学习平台 Mariana 已支持了微信语音识别的语音输⼊法、语音开放平台、长按语音消息转⽂本等产品，在微信图像识别中开始应用。通过 Mariana，识别准确率获得了极⼤的提升，目前识别能⼒已经跻身业界⼀流⽔平。从上述全球前⼗⼤科技公司对⼈⼯智能的投⼊程度和应用的实现，⼈⼯智能已经成为 2017 年⾏业的风向标，是移动互联⽹之后的科技⾼地所在。⾏业评级：增持报告日期：2018-07-02 海外研究小组 港股/美股 021-609546118 海外 TMT 行业 证券研究报告-行业研究-中期策略报告 敬请阅读末页信息披露及免责声明 目录 1. ICLR 素有深度学习顶会“⽆冕之王”之称，2018 接收论⽂数量最多机构是⾕歌 ............................................................. 4 1.1 对现有算法的改进仍然是重点 ............................................................................................................................................... 4 1.2 逻辑、抽象概念学习也出现越来越多的成果 ......................................................................................................................... 5 1.3 优化⽅法仍在讨论和快速进步 ................................................................................................................................................ 5 1.4 尝试开拓深度学习的新领域 .................................................................................................................................................... 5 1.5 有不少研究安全的论⽂，但⽅向较为集中 ............................................................................................................................. 6 2. ⾕歌：⾕歌和 DEEPMIND 加起来就占了会议总接收论⽂的 20%，具有绝对的影响⼒ ............................................ 6 2.1 ADAM 的指数移动平均值如何导致⽆法收敛 ........................................................................................................................ 6 2.2 ADAM 的变体 AMSGRAD ....................................................................................................................................................... 6 3. 微软：最新研究成果探索出⼀种新的让机器学会自动化教学的⽅法 .............................................................................. 7 4. 阿里巴巴：神经⽹络的多比特量化压缩加速问题 ............................................................................................................ 10 5. ⾼校：巨擘以外孕育创新之地 ........................................