编者按：本文来自微信公众号“网易智能”1
强化学习回归
如果我们选择用一句话来描述2019年的AI发展情况，那很可能是：“强化学习（RL）回归了，而且看起来它会继续保持这种趋势。”
到目前为止，我们中的大多数人可能都已经熟悉有监督学习模式：有些人收集了大量的训练数据，将它们提供给机器学习算法，让它提炼出模型，然后帮助我们进行预测和分类。我们中的有些人甚至可能会有这样的印象，即AI是有监督学习的同义词。然而，它只是我们今天拥有的众多机器学习类型中的一种。
在强化学习中，代理通过试验和错误来学习，通过与环境的交互来判断他们的行为。当涉及多个智能代理时，它们就被认为是一个多智能代理强化学习系统。
这个领域已经存在了几十年，从概念上讲，比起有监督学习模式，这听起来更像是一种创造智能的学习机制。然而，直到2015年，英国人工智能初创企业DeepMind才获得了吸引力，当时该公司使用Deep Q学习(经典强化学习算法与深度神经网络相结合)创建了可以玩Atari游戏的代理。2018年，人工智能研发组织OpenAI也通过征服《Montezuma’s Revenge》游戏在该领域站稳了脚跟，这是一款被认为特别难的Atari游戏。
在过去的几个月里，事情取得了重大进展：这些工作重新唤醒了强化学习研究界的信念。在过去，强化学习被认为过于低效和简单，无法解决复杂的问题，哪怕是游戏。
今年获得重大推进的另一个用例是自然语言处理(NLP)。尽管研究人员在这个领域已经工作了几十年，但在几年前，自然语言处理系统生成的文本听起来并不够自然。自2018年底以来，人们的注意力已经从过去的单词嵌入转移到预先训练的语言模型上，这是自然语言理解从计算机视觉中借鉴的一种技术。
训练这些模型是以一种无监督学习的方式来进行的，这使得当代系统能够从互联网上可用的海量文本中学习。因此，这些模式变得“有知识”，并发展出了理解语境的能力。然后，使用有监督学习可以进一步提升他们在特定任务中的表现。这种通过训练不同任务来改进机器学习模型的做法属于迁移学习领域，被认为具有很大的潜力。
自然语言理解技术从去年开始蓄势待发，2018年底推出了Google Bert、Elmo和ulmfit等系统，但今年的风头完全被OpenAI的GPT-2抢走，其表现引发了人们对自然语言理解系统是否合乎道德用例的讨论。
2
理念走向成熟
今年也见证了最近的某些深度学习技术走向成熟。使用有监督学习的应用，特别是计算机视觉，催生了成功的现实产品和系统。
生成性对抗网络(GANS)已达到了完美水平，其中生成器网络试图通过学习生成模仿训练数据的图像来欺骗鉴别器网络。显然，创建人和物体的人工但逼真的图像不再是AI的前沿。2019年，AI生成的艺术甚至脱离了过去几年的假设讨论，成为今天博物馆装饰和拍卖的一部分。
计算机视觉技术也已被应用于具有重大商业和社会利益的领域，包括无人驾驶汽车和医学。AI算法在这些领域的采用自然很慢，因为它们直接与人类生活互动。
至少到目前为止，这些系统还不是完全自主的，它们的目标是支持和增强人类操作员的能力。
研究小组正在与医院密切合作，开发用于疾病早期预测的AI系统，并组织庞大的健康数据档案，一个显著的例子是DeepMind Health和伦敦大学附属医院(UCLH)之间正在进行的合作。然而，这些工作中的大多数仍处于实验阶段，到目前为止，使用深度学习来增强医学图像的软件SubtlePet，是唯一获得FDA批准的AI系统。
3
沉睡的巨人
AutoML是机器学习的一个子领域，自上世纪90年代出现以来，在2016年引起了人们的极大兴趣，但不知何故从未登上过头条，至少没有像其他AI趋势那样引发关注。或许这要归因于它不那么花哨的本质：AutoML旨在通过自动做出今天数据科学家通过手动、暴力调整做出的决策，来提高机器学习的实践效率。
在过去的三年里，我们对这一领域的理解发生了变化。今天，大多数大公司都提供AutoML工具，包括Google Cloud AutoML、Microsoft Azure、Amazon Web Services和DataRobot。今年，人们的兴趣转向了进化方法，学习进化AI框架(LEAF)成为最先进的技术。然而，AutoML还没有达到允许全自动AI系统比AI专家团队表现更好的成熟程度。
4
对AI的担忧
尽管取得了巨大成功，但今年AI领域也带给我们许多令人沮丧的故事。一个主要问题是机器学习模型中存在的偏见，这样的一个问题直到2018年才出现，当时亚马逊发现其自动招聘系统中存在性别偏见，而美国法院广泛使用的判决工具COMPAS也被发现对性别和种族存在偏见。
今年此类示例数量明显增加，这可以说表明公众和机构对用于自动化决策的现有AI系统越来越怀疑。举几个例子为证：
——10月份多家医院算法被发现对黑人患者有偏见；
——用于发放英国签证的AI系统在10月份被一个人权组织指责存在种族偏见；
——苹果的信用评分系统在11月被客户指责存在性别偏见。
偏见是一个特别令人担忧的问题，因为它位于有监督深度学习的核心中。当有偏见的数据用于训练算法，而预测模型无法解释时，我们无法真正判断是不是真的存在偏见。到目前为止，研究界的反应是开发技术以了解深层模型决策背后的原因。但专家警告称，如果我们采取正确的做法，许多问题都能够获得解决。Google Cloud Model Cards是最近组织社区走向开源模式的一次尝试，并对其性质和局限性进行了清晰的描述。
今年的另一个令人担忧的认识是，一项技术变得越复杂，它被滥用的可能性就越高。深度造假（Deepfakes）就是Gans的副产物，深度学习算法被用来在纯粹虚构的场景中创建涉及真人的图片或视频。不需要拥有太多的远见，就能够正常的看到这种技术如何被用来传播虚假消息，从政治宣传到欺凌等。这样的一个问题不能仅靠科学家来解决，历史证明，他们不善于预测他们的发现对真实的生活的影响，更不用说控制它们了，这需要社会各界的对话。
如今，量化AI的价值是很困难的，但有一件事是肯定的：AI已经离开了科幻小说和前卫计算机科学的领域，现在是需要在这方面投入巨资的时候了。今年早些时候，三位主要的深度学习研究人员获得了图灵奖，这是人们期待已久的、对AI作为计算机科学既定领域的认可。
