人工智能正在推动芯片的复兴

   尽管深度学习已经在人工智能领域做出重大贡献,但这项技术本身仍存在一项致命缺陷:需要大量数据的加持。深度学习领域的先驱者乃至批评者已经就此达成共识——事实上,正是由于可用数据量有限加上处理大规模数据的计算能力不足,才导致深度学习直到近几年才成为AI层面的前沿技术。

 

      因此,减少深度学习对数据的依赖性,已经成为AI研究人员重要的探索方向之一。

 

      在AAAI大会的主题演讲中,计算机科学家Yann LeCun讨论了当前深度学习技术的局限性,同时提出“自我监督学习”的发展蓝图——这是他为解决深度学习数据问题而构建的路线图。作为深度学习领域的教父级人物之一,LeCun正是卷积神经网络(CNN)的发明者,而该网络也成为过去十年内推动人工智能革命的一大核心因素。

 

      自我监督学习,可谓当前提升人工智能系统数据利用效率的多种尝试之一。目前我们还很难断言哪种具体尝试能够成功掀起下一轮AI革命(也许我们终会采取完全不同的政策),但LeCun的规划与思路仍然值得我们认真了解。

 

      澄清深度学习的局限性

 

      首先,LeCun强调称,深度学习技术面对的局限性实际上正是监督学习技术的局限性。所谓监督学习,属于一类需要对训练数据进行标记才能正常完成学习的算法。例如,如果希望创建图像分类模型,则必须为系统提供经过适当分类标记的大量图像,由模型在其中完成充分训练。

 

      LeCun在AAAI主题演讲中提到,“深度学习并不是监督学习,也不只是神经网络。基本上,深度学习是将参数化的模块组装到计算图中以构建起AI系统。它的优势在于,我们不需要对系统进行直接编程——我们只需要定义架构并调整参数。不过其中需要调整的参数可能多达数十亿之巨。”

 

      LeCun同时补充道,深度学习适用于多种不同学习范式,包括监督学习、强化学习以及无监督/自我监督学习等。

 

      但目前人们对于深度学习以及监督学习的抱怨并非空穴来风。当下,大部分能够实际应用的深度学习算法都基于人工智能(AI)引发了半导体创新的“新黄金时代”——机器学习带来独特的市场需求,一次激发了企业家们,去重新思考芯片架构的基本原则。

 

      科技行者 5月11日 北京消息:半导体是数字时代的一项基础技术。美国硅谷的名字正是源自于此。过去半个世纪以来,计算技术的革命改变着社会的方方面面,而半导体技术正是这场革命的核心。

 

      自英特尔1971年推出全球一个微处理器以来,计算能力一直以令人惊叹的步伐发展演进着。根据摩尔定律,当前的计算机芯片比50年前的芯片在功能上强大数百万倍。

 

      尽管数十年来处理能力飞速增长,但直到现在,计算机芯片的基本体系结构仍然没有太大改变。很大程度上说,芯片的创新,需要进一步缩小晶体管的体积,让集成电路可以容纳更多晶体管。数十年来,英特尔和AMD等厂商通过提高CPU性能而取得了长足的发展,被Clayton Christensen视为“持续的创新”。

 

      今天,这种情况正在发生着巨大的变化。人工智能(AI)引发了半导体创新的“新黄金时代”——机器学习带来独特的市场需求和无限的机会,一次激发了企业家们,去重新思考芯片架构的基本原则。

 

      他们的目标,是设计一种专为AI设计的新型芯片,为下一代计算提供动力,这也是当前所有硬件领域大的市场机遇之一。

 

      新的计算范式
 

      在计算技术发展的历史中,主流的芯片架构一直是CPU。如今,CPU无处不在,它为笔记本电脑、移动设备和大多数数据中心提供动力。

 

      1945年,传奇人物约翰·冯·诺伊曼(John von Neumann)构思了CPU的基本架构。值得注意的是,此后他的这一设计基本没有太大变化,今天,大多数计算机仍是基于冯·诺依曼理论的机器。

 

      CPU的灵活性使得它有各种各样的用途:CPU是通用的,能够有效执行软件所需的任何计算。不过尽管CPU的主要优势是多功能性,然而如今的AI技术需要的,是一种非常特殊且密集的计算。

 

      深度学习需要迭代执行数百万甚至是数十亿个相对简单的乘法和加法步骤。深度学习以线性代数为基础,在根本上是基于试错法的:对参数进行调整,对矩阵进行乘法运算,随着模型自身的不断优化,在整个神经网络中反复进行数字求和。

 

      这种重复性的、计算量巨大的工作流程,对于硬件体系结构有很重要的要求。「并行化」变得至关重要,「并行」指的是:处理器能够同时、而不是一个接一个地执行多个计算的能力。与之紧密相关的是,深度学习涉及大量数据的连续转换,因此让芯片内存和计算核心尽可能靠近数据所在的位置,可以减少数据移动,从而大幅提升速度和效率。

 

      CPU尚不足以支持机器学习的独特需求。CPU是按顺序而非并行地处理计算任务,CPU的计算核心和内存通常位于单独的模块上,通过带宽受限的通信系统(总线)进行连接。这就造成了数据移动的瓶颈,称为“冯·诺依曼瓶颈”,导致的结果就是,在CPU上训练神经网络的效率非常低。

 监督学习模型,这也充分暴露出现有AI系统的缺点所在。我们日常使用的图像分类器、人脸识别系统、语音识别系统以及众多其他AI应用都需要利用数百万个带有标记的示例进行充分训练。

 

      到目前为止,强化学习与无监督学习只能算是在理论上存在的其他机器学习算法类型,还极少在实践场景中得到应用。

 

新闻资讯

NEWS

首页    人工智能正在推动芯片的复兴