您当前的位置:主页 > 学习之声 > 内容
北大张志华:机器学习就是现代统计学
时间:2019-05-16 03:19

  数学最重要的魅力在于帮助我们提出解决问题的思路或途径。

  而机器学习在一定程度上正是数学和工程的完美结合,毕竟用数学里面的概率论、随机分析等工具研究AI早已不是什么新鲜事情。例如机器学习的四个基本原则性的问题,即泛化性、稳定性、可计算性和可解释性就可以用数学工程手段来解决。

  在5月 9日的北京智源人工智能研究院主办的“智源论坛——人工智能的数理基础”系列报告中,北京?学的张志华教授对机器学习和数学工程的内在关系进行了阐述。在报告中,他提到:统计为求解问题提供了数据驱动的建模途径;概率论、随机分析、微分方程、微分流形等工具可以引入来研究 AI 的数学机理等等。

  除此之外,张志华教授还回顾了机器学习发展的?个重要阶段,以及重点强调机器学习和人工智能之间并不能画等号,毕竟机器学习实际上是研究算法的学科,而人工智能志在模拟人的思维和行为。

  在回答现成观众问题的时候,其也提到机器学习就是统计学的一个分支,机器学习比统计学更接地气。

  以下张志华教授的演讲速记,文摘菌做了有删改的整理,请欣赏~

  机器学习发展现状的认识

  机器学习与人工智能有着本质上的不同,前者志不在模拟人的思维和行为,主要是想通过经验和交互的方式改善性能,是基于规则的学习。机器学习实际上是研究算法的学科,算法是基于数据型算法,然后反馈到数据中去。    可以简单地把机器学习的过程看作这样一个思路,然后可以基于此看看机器学习发展的历程:

  传统方法:基于规则学习

北大张志华:机器学习就是现代统计学

  第一个历程是基于规则的学习,它的目的就是为了规则,有规则它就可以做预测。但是重点不是怎么形成规则,而是数据到表示,即通过认知的手段,把人对数据的认识过程,用计算机记录下来。从而成一种形式化的方式,自然而然就有一种规则和逻辑的方式去做预测。它主要代表有两个,一个是专家系统,包括知识库和推理基,其中重点就是知识库。另外一个是句法模式识别,模式的目的也是怎么样把一个对象通过一种形式化的方式表示出来。

  但这一阶段也暴露出一些问题,其一便是基于规则学习的方法虽然对于浅层推理比较有效,但遇上深层推理需求,如果形成规则过多,在其中搜索就容易出现前面的分享提到过的维数灾难问题。

  为了解决问题,一个用一个强大的非线性学习模型来弱化数据到表示过程的作用,基于这样的理论,机器学习发展至第二个阶段。

  统计机器学习黄金发展的十年

北大张志华:机器学习就是现代统计学

  第二阶段是90年代中期到2005年左右十年的时间。在这一阶段为了解决维数灾难,出现了一个数论:即基于规则的方式,环成一个非线性的一种模型,或者用计算的手段运作模型,然后反过来可以弱化数据到表示的过程。

  这一阶段的神经网络(80 年代就已经出现神经网络模型)则相对趋于比较低落的时期,表现平平,发展遇冷。主要原因在于时期的机器学习方法比神经网络要更为简单,性能也要更好,属性性质相对完美,自然而然地就取代了神经网络。

  但随着统计方法发展到一定阶段,大家发现“数据到表示”这件事情还是绕不过去。而应对这一问题地一个简单的思路就是通过学习的途径来求解表示问题,从而弱化研究者对于领域背景高度掌握的要求,也就是通过一个自动化的方式来解决这一问题。

  基于深度表示的学习

北大张志华:机器学习就是现代统计学

  大模型+大数据+大计算使得这种思路变得可行,机器学习也进入了第三阶段。AlexNet 网络的提出在后来为问题带来了突破性进展,很多做计算机视觉的人在网络方面不停跟进,这些发展主要是基于视觉的。

  那么在机器翻译、自然语言处理,自然而然也想到深度学习既然可以解决视觉问题,当然就可以把深度学习拿到机器学习来,所以现在在机器学习里面它的主要的模型也是基于深度。虽然模型可能不是卷积神经网络,但是核心确是LSTM这种东西。但是不管怎么样,相对于机器学习,自然语言处理深度学习,在自然语言处理它的效果或者它的作用远远没有那么好。

  在上述时期,用深度学习它的目的还不是为了表示,主要是为了什么?还是为了非线性的拟合,在自然语言处理,个人理解目前为止还没有找到一种非常有效的,像卷积神经网络有效表示图像的网络,所以导致自然语言处理没有像图像那么强大。

相关新闻

  • 有关扩大机器学习规模的五个启发
  • 鹰眼机器学习算法优于人类专家
  • Adobe正在使用机器学习来更容易地发现Photoshop图像
  • 人工智能启蒙、实物化编程学习机器人裤兜(COD
  • 机器学习和传统编程有什么区别?
  • 研究人员正在利用机器学习来了解微生物关系
  • 东北大学党委理论学习中心组开展集中学习
  • 哈佛教授提醒:你的学习力,决定你最终的人生高度
  • 从算法到硬件以最高效率实现机器学习的AI应用
  • 人工智能重大里程碑:第一本由机器学习生成的书籍
  • 首本机器学习生成的研究书籍诞生
  • 实践式学习带来更多自信,陷入课业压力的中学生更需要STEAM?