当前位置:主页 > 新闻热点 >正文

Kaggle CTO 力荐:从 Kaggle 历史数据看机器学习竞赛趋势

作者: 丈哥 分类: 新闻热点 发布时间: 2019-01-12 14:08
Kaggle 是全球最大数据建模和数据分析竞赛平台,也是检验个人水平的最佳舞台。现如今,随着社会对机器学习人才的需求提高,在 Kaggle 上刷到过前 5%、10% 也成了应聘的一个硬指标。考虑到 Kaggle 的权威性和受欢迎度,这么多年来,这个平台的数据应该能体现整个数据科学领域的发展轨迹。

多年来,数据科学领域的许多趋势已经发生了改变。Kaggle,作为全球最大、最受欢迎的数据科学社区,记录着这些变化的演进状态。本文将使用 Kaggle Meta Data 逐一分析,看看这些年来,我们的数据科学究竟发生了什么变化?

线性回归与逻辑回归

线性回归与逻辑回归是机器学习中比较基础又很常用的内容,其中前者可以进行连续值预测,后者能被用于解决分类问题。所以我们先从它们开始,根据 Kaggle 论坛的帖子数对比这两种算法的热度趋势。

Kaggle CTO 力荐:从 Kaggle 历史数据看机器学习竞赛趋势

蓝:线性回归;橙:逻辑回归

如上图所示,橙线大多数时间都在蓝线之上,用户这些年来似乎一直都更喜欢聊 logistic 回归。而宏观来看,两种算法的变化趋势几乎吻合,峰值重合度较高,虽然起伏明显,但这 8 年来,它们总体是呈上升趋势的。

那么 logistic 回归受欢迎的原因是什么?一个迹象表明,Kaggle 上的分类问题远多于回归问题,其中一个代表是这些年来最受欢迎的泰坦尼克号生存预测竞赛。这是 Kaggle 上历史最 “悠久” 的竞赛之一,用户的讨论自然也很激烈。而最受欢迎的回归问题则是房价预测,但人们通常会在完成泰坦尼克号之后再考虑这个问题。

在 2017 年 10 月和 2018 年 3 月,Kaggle 论坛上关于 logistic 回归的讨论量大幅增加。对此,一个可能的解释是平台上出现的新竞赛——恶意评论分类。当时一些团队分享了不少和分类模型相关的高质量经验,其中就包括 logistic 回归。

XgBoost的霸主地位

Kaggle CTO 力荐:从 Kaggle 历史数据看机器学习竞赛趋势

蓝:决策树;橙:随机森林;绿:XgBoost;红:LightGBM;紫:CatBoost

在 2014 年以前,线性模型、决策树和随机森林的讨论量虽然不多,但它们占据绝对话语权。2014 年,时为华盛顿大学博士的陈天奇开源 XgBoost 算法,受到大众追捧,之后它也迅速成了 Kaggle 竞赛中的常客。时至今日,XgBoost 在竞赛中的使用率还是很高,性能也很好,不少夺冠方案中都有它的身影。

但是,根据曲线我们可以注意到,自从 2016 年 LightGBM 被提出后,XgBoost 的讨论量出现了一定程度的下降,而 LightGBM 却一路水涨船高。可以预见,在学界开源更好的模型前,这个算法将在未来几年占据主导地位。现在 LightGBM 也已经出现在不少竞赛中,比如 Porto Seguro 的安全驾驶预测,它的优点是比 XgBoost 实现速度更快、更简单。

除了这些算法,图中 “最年轻” 的 CatBoost 也有走红的趋势。

神经网络与深度学习趋势

Kaggle CTO 力荐:从 Kaggle 历史数据看机器学习竞赛趋势

蓝:神经网络;橙:深度学习

几十年来,神经网络在学界和工业界一直不温不火,但如上图所示,随着大型数据集的出现和计算机算力的大幅提升,近几年这种趋势已经发生了变化。

从 2014 年起,我们相继迎来了 theano、tensorflow、keras,与此同时,一个名为深度学习的时代也渐渐出现在世人视野里。在 Kaggle 上,用户发表的有关深度学习的帖子数不断上升,并最终超过神经网络。此外,诸如亚马逊、谷歌等的云服务提供商也正拥抱新技术,以更加积极的姿态展示在云上训练深层神经网络的能力。

深度学习模型是 Kaggle 竞赛中的新星,目前它已经在图像分类、文本分类竞赛中崭露头角,比如 Data Science Bowl、Quora 重复问题分类等。而伴随 RNN、CNN 的不断改进,深度学习的流行趋势似乎已经势不可挡。此外,一些尝试已经证实,迁移学习和预训练模型在竞赛中能够表现出色。

这种技术让人们看到了可能性。为了让用户从实践中学到更多知识,Kaggle 可以推出更多和图像分类建模相关的比赛,但以当前的情况看,现在限制用户大规模使用深度学习的是它的算力要求。但这种问题是可以被解决的。Kaggle 已经添加 GPU 支持,未来,,相信尝试深度学习的用户会越来越多。

Kaggle上流行的机器学习工具

Kaggle CTO 力荐:从 Kaggle 历史数据看机器学习竞赛趋势

蓝:Scikit;橙:Tensorflow;绿:Keras;红:Pytorch


本文链接地址:https://www.0471seo.com/news/1981.html
  • 上一篇:<<管理微服务中的数据

  • 下一篇:Google再曝偷偷收集用户隐私,安卓苹果用户全都中招>>
  • 如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!