当前位置:主页 > 新闻热点 >正文

Hadoop真的要死了吗?

作者: 丈哥 分类: 新闻热点 发布时间: 2019-01-11 13:12

Hadoop真的要死了吗?

10 月 3 日,Hortonworks 宣布将与其主要竞争对手 Cloudera 合作创建一家年收入约为 7.3 亿美元、拥有 2,500 名客户、市场估值达 52 亿美元的公司,这令很多人感到意外。

Hadoop真的要死了吗?

Splice Machine 首席执行官 Monte Zweben 表示:“我认为对于我们来说,这是个好消息。我们已经看到了运营由这两家公司和其他公司部署的所有数据湖的巨大机会,而这样的机会在两年前可能连想都不敢想”。

Confluent 的首席执行官兼 Apache Kafka 联合创始人 Jay Kreps 告诉 ZDNet:“这是一个聪明的举动。过去,这两家公司在同一产品上展开竞争,但具有讽刺意味的是,这却让竞争变得更加激烈”。

Unravel Data 首席执行官 Kunal Agarwal 说:“我认为这是件好事。我认为这两家公司在将他们的技术整合在一起,而不是试图相互攻击。他们现在可以专注于提供合适的机器学习工具、物联网平台和 AI 工具”。

但并非所有的反应都是积极正向的。 自由科技记者 Virginia Backaitis 在他的一片文章中写道:“我比较担心新的 Cloudera(或者可能是单独的 Cloudera 和 Hortonworks)是否会像管理团队和投资人所期望的那样快速增长”。

Bloomberg Opinion 专栏作家 Shira Ovide 同样不看好,他将这两家公司的合并说成是“两家水下公司的航海联盟”。

Teradata 首席运营官 Oliver Ratzesberger 告诉 Datanami:“这是一种 Sears-K-Mart 式的合并,这是他们唯一能够生存下来的方式。Hadoop 本身就变得无关紧要了”。

Anaconda 产品和营销高级副总裁 Mathew Lodge 在 VentureBeat 上发布的一篇文章中指出,大数据的中心已经从 Hadoop 转移到了云端,在对象存储系统(如亚马逊 S3、微软 Azure Blob Storage 和 Google Cloud Storage)中存储数据比在 HDFS 中便宜了五倍。

“领先的云计算公司并没有在 Cloudera 和 Hortonworks 上运行大型的 Hadoop/Spark 集群,,相反,他们在容器基础设施上运行分布式云规模数据库和应用程序。现在是时候让 Hadoop 和 Spark 与时俱进了”。

让 Hadoop 更像云

事实上,Apache Hadoop 社区一直都在积极应对来自公有云供应商的威胁,包括像 Databricks 和 Snowflake 这样的初创公司。它们通过采用对象存储和容器技术让云端的大数据分析变得更便宜和更容易,并在上周获得了来自风险资本的 4.5 亿投资,

在今年早些时候发布的 Hadoop 3 中,用户可以选择使用擦除编码(erasure coding),这是 S3 等对象存储系统使用的数据保护技术,可将存储效率提高 50%。Hadoop 3.1 将为 YARN 中的 Docker 带来更强劲的支持。在宣布合并之前,Cloudera 和 Hortonworks 都在努力让他们的 Hadoop 发行版支持 Kubernetes。

但是,对于 Hadoop 社区来说,他们还有很多工作要做。上个月,Cloudera 首席战略官 Mike Olson 告诉 Datanami,社区还需要 12 到 24 个月才能在开源的 Apache Hadoop 项目中提供 Kubernetes 支持。

Olson 说:“YARN 擅长长期运行的批次作业调度,但要作为通用的集群资源管理框架,它还需要精心的设计和改进。未来 Kubernetes 将会入驻,并接管其中的一大部分内容”。

于是问题来了:当 YARN 被 Kubernetes 取代,并且 HDFS 被替换为任何兼容 S3 的对象存储系统时,Hadoop 还会是原来的 Hadoop 吗? 如果你认为 Hadoop 只是 40 个开源项目的集合——HBase、Spark、Hive、Impala、Kafka、Flink、MapReduce、Presto、Drill、Pig、Kudu,等等——那么也许这个问题就问得没有什么实际意义……

从实际角度来看,客户不可能因为两个最大的 Hadoop 发行商的整合而突然关闭多年来部署的数百万个 Hadoop 节点。对于已经建立了 Hadoop 数据湖的数千家公司而言,它们的重点将保持不变:从数据中获取价值。

尽管 Hadoop 可能已经变成了一项传统技术,但社区仍然有动力去调整它,以便支持新兴的需求,就像 IBM 对其大型机平台所做的那样。问题是它是否能够以足够快的速度让已部署的基础设施不断增长。

简化 Hadoop

Hadoop真的要死了吗?

自从十多年前第一个 MapReduce 程序上线以来,开发人员一直对 Hadoop 的复杂性颇有微词。即使像 Facebook 这样大的公司在使用 Hadoop 时也感到不便,特别是当他们需要通过底层的 Java 编程技能从 Hadoop 中及时获取信息时。

从那时起的一个发展趋势,就是消除这种复杂性,但 Hadoop 社区没能及时取得进展,因此未能阻止云供应商通过推出更简单的产品抢走市场份额。


本文链接地址:https://www.0471seo.com/news/1604.html
  • 上一篇:<<刚刚,吴恩达全新Coursera课程「全民AI」上线!

  • 下一篇:比拼 Kafka, 大数据分析新秀 Pulsar 到底好在哪>>
  • 如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!