哪些是大数据常用的开发工具（大数据计算框架有哪些）

来源：WHIZLABS

编译：青牛

如今，几乎每个组织都广泛使用大数据来获得市场竞争优势。考虑到这一点， 考虑到成本和其他收益，用于大数据处理和分析的开源大数据工具是组织最有用的选择。Hadoop是 业界最大的开源项目，也是大数据浪潮。但是，这还没有结束！还有许多其他厂商遵循Hadoop的开 源路径。

现在，当我们谈论大数据工具时，与之相关的多个方面都应运而生。例如，数据集有多大，我们将对数据集进行何种类型的分析，预期输出是什么，等等。因此，从广义.上讲，我们可以将大数据开源工具列表分类为以下几类：基于数据存储作为开发平台，开发工具，集成工具的分析和报告工具。

为什么市场上有这么多开源大数据工具？

毫无疑问，Hadoop是作为开源大数据平台在大数据世界中占主导地位的原因之一。因此，大多数活跃的团体或组织都开发了开放源代码的工具，以增加该行业的采用可能性。此外，一个开源工具易于下载和使用，没有任何许可开销。

如果我们仔细查看大数据开源工具列表，那可能会令人困惑。随着组织迅速开发新的解决方案以在大数据市场中获得竞争优势，将精力集中在驱动大数据行业的开源大数据工具上将很有用。

2020年十大最佳开源大数据工具

根据受欢迎程度和可用性，我们将以下十种开源工具列为2020年最佳开源大数据工具。

1. Hadoop

Apache Hadoop以其巨大的大规模处理数据能力而成为大数据行业中最著名和最常用的工具。这是100%开放源代码框架，可在现有数据中心的商用硬件上运行。此外，它可以在云基础架构上运行。Hadoop包含四个部分： .

Hadoop分 布式文件系统：俗称HDFS，它是兼容超高带宽的分布式文件系统。MapReduce：一 种用于处理大数据的编程模型。YARN：这是一个用于在Hadoop基础架构中管理和调度Hadoop资源的平台。库：帮助其他模块与Hadoop一 起使用。

2. Apache Spark

在大数据工具中，Apache Spark是行业中的下一一个炒作。这个开源大数据工具的关键在于它填补了Apache Hadoop在数据处理方面的空白。有趣的是，Spark可以处理批处理数据和实时数据。正如Spark进行内存中数据处理一样，它处理数据的速度比传统磁盘处理快得多。对于数据分析师处理某些类型的数据以获得更快的结果，这确实是一个加点。

Apache Spark可以灵活地与HDFS以及其他数据存储一起使用，例如与OpenStack Swift或ApacheCassandra。在单个本地系统上运行Spark也很容易，从而使开发和测试更加容易。

Spark Core是该项目的核心，它促进了很多事情，例如

分布式任务传输排程I/O功能

3. Apache Storm

Apache Storm是一个分布式实时框架，用于可靠地处理无限制的数据流。该框架支持任何编程语言。Apache Storm的独特功能是：

大规模的可扩展性容错“快速失败，自动重启"方法每个元组的保证过程写在Clojure在JVM上运行支持直接丙烯酸图（DAG） 拓扑支持多种语言支持JSON等协议

可以认为风暴拓扑类似于MapReduce作业。但是，对于Storm， 它是实时流数据处理而不是批处理数据处理。Storm调度程序基于拓扑配置将工作负载分配给节点。如果需要，Storm可 以通过适配器与Hadoop的HDFS进行互操作，这是使其可以用作开源大数据工具的另一点。

4. Cassandra

Apache Cassandra是一个分布式数据库，用于管理服务器上的大量数据。这是主要处理结构化数据集的最佳大数据工具之一。它提供高可用 *** ，没有单点故障。此外，它具有某些功能，这是其他关系数据库和NoSQL数据库无法提供的。这些功能是：

持续可用性作为数据源线性可扩展性能操作简单跨数据中心轻松分发数据云可用性可扩展性性能

Apache Cassandra架构不遵循主从架构，并且所有节点都扮演相同的角色。它可以处理跨数据中心的大量并发用户。因此，即使在现有群集中，添加新节点也不会影响现有群集。

5. RapidMiner

RapidMiner是用于数据科学活动的软件平台，并为以下方面提供了集成的环境：

准备资料机器学习文字挖掘预测分析深度学习应用开发原型制作

这是支持机器学习不同步骤的有用大数据工具之一，例如：

资料准备可视化预测分析模型验证优化统计建模评价部署方式

RapidMiner遵循客户端/服务器模型，其中服务器可以位于内部部署，也可以位于云基础架构中。它是用Java编写的，并提供了一个用于设计和执行工作流的GUI。它可以提供99%的高级分析解决方案。

6. MongoDB

MongoDB是一个开源NoSQL数据库，它与许多内置功能具有跨平台兼容性。对于需要快速，实时数据做出即时决策的企业来说，它是理想的选择。对于想要数据驱动体验的用户而言，它是理想的选择。它运行在MEAN软件堆栈，NET应用程序和Java平台上。

MongoDB的一些显着功能是：

它可以存储任何类型的数据，例如整数，字符串，数组，对象，布尔值，日期等。它为基于云的基础架构提供了灵活性。它具有灵活性，并且可以在云结构中的服务器之间轻松分区数据。MongoDB使用动态架构。因此，您可以快速准备数据。这是节省成本的另一种方法。

7. R编程工具

这是大数据行业中用于数据统计分析的广泛使用的开源大数据工具之一。这个大数据工具最积极的部分是一尽管用于统计分析，但作为用户，您不必成为统计专家。R拥有自己的公共图书馆CRAN （综合R存档网络），其中包含9000多 个模块和用于数据统计分析的算法。

R可以在Windows和Linux服务器以及SQL Server内部运行。它还支持Hadoop和Spark。使用R工具可以处理离散数据，并尝试一种新的分析算法进行分析。这是一种可移植的语言。因此，在本地数据源.上构建和测试的R模型可以在其他服务器中甚至在Hadoop数据湖中轻松实现。

8. Neo4j

对于所有与大数据有关的问题，Hadoop可能不是明智的选择。例如，当您需要处理大量网络数据或与图形相关的问题（例如社交网络或人口统计模式）时，图形数据库可能是一个理想的选择。

Neo4j是在大数据行业中广泛使用的图形数据库的大数据工具之一。它遵循图数据库的基本结构，该结构是数据的互连节点关系。它在数据存储中维护键值模式。

Neo4j的显着功能是：

支持ACID交易高可用性可折展且可靠灵活，因为它不需要架构或数据类型来存储数据它可以与其他数据库集成支持圄形的査洵语言，通常称为Cypher.

9. Apache SAMOA

Apache SAMOA是用于大数据挖掘的分布式流算法的著名大数据工具之一。它不仅可以进行数据挖掘，还可以用于其他机器学习任务，例如：

分类聚类回归新算法的编程抽象

它运行在分布式流处理引擎（DSPE） 的顶部。Apache Samoa是可 *** 的体系结构，并允许其在多个DSPE上运行，其中包括

Apache Storm Apache S4 Apache Samza Apache Flink

10. HPCC

高性能计算集群（HPCC） 是最好的大数据工具之一。它是Hadoop在大数据市场上的竞争对手。它是Apache 2.0许可下的开源大数据工具之一。HPCC的一些核心功能包括：

帮助并行数据处理开源分布式数据计算平台遵循无共享架构在商品硬件上运行随附Linux发行版支持的二进制软件包支持端到端大数据工作流管理

该平台包括：

Thor：用于面向批处理的数据操作，它们的链接和分析

Roxie：用于实时数据传递和分析

隐式地是并行引擎维护代码和数据封装可扩展的高度优化帮助建立图形执行计划它可以编译成C ++和本机代码