这是什么?
Apache Hadoop 是一个开源的大数据平台,用于在多台机器组成的集群上,可靠地分布式存储和处理超大规模数据集。
Apache Hadoop 是一个开源的大数据平台,用于在多台机器组成的集群上,可靠地分布式存储和处理超大规模数据集。Hadoop 是一个工具,还是一组组件?它是一个框架,由多个相互协作的模块组成:HDFS 负责分布式存储,YARN 负责集群资源管理,MapReduce 负责分布式计算,Hadoop Common 提供共享的通用工具。
它是一个框架,由多个相互协作的模块组成:HDFS 负责分布式存储,YARN 负责集群资源管理,MapReduce 负责分布式计算,Hadoop Common 提供共享的通用工具。我该如何让 Hadoop 运行起来?README 没有直接在仓库中提供安装和构建说明,而是引导用户前往 Hadoop 官方网站和维基查看。
README 没有直接在仓库中提供安装和构建说明,而是引导用户前往 Hadoop 官方网站和维基查看。构建 Hadoop 之前,我需要特定的运行环境吗?Hadoop 是一个 Java 项目,因此构建和运行它需要 Java 运行时环境或 JDK。
Hadoop 是一个 Java 项目,因此构建和运行它需要 Java 运行时环境或 JDK。这个项目适用于单台机器,还是集群?Hadoop 是为分布式机器集群设计的;它可以在伪分布式单节点模式下运行以便测试,但它并不是一个轻量级的单机工具。
Hadoop 是为分布式机器集群设计的;它可以在伪分布式单节点模式下运行以便测试,但它并不是一个轻量级的单机工具。HDFS 和 YARN 在 Hadoop 中具体做什么?HDFS 是 Hadoop 的分布式文件系统,会把数据切分并在集群节点之间复制;YARN 则管理集群的计算资源,并调度用于处理这些数据的作业(例如 MapReduce 任务)。
HDFS 是 Hadoop 的分布式文件系统,会把数据切分并在集群节点之间复制;YARN 则管理集群的计算资源,并调度用于处理这些数据的作业(例如 MapReduce 任务)。Apache Hadoop 目前还在积极开发吗?在积极开发。它由 Apache 软件基金会维护,拥有活跃的持续集成流水线(构建与测试、CodeQL、AWS 云集成工作流),并且自 2014 年以来在本镜像上已获得超过 15,000 个 GitHub Star。
在积极开发。它由 Apache 软件基金会维护,拥有活跃的持续集成流水线(构建与测试、CodeQL、AWS 云集成工作流),并且自 2014 年以来在本镜像上已获得超过 15,000 个 GitHub Star。Hadoop 通常用来解决哪些问题?它用于存储和处理单台机器装不下的超大数据集,例如日志分析、数据仓库以及基于普通商用硬件集群的批量 ETL 流水线。
它用于存储和处理单台机器装不下的超大数据集,例如日志分析、数据仓库以及基于普通商用硬件集群的批量 ETL 流水线。这个仓库包含云集成吗?持续集成工作流中包含一个专门的 AWS 云测试流水线(cloud_aws.yml),说明官方支持并测试了 Hadoop 在 AWS 云存储上运行。
持续集成工作流中包含一个专门的 AWS 云测试流水线(cloud_aws.yml),说明官方支持并测试了 Hadoop 在 AWS 云存储上运行。Which topics is it in?cluster-management, distributed-storage, distributed-computing, hadoop, data-processing, high-availability, data-engineering, scalability, big-data, storage, enterprise, distributed-systems
cluster-management, distributed-storage, distributed-computing, hadoop, data-processing, high-availability, data-engineering, scalability, big-data, storage, enterprise, distributed-systems