Что это такое?
Apache Hadoop — это открытая платформа для работы с большими данными, которая надёжно хранит и обрабатывает очень большие наборы данных, распределённых по кластеру из нескольких машин.
Apache Hadoop — это открытая платформа для работы с большими данными, которая надёжно хранит и обрабатывает очень большие наборы данных, распределённых по кластеру из нескольких машин.Hadoop — это один инструмент или набор компонентов?Это фреймворк из нескольких модулей, которые работают вместе: HDFS для распределённого хранения, YARN для управления ресурсами кластера, MapReduce для распределённой обработки и Hadoop Common для общих утилит.
Это фреймворк из нескольких модулей, которые работают вместе: HDFS для распределённого хранения, YARN для управления ресурсами кластера, MapReduce для распределённой обработки и Hadoop Common для общих утилит.Как запустить Hadoop?В README указаны официальный сайт и вики Hadoop, где можно найти инструкции по установке и сборке, а сами инструкции в README не приводятся.
В README указаны официальный сайт и вики Hadoop, где можно найти инструкции по установке и сборке, а сами инструкции в README не приводятся.Нужна ли определённая среда выполнения перед сборкой Hadoop?Hadoop написан на Java, поэтому для его сборки и запуска нужны Java-среда выполнения (JRE) и JDK.
Hadoop написан на Java, поэтому для его сборки и запуска нужны Java-среда выполнения (JRE) и JDK.Это для одной машины или для кластеров?Hadoop создан для распределённых кластеров из нескольких машин; для тестов его можно запустить в псевдораспределённом режиме на одном узле, но это не лёгкий инструмент для одной машины.
Hadoop создан для распределённых кластеров из нескольких машин; для тестов его можно запустить в псевдораспределённом режиме на одном узле, но это не лёгкий инструмент для одной машины.Что именно делают HDFS и YARN внутри Hadoop?HDFS — это распределённая файловая система Hadoop, которая делит данные на части и копирует их между узлами кластера, а YARN управляет вычислительными ресурсами кластера и планирует задачи (например, задачи MapReduce), которые обрабатывают эти данные.
HDFS — это распределённая файловая система Hadoop, которая делит данные на части и копирует их между узлами кластера, а YARN управляет вычислительными ресурсами кластера и планирует задачи (например, задачи MapReduce), которые обрабатывают эти данные.Hadoop по-прежнему активно развивается?Да, проектом занимается Apache Software Foundation, у репозитория работает активный CI-конвейер (сборка и тесты, CodeQL, workflow интеграции с AWS), а на этом зеркале с 2014 года он собрал более 15 000 звёзд на GitHub.
Да, проектом занимается Apache Software Foundation, у репозитория работает активный CI-конвейер (сборка и тесты, CodeQL, workflow интеграции с AWS), а на этом зеркале с 2014 года он собрал более 15 000 звёзд на GitHub.Для каких задач используют Hadoop?Его применяют для хранения и обработки очень больших наборов данных, которые не помещаются на одной машине, например для анализа логов, хранилищ данных и пакетных ETL-конвейеров в кластерах из обычного серверного оборудования.
Его применяют для хранения и обработки очень больших наборов данных, которые не помещаются на одной машине, например для анализа логов, хранилищ данных и пакетных ETL-конвейеров в кластерах из обычного серверного оборудования.Есть ли в репозитории интеграция с облаком?В CI-workflow есть отдельный конвейер тестирования облачного AWS (cloud_aws.yml), что говорит об официальной поддержке и тестировании работы Hadoop с облачным хранилищем AWS.
В CI-workflow есть отдельный конвейер тестирования облачного AWS (cloud_aws.yml), что говорит об официальной поддержке и тестировании работы Hadoop с облачным хранилищем AWS.Which topics is it in?cluster-management, distributed-storage, distributed-computing, hadoop, data-processing, high-availability, data-engineering, scalability, big-data, storage, enterprise, distributed-systems
cluster-management, distributed-storage, distributed-computing, hadoop, data-processing, high-availability, data-engineering, scalability, big-data, storage, enterprise, distributed-systems