17K ·GitHub
Что это такое?
Это всеобъемлющее учебное пособие на китайском языке, которое охватывает экосистему больших данных: Hadoop, Hive, Spark, Storm, Flink, HBase, Kafka, Zookeeper, Flume, Sqoop, Azkaban и Scala.
Это всеобъемлющее учебное пособие на китайском языке, которое охватывает экосистему больших данных: Hadoop, Hive, Spark, Storm, Flink, HBase, Kafka, Zookeeper, Flume, Sqoop, Azkaban и Scala.Это серия учебных материалов или справочник?Это набор markdown-заметок, организованных по темам. Каждая охватывает концепции, а также практическую настройку кластера и использование API. По сути, это программа для самостоятельного обучения, а не готовая к запуску кодовая база.
Это набор markdown-заметок, организованных по темам. Каждая охватывает концепции, а также практическую настройку кластера и использование API. По сути, это программа для самостоятельного обучения, а не готовая к запуску кодовая база.Как организовано содержание и с чего лучше начать?Материал построен по главам: он начинается с Hadoop (HDFS, MapReduce, YARN) и настройки кластера, затем переходит к Hive, Spark, Storm, Flink, HBase, Kafka, Zookeeper, Flume, Sqoop, Azkaban и, наконец, к Scala как отдельному вводному курсу по языку.
Материал построен по главам: он начинается с Hadoop (HDFS, MapReduce, YARN) и настройки кластера, затем переходит к Hive, Spark, Storm, Flink, HBase, Kafka, Zookeeper, Flume, Sqoop, Azkaban и, наконец, к Scala как отдельному вводному курсу по языку.Нужен ли опыт работы с Java или Linux, чтобы во всём разобраться?Да. Руководства рассчитаны на установку кластеров на базе Linux и повсеместно используют Java API (например, HDFS Java API, HBase Java API, клиент Apache Curator для Zookeeper), поэтому предполагается базовое знакомство с Java и командной строкой Linux.
Да. Руководства рассчитаны на установку кластеров на базе Linux и повсеместно используют Java API (например, HDFS Java API, HBase Java API, клиент Apache Curator для Zookeeper), поэтому предполагается базовое знакомство с Java и командной строкой Linux.Материал доступен только на китайском языке?Да, всё руководство написано по-китайски. Версия для офлайн-чтения распространяется через официальный аккаунт WeChat, а не как готовая электронная книга на GitHub.
Да, всё руководство написано по-китайски. Версия для офлайн-чтения распространяется через официальный аккаунт WeChat, а не как готовая электронная книга на GitHub.Для кого это руководство?Оно рассчитано на новичков, которые входят в сферу больших данных и хотят пройти структурированный путь от основ распределённого хранения и вычислений до потоковой обработки и планирования рабочих процессов.
Оно рассчитано на новичков, которые входят в сферу больших данных и хотят пройти структурированный путь от основ распределённого хранения и вычислений до потоковой обработки и планирования рабочих процессов.Охватывает ли это и пакетные, и потоковые фреймворки обработки данных?Да, рассматриваются Spark (Core, SQL, Streaming), Storm и Flink для потоковой и пакетной обработки, а также Hive и HBase для хранения данных и запросов к ним.
Да, рассматриваются Spark (Core, SQL, Streaming), Storm и Flink для потоковой и пакетной обработки, а также Hive и HBase для хранения данных и запросов к ним.Включена ли настройка кластера или только теория?И то, и другое: у каждого основного компонента есть отдельные главы о настройке в standalone или псевдораспределённом режиме и о развёртывании полного кластера, часто в связке с Zookeeper для высокой доступности, помимо объяснения концепций.
И то, и другое: у каждого основного компонента есть отдельные главы о настройке в standalone или псевдораспределённом режиме и о развёртывании полного кластера, часто в связке с Zookeeper для высокой доступности, помимо объяснения концепций.Почему Scala включена наряду с инструментами для больших данных?Scala рассматривается как отдельный вводный курс по языку, так как это родной язык для разработки на Spark. Есть главы о типах данных, коллекциях, сопоставлении с образцом и implicits.
Scala рассматривается как отдельный вводный курс по языку, так как это родной язык для разработки на Spark. Есть главы о типах данных, коллекциях, сопоставлении с образцом и implicits.Что находится в разделе 'public content' в конце?Он охватывает распространённые способы упаковки приложений для больших данных, то есть как собирать и развёртывать задания для фреймворков, рассмотренных ранее.
Он охватывает распространённые способы упаковки приложений для больших данных, то есть как собирать и развёртывать задания для фреймворков, рассмотренных ранее.What are similar projects?God-Of-BigData, spark, flink-learning, presto, trino, data-science-ipython-notebooks, doris, technology-talk
God-Of-BigData, spark, flink-learning, presto, trino, data-science-ipython-notebooks, doris, technology-talk