Что это такое?
Apache Spark — это единый движок аналитики для обработки больших объёмов данных. Он предлагает высокоуровневые API для Scala, Java, Python и R поверх оптимизированного движка выполнения.
Apache Spark — это единый движок аналитики для обработки больших объёмов данных. Он предлагает высокоуровневые API для Scala, Java, Python и R поверх оптимизированного движка выполнения.Это библиотека, которую я подключаю в код, или сервис, который я запускаю?Это движок, на основе которого вы строите свои приложения, и в комплекте с ним идут инструменты более высокого уровня: Spark SQL для работы с SQL и DataFrame, pandas API для задач в стиле pandas, MLlib, GraphX и Structured Streaming.
Это движок, на основе которого вы строите свои приложения, и в комплекте с ним идут инструменты более высокого уровня: Spark SQL для работы с SQL и DataFrame, pandas API для задач в стиле pandas, MLlib, GraphX и Structured Streaming.Как мне увидеть, что он реально что-то делает?Скачайте официальный релиз и запустите пример из комплекта — классический вариант это пример с Pi; многие примеры выводят справку по использованию, если запустить их без параметров.
Скачайте официальный релиз и запустите пример из комплекта — классический вариант это пример с Pi; многие примеры выводят справку по использованию, если запустить их без параметров.Есть ли подводные камни при работе с хранилищем Hadoop?Да — Spark использует библиотеку Hadoop core для доступа к HDFS и другим хранилищам с поддержкой Hadoop, и собирать Spark нужно под ту же версию Hadoop, что стоит на вашем кластере.
Да — Spark использует библиотеку Hadoop core для доступа к HDFS и другим хранилищам с поддержкой Hadoop, и собирать Spark нужно под ту же версию Hadoop, что стоит на вашем кластере.Мне для этого нужен целый кластер или хватит ноутбука?Ноутбука достаточно — примеры запускаются локально в один поток или с несколькими потоками через local[N].
Ноутбука достаточно — примеры запускаются локально в один поток или с несколькими потоками через local[N].А когда мне станет тесно на ноутбуке, как направить его на настоящий кластер?Задайте переменную окружения MASTER при запуске примеров: URL вида spark:// или значение 'yarn' отправит задачу на кластер.
Задайте переменную окружения MASTER при запуске примеров: URL вида spark:// или значение 'yarn' отправит задачу на кластер.R API помечен как устаревший — стоит ли начинать с ним новый проект?В README язык R перечислен среди высокоуровневых API, но с пометкой '(Deprecated)', поэтому для новых проектов лучше выбрать Scala, Java или Python.
В README язык R перечислен среди высокоуровневых API, но с пометкой '(Deprecated)', поэтому для новых проектов лучше выбрать Scala, Java или Python.Может ли Spark работать на Kubernetes?Да — в репозитории есть интеграция с Kubernetes в каталоге resource-managers/kubernetes со своим README по интеграционным тестам, хотя в основном README она упоминается только в контексте тестирования.
Да — в репозитории есть интеграция с Kubernetes в каталоге resource-managers/kubernetes со своим README по интеграционным тестам, хотя в основном README она упоминается только в контексте тестирования.Он работает с Hive?Да — документация по сборке описывает сборку под конкретные дистрибутивы Hive и Hive Thriftserver, так что поддержка Hive зависит от того, под каким дистрибутивом для вашего кластера вы соберёте Spark.
Да — документация по сборке описывает сборку под конкретные дистрибутивы Hive и Hive Thriftserver, так что поддержка Hive зависит от того, под каким дистрибутивом для вашего кластера вы соберёте Spark.