Что это такое?
Apache Arrow — это универсальный колоночный формат плюс набор инструментов для разных языков, позволяющий быстро обмениваться данными и работать с ними в памяти — то есть технологии, с помощью которых системы данных эффективно хранят, обрабатывают и перемещают табличные данные.
Apache Arrow — это универсальный колоночный формат плюс набор инструментов для разных языков, позволяющий быстро обмениваться данными и работать с ними в памяти — то есть технологии, с помощью которых системы данных эффективно хранят, обрабатывают и перемещают табличные данные.Это одна библиотека или целый набор технологий?Целый набор. Ядро — стандартный колоночный формат для работы в памяти, к нему прилагаются формат сериализации IPC, RPC-протокол Flight, API доступа к базам данных ADBC и справочные библиотеки примерно для десяти языков.
Целый набор. Ядро — стандартный колоночный формат для работы в памяти, к нему прилагаются формат сериализации IPC, RPC-протокол Flight, API доступа к базам данных ADBC и справочные библиотеки примерно для десяти языков.Как подключить Arrow к своему проекту?Собирать этот монорепозиторий самому не нужно — просто добавьте официальную библиотеку для своего языка: C++, Java, Python, R, Ruby, Rust, Go, .NET, JavaScript, Julia или Swift. Ссылки на все реализации есть на arrow.apache.org.
Собирать этот монорепозиторий самому не нужно — просто добавьте официальную библиотеку для своего языка: C++, Java, Python, R, Ruby, Rust, Go, .NET, JavaScript, Julia или Swift. Ссылки на все реализации есть на arrow.apache.org.Нужна ли работающая база данных или сервер, чтобы этим пользоваться?Нет — колоночный формат и его контейнеры работают внутри процесса на обычных буферах. Серверы появляются, только если вы намеренно строите что-то на Flight или подключаетесь к базам данных через драйверы ADBC.
Нет — колоночный формат и его контейнеры работают внутри процесса на обычных буферах. Серверы появляются, только если вы намеренно строите что-то на Flight или подключаетесь к базам данных через драйверы ADBC.Все ли языковые библиотеки одинаково полные?Нет — официальные библиотеки реализуют формат на разной стадии, поэтому, прежде чем полагаться на конкретную возможность в своём языке, сверьтесь с таблицей поддержки функций в основной ветке.
Нет — официальные библиотеки реализуют формат на разной стадии, поэтому, прежде чем полагаться на конкретную возможность в своём языке, сверьтесь с таблицей поддержки функций в основной ветке.Для кого создан Arrow?Для разработчиков систем данных — баз данных, движков запросов, аналитических конвейеров, — которым нужно быстро хранить, обрабатывать и передавать табличные данные между процессами и языками.
Для разработчиков систем данных — баз данных, движков запросов, аналитических конвейеров, — которым нужно быстро хранить, обрабатывать и передавать табличные данные между процессами и языками.Что такое Arrow Flight?RPC-протокол, построенный поверх формата Arrow IPC. Это строительный блок для удалённых сервисов, которые обмениваются данными Arrow по заданной приложением семантике — например, хранилище или база данных.
RPC-протокол, построенный поверх формата Arrow IPC. Это строительный блок для удалённых сервисов, которые обмениваются данными Arrow по заданной приложением семантике — например, хранилище или база данных.Что такое ADBC?Arrow Database Connectivity: API на базе Arrow с драйверами и библиотеками для доступа к базам данных и движкам запросов — подход Arrow к стандартному подключению к базам данных.
Arrow Database Connectivity: API на базе Arrow с драйверами и библиотеками для доступа к базам данных и движкам запросов — подход Arrow к стандартному подключению к базам данных.Как Arrow связан с Parquet?Parquet — это файловый формат на диске, а Arrow — представление в памяти. Библиотеки Arrow поставляются с средствами чтения и записи распространённых форматов вроде Parquet и CSV, так что файлы загружаются сразу в колоночные контейнеры.
Parquet — это файловый формат на диске, а Arrow — представление в памяти. Библиотеки Arrow поставляются с средствами чтения и записи распространённых форматов вроде Parquet и CSV, так что файлы загружаются сразу в колоночные контейнеры.Что такое Gandiva?Компилятор выражений Arrow на основе LLVM, который живёт внутри кодовой базы C++ — один из менее заметных, но интересных компонентов проекта.
Компилятор выражений Arrow на основе LLVM, который живёт внутри кодовой базы C++ — один из менее заметных, но интересных компонентов проекта.What are similar projects?flatbuffers, modin, grpc, doris, polars, logstash, spark, aws-doc-sdk-examples
flatbuffers, modin, grpc, doris, polars, logstash, spark, aws-doc-sdk-examplesWhich topics is it in?zero-copy, dataframe, parquet, interoperability, serialization, apache, data-processing, rpc, data-engineering, big-data, ruby, analytics
zero-copy, dataframe, parquet, interoperability, serialization, apache, data-processing, rpc, data-engineering, big-data, ruby, analytics