Что это такое?
Miller — это набор утилит для командной строки, похожий на awk, sed, cut, join и sort, но созданный для данных с именованными полями, таких как CSV, TSV, JSON и JSON Lines: вы обращаетесь к полям по имени, а не высчитываете номера столбцов.
Miller — это набор утилит для командной строки, похожий на awk, sed, cut, join и sort, но созданный для данных с именованными полями, таких как CSV, TSV, JSON и JSON Lines: вы обращаетесь к полям по имени, а не высчитываете номера столбцов.Так это библиотека, которую я подключаю, или программа, которую запускаю?Это самостоятельный исполняемый файл для командной строки, а не библиотека. Там, где классические Unix-утилиты видят нумерованные элементы массива, Miller видит в каждой записи упорядоченный набор пар «ключ — значение», и обработка у него учитывает формат данных.
Это самостоятельный исполняемый файл для командной строки, а не библиотека. Там, где классические Unix-утилиты видят нумерованные элементы массива, Miller видит в каждой записи упорядоченный набор пар «ключ — значение», и обработка у него учитывает формат данных.Какая команда установки на моей системе?Готовые пакеты: brew или port на macOS; yum, apt или snap на Linux; choco, winget или scoop на Windows (например, winget install Miller.Miller). Можно также собрать из исходников через make или go install.
Готовые пакеты: brew или port на macOS; yum, apt или snap на Linux; choco, winget или scoop на Windows (например, winget install Miller.Miller). Можно также собрать из исходников через make или go install.Нужно ли сначала ставить какие-то среды выполнения или библиотеки?Нет. Miller написан на переносимом современном Go и не имеет никаких зависимостей во время выполнения — это один бинарник, который можно скопировать на удалённую машину через scp, и он просто заработает.
Нет. Miller написан на переносимом современном Go и не имеет никаких зависимостей во время выполнения — это один бинарник, который можно скопировать на удалённую машину через scp, и он просто заработает.Версия из моего пакетного менеджера будет самой свежей?Не обязательно: в README сказано, что выпуски долгосрочной поддержки (LtS) часто выходят на старых версиях, так что если нужна самая новая, посмотрите README-versions.md или соберите из исходников.
Не обязательно: в README сказано, что выпуски долгосрочной поддержки (LtS) часто выходят на старых версиях, так что если нужна самая новая, посмотрите README-versions.md или соберите из исходников.Почему взять Miller, а не pandas или R для работы с данными?Они дополняют друг друга, а не конкурируют: можно подготовить и почистить данные с помощью Miller в командной строке, а потом загрузить результат в R или pandas для более глубокой статистики и графиков. К тому же потоковая обработка за один проход позволяет уменьшить очень большие файлы ещё до того, как их увидят эти инструменты.
Они дополняют друг друга, а не конкурируют: можно подготовить и почистить данные с помощью Miller в командной строке, а потом загрузить результат в R или pandas для более глубокой статистики и графиков. К тому же потоковая обработка за один проход позволяет уменьшить очень большие файлы ещё до того, как их увидят эти инструменты.А он умеет конвертировать файлы между форматами?Да — среди поддерживаемых форматов ввода-вывода есть CSV, TSV, JSON, JSON Lines, позиционно-индексированный формат и красивый табличный вывод, и Miller конвертирует между ними. Конвертация учитывает формат: например, при сортировке CSV строка заголовков остаётся первой.
Да — среди поддерживаемых форматов ввода-вывода есть CSV, TSV, JSON, JSON Lines, позиционно-индексированный формат и красивый табличный вывод, и Miller конвертирует между ними. Конвертация учитывает формат: например, при сортировке CSV строка заголовков остаётся первой.Как называется сама команда?mlr — именно этот исполняемый файл вы и запускаете (на Windows это mlr.exe). При сборке из исходников получается ./mlr, а go install кладёт его в GOPATH/bin.
mlr — именно этот исполняемый файл вы и запускаете (на Windows это mlr.exe). При сборке из исходников получается ./mlr, а go install кладёт его в GOPATH/bin.Можно использовать его как быструю базу данных поверх моих файлов?Для разовых задач — да: в README хвастаются, что можно без всякой настройки делать запросы к данным, лежащим в файлах на диске, когда времени в обрез. Кроме того, Miller умеет нарезать, фильтровать и переформатировать данные по пути в базу SQL или из неё.
Для разовых задач — да: в README хвастаются, что можно без всякой настройки делать запросы к данным, лежащим в файлах на диске, когда времени в обрез. Кроме того, Miller умеет нарезать, фильтровать и переформатировать данные по пути в базу SQL или из неё.Which topics is it in?data-cleaning, tabular-data, devops-tools, data-processing, csv, statistics, unix, analytics, data-science, cli-tool, json, bsd
data-cleaning, tabular-data, devops-tools, data-processing, csv, statistics, unix, analytics, data-science, cli-tool, json, bsd