monolith README

The project's README from github.com/Y2Z/monolith. As one markdown file: README.md.

monolith build status on GNU/Linux monolith build status on macOS monolith build status on Windows Monolith Actor on Apify

 _____    _____________   __________     ___________________    ___
|     \  /             \ |          |   |                   |  |   |
|      \/       __      \|    __    |   |    ___     ___    |__|   |
|              |  |          |  |   |   |   |   |   |   |          |
|   |\    /|   |__|          |__|   |___|   |   |   |   |    __    |
|   | \__/ |          |\                    |   |   |   |   |  |   |
|___|      |__________| \___________________|   |___|   |___|  |___|

A data hoarder’s dream come true: bundle any web page into a single HTML file. You can finally replace that gazillion of open tabs with a gazillion of .html files stored somewhere on your precious little drive.

Unlike the conventional “Save page as”, monolith not only saves the target document, it embeds CSS, image, and JavaScript assets all at once, producing a single HTML5 document that is a joy to store and share.

If compared to saving websites with wget -mpk, this tool embeds all assets as data URLs and therefore lets browsers render the saved page exactly the way it was on the Internet, even when no network connection is available.

Installation

Using Cargo (cross-platform)

cargo install monolith

Via Homebrew (macOS and GNU/Linux)

brew install monolith

Via Chocolatey (Windows)

choco install monolith

Via Scoop (Windows)

scoop install main/monolith

Via Winget (Windows)

winget install --id=Y2Z.Monolith -e

Via MacPorts (macOS)

sudo port install monolith

Using Snapcraft (GNU/Linux)

snap install monolith

Using Guix (GNU/Linux)

guix install monolith

Using NixPkgs

nix-env -iA nixpkgs.monolith

Using Flox

flox install monolith

Using Pacman (Arch Linux)

pacman -S monolith

Using aports (Alpine Linux)

apk add monolith

Using XBPS Package Manager (Void Linux)

xbps-install -S monolith

Using FreeBSD packages (FreeBSD)

pkg install monolith

Using FreeBSD ports (FreeBSD)

cd /usr/ports/www/monolith/
make install clean

Using pkgsrc (NetBSD, OpenBSD, Haiku, etc)

cd /usr/pkgsrc/www/monolith
make install clean

Using containers

docker build -t y2z/monolith .
sudo install -b dist/run-in-container.sh /usr/local/bin/monolith

From source

Dependencies: libssl, cargo

Install cargo (GNU/Linux) Check if cargo is installed 
cargo -v

If cargo is not already installed, install and add it to your existing $PATH (paraphrasing the official installation instructions):

curl https://sh.rustup.rs -sSf | sh
. "$HOME/.cargo/env"

Proceed with installing from source:

git clone https://github.com/Y2Z/monolith.git
cd monolith
make install

Using pre-built binaries (Windows, ARM-based devices, etc)

Every release contains pre-built binaries for Windows, GNU/Linux, as well as platforms with non-standard CPU architecture.

Usage

monolith https://lyrics.github.io/db/P/Portishead/Dummy/Roads/ -o %title%.%timestamp%.html

cat some-site-page.html | monolith -aIiFfcMv -b https://some.site/ - > some-site-page-with-assets.html

Options

Whitelisting and blacklisting domains

Options -d and -B provide control over what domains can be used to retrieve assets from, e.g.:

monolith -I -d example.com -d www.example.com https://example.com -o example-only.html

monolith -I -B -d .googleusercontent.com -d googleanalytics.com -d .google.com https://example.com -o example-no-ads.html

Dynamic content

Monolith doesn't feature a JavaScript engine, hence websites that retrieve and display data after initial load may require usage of additional tools.

For example, Chromium (Chrome) can be used to act as a pre-processor for such pages:

chromium --headless --window-size=1920,1080 --run-all-compositor-stages-before-draw --virtual-time-budget=9000 --incognito --dump-dom https://github.com | monolith - -I -b https://github.com -o github.html

Authentication

monolith https://username:[email protected] -o example-basic-auth.html

Proxies

Please set https_proxy, http_proxy, and no_proxy environment variables.

Apify Actor Usage

Run Monolith Actor on Apify

You can run Monolith in the cloud without installation using the Monolith Actor on Apify free of charge.

echo '{"urls": ["https://news.ycombinator.com/"]}' | apify call -so snshn/monolith
[{
  "url": "https://news.ycombinator.com/",
  "status": "0",
  "kvsUrl": "https://api.apify.com/v2/key-value-stores/of9xNgvpon4elPLbc/records/https___news.ycombinator.com_"
}]

Read more about the Monolith Actor, including how to use it via the Apify UI, API and CLI without installation.

Contributing

Please open an issue if something is wrong, that helps make this project better.

License

To the extent possible under law, the author(s) have dedicated all copyright related and neighboring rights to this software to the public domain worldwide. This software is distributed without any warranty.

monolith (Y2Z/monolith)

Searching Database…

15.5K ·GitHub
Monolith
Что это такое?Monolith упаковывает любую веб-страницу в один самодостаточный HTML5-файл: CSS, изображения и JavaScript встраиваются в него как data URL. Благодаря этому страница отображается так же, как в сети, даже без подключения к интернету.
Это консольная утилита, графическое приложение или библиотека?Это инструмент командной строки и библиотека на Rust. В README описано использование CLI с флагами, а в описании на GitHub также указано, что его можно использовать как библиотеку. Графический интерфейс в README не описан.
Как установить и запустить monolith?Его можно установить через Cargo, Homebrew, Chocolatey, Scoop, Winget, MacPorts, Snapcraft, Guix, NixPkgs, Pacman или через другие менеджеры пакетов для ОС. Также можно собрать его из исходников или просто скачать готовый бинарный файл из раздела releases.
Нужно ли что-то установить перед сборкой из исходников?Для сборки из исходников нужны libssl и Cargo. Если нужен только готовый бинарный файл, готовые сборки для Windows, Linux и устройств на ARM ничего дополнительно не требуют.
Может ли он сохранять страницы, которые подгружают контент через JavaScript?Нет, в monolith нет движка JavaScript. Поэтому сайты, которые загружают и отображают данные уже после открытия страницы, могут потребовать предварительной обработки в настоящем браузере, например Chromium, перед сохранением.
На каких операционных системах он работает?Он работает в Windows, macOS, Linux и нескольких вариантах BSD. Готовые бинарные файлы также доступны для устройств на ARM.
Чем это отличается от функции браузера «Сохранить страницу как»?При сохранении в браузере создаются страница и папка с отдельными файлами ресурсов. Monolith же встраивает CSS, изображения и JavaScript прямо в один HTML5-файл как data URL, что упрощает хранение и передачу страницы.
Чем он отличается от использования wget -mpk для копирования страницы?В отличие от wget, который сохраняет ресурсы как отдельные файлы, monolith встраивает всё в виде data URL. Поэтому сохранённая страница выглядит точно так же, как оригинал, даже без подключения к интернету.
Можно ли контролировать, с каких доменов загружаются ресурсы?Да. Флаг -d задаёт белый список доменов, с которых можно загружать ресурсы, а флаг -B задаёт черный список доменов, которые нужно исключить.
Можно ли сохранить страницу в формате MHTML вместо обычного HTML?Да. Флаг -m выводит результат в формате MHTML вместо стандартного HTML5-файла.
What are similar projects?hexyl, ttfx, miller, turbocrypt, just, pytube, eza, spotify-tui
Which topics is it in?web-archiving, archiving, archive, downloader, offline-first, cli-tool, bsd, offline, utility, command-line, html, rust
Creator
Y2Z
Size
4.6 MB
Stars
15.5K
Updated
CommitOct 16Releasev2.11.6Oct 16
Age
9y
Commits · 90 Days