prediction-market-analysis README

The project's README from github.com/Jon-Becker/prediction-market-analysis. As one markdown file: README.md.

Prediction Market Analysis

A framework for analyzing prediction market data, including the largest publicly available dataset of Polymarket and Kalshi market and trade data. Provides tools for data collection, storage, and running analysis scripts that generate figures and statistics.

Overview

This project enables research and analysis of prediction markets by providing:

Currently supported features:

Installation & Usage

Requires Python 3.9+. Install dependencies with uv:

uv sync

Download and extract the pre-collected dataset (36GiB compressed):

make setup

This downloads data.tar.zst from Cloudflare R2 Storage and extracts it to data/.

Data Collection

Collect market and trade data from prediction market APIs:

make index

This opens an interactive menu to select which indexer to run. Data is saved to data/kalshi/ and data/polymarket/ directories. Progress is saved automatically, so you can interrupt and resume collection.

Running Analyses

make analyze

This opens an interactive menu to select which analysis to run. You can run all analyses or select a specific one. Output files (PNG, PDF, CSV, JSON) are saved to output/.

Packaging Data

To compress the data directory for storage/distribution:

make package

This creates a zstd-compressed tar archive (data.tar.zst) and removes the data/ directory.

Project Structure

├── src/
│   ├── analysis/           # Analysis scripts
│   │   ├── kalshi/         # Kalshi-specific analyses
│   │   └── polymarket/     # Polymarket-specific analyses
│   ├── indexers/           # Data collection indexers
│   │   ├── kalshi/         # Kalshi API client and indexers
│   │   └── polymarket/     # Polymarket API/blockchain indexers
│   └── common/             # Shared utilities and interfaces
├── data/                   # Data directory (extracted from data.tar.zst)
│   ├── kalshi/
│   │   ├── markets/
│   │   └── trades/
│   └── polymarket/
│       ├── blocks/
│       ├── markets/
│       └── trades/
├── docs/                   # Documentation
└── output/                 # Analysis outputs (figures, CSVs)

Documentation

Contributing

If you'd like to contribute to this project, please open a pull-request with your changes, as well as detailed information on what is changed, added, or improved.

For more information, see the contributing guide.

Issues

If you've found an issue or have a question, please open an issue here.

Research & Citations

If you have used or plan to use this dataset in your research, please reach out via email or Twitter -- i'd love to hear about what you're using the data for! Additionally, feel free to open a PR and update this section with a link to your paper.

prediction-market-analysis (Jon-Becker/prediction-market-analysis)

Searching Database…

3.9K ·GitHub
Prediction-market-analysis
Что это?Это фреймворк для сбора и анализа данных рынков предсказаний с Polymarket и Kalshi, в комплекте с крупнейшим открыто доступным датасетом истории их рынков и сделок.
Это готовый датасет или набор инструментов, который я запускаю сам?И то и другое: Python-набор инструментов с интерактивными индексаторами для сбора данных и расширяемым фреймворком скриптов анализа, плюс заранее собранный датасет на 36 ГиБ, который можно скачать и использовать сразу, ничего не собирая.
Как получить данные и запустить анализ?Установите зависимости через uv, затем либо скачайте и распакуйте готовый датасет, либо запустите интерактивное меню индексаторов для сбора свежих данных о рынках/сделках; отдельное интерактивное меню позволяет выбрать и запустить скрипты анализа.
Что нужно установить перед запуском?Нужны Python 3.9+ и менеджер пакетов uv; для сбора свежих данных также требуется доступ к API Polymarket/Kalshi и источникам блокчейн-данных.
Есть ли нюансы у датасета или процесса сбора?Полный готовый датасет занимает 36 ГиБ в сжатом виде, так что скачивание и распаковка потребуют заметного трафика и места на диске; при самостоятельном сборе свежих данных прогресс сохраняется автоматически, поэтому можно спокойно прерваться и продолжить.
В каких форматах хранятся данные и результаты?Рынки и сделки хранятся в файлах Parquet с автоматическим сохранением прогресса, а скрипты анализа записывают файлы PNG, PDF, CSV и JSON в каталог output/.
Можно ли добавить свои скрипты анализа?Да, в проекте есть расширяемый фреймворк скриптов анализа с отдельным руководством «Writing Analyses», так что свои анализы подключаются к тому же интерактивному меню.
Зачем создавался этот датасет?Он создан для поддержки академических исследований поведения рынков предсказаний; в README перечислено больше десятка статей с SSRN и arXiv, которые уже анализируют на этих данных эффект «мудрости толпы» и торговые паттерны.
Проект активно поддерживается?Да, в нём есть CI-воркфлоу для проверки пул-реквестов, и авторы явно приглашают присылать новые индексаторы, скрипты анализа и ссылки на новые научные статьи, использующие датасет.
What are similar projects?akshare, COVID-19, awesome-quant, CNEquity, anti-gambling-trader-tw, polyledger, miller, datasette
Which topics is it in?data-collection, market-data, datasets, data, csv, quantitative-finance, fintech, statistics, data-analysis, blockchain, dataset, finance
Creator
Jon-Becker
Size
158.2 MB
Stars
3.9K
Updated
CommitOct 16
Age
10mo
Commits · 90 Days