kafka-ui README

The project's README from github.com/provectus/kafka-ui. As one markdown file: README.md.

UI for Apache Kafka logo UI for Apache Kafka 

Versatile, fast and lightweight web UI for managing Apache Kafka® clusters. Built by developers, for developers.


License UI for Apache Kafka Price Free Release version Chat with us Docker pulls

DOCS • QUICK START • COMMUNITY DISCORD
AWS Marketplace • ProductHunt

UI for Apache Kafka is a free, open-source web UI to monitor and manage Apache Kafka clusters.

UI for Apache Kafka is a simple tool that makes your data flows observable, helps find and troubleshoot issues faster and deliver optimal performance. Its lightweight dashboard makes it easy to track key metrics of your Kafka clusters - Brokers, Topics, Partitions, Production, and Consumption.

DISCLAIMER

UI for Apache Kafka is a free tool built and supported by the open-source community. Curated by Provectus, it will remain free and open-source, without any paid features or subscription plans to be added in the future. Looking for the help of Kafka experts? Provectus can help you design, build, deploy, and manage Apache Kafka clusters and streaming applications. Discover Professional Services for Apache Kafka, to unlock the full potential of Kafka in your enterprise!

Set up UI for Apache Kafka with just a couple of easy commands to visualize your Kafka data in a comprehensible way. You can run the tool locally or in the cloud.

Interface

Features

The Interface

UI for Apache Kafka wraps major functions of Apache Kafka with an intuitive user interface.

Interface

Topics

UI for Apache Kafka makes it easy for you to create topics in your browser by several clicks, pasting your own parameters, and viewing topics in the list.

Create Topic

It's possible to jump from connectors view to corresponding topics and from a topic to consumers (back and forth) for more convenient navigation. connectors, overview topic settings.

Connector_Topic_Consumer

Messages

Let's say we want to produce messages for our topic. With the UI for Apache Kafka we can send or write data/messages to the Kafka topics without effort by specifying parameters, and viewing messages in the list.

Produce Message

Schema registry

There are 3 supported types of schemas: Avro®, JSON Schema, and Protobuf schemas.

Create Schema Registry

Before producing avro/protobuf encoded messages, you have to add a schema for the topic in Schema Registry. Now all these steps are easy to do with a few clicks in a user-friendly interface.

Avro Schema Topic

Getting Started

To run UI for Apache Kafka, you can use either a pre-built Docker image or build it (or a jar file) yourself.

Quick start (Demo run)

docker run -it -p 8080:8080 -e DYNAMIC_CONFIG_ENABLED=true provectuslabs/kafka-ui

Then access the web UI at http://localhost:8080

The command is sufficient to try things out. When you're done trying things out, you can proceed with a persistent installation

Persistent installation

services:
  kafka-ui:
    container_name: kafka-ui
    image: provectuslabs/kafka-ui:latest
    ports:
      - 8080:8080
    environment:
      DYNAMIC_CONFIG_ENABLED: 'true'
    volumes:
      - ~/kui/config.yml:/etc/kafkaui/dynamic_config.yaml

Please refer to our configuration page to proceed with further app configuration.

Web UI Cluster Configuration Wizard

Configuration file explanation

Docker Compose examples

Misc configuration properties

Helm charts

Quick start

Building from sources

Quick start with building

Liveliness and readiness probes

Liveliness and readiness endpoint is at /actuator/health.
Info endpoint (build info) is located at /actuator/info.

Configuration options

All of the environment variables/config properties could be found here.

Contributing

Please refer to contributing guide, we'll guide you from there.

kafka-ui (provectus/kafka-ui)

Searching Database…

12.3K ·GitHub
Kafka-ui
Что это такое?Бесплатный веб-интерфейс с открытым исходным кодом для мониторинга и управления кластерами Apache Kafka — лёгкая панель, которая делает потоки данных наблюдаемыми и помогает быстрее находить и устранять проблемы. Сделана разработчиками для разработчиков.
Это облачный сервис, на который надо регистрироваться, или я запускаю его сам?Вы запускаете его сами: это веб-приложение, которое разворачивается локально или в облаке парой команд, после чем управлять кластерами Kafka можно прямо из браузера.
Как его запустить?Для быстрого демо-запуска возьмите готовый Docker-образ, либо соберите его (или jar-файл) из исходников самостоятельно. Для постоянной установки есть страница конфигурации, а также примеры Docker Compose и Helm-чарты.
Мне нужны уже работающие кластеры Kafka, или она настроит их сама?Вы подключаете её к своим существующим кластерам — это слой мониторинга и управления поверх Kafka, а не дистрибутив Kafka. Несколько кластеров можно вести из одного места.
Могу ли я сразу отправлять сообщения в Avro или Protobuf?Нет, пока не зарегистрирована схема: перед отправкой сообщений в кодировке Avro или Protobuf нужно сначала добавить схему для топика в Schema Registry. Поддерживаются типы схем Avro, JSON Schema и Protobuf.
Можно её закрыть от посторонних, или она доступна любому, у кого есть ссылка?Защитить её можно: необязательный вход через OAuth 2.0 (GitHub, GitLab или Google), ролевая модель доступа с гибкими настройками прав и маскирование данных, которое скрывает чувствительные данные в сообщениях топиков.
Какие-то из этих функций скоро станут платными?Нет — проект распространяется по лицензии Apache-2.0, и сопровождающие обещают, что он останется бесплатным и открытым: платных функций или подписок не появится никогда. Provectus продаёт вокруг него отдельные профессиональные услуги по Kafka.
Что я реально могу делать с топиками и сообщениями через интерфейс?Создавать топики в пару кликов с гибкими настройками, просматривать сообщения в формате JSON, обычного текста или Avro, смотреть отставание (lag) consumer-групп по каждому партишену и при навигации свободно переходить между коннекторами, топиками и консьюмерами.
Какие метрики показывает панель мониторинга?Ключевые метрики Kafka — брокеры, топики, партишены, производство и потребление сообщений — в лёгкой панели, задача которой держать кластеры под наблюдением и ускорять поиск проблем.
Мои сообщения в собственном формате — это поддерживается?Да, через плагины кастомной сериализации/десериализации: есть готовые serde вроде AWS Glue и Smile, а можно написать и свой.
Есть ли удобный способ развернуть это в Kubernetes?Да — в проекте есть Helm-чарты вместе с примерами Docker Compose, а также liveness/readiness-пробы по адресу /actuator/health для оркестраторов.
What are similar projects?debezium, kafka, CMAK, emqx, rocketmq, doris, automq, zipkin
Which topics is it in?cluster-management, web-ui, streams, helm-charts, opensource, kafka, big-data, rbac, oauth, observability, streaming, kubernetes
Creator
provectus
Size
29.7 MB
Stars
12.3K
Updated
CommitApr 08Releasev0.7.2Apr 10
Age
6y
Commits · 90 Days