Рубрики
Uncategorized

Kafka lag exporter автономный

Чтобы исследовать и диагностировать проблемы с потребительскими группами Apache Kafka, я обычно использую Docker Compose Made U … Помечено кафкой, мониторинг, устранения неполадок, DevOps.

Исследовать и диагностировать проблемы Apache Kafka Группы потребителей Я обычно использую Docker, составленную из Kafka lag exporter В Прометей , Графана и Панель инструментов Анкет

Вот репо:

CSPINETTA/KAFKA-LAG-EXPORTER-Standalone

Docker Compose с экспортером кафки задержек + Grafana + Prometheus. Готовы приглашать и просмотреть метрики задержки.

В этом посте я хочу рассказать вам, о чем это и как это может быть полезно для устранения неполадок, если у вас нет особой видимости ваших групп потребителей Kafka.

Почему этот Docker составлен?

Основная идея состояла в том, чтобы Docker сочинил с Kafka lag exporter , Прометей и Графана вместе, чтобы это было быстрый и Легко Чтобы получить приборную панель для анализа потребительских групп развертывания Кафки. Это особенно полезно, когда у вас еще недостаточно мониторинга на вашей кафке. Если бы мы не создавали Docker Compose, нам пришлось бы установить и настроить каждую часть отдельно, что может быть немного громоздким, когда столкнулся с инцидентом, который необходимо решить быстро.

Он направлен на то, чтобы обеспечить быструю установку для устранения неполадок, а не окончательную установку для постоянного мониторинга. Это идеально, если вы сталкиваетесь с проблемой производства и нуждаетесь в большей видимости относительно того, что происходит внутри Кафки.

Пример вариантов использования

Группа потребителей отстает за секунды

На этом графике мы видим время между последним фиксом и текущим временем, это также известно как задержка в секундах, и мы можем увидеть его по потребительской группе.

Этот пример был взят из Kafka-Connect Это совершает каждые 30 минут, если все пойдет хорошо, если мы анализируем это, мы можем сказать, что некоторые группы потребителей по какой -то причине терпят неудачу.

Группа потребителей отстает за секунды и смещения

В этом другом примере мы можем увидеть конкретный статус группы потребителей. Он показывает отставание группы потребителей в секундах и сообщениях/событиях (разница между текущим сообщением и последним

Начиная

Далее, шаги, которые мы делаем, когда мы должны их использовать:

  1. Скачать и распаковать:
curl -fsSL -o kafka-lag-exporter-standalone.tar.gz https://github.com/cspinetta/kafka-lag-exporter-standalone/releases/download/0.0.1/kafka-lag-exporter-standalone-0.0.1.tar
tar -xf kafka-lag-exporter-standalone.tar.gz

  1. Укажите узлы кафки на Kafka-Exporter-Standalone/Kafka-Lag-Exporter/Application.conf Анкет

  2. Беги с Docker Compose: Docker-Compose -f kafka-exporter-standalone/docker-compose.yaml up Анкет

Затем вы можете открыть Grafana WebApp, выставленную в порту 3000 и перейдите к приборной панели Kafka lag exporter Анкет

В первый раз, когда вы входите в Grafana, попросите вас войти в систему. Тип администратор Для имени пользователя и пароля. Затем Графана попросит вас выбрать новый пароль.

Это все!

Оригинал: «https://dev.to/cspinetta/kafka-lag-exporter-standalone-1jbj»