Рубрики
Uncategorized

Мониторинг Solr прошел легко с сематестом

Как показано в части 1 1 ключевых метрик Solr для мониторинга, настройки, настройки и операции Solr требуют ди … Теги от мониторинга, Solr, DevOps, наблюдаемости.

Мониторинг Solr (3 части серии)

Как показано в части 1 Solr Ключевые метрики для мониторинга Настройка, настройка и операции SOLR требуют глубоких представлений в показателях производительности, такие как скорость и задержка запроса, утилизация памяти JVM, время работы мусора и счет и многие другие. SEMTEXT обеспечивает отличную альтернативу другим инструментам мониторинга Solr.

Вот несколько Вещи, которые вам не придется делать при использовании Sematext для Solr Мониторинг:

  1. выяснить, какие метрики собирают и какие из них игнорируют
  2. Дайте метрики значимые этикетки
  3. охота на метрические описания в документах, так что вы знаете что каждый на самом деле показывает
  4. Создайте графики для группировки метрик, которые вы действительно хотите на одних и тех же диаграммах, а не несколько отдельных диаграмм
  5. Выясните, какие агрегации использовать для каждого набора метрик (мин? Макс? avg? что-то другое?)
  6. Настройте основные правила оповещения

Все вышеперечисленное не является даже полной историей. Вы хотите собирать журналы Solr? Как насчет структурирования их? Sematext делает все это автоматически для вас!

В этом посте мы посмотрим, как Sematext предоставляет более всеобъемлющим — и легко настроить — Мониторинг для Solr и Другие технологии в вашей инфраструктуре. Объединяя события, журналы и метрики вместе в одном интегрированном Полная платформа наблюдаемости стека И используя агент мониторинга с открытым исходным средством SEMTEXT и его интеграции, которые также являются открытыми источниками, вы можете отслеживать всю свою инфраструктуру и приложения, а не просто Solr. Вы также можете получить более глубокую видимость в целом комплекс программного обеспечения по Сбор, обработка и анализ ваших журналов Отказ

Сбор метрик Solr

Интеграция SEMTEXT Solr собирает Более 30 различных метрик Solr Для различных кешей, запросов, задержек и многое другое. Мониторинг JVM включен тоже. Sematext поддерживает и поддерживает Официальный мониторинг Solr Monitoring Отказ Кроме того, интеграция SEMTEXT Solr настраивается и открытый источник.

Итоги: Вам не нужно иметь дело с настройкой агента для коллекции метрики, которая является первым огромным временем!

Установка мониторинга агента

Настройка агента мониторинга занимает менее 5 минут:

Шаг 1. Создать приложение Solr в Интеграции/Обзор (или Sematext Cloud Europe ). Это позволит вам установить агент и контролировать доступ к вашему мониторингу и журналам данных. Короткий Что такое приложение в облаке Sematext видео имеет более подробную информацию.

Шаг 2. Назовите свое приложение для мониторинга Solr И, если вы хотите собрать журналы Solr, создайте приложение Logs по пути.

Шаг 3. Установите агент Sematext Согласно Настройка Инструкции отображается в пользовательском интерфейсе.

Например, на Ubuntu добавьте пакеты Sematext Linux со следующей командой:

echo "deb http://pub-repo.sematext.com/ubuntu sematext main" | sudo tee
/etc/apt/sources.list.d/sematext.list > /dev/null
wget -O - https://pub-repo.sematext.com/ubuntu/sematext.gpg.key | sudo apt-key add -
sudo apt-get update
sudo apt-get install spm-client

Затем установите мониторинг Solr, приготовив данные соединения Solr Server:

sudo bash /opt/spm/bin/setup-sematext  \
    --monitoring-token    \
    --app-type solr  \
    --agent-type javaagent  \
    --infra-token 

Наконец, настройте свой Solr.in.sh файл:

SOLR_OPTS="$SOLR_OPTS -Dcom.sun.management.jmxremote
-javaagent:/opt/spm/spm-monitor/lib/spm-monitor-generic.jar=::default"

Шаг 4. Иди возьми напиток … но спешите — Метрики Solr начнут появляться в ваших графиках менее чем за минуту.

Solr мониторинг приборной панели

Когда вы открываете приложение Solr, вы найдете предварительно определенный набор панелей мониторинга, которые организуют более 60 метрик Solr и общие Мониторинг сервера В предопределенных диаграммах сгруппированы в интуитивно организованный набор мониторинговых панелей.

  1. Обзор с графиками для всех ключевых метрик Solr
  2. Метрики операционной системы, такие как CPU, память, сеть, использование диска и т. Д.
  3. Метрики Solr
    • Скорость запроса и задержка : запросы в секунду просит задержки, в том числе проценты
    • Размер индекса : Размер данных Solr, статистика файловой системы
    • Индексирование : Добавлены документы, удаление по идентификатору, удаление запросов, совершать события, Другие события, такие как ошибки обновления или удаления экспресс
    • Кэш : Кэш кэш-памяти результатов запроса, кэш-память документов, кеш фильтра, а также на метрики кэша фильтра сегмента
    • Разминка : Поискатель и кэширует время разминки

Настройка оповещений Solr

Чтобы сохранить вам Time Sematext автоматически создает набор правил оповещения по умолчанию, таких как оповещения для пробела с низким диском. Вы можете создавать дополнительные оповещения на любой метрике. Смотреть Оповещения в облаке сематестки Больше подробностей.

Оповещение по метрикам Solr

Есть 3 типа оповещений В сематестке:

  • Предупреждения о сердцебиениях , который уведомит вас, когда Solr Server не работает
  • Классика Пороговые оповещения на основе которые уведомили вас, когда метрическое значение пересекает заранее определенный порог
  • Оповещения на основе статистической Обнаружение аномалии которые уведомили вас, когда метрические значения внезапно изменились и отклоняются от базовой линии

Давайте посмотрим, как на самом деле создать правила оповещения для Скорость запроса Метрики в анимации ниже. Скорость запроса Диаграмма показывает падение количества запросов. Обычно у нас более трех запросов в секунду, но мы видим, что он падает до нуля. Мы хотели бы быть уведомлены о таких ситуациях. Чтобы создать правило оповещения на метрике, которую мы перейдем к отправке в верхнем правом углу диаграммы и выберите «Создать предупреждение». Правило оповещения применяет фильтры с текущего представления, и вы можете выбрать различные параметры уведомления, такие как электронная почта или настроили Уведомление Крючки ( Pagerduty , Слабый , Викторы , Bigpanda , Opsgenie. , Pownover , Общие веб-капли , так далее.). Оповещения запускаются либо путем обнаружения аномалии, наблюдая метрические изменения в заданном окне времени или с помощью использования классических пороговых предупреждений.

Доставка журналов Solr

Так как имея Журналы и метрики в одной платформе Делает поиск неисправностей проще и быстрее, давайте также отправим журналы Solr Solr тоже. Вы можете использовать Многие грузоотправители журнала , но мы будем использовать Логин Потому что это легкий, простой в настройке, и потому что он может анализировать и структурировать журналы из коробки. Журнальный анализатор извлекает временной метку, тяжесть и сообщения. Для след запрос, анализатор журнала также извлекает уникальный идентификатор запроса для групповых журналов, связанных с выполнением запроса.

Шаг 1. Создать файлы приложения Чтобы получить токен приложения

Шаг 2. Установите пакет NPM Logagent NPM

sudo npm i -g @sematext/logagent

Если у вас нет узла, вы можете установить его легко. Например. На Debian/Ubuntu:

curl -sL https://deb.nodesource.com/setup_8.x | sudo -E bash -
sudo apt-get install -y nodejs

Шаг 3. Установите Logagent Service, указав токен журналов и пути к файлам журнала Solr.

Вы можете использовать -G ‘/var/solr/logs/ .бревно `* Для доставки только журналы Solr Server. Если вы запустите другие сервисы, такие как Zookeeker или MySQL на одном сервере, рассмотрите возможность доставки всех журналов. Настройки по умолчанию отправляют все журналы из /var/log/ / .бревно * Когда -G Параметр не указан.

Logagent обнаруживает систему init и устанавливает SystemD или Script Services. На Mac OS X это создает службу запуска. Просто запустить:

`bash sudo logagent-setup -i your_logs_token -g ‘/var/solr/logs/*.log’

`

Сценарий установки генерирует файл конфигурации в /etc/sematext/logagent.conf и начинает логин в качестве системного сервиса.

Примечание, если вы Запустите Solr в контейнерах , Настройка Logagent для журналов контейнера Отказ

Поиск журнала и приборные панели

У одного у вас есть журналы SEMTEXT, вы можете искать их при устранении неполадок, сохранить запросы, которые вы часто запускаете или Создайте свои индивидуальные журналы Dashboard Отказ

Log Search Syntax.

Если вы узнаете, как вы узнаете, как поискать с Google, вы будете знать Как искать свои журналы В Sematext Cloud.

  • Использовать и, или, а не операторы — например (Ошибка или предупреждение) не исключение
  • Группа ваши и, или, а не пункты — например Сообщение: (исключение или ошибка или время ожидания) и серьезность: (ошибка или предупреждение)
  • Не люблю логические Используйте + и — включить и исключить- E.g. + Сообщение: Ошибка -Мессаж: Timeout -Host: db1.example.com
  • Используйте явные полевые ссылки — E.g. сообщение: время ожидания
  • Нужна поиск фразы? Используйте кавычки — например Сообщение: «Фатальная ошибка»

При копании через журналы вы можете найти одинаковых поисков снова и снова. Чтобы решить эту раздражение, Sematext позволяет сохранять запросы, чтобы вы могли быстро выполнить их, без необходимости выводить их. Пожалуйста, посмотрите, как использование журналов для устранения неполадок упрощает вашу работу.

Осознавание журналов Solr

Чтобы создать предупреждение о журналах, мы начнем с помощью запроса, который точно соответствует тем, что мы хотим быть предупрежденным. Чтобы создать предупреждение просто нажмите на значок «Создать сохраненное правило запроса/оповещения» рядом с окном поиска.

Аналогично настройке правил метрических предупреждений, мы можем определить оповещения на основе пороговых или аномалий, основанные на количестве сопоставления событий журнала. Возврат запроса предупреждения.

Пожалуйста, смотрите Оповещения в облаке сематестки Больше подробностей.

Найти общие проблемы Solr от журналов Solr

Есть общие проблемы, которые вы можете захотеть посмотреть при запуске Solr/SolrCloud:

  • Zookeeper отключается, что вы можете найти с помощью E.G. + Zookeeponnection + Watcher + отключен
  • Вопросы с операциями автоматической коммиты: + auto + commit + ошибка
  • Проблемы с прогревом кэши:. + Ошибка + Во время + Авто + согревание
  • Вопросы с операциями по делам: + Невозможно + распространять + коммит
  • Проблемы лидеров SolrCloud: + Met + исключение + дайте + UP + руководство
  • Вопросы с осколками: + Нет + Сервера + Хостинг + Шард

Возможно, вы, конечно, хотите сэкономить некоторые из них как предупреждения.

Метрики Solr и корреляция журнала

Типичный рабочем процессом по устранению неполадок начинает обнаруживать всплеск в метриках, затем копаться в журналы, чтобы найти корневую причину проблемы. Sematext делает это действительно просто и быстро. Ваши метрики и журналы живут под одной крышей. Журналы централизованы, поиск быстро, а мощный Синтаксис поиска журнала прост в использовании. Корреляция метрик и бревн буквально одним щелчком.

Лучший друг Solr, особенно при использовании режима SolrCloud Apache Zookeeper . SolrCloud требует от зоопарка для работы, обрабатывать перегородки и выполнять лидерные выборы. Мониторинг зоокедра И SolrCloud вместе имеет решающее значение для того, чтобы коррелировать метрики как и иметь полную наблюдаемость ваших операций SolrCloud.

Комплексный мониторинг для SOLR включает в себя определение ключевых метрик для Solr сбора метрик и журналов, и соединяя все значимым образом. В этом посте мы показали вам, как контролировать метрики Solr и журналы в одном месте. Мы использовали OOTB и настраиваемые панели инструментов, корреляцию метрик, корреляцию журнала, обнаружение аномалии и оповещения. И с другими Интеграции с открытым исходным кодом , как Mysql. или Кафка , вы можете легко начать мониторинг Solr вместе с метриками, журналами и распределенными просьбами от всех других технологий в вашей инфраструктуре. Получите более глубокую видимость в Solr сегодня с Бесплатное испытание Sematext Отказ

Мониторинг Solr (3 части серии)

Оригинал: «https://dev.to/sematext/solr-monitoring-made-easy-with-sematext-45b0»