Как пользователь Elasticsearch, я подписался на Elasticsearch Groups и каналы во многих местах (Twitter, Reddit, Facebook, Stackoverflow), и я продолжаю видеть, как люди пытаются начать с Elasticsearch, особенно загрузки куча CSV в него.
Hey does anyone know how can i upload multiple CSV files to Kibana?
Первая ошибка, как я вижу, это использовать logstash, чтобы загрузить файлы CSV для elasticsearch. Я вижу Logstash в качестве потоковой передачи для Elasticsearch Iearch, а не инструмента для загрузки данных для Elasticsearch из статического источника (например, CSV).
Использование Elasticsearch Loader для загрузки CSV для Elasticsearch
Я написал обертку на вершине основного API Elasticsearch, чтобы уменьшить барьер в загрузке файлов в elasticsearch. Использование простое как работает команда с вашего терминала.
Установить
pip install elasticsearch-погрузчик
Плагины
Есть несколько плагинов, таких как паркет, Redis и S3 в качестве входных источников, читайте больше о них в Прочти меня
Использование и примеры
Загрузите CSV в Elasticsearch, работающий на Localhost elasticsearch_loader --index Incidents CSV file1.csv file2.csv.
Загрузите CSV с URL и укажите поле ID elasticsearch_loader --index data -id-field State csv https://raw.githubusercontent.com/jakevdp/data-USstates/master/state-abbrevs.csv
Читайте данные CSV из stdin generate_data |. elasticsearch_loader --index data csv -
И многое другое, для большего количества примеров и докемантионов, пожалуйста, следуйте за elasticsearch-loader’s file readme
Оригинал: «https://dev.to/moshe/loading-csvs-to-elasticsearch-like-a-pro-no-logstash-needed-3n»