Привет! 👋
Как инженер безопасности, я постоянно работаю с журналами, и нет необходимости объяснять, насколько важно иметь правильные журналы из правильной системы в нужное время. Объем журналов значительно увеличивается с каждым годом. И мы должны обрабатывать этот объем, мы должны собирать/хранить/коррелировать/превзойти их. Как бы то ни было, вы работаете с журналами, и чем больше журналов у вас есть, тем больше вы хотите хранить их в каком -то быстром, надежном, удобном решении. Вы знаете, что было бы лучше, если ваша команда заботится только о приложениях, а все проблемы с сервером остаются на облачных провайдерах. В серии статей я хочу показать вам, что могут предложить основные облачные провайдеры.
AWS
AWS Solutions Portfolio имеет Централизованное решение для регистрации . Вы можете развернуть его в своей учетной записи через несколько минут. Но вам не нужно думать об этом как единственный способ иметь управление журналами AWS, подумайте об этом как о одном из сотен способов, как объединить услуги AWS. Я хочу показать вам сервисы AWS, которые вы можете использовать для создания лучшего решения для вас.
Cloudwatch
CloudWatch является основной службой мониторинга в AWS. Он имеет удивительную функциональность, такие как метрики журнала, информационные панели, расширенный поиск журналов и многие другие. Кроме того, он имеет много интеграции с другими услугами AWS. Вы можете транслировать журналы непосредственно из экземпляров EC2, а также с локальных серверов через агент CloudWatch. Можно экспортировать журналы в S3/Elasticsearch Services, если вы хотите получить копию или долгосрочное хранилище.
Плюсы:
- Встроенная функциональность
- Легко начать использовать
- Без сервера
Минусы:
- Расходы. Вы буквально заплатите за все. Например, только для отправки журналов в CloudWatch вы будете платить за приема данных примерно в 0,60 долл. США за ГБ. Это фактически остановило меня, чтобы использовать CloudWatch в качестве основного решения для управления журналами.
Amazon Elasticsearch Service
Многие из нас уже знают Elasticsearch и любят его. Но какой смысл заплатить дополнительные деньги AWS, когда вы можете сделать то же самое самостоятельно? Честно говоря, я люблю Elasticsearch в AWS еще больше. Вам не нужно быть экспертом в Elasticsearch, чтобы иметь полное преимущество. Вы отвечаете только за уровень приложения. Представьте себе, вы развернули свой кластер Elasticsearch пару месяцев назад, и вдруг кто -то говорит, что у вас будет больше журналов, тогда вы запланировали … 😱
Сколько времени требуется, чтобы увеличить ваш кластер или, может быть, через некоторое время масштабируется? В AWS требуется минуты, и все, что вам нужно сделать, это несколько кликов или вызовов API.
Плюсы:
- Решение, которое мы уже любим
- Управление и обновления и обновления без головной боли
Минусы:
- Вам все еще нужно управлять индексами и определять все вещи на уровне приложений, такие как ряд осколков и реплик. Кроме того, вы должны заботиться о бесплатном месте для хранения, но у вас уже есть хороший друг для этого — CloudWatch. Хорошей практикой является создание тревоги CloudWatch, чтобы следовать за свободным пространством и сделать уведомление или масштаб Elasticsearch Domain Up, если свободное пространство опускается ниже определенного порога.
Amazon Kinesis
Amazon Kinesis — это не один сервис, это семья из четырех человек. Все услуги кинезиса были созданы, чтобы помочь вам с потоковыми данными. Услуги Kinesis могут стать очень важной частью вашего потока данных. Я, что показать вам двумя из них, которые вы можете использовать для своего собственного решения для управления журналами. Kinesis Data Stream это служба потоковой передачи данных в реальном времени. Вы можете поместить данные в поток через API, используя свой собственный код, сторонние продукты или агент Kinesis. Чтобы получить данные из потока, вы можете использовать Kinesis Firehose, Lambda или другие приложения. Хорошая вещь о потоке данных кинезиса — это вы платите за Шард часы . Это означает, что вы не платите за приема данных и вместе с пользовательским производителем, это дает вам удивительную гибкость. Вы можете собирать короткие массажи или сжатие, прежде чем отправлять их в трансляцию. Затем потребитель обрабатывает ваши данные на лету, особенно если вы выбрали функцию Lambda в качестве потребителя. Я обнаружил, что комбинация потока данных кинезиса и функции лямбда очень мощной, потому что они оба очень масштабируемы, очень доступны, и вы сохраняете все как код.
Плюсы:
- Предсказуемая стоимость
- Удивительная гибкость
- Без сервера
Минусы:
- Требуют навыков разработки программного обеспечения, и для начала работы требуется больше времени
Kinesis Data Firehose Это простой способ загрузить ваши потоковые данные в озера данных. Возможно, AWS реализовал один из общих сценариев для нас. Вам не нужно разрабатывать собственное приложение, если вы хотите хранить потоковые данные в одной из услуг, которые поддерживает Firehose Kinesis Data (S3/Redshift/Elasticsearch/Splunk). Стоит упомянуть, что с помощью Firehos вы можете преобразовать исходные записи, прежде чем он хранит в озерах Data. Это дает вам возможность предварительно обработать данные, но такая функция имеет свою ограничения .
Плюсы:
- Легко начать использовать
- Без сервера
Минусы:
- Решите узкую, конкретную задачу.
В следующей статье я покажу другие полезные услуги AWS, которые вы можете использовать. Кроме того, я постараюсь показать примеры того, как вы можете объединить услуги для решения некоторых общих сценариев.
Оригинал: «https://dev.to/vitali/log-management-solutions-in-clouds-aws-part1-2g0k»