Чтобы запустить облачную платформу в производстве, ваша команда должна знать, как работает все. Есть, казалось бы, бесконечные метрики, измерения и журналы для анализа, чтобы обеспечить работу платформы, поскольку она должна. Держать клиентов удовлетворены, поэтому они продолжают использовать вашу платформу — это цель любого облачной компании.
Наряду со значительным количеством данных вы можете собрать из вашей системы, так как многие инструменты вы можете использовать для их сбора. На одном AWS вы можете использовать лямбда, cloudTrail, cloudwatch и xray. Каждый из этих инструментов также имеет подмножество инструментов, которые могут быть полезны для отслеживания вашей информации. Однако самые интересные не являются отдельными точками данных, а анализ этих данных. Для правильного анализа данных необходимо доступен на те же аналитические инструменты. Потоки данных AWS Kinesiss могут быстро и эффективно предоставлять метод амальгаматные данные и эффективно для этого анализа.
Потоки данных Kinesis имеют много функций, которые позволяют им использовать в широком широте случаев использования. В этой статье мы выделим особенности, особенно критичные для анализа здоровья платформы.
Производительность потоковой передачи в реальном времени
Поток данных Kinesis позволяет передавать данные через очередь на очень высоких скоростях. Каждый осколок может потреблять вход 1 МБ/с и обеспечивает 2 МБ/с. AWS также ограничивает входы по количеству пишетов (1000 поставленных запросов в секунду). Если вам требуется больше в секунду информации, добавьте новые осколки, чтобы увеличить емкость потока. Добавление осколков добавит к емкости, доступной напрямую.
С скоростями масштабирования потокового потока из потока данных Kinesis в процесс аналитики в реальном времени может обеспечить быстрые результаты. Для обеспечения безопасности, уведомления могут быть отправлены пользователям эффективно, поэтому команды могут решать проблемы ранее, даже пока они происходят. Эта скорость может значительно сократить время простоя вашей платформы.
Легко масштабировать емкость
Ваша платформа может потребовать различных настроек емкости на основе прогнозируемых или спонтанных шипов на использование. Потоки данных Kinesis могут динамически масштабироваться с емкостью от мегабайт, доступных с одним осколком до терабайт. Количество запросов на поставку также может масштабироваться до миллионов записей в секунду. Эта масштабированная емкость означает, что Kinesis может расти как ваша платформа, получает пользователей и требует больше пропускной способности. Вы можете придерживаться того же инструмента, что и ваш бизнес растет и не нужно восстановить инфраструктуру, когда вы масштабируетесь.
Стоимость связанных ресурсов
Как и многие услуги AWS, с потоками данных Kinesis, вы платите за то, что вы используете. Для каждого изготовленного осколка AWS расходует за шардные часы. Фактическая стоимость зависят от используемой области AWS, в диапазоне от 0,03 доллара в час в Сан-Паулу до 0,015 долл./Час в Северной Вирджинии. Пользователи также взимаются в зачисление на за миллион единиц полезных нагрузок, снова с расходом, зависящей от региона и аналогичны стоимости чарных частей. AWS заряжает для дополнительных функций, таких как шифрование и хранение данных отдельно.
Безопасность и шифрование
AWS шифрует данные транзита по умолчанию. Они также позволяют пользователям шифровать данные в состоянии покоя необязательно. Разработчики могут выбирать между управлением их ключами шифрования или наличие шифрования AWS, применяемое с использованием AWS KMS. Для потоковой передачи данных шифрование данных в покое может потребоваться. Данные AWS CloudTail или частной пользовательской информации должны быть зашифрованы для ограничения возможности атак получить информацию об использовании.
Потоки данных являются AWS-управляемой инфраструктурой. При настройке этой услуги вам не нужно учитывать хранение, предоставление или развертывание потока. Обе потоки данных, так и SQS являются AWS-управляемыми службами очередей. Каждый может быть полезен для разных требований и потоков через вашу облачную платформу. Здесь мы обсуждаем анализ данных DEVOPS для обнаружения безопасности, масштабируемости и ошибок в вашей облачной платформе. Особенности потоков данных Kinesis делают его лучшим выбором для этого.
Kinesis может обеспечить заказ записей, которые недоступны со стандартными очередями SQS. Значение, называемое числом последовательности, присваивается значение KISESIS. Данные гарантированы уникальными на один раздел ключ на оскорбление. Данные гарантированно прибывают на потребителя в правильном порядке, используя это значение.
Kinesis также можно прочитать и перечитать данные в том же порядке одинаковыми или новыми потребителями. Данные хранятся в очереди после чтения для предварительно определенного количества времени. Это отличается от SQS, которые будут хранить данные только до тех пор, пока потребитель не обрабатывает. Как Kinesis и SQS предлагают повторы чтения данных.
SQS не дает возможность иметь несколько потребителей слушать одну и ту же очередь. SQS обеспечивает балансирование нагрузки, если несколько потребителей читаются из очереди. Кинезис, однако, обеспечит те же данные всем потребителям. Пропускная способность рассчитывается для каждого потребителя. Если вам нужна скорость в реальном времени и имеет значительное количество данных, рассмотрите возможность использования доступных расширенных настроек велочка на потоках данных Kinesis. Этот параметр позволит каждому потребителю иметь пропускную способность, не влияя на другие подключенные потребителей
AWS Kinesis Data Streams может собирать данные из многих источников в AWS. Kinesis может затем пересылать данные для разных инструментов аналитики, как Коралогикс журнал Analytics Платформа.
AWS Lambda и Kinesis Data Streams
AWS Lambda — это Serverless Compute System, управляемая AWS. Эти функции обычно используются в облачных вычислениях для запуска функций вашей системы. В качестве альтернативы, разработчики могут выбрать FARGATE задач или функции Compute EC2. Каждый из них может интерфейс для Kinesis с использованием аналогичной методологии.
Вычислительные функции могут отправлять данные в потоки данных Kinesis для дальнейшего анализа. Эти данные могут включать взаимодействия с API, данные из внешних источников или результаты самих лямбда. Чтобы написать в свой поток данных из лямбда, используйте AWS SDK. Разработчики могут добавлять различные ценные данные в поток данных Kinesis, используя функцию, выложенную ниже.
let kinesis = new AWS.Kinesis();
kinesis.putRecord({
Data: 'STRING_VALUE',
PartitionKey: 'STRING_VALUE',
StreamName: 'STRING_VALUE',
ExplicitHashKey: 'STRING_VALUE',
SequenceNumberForOrdering: 'STRING_VALUE'
}).promise();
AWS Cloudwatch для потоков данных Kinesis
CloudWatch позволяет пользователям настроить подписки. Эти подписки будут автоматически отправлять данные на разные службы AWS, включая потоки данных Kinesis. Подписки включают конфигурации фильтра, которые позволяют разработчикам ограничить, какие данные отправляются в Kinesis.
Разработчики также могут использовать эти фильтры для отправки данных в разные потоки данных, что позволяет выполнять различную обработку на основе содержимого данных. Например, данные, необходимые для обработки журналов DEVOPS, могут переходить на один поток, связанный с аналитическим двигателем, в то время как пользовательские данные могут переходить на другой поток для долгосрочного хранения.
Используйте AWS CLI для настройки подписки на поток данных Kinesis, используя следующие команды. Вы должны создать поток, прежде чем назначить на него подписку. Вам также нужно будет создать роль IAM для вашей подписки на запись в ваш поток. Для полного описания шагов, чтобы создать подписку CloudWatch, см. AWS Документация Отказ
AWS CloudTail To Kinesis Data Streams
CloudTail может быть настроен для отправки данных непосредственно на AWS S3 или AWS CloudWatch, но не AWS Kinesis. Поскольку CloudTail может писать непосредственно на AWS CloudWatch, мы можем использовать вышеуказанную конфигурацию, связывающую CloudWatch для потоков данных Kinesis для сбора данных CloudTail.
Если вы создаете свой CloudTrail из консоли, доступна опция для настройки связывания CloudWatch. После включения ценообразование CloudWatch относится к вашей интеграции.
Потоки данных Kinesis могут отправлять данные различным потребителям для анализа или хранения. Доступны потребителей включают AWS Lambda, Fargate и Compute функций EC2. Вы также можете настроить потоки данных для отправки непосредственно на другой продукт Kinesis, такой как Kinesis Analytics. Использование AWS Compute Functions и сохраненные данные вы можете рассчитать метрики и хранить информацию. Однако для этого требуется значительная ручная работа и одобрение того, что искать в данных. KISISEIS Analytics облегчает вычисление, применяя пользовательские приложения SQL или Apache, чтобы обработать ваши данные.
Разработчики также могут настроить Kinesis для отправки данных в сторонние инструменты, которые удаляют необходимость настроить аналитику. Coralogix предоставляет несколько инструментов, которые могут проанализировать различные данные для получения существенных метрик и уведомлений для вашей платформы. Платформа безопасности может анализировать информацию AWS потоковое положение от кинезиса Чтобы дать представление о нарушениях и ретроспективном анализе ваших слабых очков безопасности. Коралогикс Журнал аналитики Система может принимать данные CloudWatch и уведомить свою команду, когда ваша платформа не работает оптимально.
Облачные платформы используют аналитику в реальном времени, чтобы ваша система функционирует оптимально и безопасна. Услуги AWS могут предоставлять все данные по потоковым данным в AWS Kinesis, очередью в реальном времени с широким спектром возможностей, которые могут быть установлены для удовлетворения потребностей вашей платформы. Kinesis можно настроить для отправки данных на несколько конечных точек, если на одних и тех же данных необходим другой анализ. Потребители потока Kinesis будут выполнять аналитику. Это могут быть решения, сделанные вашей командой платформы на AWS Compute, такие как лямбда или Фаргейт. Они могут быть полуразрусочные функции, сделанные вашей командой платформы с помощью инструментов Analytics Kinesis. Самый эффективный способ выполнения аналитики — использовать сторонний инструмент, предназначенный для ваших нужд, таких как Coralogix’s Безопасность или Журнал аналитики платформы.
Оригинал: «https://dev.to/jwallace/how-to-track-devops-events-with-aws-kinesis-data-streams-3jod»