🇺🇸 🇪🇺 Мониторинг, ведение журнала и DevOps с несколькими облаками

Как построить пошаговую инфраструктуру с мульти-облачной инфраструктурой с элементами Google Cloud и Scaleway (5 серии деталей)

И снова здравствуйте !

В части 1 мы увидели, как создать сетевую инфраструктуру и внедрить модели безопасности между элементами масштабирования и Google Cloud.

В этой части 2 мы обсудим архитектуры мониторинга/ведения журнала и DevOps, которые могут быть применены к обоим облачным поставщикам. Мы также начнем архитектуру наше доказательство концепции.

Мы можем получить видимость в ресурсах Scaleway. В Google Cloud есть два поддерживаемых способа [1]:

• Использование инструмента BindPlane от Синяя медора к проглатыванию журналов из Scaleway.
• Использование API логирования облаков непосредственно из приложений Scaleway или с помощью пользовательского агента.

Второй вариант показан на следующей диаграмме.

• Журналы собираются в масштабе,
• Журналы отправляются в API регистрации облака через защищенное соединение VPN,
• Управление услугами VPC и частный доступ в Google добавляются для обеспечения связи между API -интерфейсом Scaleway и облачной регистрацией,
• Журналы централизованы в конкретном проекте в Google Cloud.

Мы можем получить метрики в мониторинге следующими двумя способами [2]:

• Использование инструмента BindPlane от Blue Medora до употребления метрик с Scaleway.
• Используя Opencensus написать в API мониторинга облачного мониторинга.

Второй вариант показан на следующей диаграмме.

• Метрики собираются в масштабе,
• Метрики отправляются в API мониторинга облачного мониторинга через защищенное соединение VPN,
• Управление услугами VPC и частный доступ в Google добавляются для обеспечения связи между API -интерфейсом Scaleway и Cloud Monitoring,
• Метрики централизованы в конкретном проекте в Google Cloud.

Многие инструменты DevOps существуют на рынке. Давайте возьмем Gitlab в качестве примера для развертывания ресурсов Scaleway с бегунами Gitlab.

Для использования в производстве я обычно рекомендую клиентам использовать конкретных бегунов с заданиями, работающими в кластере GKE.

В следующем примере мы иллюстрируем развертывание ресурсов Scaleway и рабочих нагрузок Kubernetes с использованием практик Gitops. [3]

• У работы бегуна Gitlab есть KSA, которая связана с ролью хранилища, которая обеспечивает доступ к учетным данным Scaleway [4]
• Ресурсы Scaleway развернуты с использованием планов Terraform, расположенных в Infra Repo,
• Новое изображение Docker построено после каждого тега GIT. Изображение Docker опубликовано в централизованном реестре Docker в Google Cloud,
• Версия изображения Docker в Kubernetes Manifests редактируется с использованием Kustomize, и из трубопровода Env Repo запускается из конвейера изображения.
• Рабочие нагрузки Kubernetes обновляются с новой версией изображения Docker с использованием инструмента Gitops, такой как Argocd Анкет
• Kapsule Cluster имеет разрешение просмотра объектов хранилища для вытягивания изображений из Google Cloud.

Сегментированная архитектура, которая лучше всего подходит для нашего случая, нам нужно контролировать сетевой трафик, чтобы не нести чрезмерные выходы на выход, потому что половина приложения заканчивается слева, а другая половина справа. [5]

• За внедрение трафика между обоими облачными провайдерами [7] [7]. Однако может быть зарядка за ресурс GCP, который обрабатывает вход в трафик, такие как балансировщики нагрузки.
• В некоторых услугах масштаба, таких как Kapsule, мы не взимаем плату за выходной трафик.

В предыдущих архитектурах мы использовали два типа связи:

• Подключение HTTPS через службу балансировщика нагрузки GCP с использованием функции Internet NEG.
• VPN -соединение.

В обоих, мы будем взимать плату за выход GCP Egress [8] [9].

Мы могли бы реализовать любую из сегментированных архитектур, представленных в этих двух постах в качестве доказательства концепции.

Я выбрал архитектуру DevOps, потому что это общая архитектура, используемая в мульти-облаке (и потому что ее легко объяснить 😊).

Мы увидим в следующих частях, шаг за шагом, как мы можем реализовать платформу DevOps в многоклковом контексте. Следующая архитектура представляет собой упрощенную версию интеграции Gitops, объясненную ранее.

Давайте разделим демонстрацию на четыре части:

• Создание платформы DevOps в Google Cloud
• Написание инфраструктуры в качестве файлов кода для создания инфраструктуры на масштабе
• Развертывание ресурсов Kubernetes в Scaleway

В мульти-облачной среде важно использовать одни и те же технологии в каждом облаке.

Как укладка, у меня есть любимый стек для развертывания облачной инфраструктуры:

• Gitlab как инструмент CI/CD,
• Terraform для инфраструктуры в качестве кода,
• Kubernetes для развертывания изображений Docker,
• Хранилище для хранения внешних учетных данных,
• Argocd как инструмент Gitops.

В этом посте мы обсудили архитектуры мониторинга/ведения журнала и DevOps, которые могут быть применены к обоим облачным поставщикам. Мы также говорили о стоимости сетевого трафика. Мы закончили, положив фундамент камня нашего POC.

В части 3 мы увидим, как построить платформу DevOps в Google Cloud с Gitlab и Kubernetes.

[1] https://cloud.google.com/solutions/logging-on-premises-resources-with-blue-medora [2] https://cloud.google.com/solutions/monitoring-on-premises-resources-with-blue-medora [3] https://www.weave.works/blog/gitops-omodern-best-practices-for-high-velocity-application-development [4] https://www.vaultproject.io/docs/auth/kubernetes [5] https://architectelevator.com/cloud/hybrid-multi-cloud/ [6] https://cloud.google.com/vpc/network-pricing#general [7] https://www.scaleway.com/en/pricing/ [8] https://cloud.google.com/vpc/network-pricing#vpn-ценность [9] https://cloud.google.com/vpc/network-pricing#lb

Как построить пошаговую инфраструктуру с мульти-облачной инфраструктурой с элементами Google Cloud и Scaleway (5 серии деталей)

Оригинал: «https://dev.to/stack-labs/how-to-build-step-by-step-a-multi-cloud-infrastructure-with-google-cloud-and-scaleway-elements-part-2-2j37»