Одним из ключевых мотиваций DataForm заключалась в том, чтобы принести лучшие практики разработки программного обеспечения для создания трубопроводов команд ETL/ELT. Для дальнейшего достижения этой цели мы недавно запустили поддержку для выполнения постоянной интеграции (CI), проверяющие ваши проекты DataForm.
Что такое CI/CD?
CI/CD — это набор процессов, которые стремятся быстро и надежно помочь командам корабля.
Проверки непрерывной интеграции (CI) автоматически проверяют, что все изменения в вашем коде работают как ожидалось, и обычно выполняется до того, как изменение будет объединено в вашу ветку GIT Master. Это гарантирует, что версия кода на главной ветве всегда работает правильно.
Инструменты постоянного развертывания (CD) автоматически (и часто) развертывают последнюю версию вашего кода до производства. Это предназначено для минимизации времени, которое требуется для новых функций или исправлений, которые будут доступны в производстве.
CI/CD для проектов DataForm
DataForm уже делает большую часть CD Grundwork для вас. По умолчанию весь код, преданный главной ветке, автоматически развернут. Для более продвинутых случаев использования вы можете точно настроить то, что вы хотите развернуть и при использовании среды Отказ
CI Чеки, однако, обычно настраиваются как часть вашего репозитория GIT (обычно размещены на GitHub, хотя DataForm поддерживает другие поставщики хостинга Git).
Как настроить проверки CI
DataForm распределяет Docker Image который можно использовать для проведения эквивалента DataForm CLI команды. Для большинства инструментов CI это изображение Docker — это то, что вы будете использовать для запуска ваших автоматизированных проверок.
Если вы размещаете свой DataForm Git Resository на GitHub, вы можете использовать Действия GitHub запустить рабочие процессы CI. Этот пост предполагает, что вы используете действия GitHub, но другие инструменты CI настраиваются аналогичным образом.
Вот простой пример рабочего процесса действий GitHub для проекта DataForm. Как только вы положите это в .Github/Workflows/<Некоторые имя файла> .yaml Файл, GitHub будет запустить рабочий процесс на каждом запросе на тягу и посвятить свою ветку Master.
name: CI
on:
push:
branches:
- master
pull_request:
branches:
- master
jobs:
compile:
runs-on: ubuntu-latest
steps:
- name: Checkout code into workspace directory
uses: actions/checkout@v2
- name: Install project dependencies
uses: docker://dataformco/dataform:1.6.11
with:
args: install
- name: Run dataform compile
uses: docker://dataformco/dataform:1.6.11
with:
args: compile
Этот рабочий процесс работает DataForm Compiele — Это означает, что если проект не может скомпилировать, рабочий процесс потерпит неудачу, и это будет отражено в UI Github.
Обратите внимание, что можно запустить любой DataForm CLI команда в рабочем процессе CI. Однако некоторые команды нуждаются в учетных данных для запуска запросов на ваш хранилище данных. В этих обстоятельствах вам следует зашифровать эти учетные данные и совершить зашифрованный файл на ваш хранилище GIT. Затем в вашем рабочем процессе CI вы расшифруете учетные данные, чтобы DataForm CLI можно использовать их.
Для получения дополнительной информации о настройке CI/CD для ваших DataForm Projects, пожалуйста, смотрите наши Документы Отказ Как всегда, если у вас есть какие-либо вопросы или хотели бы связаться с нами, пожалуйста, отправьте нам сообщение на Слабый Действительно
Оригинал: «https://dev.to/dataform/ci-cd-for-etl-elt-pipelines-2mgm»