Законодательное предупреждение: В течение долгих часов смотреть на экран, чтобы идентифицировать ошибки, не подходит для глаз. Лучше создать программное обеспечение, чтобы найти ошибки.
Типичная история разработчика
Если вы похожи на меня, кто часами искал ошибки в операторе журнала или на поиске разумной причины объяснить неудачу долгой работы, такой как Spark в производстве, то вы должны читать дальше.
Мы живем в мире, где все может пойти не так в неожиданное время, и это приемлемо, но то, что неприемлемо, это не знать причину этого. Установить причины, такие как, работа не удалась, потому что у нее не хватало памяти недостаточно. И, следовательно, добавление большего количества диска, больше оперативной памяти или больше процессора не всегда является правильным ответом. Получение правильного ответа не должно быть затруднено, так как приложение, потребление памяти не является черным ящиком, а просто использует другой инструмент с открытым исходным кодом.
Но угадайте, что, довольно часто это сложно, несмотря на то, что исходный код открыт. Много раз, мы находимся в режиме пожара, и мы не можем получить ответы в течение нескольких минут, которые могли бы помочь критическим бизнес-операциям и сохранили прекрасный вечер для чего-то особенного. И когда мы найдем коренную причину и исправляем ошибку, это похоже на время вечеринки. Время расслабиться и расслабиться, а также немного пиццы или бирьяни (высокопроизводимое рисовое блюдо).
Привет! Держись на секунду. Почему мы не можем просто отслеживать прогресс работы, когда мы отслеживаем статус нашего порядка бирьяни. Это должно быть прямо. ß
Время построить платформу Dev-Ops на стероидах
Итак, мы, где мы = я и мой Соучредитель + Life Partner Решила использовать мои программирование и ее пользовательский дизайн, чтобы построить одну платформу Dev-Ops для больших данных с отличной эстетикой. Но уже есть так много служб развертывания, мониторинга и ведения журнала. Так почему бы не просто объединить эти части, чтобы начать.
Что ж, я не очень большой поклонник, чтобы управлять слишком большим количеством услуг, чтобы сделать одну вещь. Кроме того, встроение разведки в эти сегментированные услуги приносит свой собственный набор проблем. Наконец, команда в конечном итоге тратит значительное время, поддерживая каждую из этих услуг самостоятельно. Почему бы просто не использовать одну платформу или позволить платформе позаботиться о том, чтобы эти независимые услуги работали вместе. Эта платформа — то, что мы строим, так что вы сосредоточены на разработке, и мы управляем зависимыми услугами, такими как CI/CD, диспетчер секретов, хранилище конфигурации, мониторинг производительности, управление журналами и кластеры больших данных.
Ты еще там?
Да? Большой! Терпение является ключом.
Быть ответственным
Так было ли эти причины достаточно, чтобы подтолкнуть меня, чтобы стать соучредителем полного стека из разработчика Spark. Очевидно нет.
Я хотел бы взять на себя ответственность за каждую копейку, потраченную на эти массовые кластеры, выполняющие аналитические рабочие места. И это была наиболее важной причиной для начала этого проекта, чтобы каждый разработчик мог знать, какие ресурсы используют их работа, и устраняет потерь вместе. Мы оба чертовски стремятся устранить потери кластеров и экономить стоимость для всех предприятий.
Если вы не можете измерить, вы не можете управлять — Марисса Майер
Таким образом, измерение является ключом, который управляет мотивацией платформы Gigahex.
Если вы не можете справиться, кто -то может потерять работу — я
Быстрая настройка — до 60 секунд
Интеграция с другими инструментами занимала довольно много времени, если не кошмар. Один из тестов, на который у меня есть, настраивается все с нуля до 60 секунд. Больше не нужно загружать двоичные файлы и установки агентов на свой кластер для основных журналов и метрик. Всего один двоичный, в одном месте, с одной командой и одной панелью, вы сможете найти ответы на скрытые вопросы.
Быть миллиардами, а не миллиардер
Мы стремимся стать миллиардами, которые искренне заботятся о том, чтобы сэкономить миллиард минут, потраченных на запуск массовых кластеров на миллиард долларов без особой причины.
Давайте поговорим
Эта платформа была бы неполной без вашего ценного предложения и идей. Мы хотели бы услышать больше о проблемах, с которыми вы сталкиваетесь при разработке и заведении приложений больших данных в производстве. Просто стреляйте по электронной почте в [sade] [at] [gigahex.com], чтобы выкинуть обсуждение.
Оригинал: «https://dev.to/shadamez/why-are-we-building-devops-platform-for-big-data-4ke8»