AWS Summit Online (6 Часть серии)
Что такое MLOPS? — Серия Sumit Summit AWS AWS
Изначально приходят из науки о науке данных и ML, прежде чем сосредоточиться на облачных реализациях и серверу, я был заинтересован в AWS AI Specialist Solutions Architect Джулиан яркий разговор о машинном обучении OPS: DEVOPS для науки о данных Отказ
OPS, OPS, OPS
MLOPS (OPS Machine Orsups) — еще один новый термин, следующий за рисунком DEVOPS и GitoPS (не забывать Devsecops, DataOps, Aiops, и что-то еще, что вы можете добавить «OPS» на), что я вижу все больше и больше в промышленность.
MLOPS в значительной степени вращается вокруг решения подобных вопросов, поскольку DevOps делает развертывание. Единственное отличие здесь, а вместо того, чтобы сосредоточиться на развертывании приложения, MLOPS сосредоточено на развертывании модели.
Если я честен, я не уверен, что нам нужно еще один заголовок «OPS», просто дифференцировать между моделью и приложением. В конце дня хорошо написанная модель ML часто является контейнеризованным приложением или двоичным объектом, что не разница от стандартного контейнерного приложения или банки.
Но опять же я работаю в отрасли, которая принесла американские фразы, такие как «Python Ninja», «10x-разработчик», а также рекурсивный дисциплин «Sparql» (Sparql протокол и язык запроса RDF); Так что, возможно, я не должен быть слишком критичным.
Ml все еще имеет долгий путь
Джулиан открыл, давая нам некоторые интересные факты о машинном обучении в промышленности. В частности, он процитировал обследование алгоритмы, которое обнаружило, что «55% компаний не развернули модель обучения машине» («компаниями». Алгоритма со ссылкой на предприятие, из которых у них было 750 респондентов, хотя они не публикуют, что метрики Они использовали для классификации бизнеса в соответствии с предприятием).
Работав как на науке, так и со стороны программного обеспечения, я честно не удивлен.
ML все еще является относительно новой концепцией для многих предприятий предприятия. Из моего личного опыта многие случаи использования корпоративного использования гораздо более BI сфокусированы, и еще предстоит понять и постучать в то, что может сделать модель ML для их традиционных панелей и отчетов. Обследование алгоритма показывает 21% от общего обзора, все еще оценивало случаи использования, чтобы увидеть, что даже потребность в модели ML.
В дополнение к этому, обследование алгоритма, также обнаружило, что из тех 45%, которые развернули модель обучения машины, примерно на 68% потребовалось где-то от 1 недели до более чем 1 года, чтобы развернуть одну модель.
Имейте в виду, что в лучшем практике Workflow CI/CD мы развертываем несколько раз в день (и в Gitops мы развертываем каждый коммит). Таким образом, одно развертывание, принимающее даже неделю, должно быть неприемлемо в современном проекте программного обеспечения.
Почему так медленно?
Джулиан продолжал говорить о том, как актуальный код ML — это лишь небольшая часть раствора ML. Хорошие решения для изучения машин требуют точных данных, которые нуждаются в том, что, среди прочего;
- коллекция
- проверка
- особенность
- инженер
- Управление метаданными
- Управление инфраструктурой
- автоматизация
- управление процессом
- Структура команды
Все это может представить свои собственные задачи. Один из которых он подчеркнул, заключался в том, что разные команды могут владеть частями процесса, каждый из которых требует собственного обслуживания, точек интеграции и рабочего процесса развития.
Это то, что я определенно видел все аспекты разработки программного обеспечения, он не специфичен для ML.
Мое собственное мнение по этому вопросу состоит в том, что разработчик/инженер/ученый, который разрабатывает исходный код (будь то приложение или модель), должен быть тот, кто возьмет его через весь жизненный цикл до развертывания. Это на мой взгляд ускоряет доставку и обеспечивает более последовательную и последовательную кодовую базу для модели, и позволяет избежать «бросать его через забор» в другие команды.
Развертывание и оркестроя моделей ML
Джулиан продолжал говорить о том, как мы можем использовать инструменты разработчиков AWS (код сборки кода, развертывание, трубопровод и т. Д.) Не только для развертывания традиционных приложений, но и для моделей ML, что следует за шаблонами, продемонстрированными в разговоре Loh Yiang Meng: CI/CD В масштабе: лучшие практики с AWS DevOps Services.
Это заставило меня подумать, если мы сможем использовать те же процессы и инструменты для моделей приложения, так и для ML, то почему мы должны относиться к моделям ML по-разному для приложений?
Во всяком случае, я отклоняюсь.
Так что теперь, когда мы можем развернуть нашу модель, как мы ее организовать?
По сравнению с приложениями многие модели ML и Data Science написаны больше в качестве скриптов, чем сервис; И как выделено, нам может потребоваться выполнить несколько небольших этапов, таких как очищение и проверка данных перед использованием нашей модели.
Смертный ML.
Джулиан продемонстрировал, как мы можем использовать ряд инструментов для оркестровых сценариев Sagemaker для выполнения этих шагов. Он упомянул ряд операторов, включая Apache Airflow, Netflix Metaflow, Kubernetes и AWS Phag-функции (что обеспечивает первоклассную поддержку сценариев Sagemaker).
Мне было интересно, я огромный фанат функций AWS PAGS, широко использовав его в рамках моих реализаций AWS без сервеса.
Несмотря на то, что находятся около 2015 года, функции AWS Step не имеют первоклассной поддержки для большинства других услуг AWS, и требует, чтобы вы написали небольшую функцию Lambda, чтобы вызвать фактическое обслуживание. Чем больше услуг AWS, которые пошаговые функции дают первоклассную поддержку, тем лучше.
Еще какой-то способ идти
В целом я ушел, думая, что ML на предприятии все еще имеет долгий путь, и что мы все еще видим много ворот в этой области.
У нас есть инженеры данных, которые пишут код, чтобы доставить данные, данные, пишущие модели данных, разработчики, написание приложений, чтобы превратить модель в сервис, а операции, развернутые его в средах.
Неудивительно, что вещи медленные и сложные, когда у нас есть это много передачи обслуживания. Если подходы, такие как MLOPS, могут помочь в этом, то это здорово, но для меня большая часть вопросов развертывания чувствует себя более похожим на бизнес и процессы, чем технические или инструменты.
Это, конечно, мои собственные мнения, и я хотел бы услышать ваши мысли о MLOPS?
Это часть моей текущей серии на недавнем онлайн-салоне AWS в последнее время.
Как всегда, содержание здесь описывает мои собственные мысли и понимание из представленного материала, а не взгляды докладчиков, которые я не говорю.
AWS Summit Online (6 Часть серии)
Оригинал: «https://dev.to/aws-builders/what-is-mlops-aws-online-summit-series-4l8h»