Каковы драйверы производительности в вашей команде QA? Как увеличить покрытие и скорость по ряду платформ?
Если вы работаете в QA, вы можете испытать Whipsaw из команды разработки, толкая еще быстрее в направлении освобождения программного обеспечения, а широкий спектр платформ, на которых необходимо запустить ваши приложения.
С сегодняшными стандартами разработчики могут разрабатывать один раз, тестировать в разработке, и предполагают, что они сделаны. Наследие производительность QA остается ограниченной, поскольку QA все еще запускается тесты на одно устройство, операционную систему, браузер и размер просмотра в разное время. Все инструменты, которые обеспечивают масштабирование испытаний, все еще требуют проверки однолетнего времени, либо потому, что инструменты игнорируют рендуринг или флаг слишком много ошибочных визуальных различий.
До введения Visual AI Тестирование с Ultrafast Grid Отказ
Краткая история стандартов разработчиков 1999 — два десятилетия назад, разработчики построили приложения для двух браузеров, которые имели значение — Netscape Navigator и Microsoft Internet Explorer. У каждого были свои особенности и новые функции. Разработчики приложений писали для среднего поведения обоих. Окна доминировали на рабочем столе, хотя новые модели IMAC и Powermac начали восстановить яблоко. Потому что разводимая рендеринг, инженеры QA проверены веб-страницы против IE на Windows, затем Netscape в Windows. QA сделал много тестирования, чтобы гарантировать, что пользовательское поведение бежало на каждой платформе правильно.
2009 — Спустя десятилетие Windows по-прежнему доминировала на рабочем столе, а Internet Explorer до сих пор доминировал в использовании браузера — хотя Mozilla Firefox также имел широкое использование. Google Chrome, выпущенный в 2008 году, начал обрезать тягу. Что еще более важно, iPhone представил мобильный Safari в 2007 году, а Android представил мобильный Chrome в 2008 году. Разработчики построили поведение на стороне клиента в Java, Flash и ряд других инструментов — надеясь, что они могут пробежать все эти платформы.
2019 — Сегодня приложения работают на мобильных устройствах, ноутбуках и больших экранах 4K. Пакеты программного обеспечения и инструменты, такие как реакция, облегчают развитие в этом моде. Пользователи выбирают и легко переключаются среди Chrome, Firefox, Safari и Microsoft Edge. С HTML 5, CSS и стандартами JavaScript ваши разработчики могут одновременно и иметь высокую степень уверенности, что приложение, которое они пишет, будут работать на всех этих разных платформах, браузерах и размерах просмотра.
Пока они не сделают. Почему бы нет? Различия в рендерингах является наиболее распространенным виновником. Все Стороны договариваются о стандартах — просто рендеринг двигателей ведут себя немного по-разному. Но как вы обнаружите различия? Вы должны проверить их.
Что, конечно, где вы приходите. Чувствую себя полностью разорванно. Ваши команды развития чувствуют себя освобожденными по стандартам. Вы должны доказать их правильно — или найти отверстия в коде, которую они написали.
Нет прибыли в производительности QA
К сожалению, в то время как стандарты освободили разработчиков от рассмотрения браузеров, операционных систем и размеров просмотра, QA должен уйти через каждый. Рендеринг, шаг визуально представляющих HTML + CSS + JavaScript, отличается от двигателя браузера к двигателю браузера. Возможно, вы уже испытали вопросы — различия в браузере поведение рендеринга могут иметь большое влияние на презентацию приложений.
Эффективно, развитие предполагает процесс развития в один ко многим. Инструменты развития могут помочь ускорить процесс для разработчиков. Разработчики могут определить-проверить поведение между различными устройствами — как сравнение мобильных устройств поведения на рабочем столе. Но в большинстве случаев разработчики покидают тестирование грубых сил из множественных целевых направлений в команду QA. Разработчики причина, что они строят поведение и использование стандартов — поэтому они сделаны.
Это покидает вас, тестер, в мире боли. Как вы обеспечиваете правильное поведение? Где ваши инструменты «один ко многим», которые позволяют быстро проверить поведение этого приложения на всех этих различных платформах?
Наследие подходит баланс качества производительности и покрытия Наследие тест на односпальные подходы — предел производительности качества. Чтобы получить эффективность качества, команды компромит охват и усилия. Большинство команд QA используют один из этих трех подходов для проверки их приложений на нескольких устройствах, браузерах, операционных системах и размерах просмотра:
- Цель Значение
- Поток проверки
- Грубая сила
Давайте посмотрим на эти подходы и их подводные камни.
Цель Среднее среднее Если ваша организация нацелена на среднее, это потому, что скорость стала вашим главным водителем. Вы будете тестировать поведение на одной платформе или комбинацию известных приоритетных целей, которые составляют основную часть вашей базы. Вы готовы жить с непроверенными платформами, браузерами и размерами Viewport, потому что тестирование замедляет вас. Этот подход признает пределы устаревшего продуктивности QA для обеспечения широкого покрытия. Представляют собой средний пользователь и двигаться дальше.
Направляясь на среднем, оставляет ваши команды с ложным набором доверия — частично, потому что вы тестируете так же важно, как то, что вы тестируете. Если вы столкнулись с различиями в рендеринге, вы можете привлечь эти различия к вашему вниманию? Или вы просто проверяете полученные результаты HTML-выходов, сообщают разными браузерами? Если вы виновны в функциональной тестировании MyOPIA, ваши инструменты способны сообщать о неожиданном поведении рендеринга?
Если вы используете Checker DOM и Pixel, вы можете раскрыть визуальные различия — часто с неприемлемой скоростью указанных ошибок для расследования, которые не могут быть ошибками. В некоторых случаях различия пикселей не видны и будут игнорироваться пользователем. В некоторых случаях действительные различия DOM обусловлены изменениями приложения и снова не оказывают влияния на пользователя. Эти ложноположительные ошибки уменьшают эффективность этих инструментов.
Кроме того, вы можете использовать автоматический инструмент для визуального сравнения, который использует Visual AI Technology. Технология Visual AI — та же технология, используемая в распознавании лица и самостоятельно-транспортных средствах, имеет гораздо большей точностью для этой цели. У вас есть инструмент, который использует Visual AI?
Spot Check Следующий подход, чек Spot, включает в себя селективное тестирование определенных платформ, часто ручными тестерами. При использовании Spot Check вы представляете изображения страниц приложений на определенные платформы для тестеров для оценки. Spot Check — это как мультфильм «Насел разницу», с тестером играют роль различий Spotter.
Использование ручного тестирования для Spot Check имеет два недостатка, поскольку его эффективность зависит от людей, чтобы осуществлять приложение и искать различия. Первый недостаток является несоответствие — люди могут по-разному осуществлять приложение и не видеть такое же поведение. Например, если разница интереса не на экране приложения, прокрутка тестера вниз, чтобы сравнить всю страницу? Второй недостаток является точностью — поскольку люди должны выделить различия между страницами.
Автоматизированные инструменты могут помочь улучшить как согласованность, так и точность для проверки. Небольшие различия не будут упущены из виду. Полные отличия страниц можно сравнить и не нужен тестер для прокрутки и сравнения. Но, в зависимости от используемой технологии, вы можете быть затоплены оповещениями, которые являются ложными позитивами. Опять же, вам нужно что-то, что имеет высокую точность и использует технологию Visual AI.
Грубая сила Метод испытаний Brute Force тестирует все — все соответствующие устройства, браузеры и операционные системы. Есть компании, которые предоставляют этот вид тестовой среды и отчитываться с вами.
По большей части эти системы дают вам спокойствие, что поведение вашего приложения будет повторять с платформы на платформу. Но, что на самом деле тестируют эти системы грубой силы?
Если все, что вы делаете, запустит HTML-стимул через Selenium и утверждает результаты в выходной доме через Testng (или любой любой ваш любимый функциональный тестовый инструмент), вы действительно пытаетесь убедиться, что ваш сервер дает вам повторяемый вывод для стимула, запущенного в нескольких браузерах. Отказ Вы можете получить спокойствие. Но вы ожидаете каких-либо различий?
Реально нет. Если вы применяете те же команды в повторенной моде на сервер через браузер, вы когда-нибудь ожидаете, что ответ HTML отличается?
Ультрафастская сетка Для производительности QA
Если вы хотите охватить диапазон устройств, операционные системы, браузеры ваши клиенты могли бы использовать, думать по-другому. Почему бы не осознавать:
- Нанесите тест на сервер с входами в идентичной последовательности и измерить выходы. Любые различия, которые вы определяете в выходном выходе, указывают на различия на уровне сервера, которые указывают на серверный код.
- После того, как у вас есть выходной дом, просто сделайте DOM против целевых браузеров — вам не нужно перезагружать его на сервере.
- Используйте инструмент для измерения и сравнения визуального вывода — и получить производительность.
Примеры пришли к этой реализации в разработке нашей ультрафастской сетки. Чтобы проверить десятки комбинаций устройств, операционных систем, браузеров и размеров просмотра, вам не нужно проводить тест серверов на каждой платформе интереса. Вам необходимо сделать вывод DOM на каждом из этих устройств и сравнить, что вывод до предыдущего запуска на этом устройстве. Если выходы одинаковы — вы не сообщаете об изменениях. Когда вы определяете изменения, и ожидается, вы обновите свое приложение, чтобы отразить изменение. Когда вы определяете изменение ошибки, сообщите об этом обратно разработчику.
Глаза Applitools предоставляют такие возможности для одного устройства, браузера, операционной системы и размера просмотра. С Ultrafast Grid, Heach Applitools дает вам возможность продлить один тест во всех комбинациях устройства/браузера/операционной системы/размера просмотра, который вы хотите. Поскольку Applitools принимает этот начальный выходной DOM и повторно редит его для вас на этих других целях, Applitools принимает грубую активность из грубой силы. И, потому что Applitools Ultrafast Grid использует Visual AI, он подчеркивает только различия, которые пользователи заметили.
Ультрафастская сетка для охвата и точности Если вы ищете тестирование в диапазоне устройств, которые соответствуют тем, что могут испытать ваши пользователи, вы можете:
1) Ограничьте себя тому, что вы думаете, ваши пользователи попробуют 2) Удивите своих разработчиков и попробуй некоторые вещи, которые вы думаете, они не считали 3) Запустите кучу тестов, которые заставляют вас чувствовать себя хорошо о охвате
Или вы можете рассмотреть возможность использования глаз Applitools с Ultrafast Get Applitools Applitools — подход, который дает вам оба покрытия условий испытаний, а также возможность проводить эти тесты на всех целевых платформах, которые вы считаете, имеющими значение для ваших клиентов.
Чтобы узнать больше, читайте о Добавление ультрасовременной сетки к существующим тестам Отказ
Оригинал: «https://dev.to/michaelvisualai/developer-versus-qa-productivity-308e»