Шаги, которые стоит предпринять прежде, чем автоматизировать, часть 4
Начало истории:
1. Риски автоматизации без тестировщиков и Quality Gates
2. Типичные проблемы проектов без QA
3. Шаги, которые стоит предпринять прежде, чем автоматизировать, часть 1
4. Шаги, которые стоит предпринять прежде, чем автоматизировать, часть 2
5. Шаги, которые стоит предпринять прежде, чем автоматизировать, часть 3
Шаги, которые стоит предпринять прежде, чем автоматизировать, часть 4
4. После наведения порядка – переходить к автоматизации постепенно. Лишь когда вышеописанные основы работают, имеет смысл планировать автоматизацию тестирования:
4.1. Оценка целесообразности автотестов. На этом этапе следует четко определить, для чего нужны автотесты и какие проблемы они должны решать. Возможно, цель – ускорить регрессионное тестирование или покрыть сценарии, которые сложно проверять вручную на каждом релизе. Сформулируйте ожидаемую отдачу. Стоит регулярно пересчитывать ROI от автотестов, чтобы понимать, окупаются ли вложения. Если после наведения порядка выяснится, что ручное тестирование справляется и проблем с визуальными дефектами минимум – может быть, масштабная автоматизация UI вообще не понадобится.
4.2. Выбор приоритетных областей для автоматизации. Начинать лучше с тех проверок, которые наиболее рутинны и повторяемы. Например, сначала можно автоматизировать юнит-тесты для ключевой логики (это относительно просто и сразу ловит много ошибок на уровне кода). Затем – API- или интеграционные тесты для бизнес-слоя. И только в последнюю очередь брать самые капризные UI-тесты. В идеале, к моменту их внедрения интерфейс должен быть относительно стабилен. Стоит помнить про принцип пирамиды тестирования: большая часть автотестов – на нижних уровнях (модульном, сервисном), и лишь малая доля – UI-тесты. Скриншот-тестирование как раз относится к верхнему уровню, его имеет смысл внедрять, когда нижние слои уже покрыты и отлажены (иначе вы строите “автоматизацию на болоте”).
Принцип «пирамиды тестирования»: наиболее надежные и дешевые в поддержке проверки — на нижних уровнях (Unit), тогда как UI-тесты наверху пирамиды самые дорогие и медленные. Делать ставку только на верхний уровень без базы внизу — рискованно.
4.3. Пилотное внедрение скриншот-тестов. Когда придет время до них добраться, начните с малого. Выберите несколько стабильных экранов/страниц, визуальная регрессия которых критична, и попробуйте покрыть их скриншот-тестами. Обязательно установите процесс пересмотра результатов: кто-то (желательно тестировщик или дизайнер) должен анализировать отличия скриншотов и решать, баг это или запланированное изменение. Настройте пороги чувствительности, чтобы мелкие допустимые расхождения (например, разница в 1px или разные данные пользователей на скрине) не помечались как баги. Только отработав подход на небольшом участке и убедившись, что команда умеет с ним работать, можно расширять покрытие. Такой постепенный подход предотвратит ситуацию, когда вы разом написали десятки скриншот-тестов, а они все упали – и никто не понимает, что с этим делать.