Автоматизация без QA: почему сначала процесс, а потом автотесты
Собрано из серии постов в канале «Про QA»: риски автоматизации без тестировщиков и quality gates, типичные проблемы проектов без QA и пошаговый план.
На одном проекте заказчик очень хотел автоматизацию, причём именно скриншот-тестирование: казалось, что «это решит все проблемы». При этом тестировщиков на проекте не было совсем, продактов тоже, продукт тестировал руководитель проекта. Меня позвали как эксперта «сделать так, чтобы всё было хорошо и качественно», и желательно без роста time-to-market.
Риски автоматизации без тестировщиков и quality gates
- Некому разрабатывать и поддерживать автотесты. Автотесты — тоже программный продукт. Без QA некому продумывать сценарии, обновлять эталонные скриншоты и разбирать падения. Тесты постоянно краснеют, и команда начинает их игнорировать.
- Ложное ощущение качества. Тысячи зелёных автотестов не спасают от серьёзных сбоев. Скриншот-тесты проверяют только визуальные изменения.
- Нет quality gate. Даже если тесты нашли проблему, ничто не мешает выпустить дефект дальше. Тесты есть, но на решения они не влияют.
- Напрасные траты. Автоматизация — серьёзная инвестиция. На сыром процессе ROI близок к нулю.
- Ещё больше хаоса. Команда тратит больше времени на борьбу с автотестами, чем на продукт.
Типичные проблемы проектов без QA
- качество — размытая ответственность, проверяют «чтобы работало у меня»;
- хаотичные изменения и постоянные регрессии;
- непонятно, что считать багом, нет критериев приёмки и единого реестра дефектов;
- реактивный подход вместо проактивного, низкая предсказуемость релизов.
План: четыре шага до автоматизации
1. Базовый процесс контроля качества. Требования и критерии приёмки, Definition of Done с упором на качество, простые метрики (баги до и после релиза, скорость исправления), код-ревью и статический анализ как «мини-QA».
2. Ручное тестирование и QA-поддержка. Назначить ответственных за тестирование, покрыть ключевые сценарии чек-листами, проверять не только «счастливые пути», выделить тестовый контур.
3. Quality gates. Gate на уровне разработки, gate в CI/CD, регулярный регресс перед релизом, утверждение релиза ответственным за качество.
4. Постепенная автоматизация. Оценить целесообразность и регулярно пересчитывать ROI. Начинать с нижних уровней пирамиды (unit, API, интеграция), UI и скриншот-тесты — в последнюю очередь, пилотом на нескольких стабильных экранах и с процессом разбора отличий.
Иначе получается автоматизация на болоте.