На одном проекте заказчику очень сильно хотелось автоматизацию, причем не абы какую, а…
На одном проекте заказчику очень сильно хотелось автоматизацию, причем не абы какую, а скриншот-тестирование, тк казалось, что "это решит все проблемы" 🙈
При этом тестировщиков на проекте нет от слова совсем, продактов нет, продукт тестирует менеджер / рук.проекта. Но схема вполне рабочая до определенного момента времени.
Что же делать в таком случае, когда вас приглашают как эксперта прийти и "сделать так, чтобы все было хорошо и качественно" и желательно чтобы t2m не увеличился 😜
Предлагаю начать с...
Риски автоматизации без тестировщиков и Quality Gates
1. Некому грамотно разрабатывать и поддерживать автотесты. Автоматизированные тесты сами по себе – это программный продукт, который требует навыков и ресурсов для разработки и сопровождения. Без опытного тестировщика или QA-инженера некому тщательно продумать сценарии тестирования, регулярно обновлять эталонные скриншоты и разбирать причины падения тестов. В результате авто-тесты могут покрывать не те случаи или постоянно “краснеть” из-за мелких изменений, и команда начнет игнорировать результаты. Это сведет пользу автоматизации к нулю.
2. Ложное ощущение качества и пропущенные дефекты. Существуют примеры, когда проекты имели тысячи автотестов с зеленым статусом, но это не спасло их от серьезных сбоев. Если нет полноценного QA, легко попасть в ловушку: «раз тесты прошли, значит все в порядке». Скриншот-тесты проверяют только визуальные изменения и не гарантируют, что функциональные баги или проблемы UX не просочатся в релиз. Без ручной проверки и аналитического взгляда тестировщика возможны серьезные дефекты, которые авто-тесты попросту не умеют выявлять. Итог: команда уверена в качестве, а пользователи продолжают находить баги.
3. Отсутствие “Quality Gate” – нет механизма удержать сырой код. Quality Gate – это условный “шлагбаум качества”, который не позволяет выпустить изменение, пока не выполнены определенные критерии (например, прошли все тесты, нет критичных багов, покрытие кодом не ниже порога и т.д.). В нашем случае таких механизмов нет. Это значит, что даже если автоматические тесты выявят проблему, ничто не помешает неопытной команде пропустить не исправленный дефект дальше. Без процесса код-ревью, без обязательного прохождения тестов перед слиянием в ветку – автотесты легко обойти. Получается иллюзия контроля: тесты есть, но они не влияют на решения.
4. Напрасные траты времени и денег при сыром процессе. Автоматизация тестирования – серьезная инвестиция. Если внедрять ее “на сыром месте”, где еще не отлажены базовые практики качества, велика вероятность потратить ресурсы впустую. В профильных статьях отмечается, что не всякая автоматизация дает нужное покрытие – можно просто выбросить время и деньги. Скриншот-тесты особенно капризны: малейшее изменение в интерфейсе потребует перелопатить эталонные скриншоты, а без дисциплины и ресурсов это быстро превращается в накопление нерелевантных падений. В итоге компания платит за разработку автотестов, их поддержку, CI-инфраструктуру, но возврат инвестиций близок к нулю – качество не улучшается соразмерно вложениям.
5. Усложнение процесса и еще больший хаос. Добавление сырой автоматизации в хаотичный процесс может… усилить хаос. Команда, не имея опыта с тестами, может тратить больше времени на борьбу с самими автотестами, чем на развитие продукта. При отсутствии тестировщика разработчики будут вынуждены контекстно переключаться между своей работой и починкой упавших тестов, что снижает скорость разработки и приводит к стрессу. В худшем случае проект потеряет фокус: вместо того чтобы навести порядок в процессах, все увязнут в поддержке ненадежного автоматизированного контура.
Продолжение:
Типичные проблемы проектов без QA