Регресс со 120 до 15 минут: что на самом деле позволило релизиться каждый день
Кейс Overgear: как сокращение регресса, автоматические smoke-тесты и risk-based go/no-go помогли перейти с релизов раз в две недели на ежедневные.
В Overgear мы перешли с релизов раз в две недели на ежедневные и параллельно на trunk-based development. Регресс за это время сократился примерно со 120 до 15 минут. Самое интересное в этой истории даже не скорость автотестов, а то, что вокруг них поменялось.
Исходная точка
QA-функции не было, я строил её с нуля. Со временем собралась команда из семи человек: пять функциональных QA-инженеров и два автоматизатора.
Что сработало
1. Сильный лид автоматизации. Я нанял Test Automation Lead, который начал с аудита существующей автоматизации, а потом провёл миграцию с Cypress на Playwright. Без такого человека автоматизация легко превращается в набор красных тестов, на которые все перестают смотреть.
2. Функциональные тестировщики тоже автоматизируют. Мы не стали делить людей на «ручных» и «автоматизаторов» навсегда: функциональных QA прокачивали через курсы и менторинг от лида автоматизации.
3. Автоматический smoke и регресс как опора для trunk-based. Когда все изменения идут в основную ветку, быстрая обратная связь становится обязательной. 15 минут — это время, которое можно ждать перед каждым релизом. Два часа — нельзя.
4. Go/no-go по рискам, вместе с продуктом. Решение о релизе принималось на основе результатов автотестов, падений, а также количества, типа и критичности известных дефектов. Это не «QA разрешает», а совместное решение с продуктом.
5. QA-дежурство. Еженедельная ротация: обращения пользователей, валидация тикетов, триаж багов, статус-репорты, SLA по поддержке и дефектам, согласованные с продуктом. Ежедневные релизы без быстрой реакции на обращения быстро теряют доверие.
Вывод
Быстрый регресс — необходимое, но не достаточное условие частых релизов. Нужны ещё понятные критерии go/no-go, дежурство и команда, которая умеет поддерживать автоматизацию.
Черновик. Текст собран по резюме и требует авторской вычитки: какие проверки вошли в 15-минутный набор, как менялись подходы к flaky-тестам и как выглядел чек-лист go/no-go.