Аудит зрелости QA: восемь категорий, по которым видно, где болит
Как устроен аудит зрелости QA, который я провёл в 23 продуктовых командах: восемь категорий, общий baseline и дорожная карта улучшений.
Когда команд становится много, разговор о качестве быстро превращается в обмен впечатлениями: «у нас вроде нормально», «у них вечно всё горит». Чтобы перейти от ощущений к решениям, нужен общий язык. Для этого я использую аудит зрелости QA.
В X5 Digital я провёл такой аудит в 23 продуктовых командах. Главный результат даже не оценки, а общий baseline: все команды измерены одной линейкой, и улучшения можно приоритизировать по данным, а не по громкости жалоб.
Восемь категорий
Модель состоит из восьми категорий. Каждая отвечает на свой вопрос.
- Ёмкость (capacity). Хватает ли людей и компетенций на тот объём изменений, который команда выпускает?
- Регресс. Сколько длится, что покрывает, кто его проводит и насколько ему доверяют?
- Автоматизация. Есть ли стратегия, на каких уровнях пирамиды живут тесты, влияют ли их результаты на решения?
- Практики тестирования. Тест-дизайн, исследовательское тестирование, участие QA на ранних этапах.
- Оценка рисков. Тестируем ли мы по рискам или «всё подряд»? Есть ли импакт-анализ изменений?
- Процессы. Как QA встроено в поставку: DoR и DoD, quality gates, релизная политика.
- Тестовые артефакты. Тестовая модель, чек-листы, тест-кейсы: есть ли они, актуальны ли, помогают ли.
- Метрики качества. Что измеряем, кто смотрит на эти цифры и какие решения на их основе принимаются.
Как превращать аудит в дорожную карту
Сам по себе аудит ничего не улучшает. Ценность появляется, когда выводы превращаются в поэтапный план. По итогам аудита в X5 Digital фокус дорожной карты лёг на:
- risk-based testing: тестировать в первую очередь то, где цена ошибки выше;
- shift-left: подключать проверки раньше, на этапе требований и разработки;
- импакт-анализ: понимать, что именно затрагивает изменение;
- тест-дизайн: меньше тестов, больше покрытия;
- участие разработчиков в качестве: качество не должно быть «задачей тестировщика».
Что важно учесть
- Аудит оценивает систему, а не людей. Если команда воспринимает его как проверку «кто плохо работает», данные будут искажены.
- Одна и та же оценка по категории может означать разное в разных контекстах. Поэтому вместе с цифрами нужны короткие комментарии.
- Повторный аудит через какое-то время показывает, работает ли дорожная карта.
Черновик. Текст собран по резюме и требует авторской вычитки: шкала оценок, примеры вопросов по каждой категории и выводы стоит дополнить из реального опыта.