Аудит зрелости QA: восемь категорий, по которым видно, где болит

Евгений Данилов· 2 мин чтения

Как устроен аудит зрелости QA, который я провёл в 23 продуктовых командах: восемь категорий, общий baseline и дорожная карта улучшений.

Это черновик первой версии сайта: текст собран по резюме и ждёт авторской вычитки.

Когда команд становится много, разговор о качестве быстро превращается в обмен впечатлениями: «у нас вроде нормально», «у них вечно всё горит». Чтобы перейти от ощущений к решениям, нужен общий язык. Для этого я использую аудит зрелости QA.

В X5 Digital я провёл такой аудит в 23 продуктовых командах. Главный результат даже не оценки, а общий baseline: все команды измерены одной линейкой, и улучшения можно приоритизировать по данным, а не по громкости жалоб.

Восемь категорий

Модель состоит из восьми категорий. Каждая отвечает на свой вопрос.

  1. Ёмкость (capacity). Хватает ли людей и компетенций на тот объём изменений, который команда выпускает?
  2. Регресс. Сколько длится, что покрывает, кто его проводит и насколько ему доверяют?
  3. Автоматизация. Есть ли стратегия, на каких уровнях пирамиды живут тесты, влияют ли их результаты на решения?
  4. Практики тестирования. Тест-дизайн, исследовательское тестирование, участие QA на ранних этапах.
  5. Оценка рисков. Тестируем ли мы по рискам или «всё подряд»? Есть ли импакт-анализ изменений?
  6. Процессы. Как QA встроено в поставку: DoR и DoD, quality gates, релизная политика.
  7. Тестовые артефакты. Тестовая модель, чек-листы, тест-кейсы: есть ли они, актуальны ли, помогают ли.
  8. Метрики качества. Что измеряем, кто смотрит на эти цифры и какие решения на их основе принимаются.

Как превращать аудит в дорожную карту

Сам по себе аудит ничего не улучшает. Ценность появляется, когда выводы превращаются в поэтапный план. По итогам аудита в X5 Digital фокус дорожной карты лёг на:

  • risk-based testing: тестировать в первую очередь то, где цена ошибки выше;
  • shift-left: подключать проверки раньше, на этапе требований и разработки;
  • импакт-анализ: понимать, что именно затрагивает изменение;
  • тест-дизайн: меньше тестов, больше покрытия;
  • участие разработчиков в качестве: качество не должно быть «задачей тестировщика».

Что важно учесть

  • Аудит оценивает систему, а не людей. Если команда воспринимает его как проверку «кто плохо работает», данные будут искажены.
  • Одна и та же оценка по категории может означать разное в разных контекстах. Поэтому вместе с цифрами нужны короткие комментарии.
  • Повторный аудит через какое-то время показывает, работает ли дорожная карта.

Черновик. Текст собран по резюме и требует авторской вычитки: шкала оценок, примеры вопросов по каждой категории и выводы стоит дополнить из реального опыта.

Источник: Резюме: X5 Digital, аудит 23 команд.

По этой теме

Найти материал