Искусственный интеллект уже генерирует тысячи тестов за секунды, но реальные кейсы…
Искусственный интеллект уже генерирует тысячи тестов за секунды, но реальные кейсы показывают, что QA‑стратегию на одном ИИ строить нельзя.
Недавний разбор показывает: команды массово штампуют AI‑тесты для своих приложений, покрытие формально растет, а крупные облачные вылеты (включая инциденты AWS) все равно случаются. По данным исследования Gartner, до 40% ИИ‑сгенерированных тестов не соответствуют реальным сценариям использования, а MIT показывает, что до 25% критичных security‑дыр в облачных средах такие тесты просто не ловят. Получается, красивый рост покрытия без проверки качества самих тестов превращает AI‑QA в иллюзию контроля.
Еще ярче это видно на примере конкретного проекта: Copilot нагенерил 420 тестов для модуля платежей, покрытие кода прыгнуло с 58% до 84%. Но при мутейшн‑тестировании эти AI‑тесты ловили только 58–62% внесенных багов, то есть почти половина дефектов спокойно уходила в прод. Авторы выводят простую вещь: без метрики качества тестов повышение coverage ИИ‑инструментами создает ложное чувство безопасности.
Источник: https://pandev-metrics.com/docs/blog/ai-generated-tests-quality
В оригинальном посте есть изображение или вложение — оно доступно в Telegram.