Искусственный интеллект уже генерирует тысячи тестов за секунды, но реальные кейсы…

· из канала «Про QA»

Искусственный интеллект уже генерирует тысячи тестов за секунды, но реальные кейсы показывают, что QA‑стратегию на одном ИИ строить нельзя.

Недавний разбор показывает: команды массово штампуют AI‑тесты для своих приложений, покрытие формально растет, а крупные облачные вылеты (включая инциденты AWS) все равно случаются. По данным исследования Gartner, до 40% ИИ‑сгенерированных тестов не соответствуют реальным сценариям использования, а MIT показывает, что до 25% критичных security‑дыр в облачных средах такие тесты просто не ловят. Получается, красивый рост покрытия без проверки качества самих тестов превращает AI‑QA в иллюзию контроля.

Источник: https://coaio.com/news/2026/05/ai-generated-tests-revolutionizing-software-reliability-or-just-hype-2pgc/

Еще ярче это видно на примере конкретного проекта: Copilot нагенерил 420 тестов для модуля платежей, покрытие кода прыгнуло с 58% до 84%. Но при мутейшн‑тестировании эти AI‑тесты ловили только 58–62% внесенных багов, то есть почти половина дефектов спокойно уходила в прод. Авторы выводят простую вещь: без метрики качества тестов повышение coverage ИИ‑инструментами создает ложное чувство безопасности.

Источник: https://pandev-metrics.com/docs/blog/ai-generated-tests-quality

В оригинальном посте есть изображение или вложение — оно доступно в Telegram.

#ai
Оригинал и комментарии: t.me/pro_qa/243

Найти материал