Ограничения и ситуации, когда попарное тестирование не подходит
Краткий ответ
Попарное тестирование неэффективно при сложных зависимостях параметров, необходимости проверки всех возможных комбинаций или критичных специфических сочетаний, а также когда требуется анализировать более двух параметров одновременно.
Развёрнуто
Краткий ответ
Попарное тестирование становится неприменимым, если в системе присутствуют сложные взаимозависимости параметров, критично покрыть все возможные варианты или специфические комбинации, а также когда дефекты проявляются только при взаимодействии более двух параметров.
Как это работает
Попарное тестирование (pairwise testing) направлено на сокращение количества тестов за счёт проверки всех возможных пар значений параметров. Оно работает эффективно, когда большинство дефектов вызваны взаимодействием именно двух параметров.
Однако, если в системе:
- существуют сложные взаимозависимости между параметрами, требующие тестирования всех комбинаций (комбинационное тестирование);
- критично проверить конкретные уникальные сочетания параметров, которые не покрываются всеми парами;
- дефекты возникают при взаимодействии трёх и более параметров одновременно;
- значения параметров распределены неравномерно, и важные варианты могут быть упущены,
то попарное тестирование не сможет обеспечить достаточный уровень покрытия.
| Сценарий | Подходит попарное тестирование? | Альтернатива |
|---|---|---|
| Взаимодействие двух параметров | Да | Попарное тестирование |
| Взаимодействие трёх и более | Нет | Полное комбинирование / многомерное тестирование |
| Критичные уникальные сочетания | Нет | Целевое тестирование конкретных наборов |
| Сложные зависимости и покрытие | Нет | Комбинационное покрытие всех вариантов |
Пример
Параметры:
- Браузер: Chrome, Firefox
- Операционная система: Windows, Linux
- Режим работы: Автоматический, Ручной
Попарное тестирование создаст набор тестов, покрывающий все пары значений, например:
1) Chrome + Windows
2) Firefox + Linux
3) Автоматический + Chrome
...
Если же дефект проявляется только при сочетании Firefox + Linux + Ручной режим, попарное тестирование это не выявит, так как покрывает только пары, а не тройки.
Что важно знать на собеседовании
- Попарное тестирование снижает количество тестов, покрывая все пары параметров.
- Оно не подходит, если дефекты вызваны взаимодействием трёх и более параметров.
- При наличии сложных зависимостей и критичных уникальных сочетаний требуется полный перебор или целевое тестирование.
- Неравномерное распределение значений параметров может привести к пропуску важных тестов.
- Важно уметь выбирать технику тест-дизайна в зависимости от требований к покрытию и ресурсных ограничений.
Тема: Техники тест-дизайна | Уровень: middle