Автоматизированное тестирование, если правильно используется, может дать много преимуществ и пользы для проекта. С другой стороны, оно имеет определённые недостатки и подводные камни, о которых мы должны быть в курсе. В этой статье попытаюсь разобрать все преимущества и недостатки автоматизированного тестирования.
Преимущества
Проверка состояния
Автоматизированные тесты являются отличным способом подтверждения того, что приложение по-прежнему функционирует должным образом после внесённых в него изменений. Вполне возможно, что после добавления новой функции в приложение или исправления бага в приложение вносится новый баг, т.е. мы можем говорить о регрессионном баге.
Выполнив регрессионный запуск тестов, мы можем быстро отловить баги, вносимые новым функционалом, что позволит быстро определить проблемный модуль. В этом случае важно запускать тесты после каждого билда, чтобы ничего не пропустить.
Быстрый отчёт
Второе преимущество вытекает из предыдущего. Используя автоматизированное тестирование, разработчики могут быстро и без привлечения тестировщиков узнать корректно ли работает реализованный ими функционал, если, конечно, тесты запускаются сразу же после билда. Следует помнить, что при использовании API скорость прохождения тестов значительно повышается по сравнению с использованием UI.
Экономия человеческого ресурса
Прохождение автоматизированных тестов занимает определённое время, но всё равно оно быстрее, чем прохождение тестов тестировщиками вручную, особенно, если речь идёт о регрессии. В то время, когда запущены автотесты, тестировщики могут выполнять не покрытые автоматизацией тесты.
Возможность разработчикам внести свой вклад в тесты
По большей части тесты пишутся на том языке, что и приложение. Поэтому и разработчики могут поучаствовать в написании автотестов. Лично я не являюсь сторонником такой помощи и считаю, что разработчики не должны иметь отношения к составлению и написанию тестов, хотя ситуации бывают разные. В идеале, конечно, лишь ограничиться обменом опыта.
Недостатки автоматизации тестирования
Ложная уверенность в качестве
Автоматизированные тесты проверяют только то, на что они были запрограммированы. Тест может пройти успешно, а дефект остаться незамеченным, и всё из-за того, что тест не был запрограммирован на отлов этого бага. Прежде чем автоматизировать тест, убедитесь, что сценарий для него составлен корректно.
Ненадежность
Автоматизированные тесты могут свалиться из-за многих факторов. Таким фактором может стать незначительное изменение UI – интерфейса, падение сервиса, проблемы с сетью, загруженность тестовой машины. По возможности надо стараться минимизировать количество таких факторов.
Автоматизация не является тестированием
Автоматизированные тесты – это всего лишь запрограммированные шаги для выполнения какого-либо сценария. Многие, кто впервые сталкивается с автоматизацией, хотят автоматизировать все тест кейсы, чтобы избавиться от мануальных тестировщиков. На самом деле такое невозможно. Существуют особенности в тестировании, с которыми автотесты не справятся.
Техническое обслуживание тестов
Написание автоматизированных тестов требует определённого времени. Также время будет отнимать и поддержание их в актуальном состоянии. Если не обновлять тесты, то в регрессии, при достаточном их количестве, будет множество падений и всё преимущество их сойдёт на нет. Вам придётся сортировать слетевшие тесты от не актуализированных, что отнимет очень много времени.
Медленная обратная связь
Порой, после первого билда с новым функционалом, написание автотестов занимает больше времени, чем ручной прогон. Тут уже надо исходить из ситуации и приоритетов. При возможности старайтесь начать писать тесты одновременно с написанием разработчиками нового функционала. Можно сделать некую заготовку/скелет, а затем туда дописать необходимые проверки или локаторы после билда.
