Альянс веб-аналитики и экспертной оценки для улучшения юзабилити приложения

По нашему опыту, наилучшие результаты получаются, если в ходе проекта сочетать разные методы: например, одним методом выявить гипотезы, а другим — их верифицировать. Если речь идёт о юзабилити-аудите, то для формулировки гипотез отлично подходит веб-аналитика, а для их верификации — экспертная оценка или юзабилити-тестирование.

Звучит всё это слишком абстрактно, поэтому давайте рассмотрим один из примеров такого взаимодействия в одном из наших проектов, где как раз использовалось сочетание веб-аналитики и экспертной оценки.

В 2017 году нам доверили провести анализ и диагностику юзабилити-проблем у мобильного приложения одного российского ТЦ. Глобальной целью проекта было повышение лояльности пользователей к приложению. От нас требовалось выявить основные юзабилити-проблемы приложения и дать рекомендации по их устранению. Делать это предполагалось при помощи метода экспертной оценки.

Приложение в основном выполняет информационную функцию. Его главная задача — упрощать пользователям времяпрепровождение в любимом ТЦ. Для этого в нем есть такие функции, как поиск товаров, навигация внутри ТЦ, новости, события, акции, бонусы и ещё несколько полезных сервисов.

Приложение уже несколько лет просуществовало на платформах iOS и Android. Активность пользователей отслеживалась через Google Analytics. На момент старта работ уже были накоплены данные за значительный период. Не хватало некоторых настроек, например, сегментации на авторизованных пользователей и обычных, а также посетителей ТЦ. Но имеющихся данных уже было достаточно, чтобы оценить востребованность отдельных разделов и функций приложения, изучить общие количественные показатели (общее количество и длина сеансов, MAU\LMAU, 30d retention) и описать аудиторию (базовая демография, региональность, время и просмотры экранов, глубина просмотров).

Результаты изучения данных веб-аналитики стали основой для запланированной далее экспертной оценки. Например, поскольку экспертная оценка проводится по сценариям и персонам, мы взяли основные маршруты пользователей из веб-аналитики, и выделили крупнейшие группы аудитории по полу, возрасту и местоположению. Учитывая эти данные, а также информацию об основных действиях пользователей, мы составили портреты пользователей.

Также, опираясь на данные веб-аналитики, мы выделили функции, которыми пользуются чаще и реже всего. Обе группы функций мы подвергли отдельному анализу, но в зоне повышенного внимания были именно те из них, которыми по какой-то причине пользовались мало. Нужно было понять, что с ними делать дальше: дорабатывать (пользуются редко потому, что неудобно) или удалять из приложения (пользуются редко, потому что не испытывают потребности). В число таких функций попала помощь при парковке и схемы проезда. В рамках ЭО предстояло изучить доступность точек входа таких функций, их общее удобство, а также соответствие целевой аудитории.

Наконец, мы составили список экранов, на которых пользователи задерживаются дольше всего — потенциальные проблемные участки приложения. Дальше нам предстояло оценить их удобство для пользователя.

Сбор этих данных позволил упростить и ускорить экспертную оценку. Эксперту удалось сформировать наиболее точные и эффективные рекомендации, благодаря полученному из данных аналитики понимания ключевых принципов взаимодействия пользователей с приложением.

Следующим шагом нам необходимо было проанализировать интерфейс самого приложения и сформировать рекомендации, как сделать приложение удобнее для пользователей.

В ходе экспертной оценки наш специалист описал ряд юзабилити-проблем (в формате гипотез) и выявил основные слабые места приложения. Далее, каждую гипотезу мы преобразовывали в ряд показателей и метрик, которые стремились отслеживать. Вот пара примеров:

• Некоторые функции, например процесс регистрации в бонусной программе, признаны слишком сложными для пользователя. Мы сформировали гипотезы по оптимизации отдельных шагов, которые пользователь проходит, чтобы воспользоваться такими функциями. Для отслеживания такого, мы добавили в аналитику определение пользователя на каждом шаге сложной функции и настроили построение воронок аудитории, чтобы наглядно видеть проблемные шаги и измерять их количественно.
• Некоторые функции, например фильтры для поиска магазинов в списке по их характеристикам и поисковую выдачу, эксперт предложил оптимизировать. Для анализа мы стали отслеживать моменты входа и выхода из фильтров и прочих разделов, чтобы можно было замерять среднее время работы с такими функциями. А также настроили отлавливание параметров фильтрации, чтобы сегментировать аудиторию и сравнивать время только между аналогичными сценариями.

В будущем нам предстояло оценить эффективность от внедрения рекомендаций эксперта. Поэтому мы дали заказчику рекомендации по дополнительной настройке аналитики.

Так как все запрошенные нами доработки аналитики требовали непосредственного вмешательства в программные коды приложения, мы сформулировали их в виде отдельного документа и передали в департамент разработки заказчика.

Когда все нюансы были улажены, а рекомендации эксперта внедрены, начался период сбора данных, который длился несколько месяцев. В итоге мы получили исчерпывающий объем данных для оценки эффективности внедрённых изменений.

Например, мы увидели, что в результате нашей работы качественные показатели при переходе пользователей на новые версии приложения выросли. Так, retention 30d по iOS-приложению вырос после внедрения изменений практически в 2 раза.

Эти показатели растут и по сей день. Ниже на иллюстрации приведена динамика показателей в Google Analytics, показывающая, что удалось сократить время сеансов, при этом увеличив количество целевых действий и просмотров целевых экранов. Совместная динамика этих показателей при небольших абсолютных значениях количества просмотров говорит о росте заинтересованности пользователей мобильным приложением и упрощении доступа к его контенту. Таким образом, цель проекта была достигнута.

При этом эффект от внесения изменений и выпуска новых версий приложения стал полностью измеримым, что позволило сформулировать рекомендации по дальнейшей доработке приложения и повышения общих показателей юзабилити для него.

Автор текста и специалист на проекте — Антон Жилин. К сожалению, Антон больше не работает с нами. Мы благодарны Антону за интересный кейс и отличную работу!