Метрики готовности продукта к релизу

Специалисты по маркетингу уже много лет говорят о пяти «Р» маркетинга. Вообще-то их больше пяти, и у каждого специалиста по маркетингу есть несколько своих любимых. Вот некоторые из этих слов:

• Product (продукт)
• Pricing (ценовая политика)
• Promotion (мероприятия по стимулированию спроса)
• Positioning (позиционирование)
• Publicity (PR, пиар, паблисити)
• Packaging (упаковка)
• Pass-along (доведение до потребителя)
• Permission (разрешение, доверие).

Это своего рода мнемоническая подсказка для специалиста по маркетингу. С помощью такого списка можно контролировать свою работу. Например, проверить, все ли вы сделали для того, чтоб люди поверили в ваш продукт или услугу, в то, что вы для них произвели. – Сет Годин, Фиолетовая корова.

В конце разработки продукта необходимо оценить насколько он готов к использованию пользователями. Этому может помочь список критериев, по которому можно оценить готовность продукта. Этот список может меняться, так как он зависит не только от самого продукта, но и от процесса разработки. По аналогии с подсказкой в маркетинге я подготовил список из четырёх «F», который поможет вам это сделать.

Баги (Failures)

• keep ratio: оценить соотношение количества дефектов, которые остаются после триажа, к общему количеству открытых багов
• критичность и важность багов, которые перенесли на следующую версию
• критичность багов, обнаруженных за последние недели перед релизом
• плотность дефектов, количество дефектов на количество измененных строк кода
• тренд по открытым багам за месяц до релиза
• соотношение обнаруженных и исправленных дефектов

Код (Functionality)

• code churn rate in time - частота изменений в коде перед релизом
• какая часть фич, запланированных в начале разработки, была реализована?
• ревью чейнджлогов - есть ли изменения в коде, которые не являются исправлениями багов и требуют отдельного тестирования?

Фичи продукта (Features)

• “quality ratings для новых фич” vs “критичность наличия этих фич для продукта”
• % покрытия запланированными ручными и автоматическими тестами
• количество непроверенных багов по каждой фиче
• результаты измерения производительности в сравнении с аналогичными продуктами или предыдущими версиями
• готовность автотестов, сколько фич тестировалось без автоматических тестов
• покрытие кода для старого функционала и новых фич тестами
• количество циклов тестирования
• ревью тестпланов для новых фич

Отзывы по использованию (Feedback)

• % нового функционала, проверенного програм-менеджером (или человеком, который непосредственно общается с будущими пользователями)
• отзывы пользователей, принимавших участие в бета-тестировании
• отзывы отдела продаж
• используется ли продукт сотрудниками компании?
• мнение ключевых людей, принимавших участие в выпуске продукта, о готовности продукта