Метрики готовности продукта к релизу


Специалисты по маркетингу уже много лет говорят о пяти «Р» маркетинга. Вообще-то их больше пяти, и у каждого специалиста по маркетингу есть несколько своих любимых. Вот некоторые из этих слов:

  • Product (продукт)
  • Pricing (ценовая политика)
  • Promotion (мероприятия по стимулированию спроса)
  • Positioning (позиционирование)
  • Publicity (PR, пиар, паблисити)
  • Packaging (упаковка)
  • Pass-along (доведение до потребителя)
  • Permission (разрешение, доверие).

Это своего рода мнемоническая подсказка для специалиста по маркетингу. С помощью такого списка можно контролировать свою работу. Например, проверить, все ли вы сделали для того, чтоб люди поверили в ваш продукт или услугу, в то, что вы для них произвели. – Сет Годин, Фиолетовая корова.

В конце разработки продукта необходимо оценить насколько он готов к использованию пользователями. Этому может помочь список критериев, по которому можно оценить готовность продукта. Этот список может меняться, так как он зависит не только от самого продукта, но и от процесса разработки. По аналогии с подсказкой в маркетинге я подготовил список из четырёх «F», который поможет вам это сделать.

  • keep ratio: оценить соотношение количества дефектов, которые остаются после триажа, к общему количеству открытых багов
  • критичность и важность багов, которые перенесли на следующую версию
  • критичность багов, обнаруженных за последние недели перед релизом
  • плотность дефектов, количество дефектов на количество измененных строк кода
  • тренд по открытым багам за месяц до релиза
  • соотношение обнаруженных и исправленных дефектов
  • code churn rate in time - частота изменений в коде перед релизом
  • какая часть фич, запланированных в начале разработки, была реализована?
  • ревью чейнджлогов - есть ли изменения в коде, которые не являются исправлениями багов и требуют отдельного тестирования?
  • “quality ratings для новых фич” vs “критичность наличия этих фич для продукта”
  • % покрытия запланированными ручными и автоматическими тестами
  • количество непроверенных багов по каждой фиче
  • результаты измерения производительности в сравнении с аналогичными продуктами или предыдущими версиями
  • готовность автотестов, сколько фич тестировалось без автоматических тестов
  • покрытие кода для старого функционала и новых фич тестами
  • количество циклов тестирования
  • ревью тестпланов для новых фич
  • % нового функционала, проверенного програм-менеджером (или человеком, который непосредственно общается с будущими пользователями)
  • отзывы пользователей, принимавших участие в бета-тестировании
  • отзывы отдела продаж
  • используется ли продукт сотрудниками компании?
  • мнение ключевых людей, принимавших участие в выпуске продукта, о готовности продукта
Метки: projectmanagement