45IXМеждународная научно-практическая конференция
УДК 33
Окусков Иван Сергеевич Сахаров Дмитрий Михайлович Okuskov I. S.
Sakharov D. M.
Студенты Северо-Западного института управления - филиала
РАНХиГС при Президенте РФ Российская Федерация, г. Санкт-Петербург Наумов Владимир Николаевич д-р воен. наук, профессор, зав. кафедрой бизнес-информатики Северо-Западного
института управления РАНХиГС при Президенте РФ Российская Федерация, г. Санкт-Петербург Students at the North-West Institute of Management of the RANEPA under the President of
the Russian Federation Russian Federation, St. Petersburg
ПРОБЛЕМЫ ВАЛИДАЦИИ ПРОДУКТОВЫХ ГИПОТЕЗ И ИНСТРУМЕНТЫ, ПОМОГАЮЩИЕ ПРЕОДОЛЕТЬ ИХ
PRODUCT HYPOTHESIS VALIDATION PROBLEMS AND TOOLS
TO HELP OVERCOME THEM
Аннотация: В статье посредством анализа доступных инструментов для проверки продуктовых гипотез выявлены ключевые отличия инструменты и проблемы процесса проверки гипотез. Сделаны выводы о наиболее эффективных инструментах, а также приводит перспективы использования инструментов.
Ключевые слова, продуктовая гипотезы, проверка гипотез, продукт.
Abstract: In the article, by analyzing the available tools for testing product hypotheses, the key differences between the tools and the problems of the hypothesis testing process have been identified. Conclusions are made about the most effective tools, as well as the prospects for the use of tools.
Keywords: product hypotheses, hypothesis testing, product.
Методология продуктового подхода в отличие от проектного подхода основана на первичности не процесса, а его результата - продукта, который кому-то нужен, решает проблемы пользователей, имеет свою аудиторию на рынке и др. Проблема валидации нового продукта направлена на проверку его
«Инновационные аспекты развития науки и техники» ценности. Новая профессия менеджера ИТ-продуктов (product manager) направлена на решение профессиональных задач управления всеми процессами по разработке нового ИТ-продукта.
Под процессом валидации будем понимать доказательство того, что требования пользователей или конкретного сегмента пользователей удовлетворены. В упрощенном варианте используется выражение «проверка гипотез», т. е. вынесение решения - применять данную гипотезу в продукте или нет.
Стоит отметить, что изучение данной тематики в большей части происходит на практике т. к. все перечисленные в работе инструменты можно описывать статистическими методами. В этом случае теоретическая база достаточно большая, но, если рассмотреть со стороны применимости к продукту - пока научных работ по этому направлению недостаточно, система инструментов имеет различные трактовки и почти каждый автор, применяя инструмент, изменяет его исходя из предметной области или конкретной задачи.
В данной работе будут рассмотрены проблемы проверки продуктовых гипотез и набор инструментов и подходов, которые созданы для уменьшения неопределенности при проверке гипотезы.
Большое количество бизнесов закрывается потому, что предлагают продукт, который не нужен потребителям. Это одна из мыслей книги Эрика Риса «Бизнес с нуля. Метод Lean Startup для быстрого тестирования идей и выбора бизнес-модели» [1, стр 22]. Данная проблема затронула немалую часть молодых компаний. По данным аналитического агентства CB Insights на 2019 [2, стр.1] год 42% стартапов закрывается именно вследствие отсутствия спроса на технологию или функционал, который они предлагают пользователям. Список причин провалов стартапов представлен в таблице 1.
IXМеждународная научно-практическая конференция Таблица 1. Топ 20 причин провалов стартапов
Причина провала стартапа Доля провалов
Нет потребности на рынке 42%
Закончились средства 29%
Неправильная команда 23%
Проиграли конкурентам 19%
Неверная цена продукта 18%
Недружественный пользователю продукт 17%
Продукт без бизнес-модели 17%
Плохой маркетинг 14%
Игнорирование пользователей 14%
Несвоевременный запуск продукта 13%
Отсутствие фокуса, единого направления в стартапе 13%
Разногласия между членами команды или инвесторами 13%
Не подействовала смена стратегии 10%
Недостаток мотивации 9%
Неудачное географическое расширение 9%
Отсутствие финансирования/интереса инвесторов 8%
Проблемы с законодательством 8%
Отсутствие нужных знакомств / нежелание использовать 8%
существующие связи
Выгорание 8%
Несвоевременная смена курса продукта 7%
Составлено автором на основе данных исследования агентства CB Insights « The Top 20 Reasons Startups Fail»
Исходя из всего списка причин закрытия стартапов, можно сделать вывод о том, что функционал продукта — это лишь вершина айсберга, и, если получилось обойти эти 42% причин провала, найдя потребность в продукте, вас ожидает еще немало причин, по которым бизнес может закрыться.
Рассмотрим процесс создания продукта, который успешно вышел на рынок или только готовится это сделать. Он состоит из ряда этапов, так называемых, продуктовых гипотез, которые были ранее проверены и переведены в разработку. Под продуктовой гипотезой понимают предложение или идею, реализовав которую, можно получить определенную ценность. Именно продуктовые гипотезы помогают обойти провалы, которые ведут к закрытию компании.
«Инновационные аспекты развития науки и техники» Таких гипотез может быть разное количество, и оно не пропорционально
сложности продукта. Продукт может быть технически сложен и иметь
проверенную временем бизнес-модель, которая работает и требует лишь
технологической поддержки, или может иметь совсем простые технические
решения. Однако сложный рынок с высокими требованиями пользователей,
большой базой конкурентов и огромным пользовательским опытом, которые
сложно трансформировать приводит к возникновению проблемы. С другой
стороны, продукт сам по себе может быть сложным.
В первом случае гипотез может быть немного по причине малого контакта
с пользователем. Рассмотрим данную ситуацию на примере банковского
мобильного приложения. Пусть в приложении есть несколько полей для ввода
данных для того, чтобы отправить заявку на дебетовую карту и всего одну
кнопка «Отправить», которая отправляет данные и выдает ответ пользователю.
В таком случае потребуется универсальный дизайн и одна механика
взаимодействия. Работа по продвижению в масштабах не нужна, на технологию
уже есть спрос, и пользователи готовы платить за это.
Во втором случае потребуется большое количество продуктовых гипотез,
запас времени на работу с пользователем и несколько итераций для создания
продукта, который может конкурировать. Если на рынке уже есть решения и
опыт пользователей по контакту с подобным продуктом, это лишь усложняет
процесс работы, т. к. необходимо перенять уже имеющиеся механики, к которым
привыкли пользователи, добавить функционал для создания конкурентного
преимущества. Также стоит помнить про бюджеты, которые пока без доходных
частей, а у конкурентов уже есть налаженные финансовые потоки и весь тот
функционал, который только будет разработан в новом продукте.
Рассмотрим пример все того же банковского приложения. Теперь в нем
внедряют голосового ассистента, который будет отвечать на вопросы и
проводить простые операции по счетам. Все механики пользователь уже знает, а
что может сделать ассистент еще неизвестно. Есть конкуренты, которые уже
внедрили аналогичный функционал, и они показывают разные метрики, у одних
IXМеждународная научно-практическая конференция - повышения спроса на операции, с использованием ассистента, а у других -
большое количество ошибок ассистента и негатив в отзывах пользователей.
Перейдем к процессу валидации. Из статистики по внедрению различных технологий в сферы деятельности человека можно сделать вывод о том, что практически любой процесс можно провести в сервисе, так же как на решение практически любой задачи - есть некий продукт. Речь идет о продуктах для широкой целевой аудитории. В нишах все еще есть шанс получить конкурентное преимущество за счет новизны технологии, которая будет решать специфичную проблему сегмента.
Из этого можно сделать вывод об актуальности вопроса работы с продуктовыми гипотезами. Основным процессом, в котором участвует гипотеза, является валидация.
Основные гипотезы, проверяя которые можно комплексно уменьшить неопределенность в решении разработки продукта, приведены на рис.1.
- о необходимости функционала
Рис. 1. Основные продуктовые гипотезы
Составлено автором на основе Ильченко Е. «7 гипотез, от проверки которых зависит успех нового продукта» [5, стр. 1].
Гипотеза о наличии проблемы Первая и самая главная часть всего продукта - это способность решать проблемы пользователей. Если нет проблемы или пользователь не решает ее, то продукт может быть обречен на провал еще до старта разработки и выхода на рынок. Данная гипотеза влияет на продукт целиком и после ее проверки можно
«Инновационные аспекты развития науки и техники» закрыть продукт или проект, без дальнейших действий т.к. идея не будет
востребована на рынке.
Стоит также отметить время выхода на рынок того или иного решения. Продукт может появиться раньше спроса или наличия необходимой инфраструктуры, как например, электрокары на момент 2010-2020 годов, или наоборот продукт «опоздал» и решение уже давно известно и применяется конкурентами, например, виджеты в операционной системе IOS 14.
В обоих примерах быстрое решение для гипотезы будет ошибочно. Как показала статистика продаж компании Tesla в 499 550 электромобилей за 2020 год, решение о развитии производства и модельного ряда, а также развитие самой технологии было верно, хотя процесс создания инфраструктуры был не так прост.
Можно сказать, что электромобили немного опередили появление проблемы и потребности в такой технологии, но локальный пик развития пришелся на время, когда пользователи стали интересоваться возобновляемыми источниками энергии.
Также и с вторым примером, в операционной системе Android виджеты были достаточно давно, и как функционал они прошли пик популярности. Но стоило их переосмыслить компании Apple в своих девайсах, пользователи активно начали использовать этот функционал и обновлять устройства, чтобы получить доступ к виджетам. Потребность в этом функционале была продиктована многозадачностью, которая вошла в жизнь людей достаточно давно, и можно сделать вывод что функционал немного опоздал с моментом выхода на рынок.
Гипотеза о целевой аудитории
Второй по значимости является гипотеза о сегментах целевой аудитории. Каждый продукт имеет свою область применения, и она может быть четко ограничена признаками пользователей. Например, продукт применим только в легкой промышленности при изготовлении определенного материала. С ним достаточно просто работать. Противоположной, например, является ситуация с
IXМеждународная научно-практическая конференция сайтом социальной сети, которой пользуются практически все жители планеты,
независимо от возраста или социального статуса. Аудитория не ограничена по
запросам, технологиям и иным признакам.
Формулировка и проверка данной гипотезы позволит найти необходимый
сегмент целевой аудитории, это позволит правильно позиционировать продукт и
выстраивать рекламные кампании.
Гипотеза о ценностном предложении Для формулировки гипотезы о ценностном предложении обратимся к книге "Разработка ценностных предложений" Остервальдера, Пинье, Барнарды, Смита [4]. Гипотеза формулируется по шаблону:
Наш <товар / услуга / продукт / фича> помогает потребительский сегмент>, которые хотят <выполняемая задача / проблема / цель>, тем, что <определение профита (снижает / избавляет / увеличивает / позволяет)>. В отличие от <конкурирующее ценностное предложение>.
Внимание обращается на профит - выгоду, которую получает конечный пользователь. Изменение этой выгоды, как правило состоит из контроля нескольких метрик поведения клиента. Метрики и их группа не дают точного ответа, на вопрос о гипотезе, но максимально приближают верному ответу.
Гипотеза о необходимости функционала Необходимость функционала - это один из самых важных моментов продукта. Он подстраивает под себя многие части, такие как цена и целевая аудитория. Часто можно встретить сервисы, в которых нет необходимого для работы функционала и, как правило, он нужен в момент перехода с одного инструмента на другой. Но в то же время есть функционал, который является конкурентным преимуществом. В итоге новый продукт не получает необходимого количества аудитории, и компания закрывается.
Все рассмотренные гипотезы, подвергаются проверке, с использованием инструментов, приведенных на рис.3.
«Инновационные аспекты развития науки и техники»
- Проблемные и решенческие интервью
Инструменты валидации продуктовых гипотез
Jobs То Ве Done
А/В тесты
Рис. 2 Инструменты валидации продуктовых гипотез
Составлено автором
Стоит отметить, что ограничений по применению инструментов для валидациии продуктовых гипотез нет. Каждый метод дает часть уникальных данных, на основе которых принимается решение о гипотезе. Рассмотрим данные инструменты.
Для проверки основной гипотезы, о наличии проблемы используется набор из двух интервью - проблемное и решенческое. Первое из них направлено на выявление проблемы и выявление цены решения для пользователя. Основные вопросы, которые задаются на этом интервью:
Есть ли проблема?
Как пользователь оценивает проблему?
Как пользователь решает эту проблему?
Второе интервью - решенческое, направлено на демонстрацию пользователю решения его проблемы, с использование вашего продукта. Основные вопросы, которые задаются на этом интервью:
Как пользователь оценивает решение.
Насколько ценно решение для пользователя.
Готов ли пользователь платить за ваше решение.
Для таких интервью необходимо, чтобы:
Гипотезы для проверки были выбраны (после ранжирования).
Сценарии интервью разработаны (каждое интервью состоит из большого списка вопросов, большая часть из которых из предметной области продукта).
Был подготовлен шаблон для заполнения результатов интервью.
Проблемные и решенческие интервью
IXМеждународная научно-практическая конференция
Jobs To Be Done
В основе данного инструмента также лежат работы Даниэла Канемана, Амоса Тверски, и др. [5], которые исследовали процесс принятия решения. Рассматривали вопросы, почему пользователи принимают нерациональные решения, не всегда действуют в своих интересах и бывают непоследовательны, высказывая мнение о продукте.
На основе полученных результатов в конце 80-х годов 20 века благодаря предпринимателю Бобу Моэста и профессору Гарвардской школы бизнеса Клейтону Кристенсену была создана методология [6]. В статье для Harvard Business Review и книге «Дилемма инноватора» Кристенсен пишет, что растущее количество данных о пользователях не помогает компаниям, а уводит в неправильном направлении [7].
Подход JTBD отличен от интервью. Пользователи компаний выполняют разделение целевой аудитории на сегменты, на основе пользовательских или продуктовых характеристик. Он состоит из следующих частей:
Определение гипотез для проверки.
Проведение интервью.
Анализ данных.
Составление Job Stories.
Принятие решения.
A/B тестирование
Относительно вышеперечисленных данный инструмент кажется проще т.к. он дает более четкое решение. Однако он требует больше времени на подготовку. Например, в самой простом A/B тесте представляются два решения (гипотезы) относительно функционала. Первое из них рассматривает ситуацию, как действует функционал сейчас. Во втором рассматривается новое предложение. Здесь используются методы математической статистики, проверяются статистические гипотезы о значимости значений анализируемых метрик.
Примеры применения инструментов 166
«Инновационные аспекты развития науки и техники»
В качестве примера использования инструментов рассмотрим
распространенный сценарий - покупку продукта в интернет-магазине. Начнем с формулирования продуктовой гипотезы. Предположим, что доступ к корзине покупок должен быть у пользователя на любом экране приложения. Быстрой доступ к корзине позволит повысить конверсию в покупку. Добавим метрику, из данных которой можно сделать вывод об эффективности функционала -конверсия в покупку станет больше на 5%.
Проблемное интервью имеет следующий вид. Формулируем вопросы для выявления проблемы доступности корзины:
Как часто вы обращаетесь к корзине в приложении?
Сложно ли найти корзину в момент добавления товаров?
После какого действия вы чаще всего открываете корзину?
Выделим 2 сегмента:
Пользователи обращаются к корзине редко, это связано с объемом заказа. Корзину пользователь находит не быстро и тратит на это 3-4 клика. Ее открывают только в конце заказа для проверки.
Пользователи открывают корзину часто, т.к. в ней можно проверить промокод и акции. Корзину найти для них не просто, но пользователи запомнили ее местоположение.
Решенческое интервью имеет вид. Формулируем вопросы для подтверждения решения продуктом проблему пользователя.
Соответствует ли положение корзины вашим потребностям?
Изменилось ли время покупки, при новом расположении корзины?
Вы стали чаще завершать заказы, используя корзину в новом месте?
Выделим 2 сегмента
Новое положение корзины стало удобнее. После добавления товара не ищут корзину, а сразу открывают на экране товара. Время покупки сократилось. Покупать стали чаще, но это практически незаметно т.к. потребление не увеличилось.
IX Международная научно-практическая конференция Положение корзины при первом использовании не вызвало вопросов.
Время покупки также сократилось. Покупать стали чаще, т. к. за промежуток
времени можем проверить больше акций и выбрать нужное.
При использовании JTBD-инструмента как и в методе интервью идет
общение с пользователями или потенциальными пользователями. Пусть,
например, вопросы для интервью имеют вид:
На какие работы пользователь нанимает наше приложение?
Почему пользователь осуществляет покупки через наше приложение?
Почему пользователю не нравиться наше приложение?
После этого используется второй инструмент, Jobs Stories (JTBD).
Воспользуемся им для решения задачи, в которой нужно что-то купить, быстро
оплатить товар, чтобы он пришел как можно раньше.
Данный инструмент предполагает выделение следующих элементов:
Желаний:
Быстро покупать товары; Проверять акции и промокоды. Катализаторов:
Срочно нужно было собрать набор предметов в школу; Была скидка, которая действовала только 2 часа. Ограничений:
Долго искал корзину для проверки ее содержимого;
Перестал пользоваться приложением, время от начала покупок до заказа было больше, чем в других приложениях. Еще выделяют силы прогресса: За новое решение: Образ быстрой покупки; Ситуация с необходимостью срочного заказа. За старое решение:
Привычка использовать другой сервис; Отвержение ненужных быстрых заказов.
«Инновационные аспекты развития науки и техники»
Используем третий из перечисленных инструментов, А/В тестирование.
Для рассмотренного примера необходимо подобрать выборку пользователей, которые:
Совершали покупки не более 1 месяца назад.
Имеют в среднем от 5 заказов в месяц.
Средний чек заказа от 1000 рублей.
Эти показатели помогут получить активных пользователей, которые уже хорошо разбираются в продукте.
Далее данной выборке предоставляют версию приложения, в котором корзина перемещена на новую позицию и измеряют количество покупок в этой версии. После этого сравнивают эту метрику с аналогичной по количеству выборкой пользователей, но без изменений положения корзины.
Если принята статистическая гипотеза на заданном уровне значимости о том, что пользователи, с изменённым местом корзины стали чаще завершать заказ и покупать в приложении, то делается вывод о том, что данный функционал нужно вводить в продукт. Также контролируют обратную связь, в которой могут появиться вопросы о месте расположения корзины.
Выводы
Практика показывает, что большинство компаний давно использует интервью (проблемные и решенческие), также часто проводят А/В тестирования, а метод JTBD не так популярен. Такие результаты можно объяснить сложностью методов и данных для анализа после использования методов.
Все методы проверки продуктовых гипотез следует использовать комплексно. Редки примеры, когда компания успешно выводит продукт на рынок, используя только один инструмент, например, решенческие и проблемные интервью.
Нужно заметить, что пока не существует метода, который дает 100% результат при проверке продуктовой гипотезы и убирает все сомнения. Пока окончательное решение лежит на руководителях продуктов. Эти решения лишь отчасти лишены неопределенности. Рынок изменяется, пользователи меняют
IX Международная научно-практическая конференция привычки и их потребности также не стабильны. Именно эти факторы могут
изменить вашу гипотезу уже после внедрения в продукт.
На основе вышеперечисленного можно сказать, что стоит искать методы валидации продуктовых гипотез, которые будут ставить под сомнение любой функционал на протяжении всего времени работы продукта. Только такой метод позволит быть постоянно актуальным и быстро меняться.
Библиографический список:
1. Рис Э. Бизнес с нуля. Метод Lean Startup для быстрого тестирования идей и выбора бизнес-модели. / Э. Рис. - Москва: Альпина Паблишер, 2018. - 22 с.
2. From lack of product-market fit to disharmony on the team, we break down the top 20 reasons for startup failure by analyzing 101 startup failure post-mortems. // CBINSIGHTS [Электронный ресурс]. — URL: https://www.cbinsights.com/reports/The-20-Reasons-Startups-Fail.pdf (дата обращения 01.05.2021)
3. Ильеченко Е. 7 гипотез, от проверки которых зависит успех нового продукта // VC.RU [Электронный ресурс]. — URL: https://vc.ru/marketing/57710-7-gipotez-ot-proverki-kotoryh-zavisit-uspeh-novogo-produkta (дата обращения 01.05.2021)
4. Остервальдер А., Пинье И. Разработка ценностных предложений. Как создавать товары и услуги, которые захотят купить потребители. / А. Остервальдер, И. Пинье. - Москва: Альпина Паблишер, 2020
5. Kahneman D. ,Tversky A. Prospect Theory: An Analysis of Decision under Risk / D. Kahneman, A. Tversky // Econometrica — 1979. — Vol. XVLII. — P. 263—291.
6. Кристенсен Клайтон К..; Диллон, К.; Холл Т.; Дункан Д. «Знайте, что нужно делать своему клиенту» / К. Кристенсен Клайтон.; К. Диллон,; Т. Холл; Д. Дункан // Harvard Business Review - 2016 сентябрь
«Инновационные аспекты развития науки и техники»
7. Кристенсен Клайтон М. Дилемма инноватора. Как из-за новых технологий погибают сильные компании / М. Кристенсен Клайтон - Москва: Альпина Паблишер, 2019.
УДК 33
Эрдниева Асия Юрьевна Erdnieva Asiya Yuryevna
Студентка-магистрант Master's student
Российский экономический университет им. Г.В. Плеханова Plekhanov Russian University of Economics
ДВИЖЕНИЕ БЕЗ ДВИГАТЕЛЯ MOVEMENT WITHOUT AN ENGINE
Аннотация: В статья рассматривается современное состояние вертолетной индустрии в Российской Федерации и перспективы ее развития с учетом мировых трендов. Технологии современных авиационных двигателей доступны лишь небольшому клубу государств и имеют критически важное значения для транспортной инфраструктуры Российской Федерации. В материале приводятся статистические данные позволяющие определить объемы производства винтокрылых машин в постсоветский период и запланированные объемы на ближайшую перспективу. Статья позволяет читателю ознакомиться не только с историческими аспектами развития вертолетной индустрии, но определить основные драйверы роста и перспективные направления развития.
Abstract: The article examines the current state of the helicopter industry in the Russian Federation and the prospects for its development, taking into account global trends. Modern aircraft engine technologies are available only to a small club of states and are of critical importance for the transport infrastructure of the Russian Federation. The article provides statistical data that allow us to determine the volume of production of rotorcraft in the post-Soviet period and the planned volumes for the near future. The article allows the reader to get acquainted not only with the historical aspects
