如何衡量产品改版的效果？

最近翻了翻前段时间做的一些需求，发现有些需求有明显效果，有些需求没什么明显的效果，还有些需求甚至造成了负面的效果…

在网上看到了一组这样的数据，发现原来这是一个普遍的现象。

素材来源于互联网

于是就开始反思为什么自己一直念叨着上线前要有预期，上线后要有对比，结果到了实践中却忘的一干二净，所以就打算梳理一下衡量改版效果的方法，便于自己后续形成固定的思维模式。

注：本文提到的改版包含三种场景，分别是新增功能、优化功能和删除功能，后文中提到的改版默认包含这三种可能的情况。

上线只是开始

正常情况下，产品是一个没有终点的项目，需要不断的去优化，去迭代。而每个迭代的版本都可以看作一个固定的项目，需要在特定的时间周期内重复性的做一些固定的事情，比如产品方案、设计、开发、测试、发布上线等…

不少团队也确实是按照这个流程来走的，但却忽视了非常重要的一个环节，那就是衡量，个人觉得衡量是产品迭代过程中，非常重要的一个环节，缺少了这个关键环节，那产品只是在盲目的进行迭代…

因为我们上线的所有功能其实都是基于某个猜想的，而猜想是有可能正确也有可能错误的，只有经过用户的测试之后，才能进行证实或者证伪。

这些猜想在经受用户测试的时候，用户会用他们的实际行为来告诉我们他们投票的结果，而这些结果又会反应在对应的数据指标上。

所以，对于产品迭代而言，上线只是开始，是下一轮迭代的开始。

衡量改版效果的流程

发现自己渐渐开始有职业病了，做个什么事情不画个流程图或者不用个思维导图梳理一下，总感觉难受…

所以就先来梳理一下改版衡量的整个流程吧，可以简单的先把整个流程分为改版前、改版中、改版后三个阶段。 

• 改版前最重要的就是弄清楚改版的目的是什么，以及达到了对应的目的之后，反应在相关的数据指标上会有什么变化；

• 改版中最重要的事情就是明确相关数据指标是否能够取到，没有的话是否需要埋点；

• 改版后最重要的就是根据预设置的目标来提取对应的数据指标，然后进行对比分析。

展开来说，整个流程会包含以下几个部分。

 首先需要明确的是这次改版的目标是什么，新增功能、优化功能和删除功能想实现的目的肯定是不同的，明确了改版的目标，才能够找到相应的数据指标来进行衡量。

其次需要根据不同的目标选择合适的数据指标来进行衡量，可以采用GSM模型来进行分解，具体来说就是目标（Goal）→信号（Signal）→指标（Metric）。

素材来源于互联网 

明确了关联的数据指标之后，就需要设定上线预期值，作为后期评定改版效果的预设值…

然后需要结合数据指标来走查现有的数据埋点，看所需要的数据是否有埋点，没有的话就需要进行相关的埋点，不然等取数的时候才发现没有埋点就会很痛苦了。

之后需要在产品发版之后静置一段时间再去获取相关的数据，因为用户更新App版本需要一段时间，而有些数据指标可能也需要多观察一段时间，比如次周留存、使用频次这些数据。

最后是根据数据指标进行对比和解读，对比主要分为横向对比与纵向对比，可以通过通过选择合适的维度来进行期群分析，比如时间、版本号、渠道、客户端等维度。

在进行指标解读的时候不仅需要考虑维度上的差异，还需要考虑其他很多因素，比如埋点异常、技术故障等，可能也需要考虑部分的外界因素，比如节假日、热点活动等…

在分析对比之后，需要根据数据指标的情况找到对应的原因和潜在的增长点，作为后续优化迭代的方向。

然后需要开始新一轮的衡量流程，再不断重复这个流程…

如何衡量改版效果

整个衡量的流程已经梳理完毕，我们就来看一下具体怎么衡量改版的效果吧。这部分主要包含三大部分，分别是改版对自身的影响、对其他关联功能的影响以及对用户的影响。

具体包含以下几个维度：

• 基础数据指标

• 功能留存度

• 对产品核心指标的影响

• 流程转化率

• 用户行为

上面这些维度对应着不同的改版目标，改版效果衡量可能包含其中的一个或者若干个，具体需要结合特定的改版目标进行分析。

主要对应的就是功能的常规数据指标，主要包含使用人数、DAU%、使用频次、日人均使用频次、使用分布、使用时长等，具体选择哪些数据指标还需要结合产品的属性和周期阶段。

这个数据指标类似于产品中的留存率，对于特定的产品功能而言，也会有着留存指标，这个从某种程度上可以衡量功能的黏性。有多少人使用过这个功能，使用之后有多少人会继续使用该功能…

用户的需求是一个连续的过程，产品功能也并不是完全独立的模块，某些功能会与其他功能模块产生联动效应，甚至能提升整个产品的核心指标。

比如点赞、评论、转发功能对UGC类的产品价值有多大？比如关注主题功能对资讯类的产品而言能否提升新用户的留存？比如网易云音乐最近的改版强化了视频的入口，能否提升App整体的打开频次和使用时长？

用户的目标都可以拆成一个个的子任务，进而串成一个完整的流程，子任务越多，意味着前置条件越多，也就意味着，用户完不成的可能性更高。

如果改版的某个功能在这样的一个流程里，那除了一些关联数据指标外，还需要关注改版对整个流程转化率的影响。

比如在注册流程中增加一个邮箱验证功能，那对整个流程的转化率而言，数据上会有多大的变化？

用户才是改版的行为主体，他们才是最终的判断标准。通常情况下这部分可能会包含用户画像、使用路径和使用方式这几部分。

用户画像指的的是实际使用功能的用户情况，常见的维度有性别、客户端、地域、使用时间、网络条件等，通过用户的使用场景能够更好的了解产品的使用情况，进而找到可能的优化点。

使用路径指的是用户完成任务的整个行为路径，我们设计的行为路径很有可能与用户的真实路径并不一致，参见公园绿地规划的道路附近那一条条踩出来的小道…

以购买流程为例，用户的行为路径可能并不相同，比如可能会存在以下几种路径：

• 搜索》详情页》购买》购买完成；

• 列表页》详情页》购物车》购买》购买完成；

• 推荐》列表页》详情页》购买》购买完成；

• 等等…

不同路径的操作步骤可能是不同的，步骤越多，用户完成任务的转化率肯定就越低，我们只能说尽可能的减少用户完成任务的步骤，并且想办法优化这条路径。

使用方式指的是用户使用产品的方式可能与我们预期的完全不同，比如拿来砸核桃的诺基亚，用来做热饮吸管的搅拌棒，用朋友圈的小视频来鉴定微商商品的真实性…

明确用户使用产品的方式之后，可以适当的进行功能引导或者优化，比如使用了A功能的用户有XX%也会使用B功能，而使用了B功能的用户留存和活跃都会相对较高，那就可以考虑用户在使用A功能之后引导用户去使用B功能。

上面就是衡量改版效果的一些维度和方法，具体还需要结合改版的目标来进行选择。

本文仅仅是数据方面的分析，千万别忘了还有真实用户的反馈，毕竟数据只是冷冰冰的存在，而且数据本身还可能会有各种误差，甚至可能是具有欺骗性的。

数据分析思维加上用户思维，才能让我们走的更远。

以上，就是本文的主要内容，欢迎斧正、指点、拍砖…