接着上次的聊,上次聊了我们在选择净推荐值这种方法进行研究时首先要考虑的一些问题。今天我们再来一起讨论下在做净推荐值调研时,应该注意的一些点。
净推荐值方法虽然特别的简单,但是使用起来并不一定是简单的。今天在一个群里偶然的知道了中国平安一直在做NPS,而且做的规模非常的大,覆盖平安旗下专业公司15家,共51条业务线。而且平安自创的NPS闭环管理体系也得了金融创新奖,算是国内把NPS做到比较极致的一家了。
一方面,平安这类服务型的公司非常适合做NPS,这种服务不存在任何的门槛,所以用户推荐也不存在门槛。另外,也需要有公司高层由上至下的推动,才能推动NPS全面的在公司层展开,平安就是成立了集团品牌与用户体验委员会,并持续的将NPS作为企业文化的重要主题在公司内进行推广。如果只是用户研究层来做这件事儿,则很难做到这种效果。平安对于NPS的运营可以说是做的很不错了,由10%多提升到了30%多。当然这个数据我们只做参考。
1. 所有的领域都适合使用 NPS 吗?
一个 toB 的公司进行用户调研,询问一个 B 端用户愿意把产品推荐给他人吗?这个用户可能要考虑一下,是推荐给谁?如果不是同领域的人,推荐给他们也没用,如果是同领域的人,虽然愿意推荐,但是最好不要和我有直接竞争关系。那他的回答会准确吗?
一个互联网借贷理财公司,问用户愿意把产品推荐给他人吗?这个用户可能要考虑一下:P2P 风险比较大,如果推荐给别人,不出问题还好,出了问题怎么对人家交代。自己觉得好就行了,还是不推荐了。他的想法能够直接的反馈在调研结果中吗?
相对来说,消费品领域和服务领域,推荐给他人是几乎不存在成本的,一是适用于所有人,比如电子产品谁都可以用,银行服务、通讯服务,每个人都需要。二是给他人造成损失的概率低。
所以,对于某些类别的 B 端产品,产品本身覆盖的人群有限;或者某些领域,存在极大的风险,或者其他一些领域,如果进行净推荐值调研,获得数据的准确性就需要进一步评估了。
2. 因为简单
这个方法只有两个问题,看起来非常的简单,但是使用起来未必是简单的。NPS 的值只是一个表象,用来作为参考和对比。NPS
方法的最终目的是良性利益驱逐不良利益,挖掘分数背后的原因,才是最根本的目的。保持和提升好的方面,剔除或优化不好的方面,进而提升产品的整体体验。
当把这个简单的方法进一步简化后,只获得一个值,是可以作为对比,但是又能怎样的,知道NPS 值是高了或者低了,然后呢?
3. 不要频繁的进行 NPS 调研
用户不是产品经理,不会每天感知你的产品,他们可能常用的路径只有一两个,你的优化调整他甚至都没有发现。所以和满意度类似,不要频繁的对用户进行
NPS
调研。建议最少一个季度或者半年为一个调研周期,或者以大版本更新迭代为时间点。通常大版本迭代之间会有多个小版本的优化,至少需要几个月不等的周期,大版本有较大的变化用户才会有直观的感受。
还有一点,上一次 NPS 调研的一些策略也需要一个消化的过程,如果调研间隔太短,可能上次遇到的问题都没有及时解决。
如果作为考核指标,也建议为季度考核,每个月都进行调研也会对用户造成打扰和形成疲劳。用户量不大的时候,也会遇到样本量的问题,引起误差。
4. 用户量不大的产品
用户量不大的时候,可能说明你的产品还处在需要野蛮生长的过程中,或者需要提升的是用户增长,个人认为这个阶段就采用 NPS
方法来找出原因以促进用户增长,并不是最优的选择。如果是面向的群体本身就不大,那么用户又推荐给谁呢?第一个问题就提到,怕并不是所有的领域都适合采用
NPS ,尤其是某些有自然屏障的行业(如某些垂直商业领域、P2P领域等)
产品用户量不大,也必然会导致样本量的不足,结果就是获得了比较糙的数据,数据的有效性和可比性都比较低。每次调研存在的大误差也会使得数据波动剧烈,对这种数据的剧烈变化也难以解释。因此,当产品用户量不大的时候,还是先解决更具体的问题吧。
5. 电话调研净推荐值靠谱吗?
在某些情况下, 比如需求比较紧急的时候;触达用户渠道有限的时候;或者用户量小的时候,会采用更直接的电话调研方式来获得 NPS 的数据。
但是有一个现象,通过电话调研回收的数据分值会有偏离,基本上不会收集到0、1、2等分数(除非遇到极端愤怒的用户)。其实这个也比较好理解,就是留面子效应(查了一下,还真有这个效应,哈哈),当面沟通的时候人都会说一些客套话,就算是不满意,给出的分数也会高于心理标准。这就像如果有人让你当面给他打个分,你都会尽量往好了说。
所以,尽量减少电话的方式来收集NPS,而且尽量每次采用同样的回收方式。比如上次都是通过问卷来收集,那么这次就尽量也还是通过问卷来收集。不要上次采用问卷来收集,这次采用电话调研来收集,那么数据就会存在偏差,对比的效度就会下降。
另外,很多先进的理论也都是由国外引入国内的,但是并没有很好的本土化,以及发展升华,很多都是单纯的直译过来使用的。本身东西方文化差异就比较大,而且有些理论的提出时间也比较久,提出的背景和环境也不一样,所以也要考虑这些方法的本土化和发展化。
比如下面这个传播比较广泛的 SUS
量表,如果直接使用直译过来的句子,可以发现某些句子差异性很小,比如第2、3个问题,第7、10个问题。另外有些语言对于普通用户来说也不容易理解或者有歧义,比如第6题,太不一致了是指什么不一致,产品、功能还是设计?如果每个用户的理解不同呢?
所以需要做些调整更新。以后有机会再深入讨论这个量表哈。
只有9-10分是推荐者合理的吗?
NPS
方法中给出0-6分的用户被定义为贬损者,7、8分的用户为中立者,9、10分的用户为推荐者。不过有的时候,在进行当面调研时,用户对你的产品或者服务认为不错,也愿意推荐给他人,但是你问他给出的具体分数是多少时,他会给8分、7分甚至6分,用户认为5分是中间分数,那么给出6、7分就是高于平均水平,还有些用户会认为9、10分是完美的,一般的公司很难达到完美。
所以这种评分的划分方式是不是合适中国的用户?或者国外的用户中会不会存在这种情况?有些国内做研究的同学会把分数做个处理,比如变成5分制,7分制,不知道效果会不会有变化,我没试过,只是在多次调研中都有遇到过这样回答的用户,所以也抛出来和大家一起思考一下。
衡量的只是意图,而不是行为
NPS 的提出就是因为满意度只能衡量用户的态度,而不是行为。比如用户对你的产品或者服务是满意的,但是未必会使用你的产品或者服务。而 NPS
的提出者是希望 NPS
是一个可以测量用户所做、所想的指标。但实际情况下,对这种方法使用的延伸,某些领域的产品或服务的测试就未必也能够测量出用户的所做了。
比如前面举到的例子,对一家互联网金融公司的用户进行 NPS
调研,虽然部分用户是推荐的,但是在没有利益驱使的情况下,很少发生行动。也就是说,你在调查的时候,用户给你的反馈是愿意推荐,因为他自己用的很好。但是实际情况是,因安全性、收益性等因素,让他避免给他人造成一定概率的损失。自己可以承受的风险,未必他人也愿意承受。再比如一些有涉及隐私的产品或服务等。
如果你准备做 NPS 调研了,也需要先思考一下,或者做个验证,用户会产生所想、所做的不一致吗。
样本误差
另外,还有一个很难避免的问题就是,下一次的调研对象和这次调研对象的重叠度。如果不是上次调研的那批用户,新用户群的特点是不是与上次调研用户的特点是一致的,如果样本量不是很大,又恰好是有一定差异的两个用户群,调研的结果就会存在误差。
最好的方法就是调研同一批用户,但是在现实中又很难实现,所以经常在研究时非本意的忽略这个问题。
方法是固定的,人是活的,每一种方法都有优缺点,理解每一种方法,灵活的运用,以帮助自己获得最有效的结论。严谨、细致才能更好的应对他人质疑,但是出现质疑也要思考,这个问题是不是真的没有做到位,大不了再补充研究一下,并不是什么不可克服的问题。
好了,对于 NPS 以上谈的就是我自己的一些经验和想法,如果大家有认为我的观点存在什么不足和歧义,还请多多指教,欢迎一起来讨论交流哈!
——————————————
李广铭
用户体验研究领域的践行者
和大家一起来轻松的聊一聊研究这点事儿