在产品功能上线前,最后的环节一般是由测试同学撰写产品测试用例,测试通过后部署上线。
但由于测试同学人力有限,对于用户的使用场景、设备类型以及网络情况很难做到全面模拟,难免有所疏漏;遂在产品上线前增加小规模的用户内测环节,对于提高上线后的产品质量,减少 Bug 出现的风险,会有一定的帮助。
那么,如何去组织一场用户内测活动,需要注意的点都有哪些?通过这篇复盘文档,我们从0开始梳理这些问题。
01 回顾目标回顾历次的用户内测活动,目标一共可以分为以下三种:
1)暴露未测试到的 Bug
如果产品涉及比较大的更新,例如上线全新的功能或是更改大范围的程序代码,此时就需要重点关注在测试过程中出现的 Bug 数量和 Bug 类型,关注是否有影响用户使用的问题出现,以及出现的频率;然后再依据问题的类型和数量去判断优先级,对接产研同学去修复问题,保证最终上线的质量。
2)预知产品上线后可能的风险
通过内测活动,我们需要模拟更多接近真实的使用场景,从而去发现隐藏其中的问题,也可以通过对内测安装包的数据埋点,拿到该功能一部分的用户使用数据,从产品研发的角度,去预知产品上线后可能的风险,从而进行规避,做好应对方案,提升产品的稳定性。
3)收集用户的反馈
内测活动是产品和用户进行沟通的好机会,我们可以借此机会收集用户对于产品和功能的建议或评价,当然不一定局限于每次的重点测试功能,用户对于产品全局的意见统统可以收集,作为后续产品迭代的参考。
02 回顾过程在确定一场内测活动的目标后,在活动流程中有哪些需要关注的点呢?我从以下5个方面分别来整理一下。
1)人员招募
拿我之前组织过的几次活动来说,因为产品的类型是 K12 学生用户,主要集中于小学年级。
如果直接招募小学年级的学生作为测试用户,一是会影响学生的学习进度,另外如果出现比较严重的产品质量问题,会不利于产品形象的塑造;所以,我们将招募的人群属性定位在小学年龄段的宝妈群体。
那如何去找到这类人群呢?
我们将目标锁定在了一些正规的兼职群、兼职论坛,通过发布任务信息招募用户进群,方便进行后续的任务指导;在这个环节我们还发现,经常参加兼职活动的人会有自己的兼职圈,通过向这些用户借力,可以让我们的招募进度产生裂变的效果。
我们在人员招募和管理时,选择了 QQ 群的方式。因为 QQ 群提供了比较完善的群管理和群文件支持,可以在流程上减少我们的人力。
如果产品是非 K12 类的话,也可以通过正式版本 App 内的弹窗提醒,来招募意向参加内测的用户,引导这些用户主动下载测试版本的 App,配合反馈活动去引导大家充分测试、暴露问题;但此方法对产品类型、用户属性又会有一定的限制,且需要产品研发同学的支持,大家可以按照实际情况进行选择。
2)活动成本
为了激励内测用户更充分的参加活动,我们可以设定一定数量的奖品、奖金等激励方式,如果是社交属性比较强的产品,也可以发放站内勋章、称号等虚拟物品。
激励方式选择的前提是要保证大部分的用户都会喜欢,这样才可以激发用户反馈的动力;如果最后的活动奖励对于用户来说不痛不痒,那活动的效果可能会大打折扣。
由于我们招募的活动用户大部分