基于TMMi模型的众测管理体系的探索和应用
发表日期：2019-05-09被浏览： 2847次返回

一：背景：

   随着互联网金融的快速发展，项目开发周期要求明显缩短，数量呈现井喷态势。且测试资源需求的波动性明显加强。而近来年，一线城市的人才流出非常明显，中低端的测试人力很难招聘，招聘周期无法满足招行快速迭代的需求。为更好地应对当前形势，招商银行对最近几年快速兴起的众测模式进行了深入研究和跟踪，提出在招商银行现有基于TMMi模型的测试管理体系下扩展出众测管理体系，将共享经济与测试工作相结合。在确保项目质量和规范的前提下，充分利用行内外大量潜在的人力资源、设备资源，为测试项目服务，提升招行软件开发的测试吞吐能力，实现测试交付能力的弹性扩展。

 

二：TMMi模型与众测

在互联网飞速发展的今天，工作的组织方式也发生着变化，共享式、社区式蓬勃发展，利用业余的碎片时间做一些感兴趣和擅长的事，成为一种潮流趋势。在这种潮流下众测应运而生，为测试提供了一个可大量获取多样性测试资源的渠道，也为互联网产品提供了新的测试思路。对于众测这种新生事物，TMMi模式是否仍然适用呢？答案是肯定的。众测本质上是一种方式方法，着眼于实践，TMMi模式是一整套管理体系、理念，众测需要面对的种种挑战，恰恰可以在TMMi模型下寻找到解决之道，为众测的进化提供了方向。

图1：众测与TMMi模型的关系图

采用众测模式的测试项目仍然按照测试受理、测试计划、测试设计、测试准备、测试执行、测试总结、测试回顾等阶段流转。众测流程无缝嵌入在各测试阶段中。测试缺陷、测试度量、测试人员、测试环境、测试工具等方面也有扩展和延伸。

 

三：众测管理体系

众测管理体系产生于招商银行TMMi测试过程管理体系之下，符合TMMi模型各过程域的要求，并且以众测的特点，对原测试过程管理体系的实践进行了扩展和延伸。该体系主要包括：众测项目管理、过程质量管控、众测成本管控、众测人员管理等管理领域，下面分别进行介绍：

 

3.1众测项目管理

众测项目管理定义了众测管理体系中测试过程各阶段的活动，以及相应规范。同时，由于众测管理体系下，测试资源的使用发生了比较大的变化，项目领域为此也配套加强了相应的项目管控手段。

3.1.1策略选择

管理人员根据项目的测试范围和资源情况，并且根据各测试产品的风险情况，判断是否使用众测体系。

3.1.2任务招募

任务招募是一个测试项目资源需求与众测人员双向匹配的过程。测试项目负责人梳理需要招募的资源需求并对外发布，众测人员根据自身情况，报名匹配的招募任务。

3.1.3任务分派

任务分派是将分解的任务分派给招募的众测人员。遵循“挑选合适的人做合适的工作”原则，测试项目负责人要知己知彼，合理安排众测人员的工作。同时，也要兼容探索测试，探索测试是一种形式上自由的测试风格，并不需要分配具体的执行案例。

3.1.4任务运转

完成任务分派后，测试项目的准备工作已就绪，在测试版本发布后，就可以开始功能测试或探索测试。

3.1.5质量评价

测试执行质量评价一般分为定量评价、定性评价两部分。定量评价是从案例执行质量、缺陷的质量等维度评价。

3.1.6成本结算

众测管理体系以测试项目为单位进行成本核算，由测试项目管理人员发起，相关人员复核、审批后发布。

 

3.2过程质量管控

招行众测管理体系的过程质量管控是基于质量保证、如期交付的基本原则设计的，并细化了缺陷管理规范。

3.2.1质量保证

众测项目通过对外招募获取更多的测试资源，提升测试效率，此时测试缺陷的预防显得尤为重要，测试质量的把控从缺陷过程数据监控、测试质量抽检、测试质量评价等方面着手。

缺陷过程监控方面，调整时间缺陷预测模型，众测模式下需要对产品模块进行更深层次的的缺陷预测。通过缩小统计范围至模块级别同时将时间窗口由天缩放到小时。测试项目管理人员则可以根据模块化的缺陷预测模型对外招募的测试范围进行监控。

图2模块维度缺陷预测

众测管理体系中的测试质量抽检，用于对众测人员的执行结果进行抽检验证。质量抽检通过一套抽检规范来保证抽检的可靠性和有效性，包括抽检时间、抽检方式、抽检比例、结果反馈等内容。

众测管理体系中，我们通过梳理众测人员的具体应用场景，制定了用于对众测人员进行全面评价的评价标准，通过定量评价、定性评价两部分综合对众测人员进行评价。

3.2.2如期交付

为保证众测体系下众测人员的执行进度，对于执行进度低于预期的人员，进度监控可提出预警。

通过对主任务下不同测试项目进行任务/测试项目进度的跟踪，测试项目管理人员可以实时了解各众测人员对于片段的执行进度，了解人员案例执行的当前进度与计划进度间的差距，并酌情调整测试策略并针对轻微延迟/严重延误的片段进行定向预警，确保整体进度符合预期。

3.2.3缺陷管理

招行众测管理体系中缺陷管理分别对缺陷有效性、缺陷填写规范及缺陷严重度进行了详细说明。

缺陷有效性包括：摘要是否明确、前提条件是否满足、输入数据是否正确、操作步骤是否清楚、缺陷是否唯一性；

   通过对缺陷描述中前提、执行步骤、预期结果、实际结果的规范，来约束众测人员提交缺陷的质量。

 

3.3众测成本管控：

招行众测管理体系统下成本模型通过预估收益、核算模型，实现招募任务开始前，有效估算招募任务的成本投入，测试项目结束时，以计件制的方式计算收益。下表为计件制事项的范围：

项目范围	计件事项	统计说明
测试项目	功能缺陷工作	针对有效的测试项目内的缺陷，统计其提交、跟踪、设计人员贡献度的工作量
	测试需求设计工作	针对有效的测试项目内的测试需求设计统计其编写、管理的工作量
	测试案例设计工作	针对有效的测试项目内的测试案例设计统计其编写、管理的工作量，按检查点统计
	测试案例执行工作	针对有效的测试项目内的测试案例执行统计其执行、管理的工作量，按检查点统计
	项目管理工作	针对测试项目管理人员管理、撰写相关报告的工作量进行统计

表1计件制事项表

预估收益按招募任务进行，成本核算按测试项目进行。建立预估收益模型，根据招募任务中录入的所需人力及招募人数，预估出本次任务的成本投入。在测试项目结束时，综合考虑效率、效果、贡献度、质量，按照不同工作项的权重，对测试项目的成本进行核算。

众测人员在完成测试项目后，测试负责人会对测试项目进行全面的质量检查及验收，验收通过后，会员会获得任务对应的报酬。

 

3.4众测人员管理：

众测人员管理从众测管理体系下测试项目中人力资源的筛选、人员能力的建设、人员奖惩的规范制定等方面入手，通过建立完善、客观的众测人员管理体系，对测试资源实行统一调度和管理，从而提高资源管控力度，提升测试项目投放精准度，保证众测人员质量和专业度。

3.4.1人员选择

为保证众测管理体系下众测人员身份的有效性，降低运营风险，众测人员均需进行实名认证，并通过实时对接公安部的实名认证系统进行身份验证。众测人员在承接测试项目之前，需先通过签约考试题目并完成练习项目。经过签约考试及练习项目的筛选，过滤不满足要求的人员，提高人员质量。

3.4.2人员使用

根据众测人员的基本信息、任务承接信息、测试质量信息等多个方面，对众测人员进行多维度的标签化。测试管理人员在录用人员时，可参考众测人员的多维度用户标签数据，根据项目需求有针对性的进行选择。同时项目结束后，项目参测人员的标签数据会根据项目结束后进行动态更新。

3.4.3人员培育

众测人员自身的能力建设是众测管理体系运作的基石，众测人员的知识管理能力持续提升可以为推动众测管理体系持续高效运转提供源源不断的动力。本体系根据众测人员能力成熟度匹配了不同等级、不同类型的学习资源，打造了一个学习型众测管理体系。

3.4.4人员奖惩

通过知识培训体系的管理，众测人员能力可得到不断提升。众测人员等级越高，可承接的任务类型就越多，获取的收益也会增加。对有特别贡献的事件，需要进行记录并给予相应的奖励。同时，众测人员如出现不符合协议要求的活动，如提供不实身份信息、发布违法或不实言论、违反保密协议条款、恶意攻击，或者在承接众测任务过程中因个人原因造成影响项目测试进度或泄露重大缺陷的，会根据具体情况终止众测人员的承测任务的资格。通过完善的众测人员奖惩机制，能够及时识别与剔除不符合要求的人员，保证人员质量，同时有效提高众测人员粘度。

 

四：招商银行的探索和实践

考虑到金融类软件产品的特点，对产品质量提出了更高的要求，招商银行测试中心在运用众测模式之初，就确定了众测模式依托于TMMi模型的思路。招商银行在实践过程中，不断总结完善，众测管理体系已基本形成，以此体系为基础搭建的众测平台FinTest平台经过内部试运行，现已面向整个互联网用户进行任务招募。从推广使用至今累计发布上千个招募任务，招募上万人次，发现缺陷一万多个。

 

手机银行作为招商银行主推移动端产品，使用众测模式后，在测试完成后增加探索性测试，可以发现大量兼容性及体验类缺陷，极大提升了产品的质量及用户体验，众测模式在手机银行产品上的成功应用，获得业务部门高度认可。

五：展望与不足

成本的有效度量方法。成本计算涉及产品特性分级，产品质量评价，发现缺陷的等级和数量，众测人员素质等等一系列因素。需要探索和开发一个适用性较强的数据模型，并不断优化，保证参与众测用户的活跃度，同时，投放测试产品的客户可以选择更适用的众测策略。

利用新技术辅助缺陷管理。以较低的运营和管理成本换取更大的产出是众测模式长期的工作目标。众测模式会在较短时间产生大量的缺陷，同时，这些缺陷大部分也是低价值的，运用新技术帮助测试管理人员缺陷去重智能化将极大提高平台运营效率和收益。

数据的沉淀与应用。随着众测会员数量的提高，众测平台每天会产生大量的用户信息、培训情况、客户体验、质量评价等数据，一方面，通过数据分析发现众测管理体系的改进机会，完善体系结构和实践；一方面，数据本身也是宝贵的资源，通过数据发掘提高众测平台本身的运营能力，还可以为被测产品方案决策提供支持。

 

关于TMMi

TMMi（Test Maturity Model Integration 测试成熟度模型集成）是由TMMi基金会开发的一个非商业化的、独立于组织的测试成熟度模型，它是与国际标准相一致的、由业务驱动（目标驱动）的。

 

TMMi呈现的是一个过程改进的阶段架构，它包含阶段或级别，组织可以通过它们使测试过程从临时的和未管理的状态进化为以管理、已定义、已测量和优化的状态。在TMMi中有5个级别，规定了成熟度级别和测试过程改进的路径。每个级别都有一组过程域。组织需要实施这些过程域来达到对应的成熟度级别。

（TMMi级别的过程域）

 

关于TMMiCN

 

中国软件测试认证委员会（CSTQB）于2017年10月正式与TMMi基金会签订合作协议，成立TMMi基金会在大中华地区（包括港澳台地区）唯一分会，全权代表TMMi基金会在授权区域内推广和使用TMMi。