NB-IoT 模组软件测试规范
更新时间：2018-11-27 14:19:05
1. 使用指导
1.本规范适用于所有接入阿里云平台的NB-IoT模组
2.如设备支持MQTT+CoAP的通信模式，需要编译MQTT版，使用本文档进行自测；再编译CoAP版，使用本文的再进行自测。
3.通信模式为MQTT：
如模组对外接口为AT指令，则如认证、连接、发送(发布)、接受(订阅)则都通过AT指令来完成。
如模组对外接口为C函数，则开发者需要先开发一套上层应用，需满足：
1）设备预先烧录devicekey、devicename、devicesecret等值
2）设备启动完成，即自行完成认证、参数配置、连接等操作，其中，cleansession为0，keepalive为60，一点设备断开连接，即自动进行连接操作。
3）设备连接动作完成，即自行完成订阅topic：/productkey/devicename/get
4）设备每收到/productkey/devicename/get 来的消息，则将其payload原样通过topic：/productkey/devicename/update 发布，Qos为1
4.通信模式为CoAP：
如模组对外接口为AT指令，则用例中需要进行收发动作的，只需要发送（即只需要设备上报，如高频压测只需要测试设备每1s发送3个消息，运行24h）
如模组对外接口为C函数，则开发者需要开发一套上层应用，需满足：
1）设备预先烧录devicekey、devicename、devicesecret等值
2）设备启动完成，即自行完成认证
3）需要有单独测试CoAP压测的两个固件：一个固件周期性每1s发送1个消息，一个固件周期性每1s发送3个消息
2. 功能测试
2.1 认证连接
用例编号：WL-NB-101
用例名称：认证连接
测试目的：验证模组可以正常认证连接云端
测试步骤：
1.模组处于开放环境，模组上电，进行网络连接
预期结果：
1.步骤1，可以正常连接云端，进行数据上下行通信
2.系统无crash，fail，error，assert，abort，内存泄漏，阻塞等异常
备注：
2.2 断电连接
用例编号：WL-NB-102
用例名称：断电连接
测试目的：验证模组在异常断电后，重新上电可以正常连接
测试步骤：
1.模组处于开放环境，模组上电，进行网络连接
2.模组断电，并重新上电，与云端进行通信
3.重复步骤2，10次
预期结果：
1.步骤3，通断电10次每次上电后都可以正常连接云端，进行数据通信
2.系统无crash，fail，error，assert，abort，内存泄漏，阻塞等异常
备注：
2.3 断网连接
用例编号：WL-NB-103
用例名称：断网连接
测试目的：验证模组在断网后，重新上电可以正常连接
测试步骤：
1.模组处于开放环境，模组上电，进行网络连接
2.模组不会断电，置于屏蔽环境，与云端进行通信
3.屏蔽环境放置10min后，再放置在开放环境
预期结果：
1.步骤2，模组和云端连接断开，且模组不断尝试重连云端
2.步骤3，模组在开放环境下，可以再次重新连接云端，且收发消息正常
3.系统无crash，fail，error，assert，abort，内存泄漏，阻塞等异常
备注：
2.4 长时间断网
用例编号：WL-NB-104
用例名称：长时间断网
测试目的：验证模组在异常断网后，重新联网可以正常连接云端
测试步骤：
1.模组处于开放环境，模组上电，进行网络连接
2.模组不会断电，置于屏蔽环境，与云端进行通信
3.屏蔽环境放置12h后，再放置在开放环境
预期结果：
1.步骤2，模组和云端连接断开，且模组不断尝试重连云端
2.步骤3，模组在开放环境下，可以再次重新连接云端，且收发消息正常
3.系统无crash，fail，error，assert，abort，内存泄漏，阻塞等异常
备注：
2.5 弱网通信
用例编号：WL-NB-105
用例名称：弱网通信
测试目的：验证模组在弱网环境下，设备无异常
测试步骤：
1.模组处于弱网环境（CSQ查询信号强度在8左右），模组上电，进行网络连接
2.弱网环境放置1h，期间模块周期与云端进行数据通信
预期结果：
1.步骤2，模组恢复正常网络后，可正常收发包
2.系统无crash，fail，error，assert，abort，内存泄漏，阻塞等异常
备注：
2.6 弱网断连
用例编号：WL-NB-106
用例名称：弱网断连
测试目的：验证模组在弱网环境异常断网，可以重新入网收发信息
测试步骤：
1.模组处于弱网环境（CSQ查询信号强度在8左右），模组断电，再次上电进行NB连接
2.处于弱网环境放置10min后，再放置在开放环境
预期结果：
1.步骤1，模组和云端连接断开，且模组不断尝试重连云端，入网成功
2.步骤2，模组和云端连接，收发信息正常
3.系统无crash，fail，error，assert，abort，内存泄漏，阻塞等异常
备注：
3. 性能测试
3.1 终端状态上报时长
设备认证及连接
用例编号：WL-NB-201
用例名称：模组主动上报状态延时时长
测试目的：验证模组功能或者状态发生变化时，及时上报变更后的属性数据到服务端
测试步骤：
1.模组上电，进行GPRS连接
2.模组上报状态，收发信息，查看log，确认模组从收到指令到上报该属性数据的时长
预期结果：
1.时长≤1秒
2.系统无crash，fail，error，assert，abort，内存泄漏，阻塞等异常
备注：
3.2 长包通信
用例编号：WL-NB-202
用例名称：长包通信
测试目的：验证模组收发512Byte的payload的消息时，设备无异常
测试步骤：
1.模组联网，连接云端
2.模组收发payload为512字节的消息，每5s收发一次，持续30min
预期结果：
1.模组收发数据正常
2.丢包率≤5%
3.无重连
4.系统无crash，fail，error，assert，abort，内存泄漏，阻塞等异常
备注：
3.3 短包通信
用例编号：WL-NB-203
用例名称：短包通信
测试目的：验证模组收发1 Byte的payload的消息时，设备无异常
测试步骤：
1.模组联网，连接云端
2.模组收发消息，每1s收发一次，持续30min
预期结果：
1.模组收发数据正常
2.丢包率≤5%
3.无重连
4.系统无crash，fail，error，assert，abort，内存泄漏，阻塞等异常
备注：
3.4 低频测试
用例编号：WL-NB-204
用例名称：低频压测
测试目的：验证模组在长时间低频压测时，设备离线次数、数据丢包等指标符合预期
测试步骤：
1.模组联网，连接云端
2.模组收发消息，没15s收发一次，持续48H
预期结果：
MQTT协议：
1.离线次数≤6次
2.离线再上线时长≤10min（只针对MQTT协议）
3.丢包率≤10%
4.系统无crash，fail，error，assert，abort，内存泄漏，阻塞等异常
CoAP协议：
1.丢包率≤10%
2.系统无crash，fail，error，assert，abort，内存泄漏，阻塞等异常
备注：
1.若同时支持MQTT和CoAP，需要要分别进行测试
3.5 高频测试
用例编号：WL-NB-205
用例名称：高频压测
测试目的：验证模组在高频压测时，设备无异常
测试步骤：
1.模组联网，连接云端
2.模组收发消息，每5s收发1次，持续1H
预期结果：
1.系统无crash，fail，error，assert，abort，内存泄漏，阻塞等异常
备注