LinkKit SDK模组商业认证规范
更新时间：2019-05-21 16:53:23
Commercial认证 > 认证规范 > 模组 > 基于Link Kit SDK方案
Wi-Fi 模组测试规范
- 1. 集成正确性
- 2. 设备稳定性
- 3. 兼容互操作
- 4. 基础安全检查
- 5. 硬件测试
- 1.1 通道测试
- 1.2 配网测试
- 1.2 FOTA测试
- 1.3 本地通信测试
- 射频性能
- 电磁兼容
- 环境可靠、功耗
1. 集成正确性
2. 设备稳定性
2.1 长时间数据通信稳定性
用例编号：
用例名称：长时间数据通信稳定性
测试目的：验证物联网设备与阿里云长时间连接且数据通信稳定
测试步骤：
1.设备上电，使用串口工具将设备串口日志定向到文件
2.web或APP上确定设备上线，记录设备上线时间
3.使用压测工具以500ms为周期设置设备属性，保持设备网络环境稳定
预期结果：
1.12小时稳定工作，无离线
2.丢包率≤1%
3.系统无crash，fail，error，assert，abort，内存泄漏，阻塞等异常
备注：
自测压测时请联系阿里小二提供压测服务
2.2 设备反复升级稳定性
用例编号：
用例名称：设备反复升级稳定性
测试目的：验证设备反复升级稳定性
测试步骤：
1.获取固件BIN1，版本为V1
2.获取固件BIN2，版本为V2，V1大于V2
3.上传固件BIN2，版本号填为V2
4.上传固件BIN1，版本号填为V3
5.设备烧录BIN1
6.使用反复升级脚本循环升级100次
预期结果：
1.成功率99%
备注：
1.自测至少测试10次，成功率100%
2.3 长时间本地通信稳定性
用例编号：
用例名称：长时间本地通信稳定性
测试目的：验证本地通信功能长时间稳定可用
测试步骤：
1.设备配网连接路由器（仅限WiFi设备）
2.设备绑定到APP，手机APP与设备连接到同一个路由器（确保在同一局域网)
3.使用本地通信压测工具以500ms为周期控制设备
预期结果：
1.持续12H
2.丢包率≤1%
3.系统无crash，fail，error，assert，abort，内存泄漏，阻塞等异常
备注：
1.≥AOS-R-1.3.3的版本支持
2.本用地方例无需自测
2.4 反复断网重连稳定性
用例编号：
用例名称：反复断网重连稳定性
测试目的：验证设备反复断网重连稳定性
测试步骤：
1.设备配网连接路由器（仅限WiFi设备）
2.断开路由器WAN口，并等待设备离线
3.恢复路由器WAN口，等待设备上线
4.重复1-3步骤50次
预期结果：
1.设备离线和上线各50次
备注：
1.自测支持测试5次，且成功率100%
3. 兼容互操作
3.1 一键配网兼容性
用例编号：
用例名称一键配网兼容性
测试目的：验证一键配网兼容性
测试步骤：
1.使用无连接兼容性自动化工具验证设备一键配网兼容性
预期结果：
1.兼容性100%
2.系统无crash，fail，error，assert，abort，内存泄漏，阻塞等异常
备注：
1.本用例无需自测
3.2 热点配网兼容性
用例编号：
用例名称热点配网兼容性
测试目的：验证热点配网兼容性
测试步骤：
1.使用无连接兼容性自动化工具验证设备热点配网兼容性
预期结果：
1.兼容性100%
2.系统无crash，fail，error，assert，abort，内存泄漏，阻塞等异常
备注：
1.本用例无需自测
4.基础安全检查
5. 硬件测试
参考 ICA联盟标准：ICA/T 2018-501-01 《WLAN
无线射频测试规范V1.0》
参考 ICA联盟标准：ICA/T 2018—510—01《WLAN
电磁兼容性能测试规范V1.0》
ICA联盟测试规范暂未发布，请参考Wi-Fi硬件检测报告模板相关内容
2G 模组测试规范
1. 使用指导
1.本规范适用于所有接入阿里云平台的2G模组
2.如设备支持MQTT+CoAP的通信模式，需要编译MQTT版，使用本文档进行自测；再编译CoAP版，使用本文的再进行自测。
3.通信模式为MQTT：
如模组对外接口为AT指令，则如认证、连接、发送(发布)、接受(订阅)则都通过AT指令来完成。如模组对外接口为C函数，则开发者需要先开发一套上层应用，需满足
1） 设备预先烧录devicekey、devicename、devicesecret等值
2） 设备启动完成，即自行完成认证、参数配置、连接等操作，其中，cleansession为0，keepalive为60
3） 设备连接动作完成，即自行完成订阅topic：/productkey/devicename/get
4） 设备每收到/productkey/devicename/get
来的消息，则将其payload原样通过topic：/productkey/devicename/update
发布，Qos为1
4.通信模式为CoAP：
如模组对外接口为AT指令，则用例中需要进行收发动作的，只需要发送（即只需要设备上报，如高频压测只需要测试设备每1s发送3个消息，运行24h）
如模组对外接口为C函数，则开发者需要开发一套上层应用，需满足：
1） 设备预先烧录devicekey、devicename、devicesecret等值
2） 设备启动完成，即自行完成认证
3） 需要有单独测试CoAP压测的两个固件：一个固件周期性每1s发送1个消息，一个固件周期性每1s发送3个消息
2. 功能测试
2.1 认证连接
用例编号：WL-2G-101
用例名称：认证连接
测试目的：验证模组可以正常认证连接云端
测试步骤：
1.模组处于开放环境，模组上电，进行网络连接
预期结果：
1.步骤1，可以正常连接云端，进行数据上下行通信
2.系统无crash，fail，error，assert，abort，内存泄漏，阻塞等异常
备注：
2.2 断电连接
用例编号：WL-2G-102
用例名称：断电连接
测试目的：验证模组在异常断电后，重新上电可以正常连接
测试步骤：
1.模组处于开放环境，模组上电，进行网络连接
2.模组断电，并重新上电，与云端进行通信
3.重复步骤2，10次
预期结果：
1.步骤3，通断电10次每次上电后都可以正常连接云端，进行数据通信
2.系统无crash，fail，error，assert，abort，内存泄漏，阻塞等异常
备注：
2.3 断网连接
用例编号：WL-2G-103
用例名称：断网连接
测试目的：验证模组在断网后，重新上电可以正常连接
测试步骤：
1.模组处于开放环境，模组上电，进行网络连接
2.模组不会断电，置于屏蔽环境，与云端进行通信
3.屏蔽环境放置10min后，再放置在开放环境
预期结果：
1.步骤2，模组和云端连接断开，且模组不断尝试重连云端
2.步骤3，模组在开放环境下，可以再次重新连接云端，且收发消息正常
3.系统无crash，fail，error，assert，abort，内存泄漏，阻塞等异常
备注：
2.4 长时间断网
用例编号：WL-2G-104
用例名称：长时间断网
测试目的：验证模组在异常断网后，重新联网可以正常连接云端
测试步骤：
1.模组处于开放环境，模组上电，进行网络连接
2.模组不会断电，置于屏蔽环境，与云端进行通信
3.屏蔽环境放置12h后，再放置在开放环境
预期结果：
1.步骤2，模组和云端连接断开，且模组不断尝试重连云端
2.步骤3，模组在开放环境下，可以再次重新连接云端，且收发消息正常
3.系统无crash，fail，error，assert，abort，内存泄漏，阻塞等异常
备注：
2.5 弱网通信
用例编号：WL-2G-105
用例名称：弱网通信
测试目的：验证模组在弱网环境下，设备无异常
测试步骤：
1.模组处于弱网环境（CSQ查询信号强度在8左右），模组上电，进行网络连接
2.弱网环境放置1h，期间模块周期（低频压测周期）与云端进行数据通信
预期结果：
1.步骤2，模组恢复正常网络后，可正常收发包
2.系统无crash，fail，error，assert，abort，内存泄漏，阻塞等异常
备注：
2.6 弱网断连
用例编号：WL-2G-106
用例名称：弱网断连
测试目的：验证模组在弱网环境异常断网，可以重新入网收发信息
测试步骤：
1.模组处于弱网环境（CSQ查询信号强度在8左右），模组断电，再次上电进行GPRS连接
2.处于弱网环境放置10min后，再放置在开放环境
预期结果：
1.步骤1，模组和云端连接断开，且模组不断尝试重连云端，入网成功
2.步骤2，模组和云端连接，收发信息正常
3.系统无crash，fail，error，assert，abort，内存泄漏，阻塞等异常
备注：
3. 性能测试
3.1 终端状态上报时长
用例编号：WL-2G-201
用例名称：模组主动上报状态延时时长
测试目的：验证模组功能或者状态发生变化时，及时上报变更后的属性数据到服务端
测试步骤：
1.模组上电，进行GPRS连接
2.模组上报状态，收发信息，查看log，确认模组从收到指令到上报该属性数据的时长
预期结果：
1.时长≤1秒
2.系统无crash，fail，error，assert，abort，内存泄漏，阻塞等异常
备注：
3.2 长包通信
用例编号：WL-2G-202
用例名称：长包通信
测试目的：验证模组收发512Byte的payload的消息时，设备无异常
测试步骤：
1.模组联网，连接云端
2.模组收发payload为512字节的消息，每5s收发一次，持续30min
预期结果：
1.模组收发数据正常
2.丢包率≤5%
3.无重连
4.系统无crash，fail，error，assert，abort，内存泄漏，阻塞等异常
备注：
3.3 短包通信
用例编号：WL-2G-203
用例名称：短包通信
测试目的：验证模组收发1 Byte的payload的消息时，设备无异常
测试步骤：
1.模组联网，连接云端
2.模组收发消息，每5s收发一次，持续30min
预期结果：
1.模组收发数据正常
2.丢包率≤5%
3.无重连
4.系统无crash，fail，error，assert，abort，内存泄漏，阻塞等异常
备注：
3.4 低频测试
用例编号：WL-2G-204
用例名称：低频压测
测试目的：验证模组在长时间低频压测时，设备离线次数、数据丢包等指标符合预期
测试步骤：
1.模组联网，连接云端
2.模组收发消息，每5s收发一次，持续48H
预期结果：
1.离线次数≤6次（只针对MQTT协议）
2.离线再上线时长≤10min（只针对MQTT协议）
3.使用MQTT协议丢包率≤5%
4.使用CoAP协议丢包率≤10%
4.系统无crash，fail，error，assert，abort，内存泄漏，阻塞等异常
备注：
3.5 高频测试
用例编号：WL-2G-205
用例名称：高频压测
测试目的：验证模组在高频压测时，设备无异常
测试步骤：
1.模组联网，连接云端
2.模组收发消息，每1s收发1次，持续1H
预期结果：
1.系统无crash，fail，error，assert，abort，内存泄漏，阻塞等异常
备注
4. ICA AT指令集测试
5. 硬件测试
- 射频性能
- ICA/T 2018-502-01《GPRS 射频一致性测试规范V1.0》
- ICA/T 2018-506-01《无线产品极限环境测试规范V1.0》
- 环境可靠
- 电磁兼容
- 功耗
参考 ICA联盟标准：
参考 ICA联盟标准：ICA/T 2018-507-01《可靠性通用测试规范V1.0》
参考 ICA联盟标准：ICA/T 2018-509-01《GSM&GPRS电磁兼容测试规范 V1.0》
ICA联盟测试规范暂未发布，请参考2G模组硬件检测报告模板相关内容
4G 模组测试规范
1. 使用指导
1.本规范适用于所有接入阿里云平台的4G模组
2.如设备支持MQTT+CoAP的通信模式，需要编译MQTT版，使用本文档进行自测；再编译CoAP版，使用本文的再进行自测。
3.通信模式为MQTT：
如模组对外接口为AT指令，则如认证、连接、发送(发布)、接受(订阅)则都通过AT指令来完成。
如模组对外接口为C函数，则开发者需要先开发一套上层应用，需满足：
1）设备预先烧录devicekey、devicename、devicesecret等值
2）设备启动完成，即自行完成认证、参数配置、连接等操作，其中，cleansession为0，keepalive为60，一点设备断开连接，即自动进行连接操作。
3）设备连接动作完成，即自行完成订阅topic：/productkey/devicename/get
4）设备每收到/productkey/devicename/get 来的消息，则将其payload原样通过topic：/productkey/devicename/update
发布，Qos为1
4.通信模式为CoAP：
如模组对外接口为AT指令，则用例中需要进行收发动作的，只需要发送（即只需要设备上报，如高频压测只需要测试设备每1s发送3个消息，运行24h）
如模组对外接口为C函数，则开发者需要开发一套上层应用，需满足：
1）设备预先烧录devicekey、devicename、devicesecret等值
2）设备启动完成，即自行完成认证
3）需要有单独测试CoAP压测的两个固件：一个固件周期性每1s发送1个消息，一个固件周期性每1s发送3个消息
2. 功能测试
2.1 认证连接
用例编号：WL-4G-101
用例名称：认证连接
测试目的：验证模组可以正常认证连接云端
测试步骤：
1.模组处于开放环境，模组上电，进行网络连接
预期结果：
1.步骤1，可以正常连接云端，进行数据上下行通信
备注：
2.2 断电连接
用例编号：WL-4G-102
用例名称：断电连接
测试目的：验证模组在异常断电后，重新上电可以正常连接
测试步骤：
1.模组处于开放环境，模组上电，进行网络连接
2.模组断电，并重新上电，与云端进行通信
3.重复步骤2，10次
预期结果：
1.步骤3，通断电10次每次上电后都可以正常连接云端，进行数据通信
2.系统无crash，fail，error，assert，abort，内存泄漏，阻塞等异常
备注：
2.3 断网连接
用例编号：WL-4G-103
用例名称：断网连接
测试目的：验证模组在断网后，重新上电可以正常连接
测试步骤：
1.模组处于开放环境，模组上电，进行网络连接
2.模组不会断电，置于屏蔽环境，与云端进行通信
3.屏蔽环境放置10min后，再放置在开放环境
预期结果：
1.步骤2，模组和云端连接断开，且模组不断尝试重连云端
2.步骤3，模组在开放环境下，可以再次重新连接云端，且收发消息正常
3.系统无crash，fail，error，assert，abort，内存泄漏，阻塞等异常
备注：
2.4 长时间断网
用例编号：WL-4G-104
用例名称：长时间断网
测试目的：验证模组在异常断网后，重新联网可以正常连接云端
测试步骤：
1.模组处于开放环境，模组上电，进行网络连接
2.模组不会断电，置于屏蔽环境，与云端进行通信
3.屏蔽环境放置12h后，再放置在开放环境
预期结果：
1.步骤2，模组和云端连接断开，且模组不断尝试重连云端
2.步骤3，模组在开放环境下，可以再次重新连接云端，且收发消息正常
3.系统无crash，fail，error，assert，abort，内存泄漏，阻塞等异常
备注：
2.5 弱网通信
用例编号：WL-4G-105
用例名称：弱网通信
测试目的：验证模组在弱网环境下，设备无异常
测试步骤：
1.模组处于弱网环境（丢包率80%以上），模组上电，进行网络连接
2.弱网环境放置1h，期间模块周期（低频压测周期）publish消息到云端
预期结果：
1.步骤2，恢复正常网络后，可正常收发包
2.系统无crash，fail，error，assert，abort，内存泄漏，阻塞等异常
备注：
2.6 弱网断连
用例编号：WL-4G-106
用例名称：弱网断连
测试目的：验证模组在弱网环境异常断网，可以重新入网收发信息
测试步骤：
1.模组处于弱网环境，模组断电，再次上电进行网络连接
2.处于弱网环境放置10min后，再放置在开放环境
预期结果：
1.步骤1，模组和云端连接断开，且模组不断尝试重连云端，入网成功
2.步骤2，模组和云端连接，收发信息正常
3.系统无crash，fail，error，assert，abort，内存泄漏，阻塞等异常
备注：
2.7 心跳
用例编号：WL-4G-107
用例名称：心跳
测试目的：验证模组可以正常连接云端，保持心跳
测试步骤：
1.模组处于开放环境，模组上电，进行网络连接
2.模组连接云端，不进行业务数据的收发，模组静置1h
预期结果：
1.步骤2，模组可通过心跳与云端保持稳定连接，不会出现离线
2.系统无crash，fail，error，assert，abort，内存泄漏，阻塞等异常
备注：本用例仅适用于MQTT协议
2.8 制式切换
用例编号：WL-4G-108
用例名称：制式切换
测试目的：验证模组可在2G\3G\4G制式之间切换
测试步骤：
1.模组处于开放环境，模组上电，进行网络连接
2.控制模块不断向云端publish消息，频率1pps
3.模块切换工作模式，4G->2G->4G->2G->4G
预期结果：
1.步骤1，可以正常连接云端，进行数据上下行通信
2.步骤2，模块发布消息正常
3.模式切换时，模块不会出现异常
4.切换制式导致连接断开属于正常现象
5.系统无crash，fail，error，assert，abort，内存泄漏，阻塞等异常
备注：
3. 性能测试
3.1 终端状态上报时长
用例编号：WL-4G-201
用例名称：终端状态上报时长
测试目的：验证模组功能或者状态发生变化时，及时上报变更后的属性数据到服务端
测试步骤：
1.模组上电，进行网络连接
2.模组上报状态，收发信息，查看log，确认模组从收到指令到上报该属性数据的时长
3.可查看模组从PUB到收到PUBACK的时长T，状态上报时长=T/2
预期结果：
1.时长≤1秒
2.系统无crash，fail，error，assert，abort，内存泄漏，阻塞等异常
备注：
3.2 长包通信
用例编号：WL-4G-202
用例名称：长包通信
测试目的：验证模组收发1024 Byte的payload的消息时，设备无异常
测试步骤：
1.模组联网，连接云端
2.模组收发payload为1024字节的消息，每5s收发一次，持续30min
预期结果：
1.模组收发数据正常
2.丢包率≤5%
3.无重连
4.系统无crash，fail，error，assert，abort，内存泄漏，阻塞等异常
备注：
3.3 短包通信
用例编号：WL-4G-203
用例名称：短包通信
测试目的：验证模组收发1 Byte的payload的消息时，设备无异常
测试步骤：
1.模组联网，连接云端
2.模组收发消息，每5s收发一次，持续30min
预期结果：
1.模组收发数据正常
2.丢包率≤5%
3.无重连
4.系统无crash，fail，error，assert，abort，内存泄漏，阻塞等异常
备注：
3.4 低频测试
用例编号：WL-4G-204
用例名称：低频压测
测试目的：验证模组在长时间低频压测时，设备离线次数、数据丢包等指标符合预期
测试步骤：
1.模组联网，连接云端
2.模组收发消息，每1s收发一次，持续48H
预期结果：
1.离线次数≤6次（只针对MQTT协议）
2.离线再上线时长≤10min（只针对MQTT协议）
3.使用MQTT协议丢包率≤5%
4.使用CoAP协议丢包率≤10%
5.系统无crash，fail，error，assert，abort，内存泄漏，阻塞等异常
备注：
3.5 高频测试
用例编号：WL-4G-205
用例名称：高频压测
测试目的：验证模组在高频压测时，设备无异常
测试步骤：
1.模组联网，连接云端
2.模组收发消息，每1s收发3次，持续1H
预期结果：
1.系统无crash，fail，error，assert，abort，内存泄漏，阻塞等异常
备注
3.6 大流量测试
<用例编号：WL-4G-206
用例名称：大流量测试
测试目的：验证模组在较高性能长时间运行时，无异常
测试步骤：
1.模组联网，连接云端
2.模组以不低于1MB/S的速率跑流量（PC通过模组上网，下载文件）
3.文件下载正常，运行时长3分钟
预期结果：
1.系统无crash，fail，error，assert，abort，内存泄漏，阻塞等异常
备注
4. ICA AT指令集测试
5. 硬件测试
- 射频性能
- ICA/T 2018-508-01《LTE 射频一致性测试规范V1.0》
- ICA/T 2018-506-01《无线产品极限环境测试规范V1.0》
- 环境可靠
- 电磁兼容
- 功耗
参考 ICA联盟标准：
参考 ICA联盟标准：ICA/T 2018-507-01《可靠性通用测试规范V1.0》
参考 ICA联盟标准：ICA/T 2018-511-01《LTE 电磁兼容性能测试规范V1.0》
ICA联盟测试规范暂未发布，请参考4G模组硬件检测报告模板相关内容
NB-IoT 模组测试规范
1. 使用指导
1.本规范适用于所有接入阿里云平台的NB-IoT模组
2.如设备支持MQTT+CoAP的通信模式，需要编译MQTT版，使用本文档进行自测；再编译CoAP版，使用本文的再进行自测。
3.通信模式为MQTT：
如模组对外接口为AT指令，则如认证、连接、发送(发布)、接受(订阅)则都通过AT指令来完成。
如模组对外接口为C函数，则开发者需要先开发一套上层应用，需满足：
1）设备预先烧录devicekey、devicename、devicesecret等值
2）设备启动完成，即自行完成认证、参数配置、连接等操作，其中，cleansession为0，keepalive为60，一点设备断开连接，即自动进行连接操作。
3）设备连接动作完成，即自行完成订阅topic：/productkey/devicename/get
4）设备每收到/productkey/devicename/get 来的消息，则将其payload原样通过topic：/productkey/devicename/update
发布，Qos为1
4.通信模式为CoAP：
如模组对外接口为AT指令，则用例中需要进行收发动作的，只需要发送（即只需要设备上报，如高频压测只需要测试设备每1s发送3个消息，运行24h）
如模组对外接口为C函数，则开发者需要开发一套上层应用，需满足：
1）设备预先烧录devicekey、devicename、devicesecret等值
2）设备启动完成，即自行完成认证
3）需要有单独测试CoAP压测的两个固件：一个固件周期性每1s发送1个消息，一个固件周期性每1s发送3个消息
2. 功能测试
2.1 认证连接
用例编号：WL-NB-101
用例名称：认证连接
测试目的：验证模组可以正常认证连接云端
测试步骤：
1.模组处于开放环境，模组上电，进行网络连接
预期结果：
1.步骤1，可以正常连接云端，进行数据上下行通信
2.系统无crash，fail，error，assert，abort，内存泄漏，阻塞等异常
备注：
2.2 断电连接
用例编号：WL-NB-102
用例名称：断电连接
测试目的：验证模组在异常断电后，重新上电可以正常连接
测试步骤：
1.模组处于开放环境，模组上电，进行网络连接
2.模组断电，并重新上电，与云端进行通信
3.重复步骤2，10次
预期结果：
1.步骤3，通断电10次每次上电后都可以正常连接云端，进行数据通信
2.系统无crash，fail，error，assert，abort，内存泄漏，阻塞等异常
备注：
2.3 断网连接
用例编号：WL-NB-103
用例名称：断网连接
测试目的：验证模组在断网后，重新上电可以正常连接
测试步骤：
1.模组处于开放环境，模组上电，进行网络连接
2.模组不会断电，置于屏蔽环境，与云端进行通信
3.屏蔽环境放置10min后，再放置在开放环境
预期结果：
1.步骤2，模组和云端连接断开，且模组不断尝试重连云端
2.步骤3，模组在开放环境下，可以再次重新连接云端，且收发消息正常
3.系统无crash，fail，error，assert，abort，内存泄漏，阻塞等异常
备注：
2.4 长时间断网
用例编号：WL-NB-104
用例名称：长时间断网
测试目的：验证模组在异常断网后，重新联网可以正常连接云端
测试步骤：
1.模组处于开放环境，模组上电，进行网络连接
2.模组不会断电，置于屏蔽环境，与云端进行通信
3.屏蔽环境放置12h后，再放置在开放环境
预期结果：
1.步骤2，模组和云端连接断开，且模组不断尝试重连云端
2.步骤3，模组在开放环境下，可以再次重新连接云端，且收发消息正常
3.系统无crash，fail，error，assert，abort，内存泄漏，阻塞等异常
备注：
2.5 弱网通信
用例编号：WL-NB-105
用例名称：弱网通信
测试目的：验证模组在弱网环境下，设备无异常
测试步骤：
1.模组处于弱网环境（CSQ查询信号强度在8左右），模组上电，进行网络连接
2.弱网环境放置1h，期间模块周期（低频压测周期）与云端进行数据通信
预期结果：
1.步骤2，模组恢复正常网络后，可正常收发包
2.系统无crash，fail，error，assert，abort，内存泄漏，阻塞等异常
备注：
2.6 弱网断连
用例编号：WL-NB-106
用例名称：弱网断连
测试目的：验证模组在弱网环境异常断网，可以重新入网收发信息
测试步骤：
1.模组处于弱网环境（CSQ查询信号强度在8左右），模组断电，再次上电进行NB连接
2.处于弱网环境放置10min后，再放置在开放环境
预期结果：
1.步骤1，模组和云端连接断开，且模组不断尝试重连云端，入网成功
2.步骤2，模组和云端连接，收发信息正常
3.系统无crash，fail，error，assert，abort，内存泄漏，阻塞等异常
备注：
3. 性能测试
3.1 终端状态上报时长
用例编号：WL-NB-201
用例名称：模组主动上报状态延时时长
测试目的：验证模组功能或者状态发生变化时，及时上报变更后的属性数据到服务端
测试步骤：
1.模组上电，进行GPRS连接
2.模组上报状态，收发信息，查看log，确认模组从收到指令到上报该属性数据的时长
预期结果：
1.时长≤1秒
2.系统无crash，fail，error，assert，abort，内存泄漏，阻塞等异常
备注：
3.2 长包通信
用例编号：WL-NB-202
用例名称：长包通信
测试目的：验证模组收发512Byte的payload的消息时，设备无异常
测试步骤：
1.模组联网，连接云端
2.模组收发payload为512字节的消息，每5s收发一次，持续30min
预期结果：
1.模组收发数据正常
2.丢包率≤5%
3.无重连
4.系统无crash，fail，error，assert，abort，内存泄漏，阻塞等异常
备注：
3.3 短包通信
用例编号：WL-NB-203
用例名称：短包通信
测试目的：验证模组收发1 Byte的payload的消息时，设备无异常
测试步骤：
1.模组联网，连接云端
2.模组收发消息，每1s收发一次，持续30min
预期结果：
1.模组收发数据正常
2.丢包率≤5%
3.无重连
4.系统无crash，fail，error，assert，abort，内存泄漏，阻塞等异常
备注：
3.4 低频测试
用例编号：WL-NB-204
用例名称：低频压测
测试目的：验证模组在长时间低频压测时，设备离线次数、数据丢包等指标符合预期
测试步骤：
1.模组联网，连接云端
2.模组收发消息，每15s收发一次，持续48H
预期结果：
MQTT协议：
1.离线次数≤6次
2.离线再上线时长≤10min（只针对MQTT协议）
3.丢包率≤10%
4.系统无crash，fail，error，assert，abort，内存泄漏，阻塞等异常
CoAP协议：
1.丢包率≤10%
2.系统无crash，fail，error，assert，abort，内存泄漏，阻塞等异常
备注：
1.若同时支持MQTT和CoAP，需要要分别进行测试
3.5 高频测试
用例编号：WL-NB-205
用例名称：高频压测
测试目的：验证模组在高频压测时，设备无异常
测试步骤：
1.模组联网，连接云端
2.模组收发消息，每5s收发1次，持续1H
预期结果：
1.系统无crash，fail，error，assert，abort，内存泄漏，阻塞等异常
备注
4. ICA AT指令集测试
5. 硬件测试
<0l> NB-IoT模组硬件测试规范(ICA联盟测试标准组硬件测试规范，下载测试规范需要账号登录)部分ICA联盟测试规范暂未发布，可以参考NB-IoT硬件检测报告模板查看全部测试项
Zigbee 模组测试规范
1. 集成正确性
1.1 检查OS/SDK版本
用例编号：
用例名称：检查OS/SDK版本
测试目的：验证模组使用AliOS Things 或者 LinkKit SDK版本是否正确
测试步骤：
1.使用命令行 'version' 查看OS版本（针对AliOS Things）
2.设备上线后查看设备使用的LinkKit SDK版本号（针对LinkKit SDK）
预期结果：
1.AliOS Things版本 或者 LinkKit SDK版本符合送测版本
备注：
1.2 基础信息核对
用例编号：
用例名称：基础信息核对
测试目的：检查模组的基本信息是否正确
测试步骤：
1.检查模组使用的芯片是否通过认证
2.检查模组RAM、FLASH、ROM是否与芯片一致
3.检查模组商业渠道展示照面是否合规
4.检查模组电子资料是否齐全
预期结果：
1.模组使用的芯片通过认证
2.模组RAM、FLASH、ROM与芯片一致
3.模组商业渠道展示照片为模组照片且可展示性强（不是开发板照片）
4.模组电子资料齐全（数据手册、模组规格说明书、照片、驱动、提测固件、OTA固件等）
备注：
1.3 网关本地发现配网支持
用例编号：
用例名称网关本地发现配网支持
测试目的：验证设备是否支持网关本地发现配网
测试步骤：
网关Wi-Fi上行：
1.网关设备按键使设备进入配网状态
2.手机打开智能 APP，选择扫码配网入口（配网二维码从智能生活平台或者认证支撑平台获取）
3.APP 配置无线 SSID 与无线密码
4.设备端确认收到 SSID 及无线密钥等信息
5.设备连接无线 AP是否成功，连接后按操作激活设备
6.设备复位后，重复步骤1-4重新配网激活设备成功
网关以太网上行：
1.网关设备通过以太网连接路由器
2.手机连接同一个路由器，打开智能家居APP并进入添加设备页面
3.等待APP发现网关设备，并添加网关设备
预期结果：
网关Wi-Fi上行：
1.设备能够正确获取到 SSID 及无线密钥，且连接 AP并成功激活设备成功，设备列表在线且可以控制设备
网关以太网上行：
1.APP能发现同一局域网下的网关设备，并绑定至APP上
备注：
1.App下载地址：
https://living.aliyun.com/doc#muti-app.html
2.一键配网是默认配网技术方案
3.配网帮助文档：
帮助
4.网关使用GPRS/LET/NB-IoT上行无需测试本用例
1.4 子设备配网支持
用例编号：
用例名称：子设备配网支持
测试目的：验证模组是否支持子设备配网
测试步骤：
1.网关配网成功并绑定至APP
2.子设备上电
3.APP通过扫码、选择子设备品类等方式进入子设备配网
4.APP上选择已绑定的网关设备（选择后网关进入配网状态）
5.操作子设备进入配网状态（各类子设备进入配网状态的方式不同，根据实际情况操作）
6.子设备上触发进入配网状态后，APP上等待子设备配网成功
预期结果：
1.子设备配网绑定成功
备注：
1.配网帮助文档：
帮助
1.5 数据上下行
用例编号：
用例名称：数据上下行
测试目的：验证设备支持数据上下行
测试步骤：
1.网关配网成功并绑定至APP
2.子设备上电
3.使用APP面板控制网关设备和子设备
预期结果：
1.成功控制网关设备和子设备
2.网关设备和子设备成功上报属性和事件
备注：
2. 设备稳定性
2.1 长时间数据通信稳定性
用例编号：
用例名称：验证物联网设备与阿里云长时间连接且数据通信稳定
测试目的：
1.设备上电，使用串口工具将设备串口日志定向到文件
2.web或APP上确定设备上线，记录设备上线时间
3.使用压测工具以500ms为周期设置设备属性，保持设备网络环境稳定
测试步骤：
1.12小时稳定工作，无离线
2.丢包率≤1%
3.系统无crash，fail，error，assert，abort，内存泄漏，阻塞等异常
预期结果：
备注：
自测压测时请联系阿里小二提供压测服务
2.1 设备反复升级稳定性
用例编号：
用例名称：设备反复升级稳定性
测试目的：验证设备反复升级稳定性
测试步骤：
1.获取固件BIN1，版本为V1
2.获取固件BIN2，版本为V2，V1大于V2
3.上传固件BIN2，版本号填为V2
4.上传固件BIN1，版本号填为V3
5.设备烧录BIN1
6.使用反复升级脚本循环升级100次
预期结果：
1.成功率99%
备注：
1.本用例暂无需自测
2.3 长时间本地通信稳定性
用例编号：
用例名称：长时间本地通信稳定性
测试目的：验证本地通信功能长时间稳定可用
测试步骤：
1.设备配网连接路由器（仅限WiFi设备）
2.设备绑定到APP，手机APP与设备连接到同一个路由器（确保在同一局域网)
3.使用本地通信压测工具以500ms为周期控制设备
预期结果：
1.持续12H
2.丢包率≤1%
3.系统无crash，fail，error，assert，abort，内存泄漏，阻塞等异常
备注：
1.≥AOS-R-1.3.3的版本支持
2.4 长时间本地通信稳定性
用例编号：
用例名称反复断网发现与重连
测试目的：验证设备反复断网发现与重连成功
测试步骤：
1.设备配网连接路由器（通过WiFi或以太网）
2.断开设备上行网络，等待设备离线
3.设备离线后恢复设备上行网络，等待设备重连上线
4.重复步骤2和步骤3 100次
预期结果：
1.100次的断线重连成功100%
2.系统无crash，fail，error，assert，abort，内存泄漏，阻塞等异常
备注：
2.5 长时间断网重连
用例编号：
用例名称长时间断网重连
测试目的：验证设备长时间断网后重连
测试步骤：
1.设备配网连接路由器（通过WiFi或以太网）
2.断开设备上行网络，等待设备离线
3.12小时后网络恢复，等待设备重连
预期结果：
1.设备能重连成功
2.系统无crash，fail，error，assert，abort，内存泄漏，阻塞等异常
备注：
3. 兼容互操作
3.1 一键配网兼容性
用例编号：
用例名称一键配网兼容性
测试目的：验证一键配网兼容性
测试步骤：
1.使用无连接兼容性自动化工具验证设备一键配网兼容性
预期结果：
1.兼容性100%
2.系统无crash，fail，error，assert，abort，内存泄漏，阻塞等异常
备注：
1.本用例无需自测
3.2 热点配网兼容性
用例编号：
用例名称热点配网兼容性
测试目的：验证热点配网兼容性
测试步骤：
1.使用无连接兼容性自动化工具验证设备热点配网兼容性
预期结果：
1.兼容性100%
2.系统无crash，fail，error，assert，abort，内存泄漏，阻塞等异常
备注：
1.本用例无需自测
4. 基础安全检查
4.1 设备支持密钥固化存储
用例编号：
用例名称：设备支持密钥固化存储
测试目的：验证设备是否支持密钥固化存储
测试步骤：
1.打开IoT控制台，找到当前设备；
2.设备上电，并与云端通信；
3.复位设备，重复步骤 2；
4.升级设备，重复步骤2；
恢复出厂设置，重复步骤2；
预期结果：
1.IoT控制台显示设备为三元组认证设备，且设备不在线；
2.执行步骤2后，IoT控制台显示设备在线；
3.执行步骤3后，IoT控制台显示设备在线；
4.执行步骤4后，IoT控制台显示设备在线；
5.执行步骤5后，IoT控制台显示设备在线；
备注：
4.2 设备支持ID2认证
用例编号：
用例名称：设备支持ID2认证
测试目的：验证设备是否支持ID2认证
测试步骤：
1.打开IoT控制台，找到当前设备；
2.设备上电，并与云端通信；
预期结果：
1.IoT控制台显示设备为ID2认证设备，且设备不在线；
2.IoT控制台显示设备在线；
备注：
4.3 数据通信使用TLS1.2
用例编号：
用例名称：数据通信使用TLS1.2
测试目的：验证设备数据通信中是否使用TLS1.2
测试步骤：
1.设备与PC处于同一个无线/有线网络环境
2.打开抓包软件，并开始监听局域网的数据包；
3.设备上电，并与云端通信；
预期结果：
1.能检测到设备端与云端TLS握手过程；
2.能检测到设备端与云端使用TLS传输数据过程；
3.TLS版本号为1.2；
备注：
1.本用例与4.4二选一
4.4 设备数据通信使用iTLS/iDTLS
用例编号：
用例名称：设备数据通信使用iTLS/iDTL
测试目的：验证设备数据通信中是否使用iTLS/iDTLS
测试步骤：
1.设备与PC处于同一个无线/有线网络环境
2.设备上电，并与云端通信；
预期结果：
1.IoT控制台显示设备在线，设备log显示连接云端的域名地址包含“itls”，如“itls-cn-shanghai.aliyuncs.com”；
备注：
1.本用例与4.3二选一
4.5 设备连云多通道检测
用例编号：
用例名称：设备连云多通道检测
测试目的：
测试步骤：
1.抓包监听局域网的数据包；
2.设备上电，并与云端通信；
预期结果：
1.设备与云端通信前有DNS报文，且DNS报文中只包含阿里云IoT服务端的域名解析；
2.假定DNS解析出IoT服务端的IP为IP1，设备与云端通信的数据报文中只包含与IP1的通信报文；
备注：
4.6 设备安全启动
用例编号：
用例名称：设备安全启动
测试目的：验证设备是否具有安全启动能力
测试步骤：
1.获取固件分区图，明确代码区，数据区，固件签名区域；
2.获取固件包BIN，烧录到设备并重启；
3.修改固件BIN的代码区域得到固件BIN1，烧录到设备并重启；
4.修改固件BIN的数据区域得到固件BIN2，烧录到设备并重启；
5.修改固件BIN的签名区域得到固件BIN3，烧录到设备并重启；
6.烧录固件BIN到设备中，并重启设备；
预期结果：
1.步骤2设备重启成功；
2.步骤3设备重启失败；
3.步骤4设备重启失败；
4.步骤5设备重启失败；
5.步骤6设备重启成功；
备注：
4.7 设备升级支持完整性和签名校验
用例编号：
用例名称：设备升级支持完整性和签名校验
测试目的：验证设备升级支持完整性和签名校验
测试步骤：
1.获取升级包分区图，明确代码区，数据区，固件签名区域；
2.获取升级包BIN，设备升级；
3.修改升级包BIN的代码区域得到升级包BIN1, 升级设备；
4.修改升级包BIN的数据区域得到升级包BIN2，升级设备；
5.修改升级包BIN的签名区域得到升级包BIN3，升级设备；
预期结果：
1.步骤2升级成功
2.步骤3升级失败
3.步骤4升级失败
4.步骤5升级失败
备注：
4.8 设备升级支持防回滚
用例编号：
用例名称：设备升级支持防回滚
测试目的：验证设备升级支持防回滚
测试步骤：
1.获取固件BIN1，版本为V1
2.获取固件BIN2，版本为V2，V1>V2
3.设备烧录固件BIN1
4.使用BIN2升级设备
预期结果：
1.BIN2升级失败
备注：
4.9 设备日志不含敏感信息
用例编号：
用例名称：设备日志不含敏感信息
测试目的：验证设备日志中是否含有敏感信息
测试步骤：
1.设备配网、连接阿里云
2.检索日志，查看是否包含deviceSecret明文
3.检索日志，查看是否包含productSecret明文
3.检索日志，查看是否包含AP password明文
预期结果：
1.日志不包含deviceSecret、productSecret、AP password明文
备注
5. 硬件测试
部分ICA联盟测试规范暂未发布，可以参考Zigbee硬件检测报告模板查看全部测试项