Wi-Fi 设备测试规范

• 1. 集成正确性
  • 1.1 检查OS版本
  • 1.2 基础信心核对
  • 1.3 一键配网模式支持
  • 1.4 手机热点配网模式支持
  • 1.5 零配发现模式支持
• 2. 设备稳定性
  • 2.1 长时间数据通信稳定性
  • 2.2 设备反复升级稳定性
  • 2.3 长时间本地通信稳定性
• 3. 兼容互操作
  • 3.1 一键配网兼容性
  • 3.2 热点配网兼容性
• 4. 基础安全检查
  • 4.1 设备支持密钥固化存储
  • 4.2 设备支持ID2认证
  • 4.3 数据通信使用TLS1.2
  • 4.4 设备数据通信使用iTLS/iDTLS
  • 4.5 设备连云多通道检测
  • 4.6 设备安全启动
  • 4.7 设备升级支持完整性和签名校验
  • 4.8 设备升级支持防回滚
  • 4.9 设备日志不含敏感信息
• 5. 硬件测试

1. 集成正确性

1.1 检查OS版本

用例编号：

用例名称：检测OS版本

测试目的：验证模组使用AliOS Things版本是否正确

测试步骤：
1.使用命令行 'version' 查看OS版本

预期结果：
1.芯片认证通过版本V1，模组使用版本V2，V2≥V1


备注：
模组认证前芯片需要通过AliOS Things认证并在认证测试服务平台上展出

1.2 基础信息核对

用例编号：

用例名称：基础信息核对

测试目的：检查模组的基本信息是否正确

测试步骤：
1.检查模组使用的芯片是否通过认证

2.检查模组RAM、FLASH、ROM是否与芯片一致

3.检查模组商业渠道展示照面是否合规

4.检查模组电子资料是否齐全


预期结果：
1.模组使用的芯片通过认证

2.模组RAM、FLASH、ROM与芯片一致

3.模组商业渠道展示照片为模组照片且可展示性强（不是开发板照片）

4.模组电子资料齐全（数据手册、模组规格说明书、照片、驱动、提测固件、OTA固件等）


备注：

1.3 一键配网模式

用例编号：

用例名称：一键配网模式

测试目的：验证设备是否支持一键配网模式

测试步骤：
1.设备按键是设备进入配网状态

2.手机打开智能 APP，选择扫码配网入口（配网二维码从智能生活平台或者认证支撑平台获取）
3.APP 配置无线 SSID 与无线密码
4.设备端确认收到 SSID 及无线密钥等信息
5.设备连接无线 AP是否成功，连接后按操作激活设备

6.设备复位后，重复步骤1 -4重新配网激活设备成功

预期结果：
1.设备能够正确获取到 SSID 及无线密钥，且连接 AP并成功激活设备成功，设备列表在线且可以控制设备

备注：
1.App下载地址：
https://living.aliyun.com/doc#muti-app.html
2.一键配网是默认配网技术方案

3.配网帮助文档：
帮助

1.4 手机热点配网模式

用例编号：

用例名称：手机热点配网模式

测试目的：验证模组是否支持手机热点配网模式

测试步骤：
1.设备上电后进入配网模式

2.按照手机热点配网流程配网

3.激活设备后APP显示设备在线，并且可以控制设备。

4.设备复位后，重复步骤1 - 4重新激活设备成功。

预期结果：
1.联网激活设备成功


备注：
1.配网帮助文档：
帮助

1.5 零配发现模式

用例编号：

用例名称：零配发现模式

测试目的：验证模式是否支持零配发现模式

测试步骤：
1.设备A上电进入配网状态，APP配网绑定设备A成功，并且连接至AP

2.设备B上电进入配网状态

3.APP->添加设备->本地发现设备中选择设备B配网


预期结果：
1.APP通设备A发现设备B，并且能绑定设备B


备注：
1.配网帮助文档：
帮助

2. 设备稳定性

2.1 长时间数据通信稳定性

用例编号：

用例名称：验证物联网设备与阿里云长时间连接且数据通信稳定

测试目的：
1.设备上电，使用串口工具将设备串口日志定向到文件

2.web或APP上确定设备上线，记录设备上线时间

3.使用压测工具以500ms为周期设置设备属性，保持设备网络环境稳定


测试步骤：
1.12小时稳定工作，无离线

2.丢包率≤1%

3.系统无crash，fail，error，assert，abort，内存泄漏，阻塞等异常


预期结果：

备注：
自测压测时请联系阿里小二提供压测服务

2.1 设备反复升级稳定性

用例编号：

用例名称：设备反复升级稳定性

测试目的：验证设备反复升级稳定性

测试步骤：
1.获取固件BIN1，版本为V1

2.获取固件BIN2，版本为V2，V1大于V2

3.上传固件BIN2，版本号填为V2

4.上传固件BIN1，版本号填为V3

5.设备烧录BIN1

6.使用反复升级脚本循环升级100次


预期结果：
1.成功率99%


备注：
1.本用例暂无需自测

2.3 长时间本地通信稳定性

用例编号：

用例名称：长时间本地通信稳定性

测试目的：验证本地通信功能长时间稳定可用

测试步骤：
1.设备配网连接路由器（仅限WiFi设备）

2.设备绑定到APP，手机APP与设备连接到同一个路由器（确保在同一局域网)

3.使用本地通信压测工具以500ms为周期控制设备


预期结果：
1.持续12H

2.丢包率≤1%

3.系统无crash，fail，error，assert，abort，内存泄漏，阻塞等异常


备注：
1.≥AOS-R-1.3.3的版本支持

3. 兼容互操作

3.1 一键配网兼容性

用例编号：

用例名称一键配网兼容性

测试目的：验证一键配网兼容性

测试步骤：
1.使用无连接兼容性自动化工具验证设备一键配网兼容性
预期结果：
1.兼容性100%

2.系统无crash，fail，error，assert，abort，内存泄漏，阻塞等异常


备注：
1.本用例无需自测

3.2 热点配网兼容性

用例编号：

用例名称热点配网兼容性

测试目的：验证热点配网兼容性

测试步骤：
1.使用无连接兼容性自动化工具验证设备热点配网兼容性
预期结果：
1.兼容性100%

2.系统无crash，fail，error，assert，abort，内存泄漏，阻塞等异常


备注：
1.本用例无需自测

4. 基础安全检查

4.1 设备支持密钥固化存储

用例编号：

用例名称：设备支持密钥固化存储

测试目的：验证设备是否支持密钥固化存储

测试步骤：
1.打开IoT控制台，找到当前设备；

2.设备上电，并与云端通信；

3.复位设备，重复步骤 2；
4.升级设备，重复步骤2；

恢复出厂设置，重复步骤2；


预期结果：
1.IoT控制台显示设备为三元组认证设备，且设备不在线；

2.执行步骤2后，IoT控制台显示设备在线；

3.执行步骤3后，IoT控制台显示设备在线；

4.执行步骤4后，IoT控制台显示设备在线；

5.执行步骤5后，IoT控制台显示设备在线；


备注：

4.2 设备支持ID2认证

用例编号：

用例名称：设备支持ID2认证

测试目的：验证设备是否支持ID2认证

测试步骤：
1.打开IoT控制台，找到当前设备；

2.设备上电，并与云端通信；


预期结果：
1.IoT控制台显示设备为ID2认证设备，且设备不在线；

2.IoT控制台显示设备在线；


备注：

4.3 数据通信使用TLS1.2

用例编号：

用例名称：数据通信使用TLS1.2

测试目的：验证设备数据通信中是否使用TLS1.2

测试步骤：
1.设备与PC处于同一个无线/有线网络环境

2.打开抓包软件，并开始监听局域网的数据包；

3.设备上电，并与云端通信；


预期结果：
1.能检测到设备端与云端TLS握手过程；

2.能检测到设备端与云端使用TLS传输数据过程；

3.TLS版本号为1.2；


备注：
1.本用例与AOS-5-12二选一

4.4 设备数据通信使用iTLS/iDTLS

用例编号：

用例名称：设备数据通信使用iTLS/iDTL

测试目的：验证设备数据通信中是否使用iTLS/iDTLS

测试步骤：
1.设备与PC处于同一个无线/有线网络环境

2.设备上电，并与云端通信；


预期结果：
1.IoT控制台显示设备在线，设备log显示连接云端的域名地址包含“itls”，如“itls-cn-shanghai.aliyuncs.com”；


备注：
1.本用例与AOS-5-11二选一

2.5 设备连云多通道检测

用例编号：

用例名称：设备连云多通道检测

测试目的：

测试步骤：
1.抓包监听局域网的数据包；

2.设备上电，并与云端通信；


预期结果：
1.设备与云端通信前有DNS报文，且DNS报文中只包含阿里云IoT服务端的域名解析；

2.假定DNS解析出IoT服务端的IP为IP1，设备与云端通信的数据报文中只包含与IP1的通信报文；


备注：

2.6 设备安全启动

用例编号：

用例名称：设备安全启动

测试目的：验证设备是否具有安全启动能力

测试步骤：
1.获取固件分区图，明确代码区，数据区，固件签名区域；

2.获取固件包BIN，烧录到设备并重启；

3.修改固件BIN的代码区域得到固件BIN1，烧录到设备并重启；

4.修改固件BIN的数据区域得到固件BIN2，烧录到设备并重启；

5.修改固件BIN的签名区域得到固件BIN3，烧录到设备并重启；

6.烧录固件BIN到设备中，并重启设备；


预期结果：
1.步骤2设备重启成功；

2.步骤3设备重启失败；

3.步骤4设备重启失败；

4.步骤5设备重启失败；

5.步骤6设备重启成功；


备注：

4.7 设备升级支持完整性和签名校验

用例编号：

用例名称：设备升级支持完整性和签名校验

测试目的：验证设备升级支持完整性和签名校验

测试步骤：
1.获取升级包分区图，明确代码区，数据区，固件签名区域；

2.获取升级包BIN，设备升级；

3.修改升级包BIN的代码区域得到升级包BIN1, 升级设备；
4.修改升级包BIN的数据区域得到升级包BIN2，升级设备；

5.修改升级包BIN的签名区域得到升级包BIN3，升级设备；


预期结果：
1.步骤2升级成功

2.步骤3升级失败

3.步骤4升级失败

4.步骤5升级失败


备注：

4.8 设备升级支持防回滚

用例编号：

用例名称：设备升级支持防回滚

测试目的：验证设备升级支持防回滚

测试步骤：
1.获取固件BIN1，版本为V1

2.获取固件BIN2，版本为V2，V1>V2

3.设备烧录固件BIN1

4.使用BIN2升级设备


预期结果：
1.BIN2升级失败


备注：

4.9 设备日志不含敏感信息

用例编号：

用例名称：设备日志不含敏感信息

测试目的：验证设备日志中是否含有敏感信息

测试步骤：
1.设备配网、连接阿里云

2.检索日志，查看是否包含deviceSecret明文

3.检索日志，产看是否包含productSecret明文

3.检索日志，查看是否包含AP password明文

预期结果：
1.日志不包含deviceSecret、productSecret、AP password明文

备注

5. 硬件测试

Wi-Fi模组硬件测试规范(ICA联盟测试标准组硬件测试规范，下载测试规范需要账号登录)

部分ICA联盟测试规范暂未发布，可以参考Wi-Fi硬件检测报告模板查看全部测试项