Files
ai-ops/test/CASES.md
2026-05-12 17:48:22 +08:00

8.4 KiB
Raw Blame History

AI-Ops 测试用例

版本v1.0 | 状态:初稿


AC-1 实时监控看板

用例编号 名称 前置条件 测试步骤 预期结果 优先级
TC-1.1 首页加载时间 服务运行中,指标数据已采集 1. 访问运维主控台首页 2. 记录首屏加载时间 加载时间 < 2s P0
TC-1.2 六大指标显示 指标数据已采集 1. 访问首页 2. 检查指标卡片 必须显示 QPS、平均延迟、P99 延迟、5xx 错误率、活跃供应商数量、未关闭告警数量 P0
TC-1.3 指标刷新延迟 指标数据已更新 1. 触发新指标数据写入 2. 记录前端刷新时间 15s 内刷新显示 P0

AC-2 指标下钻

用例编号 名称 前置条件 测试步骤 预期结果 优先级
TC-2.1 趋势图展示 存在 1 小时指标数据 1. 点击某指标卡片 2. 观察趋势图 展示过去 1 小时分钟级数据 P0
TC-2.2 下钻分割 存在多服务/路径/供应商数据 1. 选择下钻维度 2. 查看分割结果 支持 service、path、supplier 维度 P1
TC-2.3 下钻查询时间 大量数据存在 1. 执行下钻查询 2. 记录响应时间 查询时间 < 3s P0

AC-3 告警规则配置

用例编号 名称 前置条件 测试步骤 预期结果 优先级
TC-3.1 创建规则 登录运维人员 1. 填写规则名称、指标、阈值、持续时间、级别、通知渠道 2. 提交 规则创建成功,返回规则 ID P0
TC-3.2 缺少字段报错 登录运维人员 1. 提交空规则名称 2. 提交 返回 400 错误,提示缺少字段 P1
TC-3.3 规则生效时间 规则已创建 1. 创建规则 2. 30s 后触发相关指标超阈值 规则生效,触发告警 P0
TC-3.4 同时运行 50 条规则 已创建 50 条规则 1. 创建 50 条规则 2. 观察系统运行 50 条规则同时运行不崩溃 P1

AC-4 告警通知触达

用例编号 名称 前置条件 测试步骤 预期结果 优先级
TC-4.1 P0 告警触发时间 P0 规则已配置 1. 模拟指标超阈值 2. 记录通知发送时间 通知发送时间 < 30s P0
TC-4.2 P2 告警触发时间 P2 规则已配置 1. 模拟指标超阈值 2. 记录通知发送时间 通知发送时间 < 120s P0
TC-4.3 通知渠道覆盖 规则已配置 1. 配置 Webhook、邮件、飞书通知 2. 触发告警 所有配置渠道均收到通知 P0
TC-4.4 通知模板完整性 规则已配置 1. 触发告警 2. 检查通知内容 包含级别、规则名称、触发时间、当前值、阈值、事件 ID、查看链接 P1

AC-5 告警聚合与抑制

用例编号 名称 前置条件 测试步骤 预期结果 优先级
TC-5.1 集群告警触发 规则已配置 1. 1 分钟内模拟触发 >20 条同资源告警 生成 1 条集群告警,停止单条通知 P0
TC-5.2 抑制周期 规则已配置 1. 触发告警 2. 5 分钟内再次触发同规则同目标 仅发送 1 次通知(除非级别升级) P0

AC-6 自动自愈

用例编号 名称 前置条件 测试步骤 预期结果 优先级
TC-6.1 自愈动作配置 规则已配置 1. 为规则配置自愈动作 2. 模拟触发 自愈动作在 60s 内执行完成 P0
TC-6.2 自愈执行结果记录 自愈已执行 1. 执行自愈动作 2. 检查告警事件 记录执行结果(成功/失败/拒绝) P1
TC-6.3 自愈失败升级 自愈动作配置 1. 模拟自愈失败 2. 观察 2 分钟 升级为人工告警 P0

AC-7 配置审计日志

用例编号 名称 前置条件 测试步骤 预期结果 优先级
TC-7.1 审计日志生成 登录管理员 1. 修改配置 2. 1s 内查询审计日志 生成审计记录,包含所有必要字段 P0
TC-7.2 审计日志不可篡改 审计日志已生成 1. 尝试直接修改数据库审计记录 修改被拒绝或不影响查询结果 P1
TC-7.3 审计查询效率 存在大量审计记录 1. 查询审计日志 2. 记录响应时间 响应时间 < 3s P1

AC-8 配置回滚

用例编号 名称 前置条件 测试步骤 预期结果 优先级
TC-8.1 回滚成功 存在可回滚的审计记录 1. 选择审计记录 2. 执行回滚 3. 确认覆盖内容 回滚成功,生成新审计记录 P0
TC-8.2 回滚目标不存在 目标资源已删除 1. 尝试回滚已删除的资源 返回错误码 OPS_AUD_4101 P0
TC-8.3 回滚二次确认 回滚将影响多个子资源 1. 执行回滚 2. 观察提示 显示将要覆盖的子资源列表 P1

AC-9 容量主板

用例编号 名称 前置条件 测试步骤 预期结果 优先级
TC-9.1 趋势展示 存在 7 天数据 1. 访问容量主板 显示 7 天趋势 P1
TC-9.2 负载等级 指标数据已采集 1. 调整阈值 2. 观察等级变化 正确标注正常/警告/过载 P1

AC-10 日志/指标查询

用例编号 名称 前置条件 测试步骤 预期结果 优先级
TC-10.1 日志筛选 存在日志数据 1. 按时间范围、服务、状态码筛选 返回符合条件的日志 P0
TC-10.2 日志分页 存在大量日志 1. 查询日志 2. 分页浏览 首页返回时间 < 3s单页 100 条 P1
TC-10.3 日志导出 存在日志数据 1. 导出日志为 CSV 成功导出,单次上限 10000 条 P1

AC-11 监控数据保存

用例编号 名称 前置条件 测试步骤 预期结果 优先级
TC-11.1 原始数据保留 已采集指标 1. 等待 7 天 2. 查询 7 天前的原始数据 数据仍可查询 P1
TC-11.2 聚合数据保留 已采集指标 1. 等待 30 天 2. 查询分钟级数据 分钟级聚合数据可查,原始数据已清理 P1

AC-12 角色与权限

用例编号 名称 前置条件 测试步骤 预期结果 优先级
TC-12.1 查看者权限 登录查看者 1. 尝试修改配置 操作被拒绝(返回 403 P1
TC-12.2 运维人员权限 登录运维人员 1. 确认告警 2. 尝试回滚 确认成功,回滚被拒绝 P1
TC-12.3 管理员权限 登录管理员 1. 执行回滚 回滚成功 P0

边缘场景 / 失败路径

用例编号 名称 前置条件 测试步骤 预期结果 优先级
TC-E1 自愈动作重试均失败 自愈动作已配置 1. 模拟自愈失败 2 次 升级为 P0 人工告警 P0
TC-E2 通知渠道失效 通知渠道已配置 1. 模拟 Webhook 8xx 2. 观察切换 切换至备用渠道 P1
TC-E3 回滚目标不存在 目标已删除 1. 尝试回滚 返回错误码 P1
TC-E4 数据源丢失 采集器运行中 1. 停止采集器 5 分钟 显示数据源丢失标识,触发 P2 告警 P1
TC-E5 审计日志存储满盘/写入失败 审计日志存储满盘或写入失败 1. 模拟存储满盘或写入失败 2. 执行配置变更操作 丢弃非关键字段或改为异步上报,不阻断业务操作;记录降级事件 P1
TC-E6 自愈动作触发后形成级联故障 自愈动作已配置 1. 触发自愈动作(如切换路由) 2. 模拟新节点故障 自动恢复上一步操作前的状态,然后升级为人工告警 P0
TC-E7 时序库全面中断 监控系统运行中 1. 断开时序数据库连接 控制台进入只读/降级模式,告警引擎依赖本地缓存持续运行 P0
TC-E8 看板计算超时 看板有历史数据 1. 模拟查询引擎超时 2. 请求看板指标 显示上次成功结果并标注时间戳,不等待当前请求 P1