forked from niuniu/llm-intelligence
186 lines
9.9 KiB
Markdown
186 lines
9.9 KiB
Markdown
# LLM Intelligence Hub — 生产级实施计划（修正版 v1.1）
|
||
|
||
> 文档版本: v1.1
|
||
> 日期: 2026-05-10
|
||
> 负责人: 宰相
|
||
> 状态: Phase 1 执行中
|
||
> **修正说明**: 根据评审报告补充国内厂商覆盖、数据质量规则、非功能需求验证、容错降级设计、审计日志
|
||
|
||
---
|
||
|
||
## 一、项目状态快照
|
||
|
||
### 已完成 ✅
|
||
| 组件 | 说明 |
|
||
|------|------|
|
||
| PRD.md v0.3 | 产品需求文档 |
|
||
| TECHNICAL_DESIGN.md v1.1 | 技术设计文档 |
|
||
| FEATURE_LIST.md v1.1 | 功能清单 |
|
||
| BUSINESS_MODEL.md | 商业模型 |
|
||
| fetch_openrouter.go | OpenRouter采集器 |
|
||
| generate_daily_report.go | 日报生成器 |
|
||
| db/migrations/001_phase1_core_tables.sql | 3张核心表 |
|
||
| frontend/src/pages/Explorer.tsx | Explorer页面脚手架 |
|
||
| verification_executor.go | 验证执行器 |
|
||
|
||
### 进行中/待完善 🟡
|
||
| 组件 | 说明 |
|
||
|------|------|
|
||
| 数据库Schema升级 | 3张表 → 8张完整表 + audit_log |
|
||
| 数据质量规则 | CHECK约束 + stale标记 |
|
||
| 国内厂商数据 | 7家种子数据（DeepSeek/阿里/Moonshot/智谱/字节/百度/腾讯） |
|
||
| Explorer页面 | 分页/排序/stale显示 |
|
||
| 日报推送 | cron配置+降级策略 |
|
||
| 前端构建配置 | package.json/vite.config.ts |
|
||
| 生产部署 | Dockerfile/docker-compose |
|
||
| 审计日志 | audit_log表 + 写入集成 |
|
||
|
||
---
|
||
|
||
## 二、修正说明（对照评审报告）
|
||
|
||
| 评审发现 | 修正措施 | 所在Sprint |
|
||
|----------|----------|-----------|
|
||
| 国内厂商覆盖缺失 | Sprint 2 新增7家种子数据录入 | Sprint 2 |
|
||
| 数据质量规则缺4/6 | Sprint 1 新增CHECK约束+stale标记+质量摘要 | Sprint 1 |
|
||
| 非功能需求缺5/6 | Sprint 2~6 新增采集成功率监控+连续失败告警+性能门禁 | Sprint 2~6 |
|
||
| 容错降级缺5项 | Sprint 3~5 新增日报降级+Explorer stale显示+维护模式 | Sprint 3~5 |
|
||
| 审计日志缺失 | Sprint 1 新增audit_log表，Sprint 2 集成写入 | Sprint 1~2 |
|
||
| 3个TBD验证 | 全部改为自动化验证命令 | 全量修正 |
|
||
| 前端基础假设 | T-Q2-2.34拆分为34a+34b | Sprint 4 |
|
||
|
||
---
|
||
|
||
## 三、详细任务清单（74个Task）
|
||
|
||
> 强制规则：每个Task必须有可自动验证的 command，禁止 TBD/semantic 兜底
|
||
|
||
### Sprint 1: 数据层补全（Week 1-2）
|
||
**目标**: 3张表 → 8张完整表 + audit_log + 质量约束
|
||
|
||
| Task ID | 任务 | 验证方式 |
|
||
|---------|------|----------|
|
||
| T-Q2-2.9 | model_provider 表创建 | `psql -c "\dt" \| grep model_provider` |
|
||
| T-Q2-2.10 | operator 表创建 | `psql -c "\dt" \| grep operator` |
|
||
| T-Q2-2.11 | region_pricing 表创建 | `psql -c "\dt" \| grep region_pricing` |
|
||
| T-Q2-2.12 | pricing_history 表创建 | `psql -c "\dt" \| grep pricing_history` |
|
||
| T-Q2-2.13 | free_tier 表创建 | `psql -c "\dt" \| grep free_tier` |
|
||
| T-Q2-2.14 | daily_report 表创建 | `psql -c "\dt" \| grep daily_report` |
|
||
| T-Q2-2.15 | user_subscription 表创建 | `psql -c "\dt" \| grep user_subscription` |
|
||
| **T-Q2-2.15a** | **audit_log 表创建** | `psql -c "\dt" \| grep audit_log` |
|
||
| T-Q2-2.16 | model_prices → region_pricing 迁移 | `SELECT COUNT(*) FROM region_pricing` |
|
||
| T-Q2-2.16a | models 表字段扩充 | `psql -c "\d models"` |
|
||
| **T-Q2-2.16b** | **CHECK 约束（price≥0, context≤10M, currency枚举）** | `psql -c "\d region_pricing" \| grep Check` |
|
||
| T-Q2-2.17 | Provider 种子数据 | `SELECT COUNT(*) FROM model_provider` >= 6 |
|
||
| **T-Q2-2.16c** | **血缘字段强制写入验证** | `SELECT COUNT(*) FROM models WHERE batch_id IS NULL` = 0 |
|
||
| **T-Q2-2.16d** | **stale 标记定时任务** | 插入48h前数据，运行SQL后验证 |
|
||
| T-Q2-2.18 | 审计触发器 | 更新记录验证 updated_at 自动变化 |
|
||
|
||
### Sprint 2: 采集器强化 + 国内厂商（Week 3-4）
|
||
**目标**: 采集器重构 + 国内7家厂商种子数据 + 审计日志集成
|
||
|
||
| Task ID | 任务 | 验证方式 |
|
||
|---------|------|----------|
|
||
| T-Q2-2.19 | ProviderMapper 模块提取 | `go test ./internal/collectors/` |
|
||
| T-Q2-2.20 | ProviderNameMap 完整映射 | 单元测试覆盖所有映射 |
|
||
| T-Q2-2.21 | Collector 接口抽象 | `go test ./internal/collectors/` |
|
||
| T-Q2-2.22 | 指数退避重试包 | `go test ./internal/retry/ -v` |
|
||
| T-Q2-2.23 | 采集器集成重试 | 模拟API失败验证重试 |
|
||
| T-Q2-2.24 | 批量插入优化 | 采集371条 < 30秒 |
|
||
| T-Q2-2.25 | 价格变动检测（>5%） | 修改价格验证 history 表记录 |
|
||
| T-Q2-2.25a | 事务边界优化（每批次事务） | 中断采集验证已提交数据保留 |
|
||
| T-Q2-2.26 | 结构化日志（slog JSON） | 日志含 collector/duration/records |
|
||
| **T-Q2-2.26a** | **采集成功率监控** | `SELECT success_rate_7d FROM collector_stats` >= 95 |
|
||
| **T-Q2-2.27a** | **国内厂商录入：DeepSeek** | DeepSeek模型数 >= 3 |
|
||
| **T-Q2-2.27b** | **国内厂商录入：阿里/Moonshot/智谱** | 每家至少2个模型 |
|
||
| **T-Q2-2.27c** | **国内厂商录入：字节/百度/腾讯** | 每家至少1个模型 |
|
||
| **T-Q2-2.27d** | **国内厂商CNY定价录入** | `SELECT COUNT(*) FROM region_pricing WHERE currency='CNY'` >= 10 |
|
||
| **T-Q2-2.27e** | **采集器写入 audit_log** | `SELECT COUNT(*) FROM audit_log WHERE table_name='models'` >= 371 |
|
||
|
||
### Sprint 3: 日报与报告（Week 5-6）
|
||
**目标**: 日报增强 + 降级策略 + 飞书推送
|
||
|
||
| Task ID | 任务 | 验证方式 |
|
||
|---------|------|----------|
|
||
| T-Q2-2.28 | 日报从DB读取（非JSON） | 删除 models.json 后日报仍能生成 |
|
||
| T-Q2-2.29 | 新模型检测逻辑 | 插入测试模型验证报告含"新模型" |
|
||
| T-Q2-2.30 | 价格变动高亮（>5%） | 修改价格>5%验证报告高亮 |
|
||
| T-Q2-2.31 | 场景推荐算法 | 推荐含 TOP 3 模型及理由 |
|
||
| **T-Q2-2.31a** | **数据质量摘要段落** | `grep "数据质量" reports/daily/*.md` |
|
||
| T-Q2-2.32 | HTML报告模板 | 浏览器正常打开 |
|
||
| T-Q2-2.33 | Markdown报告优化 | 飞书/钉钉渲染正常 |
|
||
| **T-Q2-2.33a** | **run_daily.sh 完整脚本** | 手动执行 exit code = 0 |
|
||
| T-Q2-2.34 | cron配置（每日08:00） | `crontab -l \| grep llm-intelligence` |
|
||
| **T-Q2-2.35** | **日报失败降级（复制昨日+"[数据延迟]"）** | 模拟失败验证复制和标题 |
|
||
| **T-Q2-2.36** | **日报飞书告警（失败时）** | 测试webhook模拟失败验证消息到达 |
|
||
| T-Q2-2.37 | 日报写入 daily_report 表 | `SELECT * FROM daily_report WHERE report_date = TODAY` |
|
||
| T-Q2-2.38 | 报告文件归档 | `ls reports/daily/2026/05/` |
|
||
|
||
### Sprint 4: 前端完善（Week 7-8）
|
||
**目标**: Explorer完善 + 可视化 + 降级显示
|
||
|
||
| Task ID | 任务 | 验证方式 |
|
||
|---------|------|----------|
|
||
| **T-Q2-2.39a** | **package.json 创建** | `cd frontend && npm install` |
|
||
| **T-Q2-2.39b** | **vite.config.ts + tsconfig.json** | `cd frontend && npm run build` |
|
||
| T-Q2-2.40 | index.html 入口页 | `npm run dev` 可访问 |
|
||
| T-Q2-2.41 | App.tsx 路由配置 | 路由切换正常 |
|
||
| T-Q2-2.42 | 数据服务层封装 | API返回正确结构 |
|
||
| T-Q2-2.43 | 分页功能 | 100+条分页正常 |
|
||
| T-Q2-2.44 | 排序功能 | Jest单元测试通过 |
|
||
| T-Q2-2.45 | 免费标记样式 | 所有免费模型标记正确 |
|
||
| T-Q2-2.46 | 厂商筛选动态加载 | 新增厂商自动出现 |
|
||
| T-Q2-2.47 | 模态筛选修正 | vision/text/code分类正确 |
|
||
| **T-Q2-2.48** | **stale 状态显示（红标）** | 插入stale数据验证显示 |
|
||
| **T-Q2-2.49** | **pricing unavailable 显示** | 单元测试null/undefined显示 |
|
||
| T-Q2-2.50 | ECharts 集成 | 渲染柱状图 |
|
||
| T-Q2-2.51 | 价格趋势占位图替换 | 显示趋势曲线 |
|
||
| T-Q2-2.52 | Dashboard 首页 | 显示今日报告摘要 |
|
||
|
||
### Sprint 5: 生产部署（Week 9-10）
|
||
**目标**: 容器化 + CI/CD + 运维脚本
|
||
|
||
| Task ID | 任务 | 验证方式 |
|
||
|---------|------|----------|
|
||
| T-Q2-2.53 | Dockerfile多阶段构建 | `docker build -t llm-hub .` |
|
||
| T-Q2-2.54 | docker-compose.yml | `docker-compose up -d` |
|
||
| T-Q2-2.55 | .env.example | 文件存在且密钥为空 |
|
||
| T-Q2-2.56 | Nginx配置 | `curl http://localhost/health` = 200 |
|
||
| **T-Q2-2.56a** | **Nginx 维护模式** | curl 返回503 + maintenance.html |
|
||
| T-Q2-2.57 | GitHub Actions CI | Push自动触发CI |
|
||
| T-Q2-2.58 | 测试覆盖率检查（≥80%） | 不达标CI失败 |
|
||
| T-Q2-2.59 | 构建产物上传 | Artifacts含产物 |
|
||
| T-Q2-2.60 | 数据库备份脚本 | 手动执行验证OSS上传 |
|
||
| T-Q2-2.61 | 数据库恢复脚本 | 恢复后数据完整 |
|
||
| **T-Q2-2.62** | **健康检查脚本** | `./healthcheck.sh` 输出正常 |
|
||
| **T-Q2-2.63** | **日志轮转配置（30天）** | `ls /var/log/llm-hub/` |
|
||
| **T-Q2-2.64** | **连续3天失败告警** | 插入3条失败记录验证告警 |
|
||
|
||
### Sprint 6: 验收与优化（Week 11-12）
|
||
**目标**: 全面验收 + 性能优化 + 文档完善
|
||
|
||
| Task ID | 任务 | 验证方式 |
|
||
|---------|------|----------|
|
||
| **T-Q2-2.65** | **采集覆盖率：OpenRouter 371+ + 国内7家** | models数 >= 371 + 国内厂商 >= 10 |
|
||
| **T-Q2-2.66** | **数据质量：自动抽样核对脚本** | exit code = 0，差异 < 1% |
|
||
| **T-Q2-2.67** | **采集性能 < 30秒** | `time ./fetch_openrouter` < 30s |
|
||
| T-Q2-2.68 | 日报生成验收（连续7天） | 含新模型/价格变动/场景推荐/质量摘要 |
|
||
| T-Q2-2.69 | Explorer页面验收 | 所有交互无报错 |
|
||
| **T-Q2-2.70** | **API响应 < 500ms** | `curl -w "%{time_total}"` < 0.5 |
|
||
| **T-Q2-2.71** | **前端首屏 < 2s** | Lighthouse >= 80 |
|
||
| **T-Q2-2.72** | **7日采集成功率 >= 95%** | `SELECT AVG(success_rate_7d)` >= 95 |
|
||
| T-Q2-2.73 | 密钥管理检查 | `grep -r "sk-" --include="*.go" .` 无结果 |
|
||
| T-Q2-2.74 | SQL注入检查 | 所有SQL参数化查询 |
|
||
|
||
---
|
||
|
||
## 四、质量保障措施
|
||
|
||
| 措施 | 实施方式 |
|
||
|------|----------|
|
||
| 每个Task必须有可自动验证的command | 禁止 TBD/semantic，全部 test_pass/artifact_present |
|
||
| 关键路径双重验证 | 数据采集类：单元测试 + 集成测试 + DB验证 |
|
||
| Sprint结束门禁 | 最后1个任务必须是"全链路回归测试" |
|
||
| Weekly数据质量报告 | Sprint 2起，每周自动生成质量摘要 |
|
||
| 生产放行标准 | 采集成功率>95%、报告<30秒、20+厂商、500+模型、审计日志完整 |
|