diff --git a/README.md b/README.md index d0b21a8..5af500a 100644 --- a/README.md +++ b/README.md @@ -161,6 +161,8 @@ cd frontend && npm run build - [docs/CONFIGURATION.md](docs/CONFIGURATION.md)：环境变量、运行语义、配置约束 - [docs/API_REFERENCE.md](docs/API_REFERENCE.md)：API 入口、返回体与排障说明 +- [docs/PLAN_CATALOG_COVERAGE_MATRIX.md](docs/PLAN_CATALOG_COVERAGE_MATRIX.md)：平台覆盖矩阵，区分目录基线 / 目录核验 / importer / 真实入库 / 细颗粒度价格缺口 +- [docs/NEXT_IMPORTER_RUNTIME_PRIORITY.md](docs/NEXT_IMPORTER_RUNTIME_PRIORITY.md)：下一批 importer / runtime 挂载优先清单，按 P0/P1/P2 给出最短闭环顺序 - [docs/PRODUCTION_CHECKLIST.md](docs/PRODUCTION_CHECKLIST.md)：生产上线前检查、发布与回滚流程 - [DEPLOYMENT.md](DEPLOYMENT.md)：部署步骤与快速启动 - [RUNBOOK.md](RUNBOOK.md)：运维巡检、故障排查、备份恢复 diff --git a/docs/NEXT_IMPORTER_RUNTIME_PRIORITY.md b/docs/NEXT_IMPORTER_RUNTIME_PRIORITY.md new file mode 100644 index 0000000..89a393f --- /dev/null +++ b/docs/NEXT_IMPORTER_RUNTIME_PRIORITY.md @@ -0,0 +1,116 @@ +# 下一批 importer / runtime 挂载优先清单 + +> For Hermes: 这是基于当前 `PLAN_CATALOG_COVERAGE_MATRIX.md` 的执行清单，不是泛泛 roadmap。优先修“高价值且证据已足够”的缺口，再做长尾扩展。 + +更新时间：2026-05-22 + +## 本轮已完成的小批次闭环 + +已完成并验证： + +1. 腾讯云 TokenHub runtime 挂载 +2. 魔搭 API-Inference importerKey 校准 +3. 天翼云模型推理服务 payg importerKey 校准 + +对应结果： +- `tencent_subscription` 已进入 `run_daily.sh` / `run_intel_pipeline.sh` / `run_real_pipeline.sh` +- `verify_importer_smoke.sh` 已新增腾讯 fixture/live smoke，并通过 +- `魔搭 API-Inference` 与 `天翼云模型推理服务 payg` 已从错误的价格 importer 映射回退到 `import_catalog_seed_verification.go` +- 覆盖矩阵已同步到新真相 + +## 当前事实基线 + +来自 `docs/PLAN_CATALOG_COVERAGE_MATRIX.md`： + +- 目录基线：70/70 +- 目录核验：32/70 +- 已有 importer：34/70 +- 已真实入库：34/70 +- 仍缺细颗粒度价格：41/70 + +解读： +- 这轮不是单纯“把数字做大” +- 而是先消除了 source 归属漂移，让 `已真实入库` 统计更可信 + +--- + +## 现在的下一批优先级 + +### P1：补国内高价值官方平台的真实 payg importer + +| 优先级 | 平台 | 当前状态 | 价值 | 建议动作 | +|---|---|---|---|---| +| P1-1 | 百川 / 零一万物 / 商汤 / 讯飞 | 只有目录核验 | 都在国内 Top20 前半区，适合模板化批量推进 | 按统一 official pricing importer 模板推进 | + +### P2：补中转/聚合平台的细颗粒度价格 + +| 优先级 | 平台 | 当前状态 | 价值 | 建议动作 | +|---|---|---|---|---| +| P2-1 | 联通云 AICP / AI 应用开发平台 | 已真实入库，但仍缺细颗粒度价格 | 当前仅目录/入口层覆盖，不足以支撑价格对比 | 在 `import_cucloud_catalog.go` 基础上升级为 pricing importer 或新增 `import_cucloud_pricing.go` | +| P2-2 | 移动云 AI 应用专区 | 已真实入库，但事实粒度仍偏粗 | 已有 runtime，但事实粒度不足 | 从 `import_mobile_cloud_catalog.go` 升级到 pricing importer | +| P2-3 | 豆包与 Seed 开放平台 | 已有多源/订阅链路，但仍缺细颗粒度价格标注 | 当前矩阵里仍保留缺口 | 区分“已有多源模型采集”与“官方价格页结构化价格”能力 | +| P2-4 | 天翼云息壤 / CloudBase AI+ / TI 平台大模型广场 | manual_review | 平台入口存在，但尚无真实 importer | 先回查官方页面结构，再决定 catalog importer 还是 pricing importer | + +### P3：全球参考集从目录核验升级为真实价格 importer + +首批建议顺序： +1. Gemini API +2. Mistral La Plateforme +3. Cohere Platform +4. Together AI +5. Fireworks AI +6. DeepInfra +7. GroqCloud + +原因： +- 都已确认有官方价格页 +- 都适合复用统一 official pricing importer 模板 +- 对“全球平台横向价格比较”价值高 + +--- + +## 推荐执行顺序 + +### 第一批（已完成的小批次闭环） +1. 通义千问开放平台 payg importer +2. 腾讯混元开放平台 payg importer +3. 华为云 MaaS payg importer（对应原规划里的“盘古大模型服务”位点；当前公开 payg 实际覆盖 MaaS 文本模型集合） + +理由： +- runtime/source 真相已经同步到 run_daily / run_real_pipeline / run_intel_pipeline +- seed/importerKey 已从目录核验切换到真实官方 pricing importer +- 华为侧保留 package + payg 双链路；但公开 payg 页面未见独立盘古 SKU 单价，已按真实页面语义落地 + +### 第二批（平台深挖） +4. 联通云 pricing importer +5. 移动云 pricing importer +6. 火山方舟官方价格页结构化 importer + +### 第三批（全球参考集） +7. Gemini API +8. Mistral La Plateforme +9. Cohere Platform + +--- + +## 下一步验收口径 + +每完成一项，都必须同步验证这 4 件事： + +1. seed / importerKey 是否与真实脚本一致 +2. `run_daily.sh` / `run_intel_pipeline.sh` / `run_real_pipeline.sh` 是否真正执行了该 source +3. 覆盖矩阵状态是否已同步 +4. 若新增 source，pipeline audit / failed_source_keys 是否能正确反映它 + +## 建议结论 + +如果下一步只选一条最值得马上做的线： + +A. 先做 `百川 / 零一万物 / 商汤 / 讯飞` 中任一条官方 payg importer + +如果允许做一个“小批次闭环”： + +B. `联通云 pricing importer + 移动云 pricing importer + 火山方舟官方价格页 importer` + +通义千问 / 腾讯混元 / 华为云 MaaS 这一批已完成，后续优先转向仍缺细颗粒度价格的平台。 + diff --git a/docs/PLAN_CATALOG_COVERAGE_MATRIX.md b/docs/PLAN_CATALOG_COVERAGE_MATRIX.md new file mode 100644 index 0000000..8260016 --- /dev/null +++ b/docs/PLAN_CATALOG_COVERAGE_MATRIX.md @@ -0,0 +1,117 @@ +# 平台覆盖矩阵 + +更新时间：2026-05-22（基于当前仓库 seed、`scripts/run_daily.sh` source set、以及 `docs/PLAN_CATALOG_INVENTORY.md` 的显式说明） + +## 判定规则 + +- 目录基线：该平台/套餐族已经进入 `plan_catalog_inventory`。本矩阵全部 70 行默认都为 `✓`。 +- 目录核验：当前只走 `import_catalog_seed_verification.go`，说明已确认官方入口，但还不是细颗粒度结构化价格抓取。 +- 已有 importer：仓库里已有真实 importer/collector，或 seed 标注为 `existing_price_importer`。 +- 已真实入库：在当前 `scripts/run_daily.sh` / `run_intel_pipeline.sh` 的 source set 中能找到对应运行 source；仅 `catalog_seed_verification` 不算真实价格/套餐入库。 +- 仍缺细颗粒度价格：属于目录核验、manual review 占位，或 `PLAN_CATALOG_INVENTORY.md` 已明确列为后续细化价格优先项。 + +## 汇总 + +- 目录基线：70/70 +- 目录核验：32/70 +- 已有 importer：34/70 +- 已真实入库：34/70 +- 仍缺细颗粒度价格：41/70 + +## 基础目录 + +| 平台 | 覆盖对象 | 套餐族 | 目录基线 | 目录核验 | 已有 importer | 已真实入库 | 仍缺细颗粒度价格 | 当前证据 | +|---|---|---|---|---|---|---|---|---| +| 京东云 JoyBuilder | 计费说明--JoyBuilder 模型开发平台2.0 | 按量计费 | ✓ | ✓ | — | — | ✓ | 当前仅走目录级官方入口核验 | +| Anthropic API | Pricing | 按量计费 | ✓ | ✓ | — | — | ✓ | 当前仅走目录级官方入口核验 | +| OpenAI API | Pricing | 按量计费 | ✓ | — | ✓ | ✓ | — | run_daily 多源采集 source=openai | +| xAI API | Pricing | 按量计费 | ✓ | ✓ | — | — | ✓ | 当前仅走目录级官方入口核验 | + +## 国内官方厂家 Top20 + +| 平台 | 覆盖对象 | 套餐族 | 目录基线 | 目录核验 | 已有 importer | 已真实入库 | 仍缺细颗粒度价格 | 当前证据 | +|---|---|---|---|---|---|---|---|---| +| 通义千问开放平台 | 什么是大模型服务平台百炼 | 按量计费 | ✓ | ✓ | ✓ | ✓ | — | run_daily source=qwen_pricing | +| 腾讯混元开放平台 | 腾讯混元 | 按量计费 | ✓ | ✓ | ✓ | ✓ | — | run_daily source=hunyuan_pricing | +| 文心大模型开放平台 | 文心千帆大模型平台 | 按量计费 | ✓ | — | ✓ | ✓ | — | run_daily 多源采集 source=baidu | +| 豆包与 Seed 开放平台 | 火山方舟 | 按量计费 | ✓ | — | ✓ | ✓ | ✓ | run_daily 多源采集 source=bytedance | +| 智谱 Coding Plan | 套餐概览 | Coding Plan | ✓ | — | ✓ | ✓ | — | run_daily source=zhipu_coding_plan | +| 盘古大模型服务 | 大模型即服务 MaaS | 按量计费 | ✓ | ✓ | ✓ | ✓ | 部分 | run_daily source=huawei_maas_pricing（当前官方公开 payg 实际覆盖华为云 MaaS 文本模型集合，未见独立盘古 SKU 单价） | +| DeepSeek API | 模型 & 价格 | 按量计费 | ✓ | — | ✓ | ✓ | — | run_daily 多源采集 source=deepseek | +| Kimi API 开放平台 | 模型推理价格说明 | 按量计费 | ✓ | — | ✓ | ✓ | — | run_daily 多源采集 source=moonshot | +| MiniMax 开放平台 | Token Plan 概要 | Token Plan | ✓ | — | ✓ | ✓ | — | run_daily source=minimax_subscription | +| Step Plan | Step Plan 简介 | Coding Plan | ✓ | — | — | — | ✓ | 仅人工核对占位，尚未接入 importer | +| 百川开放平台 | 价格说明 | 按量计费 | ✓ | ✓ | — | — | ✓ | 当前仅走目录级官方入口核验 | +| 零一万物开放平台 | 零一万物开放平台文档 | 按量计费 | ✓ | ✓ | — | — | ✓ | 当前仅走目录级官方入口核验 | +| 日日新开放平台 | 定价 | 按量计费 | ✓ | ✓ | — | — | ✓ | 当前仅走目录级官方入口核验 | +| 讯飞星火开放平台 | 星火大模型 Web API | 按量计费 | ✓ | ✓ | — | — | ✓ | 当前仅走目录级官方入口核验 | +| 360 智脑开放平台 | 360 智脑开放平台 | 按量计费 | ✓ | ✓ | — | — | ✓ | 当前仅走目录级官方入口核验 | +| 网易有道子曰开放平台 | 有道智云 MaaS | 按量计费 | ✓ | ✓ | — | — | ✓ | 当前仅走目录级官方入口核验 | +| MiniCPM 开放平台 | 面壁开放平台 | 按量计费 | ✓ | ✓ | — | — | ✓ | 当前仅走目录级官方入口核验 | +| 智源开放平台 | FlagOpen | 按量计费 | ✓ | ✓ | — | — | ✓ | 当前仅走目录级官方入口核验 | +| 天工开放平台 | 天工开放平台 | 按量计费 | ✓ | ✓ | — | — | ✓ | 当前仅走目录级官方入口核验 | +| 无问芯穹开放平台 | 无问芯穹云平台 | 按量计费 | ✓ | ✓ | — | — | ✓ | 当前仅走目录级官方入口核验 | + +## 国内中转/聚合平台 20+ + +| 平台 | 覆盖对象 | 套餐族 | 目录基线 | 目录核验 | 已有 importer | 已真实入库 | 仍缺细颗粒度价格 | 当前证据 | +|---|---|---|---|---|---|---|---|---| +| 腾讯云 TokenHub | Token Plan 个人版套餐概览 | Token Plan | ✓ | — | ✓ | ✓ | — | run_daily source=tencent_subscription | +| 腾讯云 TokenHub | Token Plan 企业版专业套餐 | Token Plan | ✓ | — | ✓ | ✓ | — | run_daily source=tencent_subscription | +| 腾讯云 TokenHub | Token Plan 企业版轻享套餐 | Token Plan | ✓ | — | ✓ | ✓ | — | run_daily source=tencent_subscription | +| 腾讯云 TokenHub | Coding Plan 常见问题 | Coding Plan | ✓ | — | ✓ | ✓ | — | run_daily source=tencent_subscription | +| 阿里云百炼 | Token Plan（团队版）概述 | Token Plan | ✓ | — | ✓ | ✓ | — | run_daily source=aliyun_subscription | +| 阿里云百炼 | Coding Plan概述 | Coding Plan | ✓ | — | ✓ | ✓ | — | run_daily source=aliyun_subscription | +| 百度千帆 | Token 福利包 | Token Plan | ✓ | — | ✓ | ✓ | — | run_daily source=baidu_subscription | +| 百度千帆 | Coding Plan | Coding Plan | ✓ | — | ✓ | ✓ | — | run_daily source=baidu_subscription | +| 火山方舟 | 火山方舟新套餐上线：方舟 Coding Plan | Coding Plan | ✓ | — | ✓ | ✓ | — | run_daily source=bytedance_subscription | +| 华为云 MaaS | MaaS文本生成模型 | Package Plan | ✓ | — | ✓ | ✓ | ✓ | run_daily source=huawei_package | +| CloudBase AI+ | 云开发 CloudBase | Unknown | ✓ | — | — | — | ✓ | 仅人工核对占位，尚未接入 importer | +| TI 平台大模型广场 | TI 平台 | Unknown | ✓ | — | — | — | ✓ | 仅人工核对占位，尚未接入 importer | +| 魔搭 API-Inference | API-Inference 简介 | 按量计费 | ✓ | ✓ | — | — | ✓ | 当前仅走目录级官方入口核验 | +| 天翼云模型推理服务 | 天翼云模型推理服务 | Token Plan | ✓ | — | ✓ | ✓ | — | run_daily source=ctyun_subscription | +| 天翼云模型推理服务 | 天翼云模型推理服务 | 按量计费 | ✓ | ✓ | — | — | ✓ | 当前仅走目录级官方入口核验 | +| 天翼云模型推理服务 | 天翼云模型推理服务 | Coding Plan | ✓ | — | ✓ | ✓ | — | run_daily source=ctyun_subscription | +| 天翼云息壤 | 天翼云息壤 | Unknown | ✓ | — | — | — | ✓ | 仅人工核对占位，尚未接入 importer | +| 联通云 AICP | 联通云智算专区 | 按量计费 | ✓ | — | ✓ | ✓ | ✓ | run_daily source=cucloud_catalog | +| 联通云 AI 应用开发平台 | 联通云智算专区 | 按量计费 | ✓ | — | ✓ | ✓ | ✓ | run_daily source=cucloud_catalog | +| 移动云 AI 应用专区 | 移动云市场 AI 应用专区 | Unknown | ✓ | — | ✓ | ✓ | ✓ | run_daily source=mobile_cloud_catalog | +| 有道智云 MaaS | 有道智云 MaaS | 按量计费 | ✓ | — | ✓ | ✓ | — | run_daily source=youdao_pricing | +| 360 智脑开放平台 | 360 智脑开放平台 | 按量计费 | ✓ | — | ✓ | ✓ | — | run_daily source=platform360_pricing | +| 硅基流动云平台 | SiliconCloud | 按量计费 | ✓ | — | ✓ | ✓ | — | run_daily source=siliconflow_pricing | +| PPIO 模型 API | PPIO Model API | 按量计费 | ✓ | — | ✓ | ✓ | — | run_daily source=ppio_pricing | +| UModelVerse | 大模型服务平台 UModelVerse | 按量计费 | ✓ | — | ✓ | ✓ | — | run_daily source=ucloud_pricing | +| 基石智算 CoresHub | 在线服务模型价格 | 按量计费 | ✓ | — | ✓ | ✓ | — | run_daily source=coreshub_pricing | +| 金山云星流平台 | 金山云星流平台 | 按量计费 | ✓ | ✓ | — | — | ✓ | 当前仅走目录级官方入口核验 | + +## 全球官方/中转参考集 + +| 平台 | 覆盖对象 | 套餐族 | 目录基线 | 目录核验 | 已有 importer | 已真实入库 | 仍缺细颗粒度价格 | 当前证据 | +|---|---|---|---|---|---|---|---|---| +| Gemini API | Gemini API billing information | 按量计费 | ✓ | ✓ | — | — | ✓ | 当前仅走目录级官方入口核验 | +| Mistral La Plateforme | La Plateforme | Mistral AI | 按量计费 | ✓ | ✓ | — | — | ✓ | 当前仅走目录级官方入口核验 | +| Cohere Platform | Pricing | Cohere | 按量计费 | ✓ | ✓ | — | — | ✓ | 当前仅走目录级官方入口核验 | +| OpenRouter | OpenRouter Models | 按量计费 | ✓ | — | ✓ | ✓ | — | run_daily source=openrouter | +| Together AI | Pricing | Together AI | 按量计费 | ✓ | ✓ | — | — | ✓ | 当前仅走目录级官方入口核验 | +| Fireworks AI | Pricing | Fireworks AI | 按量计费 | ✓ | ✓ | — | — | ✓ | 当前仅走目录级官方入口核验 | +| DeepInfra | Pricing | DeepInfra | 按量计费 | ✓ | ✓ | — | — | ✓ | 当前仅走目录级官方入口核验 | +| GroqCloud | Groq On-Demand Pricing for Tokens-as-a-Service | 按量计费 | ✓ | ✓ | — | — | ✓ | 当前仅走目录级官方入口核验 | +| Replicate | Pricing - Replicate | 按量计费 | ✓ | ✓ | — | — | ✓ | 当前仅走目录级官方入口核验 | +| Hyperbolic | Pricing - Hyperbolic Docs | 按量计费 | ✓ | ✓ | — | — | ✓ | 当前仅走目录级官方入口核验 | +| Novita AI | Pricing | Novita AI | 按量计费 | ✓ | ✓ | — | — | ✓ | 当前仅走目录级官方入口核验 | +| Azure OpenAI 服务 | Azure OpenAI Service - Pricing | 按量计费 | ✓ | — | ✓ | ✓ | — | run_daily source=azure_openai_pricing | +| Amazon Bedrock | Amazon Bedrock Pricing | 按量计费 | ✓ | — | ✓ | ✓ | — | run_daily source=bedrock_pricing | +| Vertex AI 生成式 AI | Vertex AI Pricing | 按量计费 | ✓ | — | ✓ | ✓ | — | run_daily source=vertex_pricing | +| Cloudflare Workers AI | Pricing · Cloudflare Workers AI docs | 按量计费 | ✓ | — | ✓ | ✓ | — | run_daily source=cloudflare_pricing | +| Baseten | Cloud Pricing | Baseten | 按量计费 | ✓ | ✓ | — | — | ✓ | 当前仅走目录级官方入口核验 | +| Cerebras Inference | Pricing | Cerebras | 按量计费 | ✓ | ✓ | — | — | ✓ | 当前仅走目录级官方入口核验 | +| Perplexity Agent API | Pricing - Perplexity | 按量计费 | ✓ | — | ✓ | ✓ | — | run_daily source=perplexity_pricing | +| SambaNova Cloud | Plan and Billing | SambaNova Cloud | 按量计费 | ✓ | ✓ | — | — | ✓ | 当前仅走目录级官方入口核验 | + +## 需要重点关注的边界 + +- 腾讯云 TokenHub：本轮已补齐 runtime 挂载，并通过 `verify_importer_smoke.sh` 的 fixture/live 双 smoke；当前可按 `tencent_subscription` 计入真实入库。 +- `existing_price_importer`：这是 seed 层的已存在价格导入标记，不是脚本文件名；当前只对 OpenAI / DeepSeek / Moonshot / 百度文心 / 豆包-Seed 按现有日跑 source 判定为“已真实入库”。 +- `manual_review`：当前仍只是人工占位，不应误判为 importer 已接入。 +- 目录核验类平台：`import_catalog_seed_verification.go` 会更新 `plan_catalog_inventory.last_checked_at`，但它不是 `region_pricing` 级别的细颗粒度价格抓取。 +- 本轮已校准两处 importerKey 漂移：`魔搭 API-Inference` 与 `天翼云模型推理服务 payg` 已回退到目录级官方入口核验，不再冒充 `youdao_pricing` / `platform360_pricing` 真实入库来源。 diff --git a/docs/PLAN_CATALOG_INVENTORY.md b/docs/PLAN_CATALOG_INVENTORY.md index e07bbc4..719a5d3 100644 --- a/docs/PLAN_CATALOG_INVENTORY.md +++ b/docs/PLAN_CATALOG_INVENTORY.md @@ -2,6 +2,8 @@ 更新时间：2026-05-15（Asia/Shanghai） +配套矩阵见：[PLAN_CATALOG_COVERAGE_MATRIX.md](PLAN_CATALOG_COVERAGE_MATRIX.md)。该矩阵按平台/套餐族逐项标注“目录基线 / 目录核验 / 已有 importer / 已真实入库 / 仍缺细颗粒度价格”，用于快速回答覆盖边界问题。 + ## 目标 这份清单解决两个问题： @@ -118,7 +120,7 @@ | 百度千帆 | 已确认 `Coding Plan` 与 `Token 福利包` 并存，后者存在首购优惠价 | `coding_plan` + `token_plan` | 已接入 `import_baidu_subscription.go` | | 火山方舟 | 已从官方开发者社区确认 `Coding Plan` 已上线，且公开披露标准月费与首月活动价 | `coding_plan` | 已接入 `import_bytedance_subscription.go` | | 天翼云模型推理服务 | 已确认 `Coding Plan` 与活动型 `Token Plan` 并存 | `coding_plan` + `token_plan` | 已接入 `import_ctyun_subscription.go` | -| 华为云 MaaS | 当前明确支持“按 Token 付费 + 套餐包/资源包计费”，不是 `Coding Plan` 命名体系 | `package_plan` | 已接入 `import_huawei_package.go` | +| 华为云 MaaS | 当前明确支持“按 Token 付费 + 套餐包/资源包计费”，不是 `Coding Plan` 命名体系 | `package_plan` + `pay_as_you_go` | 已接入 `import_huawei_package.go` 与 `import_huawei_maas_pricing.go` | ### 证据入口 @@ -216,6 +218,9 @@ 10. `import_bedrock_pricing.go` 11. `import_azure_openai_pricing.go` 12. `import_minimax_subscription.go` +13. `import_qwen_pricing.go` +14. `import_hunyuan_pricing.go` +15. `import_huawei_maas_pricing.go` 这些平台统一按 `pay_as_you_go -> region_pricing` 处理，直接抓取官方公开模型价格，不再停留在 `future_official_pricing`。 其中 `SiliconFlow` 当前优先尝试官方价格入口；若入口返回站点落地页或临时不可用，则回退到仓库内最近核验的官方快照，避免日跑流水线因前端路由问题中断。 @@ -229,6 +234,5 @@ 下一步建议优先级： 1. `火山方舟按量模型价格官方页` -2. `华为云 MaaS 按量模型价格页` -3. `移动云更细颗粒度的模型 API 价格` -4. `联通云更细颗粒度的模型 API 价格` +2. `移动云更细颗粒度的模型 API 价格` +3. `联通云更细颗粒度的模型 API 价格`