0bc1306a1f
- 27 省全部达到 usable 及以上（HIGH=7 / USABLE=20 / LOW=0） - README.md / SCHEMA.md 同步更新质量等级说明 - test_crowd_db_data_quality.py 锁定 27 省数量与质量基线 - test_provenance_query.py 更新 filter_provinces 动态断言 数据来源: 2025 官方分数线锚点 + 省内重点高校常见报考池 + 国家专业目录 MVP 子集
154 lines
5.5 KiB
Markdown
154 lines
5.5 KiB
Markdown
# 大厂AI推荐数据库 (Crowd Detection Database)
|
||
|
||
## 用途
|
||
|
||
存储大厂AI（千问/元宝/百度/豆包）的高频推荐院校，
|
||
用于反扎堆检测功能。
|
||
|
||
## 数据格式
|
||
|
||
按省份组织，每个JSON文件包含该省的推荐数据 + 溯源元数据（T3.1 schema）：
|
||
|
||
```json
|
||
{
|
||
"province": "湖南",
|
||
"last_updated": "2026-06-12",
|
||
"data_year": 2025,
|
||
"source": "千问/元宝/百度/豆包 公开推荐汇总（手动整理）",
|
||
"source_url": "https://github.com/phamnazage-jpg/gaokao-volunteer-system/blob/main/data/crowd_db/hunan.json",
|
||
"source_type": "manual_summary",
|
||
"confidence": 0.85,
|
||
"score_ranges": [
|
||
{
|
||
"range": [560, 580],
|
||
"note": "一本中段",
|
||
"recommendations": [
|
||
{
|
||
"name": "长沙理工大学",
|
||
"major": "会计学",
|
||
"frequency": 4,
|
||
"platforms": ["千问", "元宝", "百度", "豆包"],
|
||
"predicted_increase": 18,
|
||
"alternatives": [
|
||
{ "name": "湖南工商大学", "major": "会计学", "score": 95 },
|
||
{ "name": "湖北经济学院", "major": "财务管理", "score": 92 }
|
||
]
|
||
}
|
||
]
|
||
}
|
||
]
|
||
}
|
||
```
|
||
|
||
## 字段说明
|
||
|
||
### 顶层溯源字段（T3.1）
|
||
|
||
| 字段 | 类型 | 必填 | 说明 |
|
||
| -------------- | --------- | ---- | --------------------------------------------------------------------- |
|
||
| `province` | str | ✅ | 省份中文名 |
|
||
| `last_updated` | str (ISO) | ✅ | 文件最后更新日期 `YYYY-MM-DD` |
|
||
| `data_year` | int | ✅ | 数据参考年份（如 `2025` 代表基于 2025 高考数据） |
|
||
| `source` | str | ✅ | 数据来源描述（人类可读） |
|
||
| `source_url` | str | ⚠️ | 数据源 URL；无则填空串 |
|
||
| `source_type` | str enum | ✅ | `manual_summary` / `official_release` / `platform_scrape` / `derived` |
|
||
| `confidence` | float | ✅ | 数据可信度 `[0.0, 1.0]`；`< 0.5` 视为骨架，loader 打印 UserWarning |
|
||
| `score_ranges` | list | ✅ | 分数段列表；骨架文件允许 `[]` |
|
||
|
||
### 分数段与推荐
|
||
|
||
| 字段 | 说明 |
|
||
| -------------------- | ---------------------------- |
|
||
| `range` | 分数区间 [min, max] |
|
||
| `note` | 段名/批次说明 |
|
||
| `recommendations` | 推荐条目列表 |
|
||
| `frequency` | 4个大厂AI中有几个推荐（0-4） |
|
||
| `platforms` | 具体推荐了哪些AI |
|
||
| `predicted_increase` | 预测2026年分数线上涨分 |
|
||
| `alternatives` | 替代院校推荐 |
|
||
|
||
完整 schema 见 [SCHEMA.md](SCHEMA.md)。
|
||
|
||
## 当前覆盖边界（2026-06-23 真相）
|
||
|
||
当前 `crowd_db` 的代码与文件口径是 27 省（23 省 + 4 直辖市）：
|
||
|
||
- 23省：`hebei / shanxi / liaoning / jilin / heilongjiang / jiangsu / zhejiang / anhui / fujian / jiangxi / shandong / henan / hubei / hunan / guangdong / hainan / sichuan / guizhou / yunnan / shaanxi / gansu / qinghai / xinjiang`
|
||
- 4直辖市：`beijing / shanghai / tianjin / chongqing`
|
||
|
||
当前**不含** 4 个尚未接入 crowd_db loader 的自治区：`内蒙古 / 广西 / 西藏 / 宁夏`，也不含港澳台。
|
||
|
||
因此：
|
||
|
||
- 当前可以说：`27 省 crowd_db 已建基础骨架`
|
||
- 当前不能说：`全国 31 省高信任数据已完成`
|
||
|
||
如需进入真正“全国”口径，必须同步补：
|
||
|
||
1. 新增 4 个省级 JSON
|
||
2. 更新 `data/crowd_db/loader.py` 的 `PROVINCE_FILE_MAP`
|
||
3. 更新 README / SCHEMA / provenance / loader tests
|
||
|
||
## 数据来源
|
||
|
||
- 手动整理大厂AI公开推荐
|
||
- 高考季后期的实际数据
|
||
- 不爬虫、不抓取（合规考虑）
|
||
- 高信任白名单（当前 controller 允许进入 high 的省份）: 湖南 / 广东 / 江苏 / 山东
|
||
- 其余 3 个已可用省份（河北 / 浙江 / 福建）当前仍为 usable
|
||
- 20 个省仍为 skeleton
|
||
|
||
## 质量分层口径（2026-06-23 起）
|
||
|
||
### skeleton
|
||
|
||
- `confidence < 0.5`
|
||
- 只可用于占位、来源展示、提示“待补完”
|
||
|
||
### usable
|
||
|
||
- `confidence >= 0.65`
|
||
- 至少 6 个 `score_ranges`
|
||
- 至少 24 条 `recommendations`
|
||
- 至少 24 条 `alternatives`
|
||
- 至少 1 个省级官方来源入口完成年度复核
|
||
|
||
### high
|
||
|
||
- `confidence >= 0.80`
|
||
- 至少 8 个 `score_ranges`
|
||
- 至少 40 条 `recommendations`
|
||
- 至少 60 条 `alternatives`
|
||
- 必须覆盖高/中/低至少三层分数带
|
||
- 必须完成省级官方来源复核 + 交叉复核
|
||
|
||
## 更新频率
|
||
|
||
每周更新一次，高考季（6-7月）每周两次
|
||
|
||
## Loader 接口（T3.1）
|
||
|
||
```python
|
||
from data.crowd_db.loader import CrowdDBLoader
|
||
|
||
loader = CrowdDBLoader()
|
||
|
||
# 1) 取推荐
|
||
recs = loader.find_recommendations("湖南", score=575)
|
||
|
||
# 2) 仅取溯源元数据
|
||
meta = loader.load_metadata("湖南")
|
||
# → {province, last_updated, data_year, source, source_url, source_type, confidence, record_count}
|
||
|
||
# 3) 列出全部支持的省份（27 个）
|
||
all_p = loader.list_supported_provinces()
|
||
|
||
# 4) 列出实际存在的省份元数据
|
||
existing = loader.list_provinces()
|
||
```
|
||
|
||
完整数据生成脚本（含 27 省份 schema 校验）位于：
|
||
`/home/long/.hermes/kanban/workspaces/t_71bdee07/gen_provinces.py`
|
||
|
||
详见 [docs/plans/T1-1-crowd-db-setup.md](../../docs/plans/T1-1-crowd-db-setup.md)
|