GitHub / Hugging Face / Scholar 多源数据分散、采集手工、反爬频发 → Agent 驱动采集–清洗–特征–交付全链路产品化。
设计 Agent 编排采集任务，替代手工拉数；接入 GitHub/HF/Scholar API，统一调度与失败重试。
建设反爬策略、异常监控与告警；采集失败自动降级与补跑，保障链路稳定性。
多源字段 mapping 到 25 项标准字段；补全规则 + 质检规则，输出可直接用于特征工程的标准化数据集。
数据准确率 90.5%+；业务侧人工筛选成本降 50–60%；形成可复用的数据产品底座，支撑八维评估与关系网络模型。
| 数据源 | 采集内容 | 难点 |
|---|---|---|
| GitHub | 代码贡献、star、repo 活跃度 | API 限流 · 反爬 |
| Hugging Face | 模型发布、数据集贡献 | 字段异构 · 补全 |
| Google Scholar | 论文引用、顶会产出 | 反爬 · 姓名消歧 |
同实习其他项目：八维评估模型 → · 关系网络模型 → · 漏斗 AB 实验 →