qfin-tech/model-evo
22 skills
$npx skills add qfin-tech/model-evoSkillInstalls
classification-model-comparison多模型标准化评估横向对比——输入多个模型的标准化评估 JSON，对 oot 和 all 两档分别做 N-way 全维度对比（AUC、KS、分桶标签率/lift/召回率/累计召回），输出含条件格式的 Excel 报告与 delta 分析。由 classification-model-development 统一编排调用。当用户说"模型对比""对比评估""哪个模型更好""新旧对比""多版本对比""横向classification-model-development模型开发总控。在 orchestration 用户确认建模后调起，按迭代式流程串联 classification-model-training / classification-model-tuning / classification-model-comparison 三个 sub-skill，管理路径接力、决策点询问、report.md 回填、断点续跑、无上游 session 时的历史 sesclassification-model-evaluation单一分类模型标准化评估——输入含打分列和标签列的CSV文件，自动计算AUC/KS/准确率/十分桶排序性/业务指标均值，输出JSON+MD+XLSX。支持单档评估和合并评估两种模式。当用户说"模型评估""跑AUC""跑KS""分桶排序性""模型报告""打分评估""单模型评估""帮我评估这个模型"时使用。classification-model-orchestration分类建模流程编排（覆盖营销/增长/获客/运营/风控场景），作为 model-task-routing 的下游。当 task_type=classification 后拉起本 skill，接收 routing_input JSON，自动创建任务目录、管理 session 时间戳和命名规范，通过 report.md 和各目录 _manifest.json 追踪进度。classification-model-recommend给业务人员推荐历史营销模型——解析自然语言需求(客群+用途)→读模型台账语义筛选排序→展示详情→询问是否评估→(可选)委托 classification-model-evaluation 产三档评估。当用户说"推荐历史模型""找可复用模型""有没有现成模型""历史模型""模型推荐"时使用。classification-model-report聚合 session 内 task-spec / data-profile / feature-analysis / new-models/*/evaluation 的关键信息,产 6-sheet Excel 报告(模型概览/样本分析/特征质量/三档评估/分桶排序性对比/特征清单)。定位与 classification-model-comparison 互补 — comparison 聚焦 AUCclassification-model-task-spec业务建模需求挖掘 + 样本分析专家。首先判定问题类型（非二分类直接拒绝），用最少的问题将模糊业务诉求转化为可执行的建模目标，拉取样本验证标签质量并按时间顺序切分 Train/Test/OOT。输出 4 段式 task-spec.md + data-profile 报告。支持全自动驾驶模式（默认值填充，最少交互）。仅支持二分类场景。classification-model-training端到端训练 xgboost/dnn/lr 二分类模型——读上游 feature-analysis 产出的 splits/{train,test,oot}.parquet，产八阶段产物(features/model/evaluation/predictions/explainability/comparison/logs/config)，并与历史 baseline 做 AUC/KS/分档多维对比。本classification-model-tuning对 classification-model-training 的 baseline run 做超参调优（run_tuning.py：规则诊断 / 可选 Optuna 搜索）或特征筛选（select_features.py：按 PSI/IV/缺失率剔除特征），产 `-tuned` / `-feat` 新 run，按 baseline.algo 直通 xgb/dnn/lr。当用户说"调优""调参""feature-analysis建模前对样本宽表里的候选特征做独立分析,产出特征报告(基础统计/单变量预测力 IV+AUC/训练-OOT 稳定性 PSI)。仅产报告供人工决定特征筛选,不自动剔除特征。当用户要"做特征分析/特征IV/特征PSI/建模前看一下特征"时使用。feature-matching从 Spark 现成宽表拉取样本+特征+标签,生成 spark-submit 提交脚本,用户确认后由本 skill 自动提交集群,落本地 sample.parquet;或在 local_file 模式下从本地 parquet/csv 直接转写+派生 feature-list.csv。当用户要"取数""拉样本""拉宽表""准备建模样本"时使用。model-knowledge模型知识库 skill。沉淀建模过程中的业务领域知识、特征资产、历史模型档案与建模经验教训，供后续建模检索复用。当需要查询业务字段定义、查询历史模型/建模经验、复用既有特征或方案、或在建模完成后归档沉淀知识时使用。model-task-routing建模任务总入口（覆盖营销/增长/获客/运营/风控场景）。当用户提出建模需求时首先触发，按固定格式一次性列出全部待确认问题，收集回答后判定属于 classification（分类预测）还是 uplift（增益/因果干预），并据此路由到对应管线：classification → classification-model-orchestration；uplift → uplift-model-task-uplift-model-feature-quality-analysis已有 confirmed task_config_path 和 modeling_sample_spec_path 后，用于运行特征质量诊断、生成筛选建议、确认或复用 feature plan。不要用于模型训练、调参、模型比较或最终报告。uplift-model-reporting已有 task_config_path、subject_result_paths 和可选 supporting_paths 后，用于从上游结构化结果生成最终 Uplift 建模报告、HTML、facts 和 manifest。不要用于重算指标、训练、调参、比较排序或模型采用执行。uplift-model-result-comparison已有两个或更多 experiment_ids 或底层 candidate_result_paths 时，用于在同一任务和评估 split 下先生成比较方案，用户确认后做确定性模型比较，输出比较表、摘要报告和推荐模型 path。不要用于训练、调参、最终报告或模型采用决策。uplift-model-s-learner-modeling已有 confirmed task_config_path、modeling_sample_spec_path 和 feature_plan_path 后，用于训练 baseline S-Learner 模型并输出模型元数据、评估指标、打分表、uplift 分箱、特征重要性和报告。不要用于特征诊断、调参、模型比较或最终报告生成。uplift-model-sample-homogeneity-check当用户想对两组数据做同质性检验时使用，例如“我想判断这两组数据是否同质/可比”；也可以在样本准备产出 confirmed modeling_sample_spec_path 后使用：起草、确认并运行 treatment/control 协变量均衡性诊断。不要用于样本切分、特征选择、模型训练、调参、模型比较或最终报告。uplift-model-sample-preparation在 uplift-model-task-spec 产出 confirmed task_config_path 后使用：检查样本语义、起草并确认切分方案、生成建模样本产物。不要用于任务定义、特征选择、建模、调参、模型比较或最终报告。uplift-model-t-learner-modeling已有 confirmed task_config_path、modeling_sample_spec_path 和 feature_plan_path 后，用于训练 baseline T-Learner 模型并输出模型元数据、评估指标、打分表、uplift 分箱、分 component 特征重要性和报告。不要用于特征诊断、调参、模型比较或最终报告生成。uplift-model-task-spec由 model-task-routing 判定 task_type=uplift 后，或用户已明确指定这是 uplift/增益建模任务且需要定义任务配置时使用；负责收集并确认结构化 task_config。写入 confirmed artifact 前，必须由用户明确提供字段名和值。不要用于通用建模路由、字段发现、样本校验、特征分析、模型训练、评估、调参、比较或报告生成。uplift-model-tuning已有 successful S-Learner 或 T-Learner modeling_result_path 后，用于生成、确认并执行有边界的 LightGBM learner 调参 study。不要用于首次训练、多模型比较、最终报告或模型采用决策。