科研Labs › 模型校准
预测模型校准度:Hosmer-Lemeshow 检验 + 校准曲线
评价预测模型「预测概率与实际发生率是否吻合」(校准度):输入预测概率与实际结局,给出 Hosmer-Lemeshow 拟合优度检验、 校准曲线、校准斜率与截距(CITL)及 Brier 分数。区分度(AUC)说明排序能力,校准度说明概率准不准,二者互补。浏览器本地计算,数据不上传。
① 输入数据
每行一个对象:预测概率(0~1) 实际结局(1=发生/0=未发生),空格或逗号分隔。预测概率通常来自 Logistic 回归或列线图。
使用说明与方法学
校准度和区分度(AUC)有什么区别?
区分度(AUC)衡量模型把发生与不发生者「排序分开」的能力;校准度衡量预测概率与实际发生率「数值上吻合」的程度。一个模型可以 AUC 很高但校准差(概率系统性偏高/偏低)。两者都要评价。
Hosmer-Lemeshow 的 P 值怎么读?
它检验「预测与实际不符」。P>0.05 表示没有证据说明不吻合,即校准可接受;P<0.05 提示校准欠佳。注意方向与一般检验相反;且对样本量敏感:样本极大时容易显著,样本小时效能不足,应结合校准曲线综合判断。
校准斜率和截距说明什么?
校准斜率理想为 1:小于 1 常见于过拟合/过度自信(预测过于极端),大于 1 说明预测过于保守。校准截距(CITL)理想为 0:为正说明整体低估了风险、为负说明整体高估。
预测概率从哪来?
一般是用 Logistic 回归或列线图为每个对象算出的发生概率(0~1)。建议在独立验证集上评价校准,而非仅在建模集;外部验证更能反映真实表现。