科研Labs模型校准

预测模型校准度:Hosmer-Lemeshow 检验 + 校准曲线

评价预测模型「预测概率与实际发生率是否吻合」(校准度):输入预测概率与实际结局,给出 Hosmer-Lemeshow 拟合优度检验、 校准曲线、校准斜率与截距(CITL)及 Brier 分数。区分度(AUC)说明排序能力,校准度说明概率准不准,二者互补。浏览器本地计算,数据不上传。

① 输入数据

每行一个对象:预测概率(0~1) 实际结局(1=发生/0=未发生),空格或逗号分隔。预测概率通常来自 Logistic 回归或列线图。

使用说明与方法学

校准度和区分度(AUC)有什么区别?

区分度(AUC)衡量模型把发生与不发生者「排序分开」的能力;校准度衡量预测概率与实际发生率「数值上吻合」的程度。一个模型可以 AUC 很高但校准差(概率系统性偏高/偏低)。两者都要评价。

Hosmer-Lemeshow 的 P 值怎么读?

它检验「预测与实际不符」。P>0.05 表示没有证据说明不吻合,即校准可接受;P<0.05 提示校准欠佳。注意方向与一般检验相反;且对样本量敏感:样本极大时容易显著,样本小时效能不足,应结合校准曲线综合判断。

校准斜率和截距说明什么?

校准斜率理想为 1:小于 1 常见于过拟合/过度自信(预测过于极端),大于 1 说明预测过于保守。校准截距(CITL)理想为 0:为正说明整体低估了风险、为负说明整体高估。

预测概率从哪来?

一般是用 Logistic 回归或列线图为每个对象算出的发生概率(0~1)。建议在独立验证集上评价校准,而非仅在建模集;外部验证更能反映真实表现。