分类： Notes(技术笔记)

模型构建的实质是探索响应变量和解释变量之间的关系，所构建的模型反映了一个物种的现实生态位。

模型结果的检验完全依赖于评估集，评估集应当独立于训练集（数据使用上的独立以及数据采集过程的独立），从而评估模型的真实预测能力，从而反映可能存在的采样不充分等问题。

独立的评估集是衡量模型信度的必要数据准备。

模型评估数据集的使用：
“calibration”：计算集，也就是一般意义上的训练集；
“validation”：通常分割自训练集，用于初步评估模型的拟合效果，以及模型在训练数据上的性能，不参与单模型训练过程，其结果是组合模型构建的参考依据；
“evaluation”：表示使用额外的评估数据集来计算评估指标，这个数据集应当是完全独立的，用于最终评估模型性能。某些情况下，这可能是一个额外的测试集，用于测试模型在具体应用中的性能指标；

模型评估的部分指标：
“cutoff”：用于确定正负类别的阈值；
“sensitivity”：模型的敏感性，即正确识别正类的能力；
“specificity”：模型的特异性，即正确识别负类的能力；
“calibration”：模型校准情况，可能涉及预测概率的准确性；
“validation”：验证数据集的评估结果；
“evaluation”：评估数据集的评估结果。

模型评估时的交叉验证策略：
random：随机分割策略。这种方法将数据随机分割为训练集和测试集。这是最简单和最常用的交叉验证方法，适用于大多数情况，特别是当数据集较大且不存在明显的分组或时空结构时；
kfold：K折交叉验证策略。在这种方法中，数据被分割为K个大小大致相等的部分。每一部分轮流作为测试集，其余部分组成训练集。这种方法可以减少随机分割可能引入的偏差和方差；
block：块分割策略。这种方法适用于数据存在明显分组(例如，不同地区或时间段的观测值)的情况。通过这种方式，可以确保来自同一组的观测值不会同时出现在训练集和测试集中，从而可以评估模型对于新组(未见过的分组)的泛化能力；
strat：分层随机分割策略。在随机分割数据为训练集和测试集时，保持了响应变量的分布。如果响应变量是分类的，每一类的比例在训练集和测试集中将尽可能相似；
env：基于环境变量的分割策略。这种方法根据环境变量的值来分割数据，可以用来评估模型在不同环境条件下的泛化能力；
user.defined：用户自定义分割策略。