机器学习数据集划分：训练集、验证集、测试集的作用与划分策略

1. 项目概述三集鼎立模型稳健的基石刚入门机器学习的朋友拿到一个数据集最常见的操作可能就是直接把它分成两份一份用来训练模型一份用来测试模型效果。这很直观对吧训练集负责“学习”测试集负责“考试”。但当你真正开始动手尤其是跟着一些经典教程比如吴恩达的机器学习课程或者复现一些开源项目比如YOLOv5、YOLOv8训练自己的数据集时你会发现在训练集和测试集之间还夹着一个“验证集”。很多新手甚至一些匆忙赶论文的同学都会对这个验证集感到困惑它到底是干嘛的测试集不是已经能评估模型了吗为什么还要多此一举这个疑问非常普遍。在不少论文里你甚至可能只看到“训练集”和“测试集”的划分验证集似乎被忽略了。但当你深入实践特别是需要调整模型超参数、进行模型选择或者防止过拟合时验证集的价值就凸显出来了。简单来说测试集是模型的“最终大考”而验证集则是“模拟考”或“月考”。你不能用最终大考的试卷来反复练习和调整你的学习方法否则大考成绩就失去了公正性。验证集正是扮演了这个“模拟考”的角色让我们在模型开发阶段有一个独立的数据集来指导我们做各种决策同时确保测试集结果的纯净和可靠。这篇文章我们就来彻底拆解训练集、验证集和测试集这“三兄弟”各自的职责、划分方法以及为什么缺一不可。无论你是正在学习李宏毅机器学习作业还是在实战YOLO系列训练自己的数据集理解这套方法论都能让你避开很多坑构建出更稳健、泛化能力更强的机器学习模型。2. 核心概念拆解三集各司其职要理解为什么需要三个集合我们必须先明确模型开发过程中的两个核心阶段模型训练与调优阶段以及模型最终评估阶段。这两个阶段的目标不同因此需要不同的数据来服务。2.1 训练集模型的“教科书”与“练习册”训练集是模型学习的直接材料。它的核心作用有两个学习规律模型通过训练集的数据和标签调整其内部的参数例如神经网络中的权重和偏置学习从输入特征到输出标签之间的映射关系。这就像学生通过教科书学习知识原理。拟合优化在训练过程中模型会尝试最小化在训练集上的损失函数。这个过程就是拟合。一个模型在训练集上表现良好说明它至少“学会”了训练数据中的模式。注意事项但这里有一个关键陷阱——模型可能会过度专注于“死记硬背”训练集中的每一个细节包括噪声和特例而不是学习通用的规律。这就引出了机器学习中最经典的问题之一过拟合。一个过拟合的模型在训练集上表现近乎完美但在没见过的新数据上会表现糟糕。因此我们不能只用训练集的表现来评价模型的好坏。2.2 测试集模型的“终极审判庭”测试集的作用非常纯粹在模型完全定型之后对其进行一次性的、无偏的最终性能评估。它模拟的是模型在未来真实场景中遇到的、从未见过的数据。这里有几个至关重要的原则一次性使用测试集只能在所有模型开发、调参、选择工作完成后使用一次。如果你根据测试集的结果反复调整模型那么测试集就“泄露”到了训练过程中它就不再能代表未知数据其评估结果就会过于乐观失去意义。这被称为“数据泄露”。绝对隔离在模型开发阶段模型绝不能以任何形式“看到”测试集的数据或标签。它必须被严格封存起来。评估泛化能力测试集上的性能指标如准确率、精确率、召回率、F1分数等是衡量模型泛化能力的黄金标准。实操心得在实际项目中我通常会在一开始就把测试集划分出来存放到一个独立的文件夹或设置一个固定的随机种子将其隔离并且在代码中明确注释“此部分数据仅用于最终测试严禁在训练循环中调用”。这个习惯能有效避免无心之失造成的数据泄露。2.3 验证集模型调优的“导航仪”与“质检员”现在问题来了既然测试集不能动那我们在训练过程中如何知道模型是否在朝着正确的方向发展如何选择不同的模型架构如何调整学习率、正则化强度这些超参数这就是验证集登场的时刻。验证集的核心职责包括监控训练过程在每一个训练周期Epoch结束后我们同时在训练集和验证集上评估模型。理想情况下训练损失下降验证损失也同步下降模型性能提升。如果训练损失持续下降但验证损失开始上升这就是典型的过拟合信号提示我们需要提前停止训练。进行超参数调优我们可以尝试多组不同的超参数组合分别在同一个验证集上评估其性能选择表现最好的那一组。这个过程就像用同一套模拟题来测试不同的学习方法。进行模型选择当我们在几个不同的模型架构比如是选ResNet还是EfficientNet是选逻辑回归还是随机森林之间犹豫时可以用验证集上的表现作为选择的依据。验证集为什么必须独立于训练集因为如果我们用训练集来调参模型会倾向于选择那些在训练集上“钻牛角尖”的参数同样会导致过拟合。验证集提供了一个独立的、新鲜的视角。一个常见的困惑有人问“我的验证集准确率比训练集还高这正常吗” 这通常发生在训练早期或者模型使用了较强的正则化如Dropout时。在训练时Dropout会随机“关闭”一部分神经元相当于使用了模型的“简化版”而在验证时我们使用完整的模型性能可能反而更好。此外如果训练集和验证集的分布有细微差异也可能导致这种现象。但只要测试集上的性能达标这通常不是大问题。3. 数据集的划分策略与实操要点理解了三个集合的职责下一步就是如何实际动手划分。划分比例没有绝对的金科玉律它取决于数据集的总量和特性。3.1 常见划分比例参考数据集规模典型划分训练/验证/测试说明与考量超大规模(100万样本)98% / 1% / 1%数据极度丰富验证集和测试集即使比例很小其绝对数量也足以提供稳定的统计评估。大规模(10万 - 100万)90% / 5% / 5% 或 85% / 10% / 5%保证验证和测试集有足够样本数千到数万评估结果可信。中等规模(1万 - 10万)70% / 15% / 15% 或 60% / 20% / 20%最常用的比例范围。在保证训练数据量的同时给予验证和测试足够的“话语权”。小规模(1万样本)需要更精细的方法简单划分可能导致每个集合的样本数都不足评估方差大。此时应考虑交叉验证。注意以上比例仅为经验性参考。对于类别极度不平衡的数据集划分时必须使用分层抽样确保每个集合中各类别的比例与原始数据集基本一致否则评估会严重失真。3.2 划分方法详解3.2.1 简单随机划分这是最基础的方法使用sklearn的train_test_split函数可以轻松实现两次划分先分出测试集再从剩余数据中分出验证集。from sklearn.model_selection import train_test_split # 假设 X 是特征 y 是标签 # 第一次划分先分出测试集占20% X_train_val, X_test, y_train_val, y_test train_test_split( X, y, test_size0.2, random_state42, stratifyy) # 使用stratify进行分层抽样 # 第二次划分从训练验证集中再分出验证集占剩余数据的25%即整体的0.8*0.2520% X_train, X_val, y_train, y_val train_test_split( X_train_val, y_train_val, test_size0.25, random_state42, stratifyy_train_val) # 同样分层 print(f训练集: {X_train.shape}, 验证集: {X_val.shape}, 测试集: {X_test.shape})关键参数解释random_state固定随机种子确保每次运行划分结果一致实验可复现。stratify指定按标签y进行分层抽样对于分类任务至关重要。3.2.2 K折交叉验证小数据集的利器当数据量很少时比如只有几百或几千个样本简单的划分会导致训练集太小或者验证/测试集评估结果不稳定波动大。此时K折交叉验证是更可靠的选择。其核心思想是将全部数据平均分成K份通常K5或10。依次将其中1份作为验证集其余K-1份作为训练集进行K次训练和验证。最终模型的性能取这K次验证结果的平均值。这样每份数据都既当过训练集也当过验证集充分利用了有限的数据评估结果也更稳健。from sklearn.model_selection import KFold from sklearn.linear_model import LogisticRegression import numpy as np kf KFold(n_splits5, shuffleTrue, random_state42) model LogisticRegression() scores [] for train_index, val_index in kf.split(X): X_train, X_val X[train_index], X[val_index] y_train, y_val y[train_index], y[val_index] model.fit(X_train, y_train) score model.score(X_val, y_val) scores.append(score) print(f5折交叉验证平均准确率: {np.mean(scores):.4f} (/- {np.std(scores)*2:.4f}))注意事项交叉验证主要用于模型评估和超参数调优。一旦通过交叉验证确定了最佳模型和参数你仍然需要在一个独立的测试集上做最终评估。如果没有独立测试集有时会采用“嵌套交叉验证”但过程更复杂。3.2.3 时间序列数据的特殊划分对于时间序列数据如股票价格、传感器读数绝对不能随机划分因为数据具有严格的时间依赖性。未来的数据不能用于预测过去。正确做法按时间顺序划分。例如用前80%时间窗口的数据作为训练集接着的10%作为验证集最后的10%作为测试集。验证集和测试集在时间上必须严格晚于训练集。# 假设数据已按时间排序 split_idx1 int(len(X) * 0.8) split_idx2 int(len(X) * 0.9) X_train, y_train X[:split_idx1], y[:split_idx1] X_val, y_val X[split_idx1:split_idx2], y[split_idx1:split_idx2] X_test, y_test X[split_idx2:], y[split_idx2:]4. 实战流程以图像分类任务为例让我们结合一个具体的场景——使用PyTorch训练一个图像分类模型比如简单的CNN对CIFAR-10进行分类来看三集如何贯穿整个工作流。4.1 数据准备与划分假设我们有自己的图像数据集目录结构如下my_dataset/ ├── cat/ │ ├── cat001.jpg │ └── ... ├── dog/ │ ├── dog001.jpg │ └── ... └── ...我们首先需要编写一个脚本将数据划分为训练、验证、测试三个文件夹或者生成对应的文件列表。import os import shutil from sklearn.model_selection import train_test_split def split_dataset(data_root, output_root, train_ratio0.7, val_ratio0.15, test_ratio0.15): 将每个类别的图像按比例划分到train/val/test子目录 assert abs(train_ratio val_ratio test_ratio - 1.0) 1e-6, 比例之和必须为1 for split in [train, val, test]: os.makedirs(os.path.join(output_root, split), exist_okTrue) for class_name in os.listdir(data_root): class_path os.path.join(data_root, class_name) if not os.path.isdir(class_path): continue images [f for f in os.listdir(class_path) if f.endswith((.jpg, .png, .jpeg))] # 分层划分 train_val, test train_test_split(images, test_sizetest_ratio, random_state42, shuffleTrue) train, val train_test_split(train_val, test_sizeval_ratio/(train_ratioval_ratio), random_state42, shuffleTrue) # 复制文件到对应目录 for img in train: src os.path.join(class_path, img) dst_dir os.path.join(output_root, train, class_name) os.makedirs(dst_dir, exist_okTrue) shutil.copy(src, os.path.join(dst_dir, img)) # 同理复制val和test... print(f类别 {class_name} 划分完成: train({len(train)}), val({len(val)}), test({len(test)})) # 调用函数 split_dataset(./my_dataset, ./split_dataset)4.2 模型训练与验证监控在训练循环中关键是要在每一个Epoch结束后计算验证集上的损失和指标。import torch import torch.nn as nn import torch.optim as optim from torch.utils.data import DataLoader from torchvision import datasets, transforms, models # 1. 定义数据加载器 train_transform transforms.Compose([...]) # 通常包含数据增强 val_test_transform transforms.Compose([...]) # 通常不包含数据增强 train_dataset datasets.ImageFolder(./split_dataset/train, transformtrain_transform) val_dataset datasets.ImageFolder(./split_dataset/val, transformval_test_transform) test_dataset datasets.ImageFolder(./split_dataset/test, transformval_test_transform) train_loader DataLoader(train_dataset, batch_size64, shuffleTrue) val_loader DataLoader(val_dataset, batch_size64, shuffleFalse) test_loader DataLoader(test_dataset, batch_size64, shuffleFalse) # 2. 定义模型、损失函数、优化器 device torch.device(cuda if torch.cuda.is_available() else cpu) model models.resnet18(pretrainedTrue) num_ftrs model.fc.in_features model.fc nn.Linear(num_ftrs, 10) # 假设10分类 model model.to(device) criterion nn.CrossEntropyLoss() optimizer optim.Adam(model.parameters(), lr0.001) # 3. 训练循环包含验证 num_epochs 50 best_val_acc 0.0 for epoch in range(num_epochs): # 训练阶段 model.train() running_loss 0.0 for inputs, labels in train_loader: inputs, labels inputs.to(device), labels.to(device) optimizer.zero_grad() outputs model(inputs) loss criterion(outputs, labels) loss.backward() optimizer.step() running_loss loss.item() # 验证阶段 model.eval() val_loss 0.0 val_correct 0 val_total 0 with torch.no_grad(): for inputs, labels in val_loader: inputs, labels inputs.to(device), labels.to(device) outputs model(inputs) loss criterion(outputs, labels) val_loss loss.item() _, predicted torch.max(outputs.data, 1) val_total labels.size(0) val_correct (predicted labels).sum().item() train_loss_epoch running_loss / len(train_loader) val_loss_epoch val_loss / len(val_loader) val_acc_epoch 100 * val_correct / val_total print(fEpoch [{epoch1}/{num_epochs}], fTrain Loss: {train_loss_epoch:.4f}, fVal Loss: {val_loss_epoch:.4f}, fVal Acc: {val_acc_epoch:.2f}%) # 保存验证集上最好的模型 if val_acc_epoch best_val_acc: best_val_acc val_acc_epoch torch.save(model.state_dict(), best_model.pth) print(f - 保存最佳模型验证准确率: {best_val_acc:.2f}%)核心要点model.train()和model.eval()的切换至关重要后者会关闭Dropout、BatchNorm等层在训练和评估时的不同行为。验证阶段使用torch.no_grad()上下文管理器禁用梯度计算节省内存和计算资源。根据验证集准确率保存最佳模型这是防止过拟合的一种简单有效的策略——早停法。4.3 超参数调优实战假设我们想调整学习率(lr)和优化器权重衰减(weight_decay)我们可以设计一个简单的网格搜索在验证集上评估不同组合。import itertools # 定义超参数搜索空间 learning_rates [1e-3, 1e-4, 5e-5] weight_decays [0, 1e-4, 1e-3] best_params None best_val_acc 0 for lr, wd in itertools.product(learning_rates, weight_decays): print(f\n 尝试 lr{lr}, wd{wd} ) # 重新初始化模型和优化器 model models.resnet18(pretrainedTrue) num_ftrs model.fc.in_features model.fc nn.Linear(num_ftrs, 10) model model.to(device) optimizer optim.Adam(model.parameters(), lrlr, weight_decaywd) # 简化训练只跑几个epoch看趋势 current_val_acc train_and_evaluate_simple(model, train_loader, val_loader, optimizer, epochs5) if current_val_acc best_val_acc: best_val_acc current_val_acc best_params {lr: lr, weight_decay: wd} print(f\n最佳参数: {best_params}, 对应验证准确率: {best_val_acc:.2f}%)在实际大型项目中可能会使用更高级的工具如Optuna或Ray Tune进行自动化超参数优化但其核心逻辑不变在训练集上训练在验证集上评估不同配置的性能。4.4 最终测试与报告当所有调优完成模型架构和超参数都已确定后我们加载在验证集上表现最好的模型在测试集上进行最终的一次性评估。# 加载最佳模型 model.load_state_dict(torch.load(best_model.pth)) model.eval() test_correct 0 test_total 0 all_labels [] all_predictions [] with torch.no_grad(): for inputs, labels in test_loader: inputs, labels inputs.to(device), labels.to(device) outputs model(inputs) _, predicted torch.max(outputs.data, 1) test_total labels.size(0) test_correct (predicted labels).sum().item() all_labels.extend(labels.cpu().numpy()) all_predictions.extend(predicted.cpu().numpy()) test_acc 100 * test_correct / test_total print(f测试集最终准确率: {test_acc:.2f}%) # 可以进一步生成分类报告、混淆矩阵等详细评估 from sklearn.metrics import classification_report, confusion_matrix print(classification_report(all_labels, all_predictions))至此一个完整、严谨的机器学习模型开发流程才告结束。测试集上的这个准确率才是你可以写在论文里或者向业务方汇报的、代表模型真实泛化能力的数字。5. 常见陷阱、问题排查与高级技巧即使理解了原理在实际操作中依然会踩坑。下面是一些常见问题及应对策略。5.1 数据泄露最隐蔽的“杀手”数据泄露是导致模型评估结果虚高、实际部署效果拉胯的最主要原因之一。除了前面提到的误用测试集还有几种更隐蔽的形式预处理泄露在划分数据集之前对整个数据集进行了标准化如减去均值、除以标准差。这相当于让模型在训练时“感知”到了验证集和测试集的信息。正确做法是先划分然后用训练集的统计量均值和标准差去标准化验证集和测试集。# 错误做法 from sklearn.preprocessing import StandardScaler scaler StandardScaler() X_scaled scaler.fit_transform(X) # 在所有数据上fit # ... 然后再划分X_scaled # 正确做法 X_train, X_temp, y_train, y_temp train_test_split(X, y, test_size0.3, random_state42) X_val, X_test, y_val, y_test train_test_split(X_temp, y_temp, test_size0.5, random_state42) scaler StandardScaler() X_train_scaled scaler.fit_transform(X_train) # 只在训练集上fit X_val_scaled scaler.transform(X_val) # 用训练集的参数transform验证集 X_test_scaled scaler.transform(X_test) # 用训练集的参数transform测试集时间序列中的未来信息泄露使用未来数据预测过去。例如在特征工程中如果使用了整个时间序列的全局统计量如全局均值、最大值作为特征就会造成泄露。必须使用滚动窗口确保每个时间点的特征只由其历史信息计算得出。标签泄露特征中包含了直接或间接指向标签的信息。例如在医疗诊断中如果“已开处方药”作为特征那么它几乎直接决定了“是否患病”这个标签。5.2 验证集与测试集性能差异巨大如果验证集上表现很好但测试集上表现很差可能的原因有验证集和测试集分布不一致这是最常见的原因。可能是在划分时没有进行分层抽样导致类别比例失衡或者是数据本身来自不同来源、不同时间段。解决方法是检查数据分布确保划分策略合理或者收集更一致的数据。在验证集上过拟合如果你进行了非常大量的超参数调优尝试了成百上千种组合那么你可能会偶然找到一组在验证集上表现极好但在其他数据上泛化很差的参数。这被称为“对验证集过拟合”。缓解方法是使用K折交叉验证来调参或者准备一个额外的“调优验证集”和一个“最终验证集”。测试集处理有误确认测试集的数据预处理流程与训练/验证集完全一致没有引入任何差异。5.3 小数据集下的策略交叉验证与迁移学习对于样本量极少如每个类别只有几十张图片的任务除了使用K折交叉验证还可以结合以下策略数据增强的极致运用对训练图像进行更激进但合理的增强旋转、裁剪、颜色抖动、mixup、cutmix等这是在不增加真实数据的情况下扩大训练集多样性的最有效手段。迁移学习与微调使用在大型数据集如ImageNet上预训练好的模型如ResNet, EfficientNet。冻结大部分底层特征提取层只训练顶部的分类层。这相当于借用了模型从海量数据中学到的通用视觉特征非常适合小数据场景。在YOLOv5/v8训练自己数据集的教程中使用预训练权重就是这一思想的体现。少样本学习技术如果数据真的少到极致可以探索元学习、度量学习等方法但这属于更前沿的领域。5.4 实操心得与技巧固定随机种子在项目开始时固定所有相关的随机种子random_state,np.random.seed,torch.manual_seed等确保实验的可复现性。这是进行科学比较的基础。可视化监控不仅要看数字还要画图。绘制训练损失和验证损失随Epoch变化的曲线可以直观地看到过拟合何时发生。使用TensorBoard或Weights Biases等工具能极大提升效率。验证集不止用于早停除了监控损失还可以定期在验证集上计算更丰富的评估指标如精确率、召回率、F1、AUC-ROC特别是对于不平衡数据集。早停的标准可以基于这些综合指标。测试集是最后的防线在学术研究中测试集可能只使用一次。但在工业界模型上线后我们会持续收集新的、带有真实标签的数据这部分数据可以构成一个新的、更反映当前数据分布的“测试集”用于监控模型性能衰减触发模型迭代。