3种多模态情绪识别模型在WESAD数据集上的对比：CNN-LSTM vs Transformer vs ResNet

多模态情绪识别模型在WESAD数据集上的性能对决CNN-LSTM、Transformer与ResNet的全面评测情绪计算领域近年来迎来爆发式增长而WESADWearable Stress and Affect Detection作为首个同步采集胸腕双设备生理信号的开源数据集已成为验证多模态情绪识别算法的黄金标准。本文将深入对比三种主流架构——CNN-LSTM时序模型、Transformer注意力模型和ResNet特征提取模型在该数据集上的表现差异通过详实的实验数据为研究者提供模型选型依据。1. 实验环境与数据预处理1.1 WESAD数据集特性解析WESAD包含15名受试者在baseline、stress、amusement等五种状态下的多通道生理信号胸部设备RespiBANECG、EDA、EMG等6种信号采样率700Hz腕部设备Empatica E4BVP、ACC等4种信号采样率4-64Hz不等原始数据需进行以下关键预处理# 信号对齐与重采样示例 def resample_signal(signal, original_fs, target_fs128): duration len(signal) / original_fs new_length int(duration * target_fs) return scipy.signal.resample(signal, new_length)1.2 特征工程策略针对不同模态信号采用差异化处理时序信号ECG/BVP提取时域HRV、频域PSD特征皮肤电反应EDA采用cvxEDA工具包分解tonic/phasic成分加速度计ACC计算运动能量指数注意腕部EDA采样率仅4Hz需特别处理运动伪影。建议采用Butterworth低通滤波器cutoff0.5Hz保留有效成分。2. 模型架构深度剖析2.1 CNN-LSTM混合模型该架构通过CNN提取局部特征LSTM捕获长时依赖class CNN_LSTM(nn.Module): def __init__(self): super().__init__() self.cnn nn.Sequential( nn.Conv1d(6, 64, kernel_size5), nn.BatchNorm1d(64), nn.ReLU(), nn.MaxPool1d(2)) self.lstm nn.LSTM(64, 128, bidirectionalTrue) self.classifier nn.Linear(256, 4)优势对信号时频特性具有显式建模能力在小样本场景下表现稳定2.2 Transformer时序模型采用自注意力机制建模跨模态交互class PhysioTransformer(nn.Module): def __init__(self): super().__init__() self.embed PatchEmbedding(patch_size16, dim128) self.transformer Transformer( dim128, depth4, heads8, mlp_dim256)关键创新点可学习位置编码替代传统正弦编码适应非均匀采样信号跨模态注意力在特征维度拼接胸腕信号通过注意力权重实现自适应融合2.3 ResNet特征提取器将1D信号转换为时频图后应用2D卷积def create_spectrogram(signal, fs128): f, t, Sxx spectrogram(signal, fsfs) return torch.FloatTensor(Sxx) model resnet18(pretrainedFalse) model.conv1 nn.Conv2d(1, 64, kernel_size7, stride2, padding3)数据处理技巧使用连续小波变换CWT生成时频图引入MixUp数据增强缓解过拟合3. 实验结果与对比分析3.1 性能指标对比在5折交叉验证下的分类表现模型准确率(%)F1-score参数量(M)推理时延(ms)CNN-LSTM82.3±1.20.8143.212.4Transformer85.7±0.80.8435.818.6ResNet80.1±1.50.79211.29.83.2 模态重要性分析通过消融实验验证各信号贡献度信号类型移除后准确率下降(%)胸部ECG15.2腕部BVP8.7胸部EDA12.4腕部ACC3.1关键发现胸部信号对压力识别贡献更大而腕部信号在amusement状态检测中更具判别性4. 工程实践建议4.1 模型选型指南根据应用场景选择合适架构嵌入式部署CNN-LSTM低功耗云端服务Transformer高精度跨数据集迁移ResNet强泛化4.2 超参数调优经验学习率Transformer需更小的初始lr推荐1e-5批大小LSTM对batch size敏感建议设为32-64正则化Dropout在CNN-LSTM中效果最佳p0.3实际项目中我们发现早停策略patience10配合指数衰减学习率能提升模型稳定性。对于Transformer注意力头数设为8时在验证集上达到最佳权衡。