166、微调数据准备：数据清洗、质量过滤、格式转换、去污染与隐私脱敏

166、微调数据准备：数据清洗、质量过滤、格式转换、去污染与隐私脱敏上周帮一个团队排查微调Llama 3时loss死活不降的问题，折腾了两天，最后发现罪魁祸首是训练数据里混了3000多条HTML标签没清理干净的网页抓取内容。模型学了一堆div和nbsp;，能收敛才怪。从那以后，我养成了一个习惯：微调前先花70%的时间折腾数据，剩下30%才是调参和训练。数据清洗：别让模型学垃圾数据清洗不是简单跑个正则就完事。我见过太多人直接把爬虫数据丢进训练脚本，结果模型学会了输出乱码。编码问题是第一个坑。UTF-8 BOM头、GBK混UTF-8、Latin-1遗留的乱码字符，这些在文本里藏得很深。我写了个检测函数，先扫一遍文件头，发现非UTF-8编码的直接转码或丢弃。别用chardet库自动检测，它在大文件上慢得离谱，而且经常误判。我习惯用cchardet，速度快一个数量级。HTML标签和Markdown残留是第二个重灾区。很多人以为用BeautifulSoup的get_text()就万事大吉，但code块里的内容、script标签里的JS代码、还有那些转义字符amp;、lt;，一个不注意就漏