title: 严重数据倾斜文本分类，比如正反比1:20～100，适合什么model，查准一般要做到多少可以上线？
desc: 比如新闻的广告色情低俗识别，这些小类别在实际分布中一定是占比极小120甚至不到百分之一。传统的词表权重组合规则，只能预防一小部分（召回会非常低，但是准确率不会特别低）。而模型如果训练时候用11配平（个人觉得不能超过13，也做过大量实验），即使使用了加权惩罚，或者类似smote或者组合的上下采样方法，模型在11测试时即使达到90的查准，放到120的环境查准也会大幅度降低到30（试过xgboost，libsvm，libliner，fasttext等，近乎线性成比例降低，cnn目前效果和前面类似，加了earlystop，dropout最合适的还是原始论文参数）。<br>像这种正反比严重数据倾斜的分类识别问题，有没有更合适的方法呢？还是我忽略了哪些地方？
topic: 机器学习
content: 谢邀。之前遇到过类似的问题。首先，对于解决黑白样本分布不均匀的问题，可以使用重采样的方法优化训练集，上采样和下采样。如果还没有尝试，可以尝试下。其次，我曾经用过random forest重采样方法解决这种问题，效果有很大改善。最后，你可以尝试用下one-class SVM。另外，这种问题有可能用有监督学习的方法，得不到好的解决，我当时的场景就是。换个思路，用异常检测或者聚类等无监督学习的思路来做，兴许柳暗花明。如果你能
answerer_tags: 苦逼的数据挖掘机，机器学习者，深度学习娃