title: 点击率预测使用onlinelearning特征数不断变多如何解决？
desc: 现在我们使用的是google论文里的ftrl算法，特征的ID被映射为一个64位的ID。现在的问题是参数服务器中的特征ID越来越多，导致dump出来的模型越来越大。<br><br>初步有两种解决的方法：<br>1. 部署两套训练集群，比如训练的时间窗口是7天，第一个集群从前7天开始学，第二个集群从前6天开始学习。当第一个集群对线上服务，过一天后（也可以切换的更快），切换到第二个集群，现在是第二个集群对线上服务。第一个集群再从第6天开始学习。这样的做法会浪费一套集群。<br>2. 听过来人说，FTRL算法存在模型不稳定的情况，所以需要和batch learning配合，但现在的问题是batch learning需要处理的数据量特别大。<br><br>回答中有建议Feature Hash的做法的，但google论文里明确写了可能不可行，我自己没试过。<br><img data-rawheight
topic: 互联网广告
content: 这是个好问题，题主说的两种方案都还有优化空间： 1.部署两套模型的方案可行但是比较浪费资源，在一套系统上其实是可以既保证模型不相对变大又不损失效果的。题主说的方案其实是两套按天淘汰特征，这种方案比较暴力，比较好的方案是对特征按照泊松分布淘汰，既能在一套模型内完成，又能保证重要特征不会每天都淘汰掉，效果也会比按天淘汰要好。另外，特征是可以使用Hash trick的，Google现在也是这么做的。2013Google发表论文时
answerer_tags: 机器学习和分布式算法攻城狮！