title: 爬虫数据矿工的命运？
desc: 爬虫是大数据时代数据矿工的工具。那么数据矿工的命运如何？<br>我的思考：<br>1不会数学永远难逃矿工命运。。。。无论是统计学，还是最优化，还是人工智能，还是随机过程，傅立叶分析，小波分析，时间序列分析，这都是没有边的高科技。。。。所以大数据绝对是学数学的福音。<br>2我们也可以想象，数据矿工的能力取决于反反爬。但是要清醒的明白：这不是主流。主流是拥有海量数据的公司。如阿里，他们有自己的内部黄金矿。而一般人只能偷挖他的数据。。。。或者只能去挖一些价值比较低的数据。是的，有人天生就有一座黄金矿，钻石矿。<br>3在别人有玛瑙，黄金，钻石矿。而大多数人只能挖点沙子。这就是数据矿工的命运。<br>4未来一定还会有这样的故事，某某人挖到了黄金，结果大家蜂拥而至，成就一段矿工培训的传奇。<br>5在后来你还会发现，你会收到数据分析公司的压迫。他们握有客户，你只能挖矿。。。。。<br>6在后来，你会发现，TMD有了智能挖矿机。。。。。。<br>7悲剧的命运。。。。数据矿工。<br><br>各位什么看法。
topic: Python
content: 一个行业越成熟，分工就越明确，整个链条也越稳定。每个行业都有“矿工”，我是铁定了心只做大数据矿工，把爬虫做的最好用。就像一部智能手机，高端的技术浓缩在几个芯片中，研发不成那个芯片，能做成富士康也很了不起。所以，最重要的是选定行业位置，站住了
answerer_tags: 网络爬虫 www.GooSeeker.com 创始人，数据挖掘和数据获取社区运营