title: 什么技术可以爬取和分析旅游网站的信息？（爬虫，自然语言处理等大数据相关）
desc: 1.通过什么<u><b>技术方案<b><u>，可以时时爬取，如：穷游网，蚂蚁窝这些旅游网站的<b><u>攻略信息<u><b>？<u><b>（要求时时，快速，全面）<b><u><br>2.<b><u>如何实现<u><b>信息的分类和封装，<b><u>准确度能达到多高？<u><b>（比如，能否通过语义判断，把攻略里的相关信息结构化，比如旅游金额大小抓取分类，景点名称的抓取和归类，住宿的酒店名称抓取并归类，吃喝的内容抓取并归类，并判断以上<u><b>体验的优劣程度<b><u>，最后标签化，形成加工后的二次可调用数据）<br>3.主要想实现如下功能，如：我们的一个用户选择去意大利玩10天，他制定了，50的精力看人文景点，30吃，20购物的规划，并设置了行程的预算，还选择了某些个性化要求（比如，喜欢看马戏，如果有类似的项目，我们就可以推荐）。我们能否可以通过调用爬取采集开发后的数据，做大数据的分析，并通过大数据算法和模型，给出用户所需要的<u><b>行程流程建议<b><u>（什么时间去哪些景点，坐什么车，在哪里吃什么小吃，住什么酒店等）。<br>3.如果能实现，在不计代价的情况下，如何实现最快反应？能有多快？即，用户下达索取策略指令到给出策略的时间，预期最快能达到多快的速度？<br>答案前三名（超过10点），各寄惊喜小礼品一份，只为尊重知识，不成敬意，请大家给点指导，谢啦。
topic: 自然语言处理
content: 涉及到文本的话，基本是dirty work了。。1. 爬虫就不要想实时了，这些旅游网站的攻略信息都是UGC的，全站内容都没多少。先花点时间爬全站，然后每天爬新产生的就好了。框架很多，py的有scrapy pyspider之类的，不用框架直接写也凑合。2. 从攻略信息里要提结构化信息，算是information extraction from text..大抵有rule based和机器学习的做法，具体可以看1里的p37开始的一些内容。当然如果只训练攻略里的文本数据量太小，可
answerer_tags: Py/推荐系统/爬虫/NLP/机器学习/审计