title: 学习自然语言处理，中文数据分析处理这块内容，应该怎么学习，怎样一个流程？
desc: 本人原来从事的是Java传统软件开发，最近跳到某发展中的互联网企业，现在公司给我定的方向偏向于自然语言的处理这一块。比如分词匹配，抓取关键字等。这方面要学习应该从何开始，希望有大神给列出这方面需要的技能，一个长期的学习计划什么的。我最近的分词匹配任务是用的lucene，但了解的太浅了，希望大神指点
topic: 数据挖掘
content: 我觉得抓取关键词懂得TFIDF就够了。总体来说就是停用词词表越大越好，然后靠TFIDF（这个应该知道吧）。如果你还觉得不够好，那就再利用所有新闻标题和新闻正文训练一个Translation Model（词和词之间的转移概率），我们默认新闻标题里出现的词语更倾向变成关键词。我们就可以得到一个很大很大的词表，之后算你给的文档转移到哪些词的概率最大，并且结合tfidf信息去抽取。我觉得比较有用的技能：信息检索方面（你叫分词匹配），
answerer_tags: 自然语言处理搬砖师