title: 如何解决用BeautifulSoup抓取网页却得到乱码的问题？
desc: def scoreScannerusername，password<br> ajar cookielib.CookieJar<br> bjar urllib2.buildopenerurllib2.HTTPCookieProcessorajar<br> urllib2.installopenerbjar<br> dust1 '
topic: Python
content: 这个问题我之前也遇到了，后来在StackOverflow上提问，找到了解决方法。楼上所说的编码问题只是一个方面，使用GB18030确实能够解决。另一个造成乱码的原因是压缩格式。很多规模较大的网站都是以gzip的压缩格式输出页面的，所以在用BS解析之前需要先判断该网页是否经过压缩，如果经过压缩则先进行解压操作。完整代码如下：-- coding utf-8 --from future import printfunction import gzipimport StringIOimport urllib