如何利用Python抓取静态网站及其内部***？
用python抓取网页，应该是要用到爬虫技术了，python做爬虫还是比较在行的。
一般简单点的用urllib库发送request请求然后再解析响应的数据包即可。不过不建议直接用urllib
因为不太好用，建议用requests包，这个包里封装好了很多东西，然后可以自己解析，也可以用bs，beautiful soup做解析或者什么xml的一个东西记不太清了。所有这些东西都可以用pip安装。先把pip升级到最新版本，然后再依次安装python，request，bs。如果复杂点的可以用爬虫框架crawler和scrapy，spider。基本上你要考虑到请求，解析，数据存储，去重等等。
另外还有一点就是很多网站做了防爬防护，就要牵涉到接口的加解密破解和反防爬处理了，这有点复杂。
手打字辛苦，如果有用请***纳加精。
这次分享一个房地产网站数据***集及可视化分析的Python实际案例，应用效果还是有，步骤如下：
1、获取目标网站
2、分析网站，确定数据***集的方法
3、对***集的数据进行处理
4、最后可视化
先看看最终效果：
首先获取目标网站，可以发现获取的数据信息都在网页上面，所以可以直接使用xpath标签定位获取网页上的数据，而不用担心动态网页的数据会出现变化：
然后获取各个***集字段的具体xpath，包括房源信息、房价、地区、建面（面积）等字段的xpa，部分代码如下：
这个非常简单，requests+BeautifulSoup组合就可以轻松实现，下面我简单介绍一下，感兴趣的朋友可以自己尝试一下，这里以爬取糗事百科网站数据（静态网站）为例：
1.首先，安装requets模块，这个直接在cmd窗口输入命令“pip install requests”就行，如下：
2.接着安***s4模块，这个模块包含了BeautifulSoup，安装的话，和requests一样，直接输入安装命令“pip install bs4”即可，如下：
3.最后就是requests+BeautifulSoup组合爬取糗事百科，requests用于请求页面，BeautifulSoup用于解析页面，提取数据，主要步骤及截图如下：
这里***设爬取的数据包含如下几个字段，包括用户昵称、内容、好笑数和评论数：
基于上面网页内容，测试代码如下，非常简单，直接find对应标签，提取文本内容即可：
学会Python需要多长时间？
中公优就业的Python培训的学习时间分成两个阶段，第一个阶段就是Python的基础知识学习，可以自己做一些小程序来玩一玩，第二个阶段主要是更深入的Python学习，可以通过这个技能来找到合适的工作。初级Python掌握阶段学习时间：如果大家是零基础选择自学的话，一般所学的内容如下，这个期间主要学习的内容是常量、变量的应用，运算符的了解和使用、流程控制的使用、函数的定义和使用，容器处理方法，字符串处理方法，日期时间处理方法等， 掌握Python编程语言基础内容、OOP基础知识，学习后应该能自己处理OOP问题。根据个人的理解能力和时间安排，所需要的时间也是不同的一般都是5个月左右或者是更多。如果是已经有其他程序语言的基础，那么所需要的时间也是会大大的减少的。深入Python学习时间：深入学习的时间一般都是更久了，所有的知识一般都是入门会简单一点儿，之后想要继续深入学习所消耗的时间和精力也是会增长的，例如接下来要学的爬虫技术、人工智能方向都是需要时间进行学习的，需要好好加油哦~
