我们可以把互联网比作一张大网，而爬虫（即网络爬虫）便是在网上爬行的蜘蛛。把网的节点比作一个个网页，爬虫爬到这就相当于访问了该页面，获取了其信息。可以把节点间的连线比作网页与网页之间的链接关系，这样蜘蛛通过一个节点后，可以顺着节点连线继续爬行到达下一个节点，即通过一个网页继续获取后续的网页，这样整个网的节点便可以被蜘蛛全部爬行到，网站的数据就可以被抓取下来了。
1.爬虫概述
简单来说，爬虫就是获取网页并提取和保存信息的自动化程序，下面概要介绍一下。
(1)获取网页
爬虫首先要做的工作就是获取网页，这里就是获取网页的源代码。源代码里包含了网页的部分有用信息，所以只要把源代码获取下来，就可以从中提取想要的信息了。
前面讲了请求和响应的概念，向网站的服务器发送一个请求，返回的响应体便是网页源代码。所以，最关键的部分就是构造一个请求并发送给服务器，然后接收到响应并将其解析出来，那么这个流程怎样实现呢？总不能手工去截取网页源码吧？
不用担心，Python提供了许多库来帮助我们实现这个操作，如urllib、requests等。我们可以用这些库来帮助我们实现HTTP请求操作，请求和响应都可以用类库提供的数据结构来表示，得到响应之后只需要解析数据结构中的Body部分即可，即得到网页的源代码，这样我们可以用程序来实现获取网页的过程了。
(2)提取信息
获取网页源代码后，接下来就是分析网页源代码，从中提取我们想要的数据。首先，最通用的方法便是采用正则表达式提取，这是一个万能的方法，但是在构造正则表达式时比较复杂且容易出错。
另外，由于网页的结构有一定的规则，所以还有一些根据网页节点属性、CSS选择器或XPath来提取网页信息的库，如Beautiful Soup、pyquery、lxml等。使用这些库，我们可以高效快速地从中提取网页信息，如节点的属性、文本值等。
提取信息是爬虫非常重要的部分，它可以使杂乱的数据变得条理清晰，以便我们后续处理和分析数据。
(3)保存数据
提取信息后，我们一般会将提取到的数据保存到某处以便后续使用。这里保存形式有多种多样，如可以简单保存为TXT文本或JSON文本，也可以保存到数据库，如MySQL和MongoDB等，也可保存至远程服务器，如借助SFTP进行操作等。
(4)自动化程序
说到自动化程序，意思是说爬虫可以代替人来完成这些操作。首先，我们手工当然可以提取这些信息，但是当量特别大或者想快速获取大量数据的话，肯定还是要借助程序。爬虫就是代替我们来完成这份爬取工作的自动化程序，它可以在抓取过程中进行各种异常处理、错误重试等操作，确保爬取持续高效地运行。
2.能抓怎样的数据
在网页中我们能看到各种各样的信息，最常见的便是常规网页，它们对应着HTML代码，而最常抓取的便是HTML源代码。
另外，可能有些网页返回的不是HTML代码，而是一个JSON字符串（其中API接口大多采用这样的形式），这种格式的数据方便传输和解析，它们同样可以抓取，而且数据提取更加方便。
此外，我们还可以看到各种二进制数据，如图片、视频和音频等。利用爬虫，我们可以将这些二进制数据抓取下来，然后保存成对应的文件名。
另外，还可以看到各种扩展名的文件，如CSS、JavaScript和配置文件等，这些其实也是最普通的文件，只要在浏览器里面可以访问到，就可以将其抓取下来。
上述内容其实都对应各自的URL，是基于HTTP或HTTPS协议的，只要是这种数据，爬虫都可以抓取。
3.JavaScript渲染页面
有时候，我们在用urllib或requests抓取网页时，得到的源代码实际和浏览器中看到的不一样。
这是一个非常常见的问题。现在网页越来越多地采用Ajax、前端模块化工具来构建，整个网页可能都是由JavaScript渲染出来的，也就是说原始的HTML代码就是一个空壳，例如：
<!DOCTYPE html>
<html>
<head>
<meta charset="UTF-8">
<title>This is a Demo</title>
</head>
<body>
<div id="container">
</div>
</body>
<script src="app.js"></script>
</html>
body节点里面只有一个id为container的节点，但是需要注意在body节点后引入了app.js，它便负责整个网站的渲染。
在浏览器中打开这个页面时，首先会加载这个HTML内容，接着浏览器会发现其中引入了一个app.js文件，然后便会接着去请求这个文件，获取到该文件后，便会执行其中的JavaScript代码，而JavaScript则会改变HTML中的节点，向其添加内容，最后得到完整的页面。
但是在用urllib或requests等库请求当前页面时，我们得到的只是这个HTML代码，它不会帮助我们去继续加载这个JavaScript文件，这样也就看不到浏览器中的内容了。
这也解释了为什么有时我们得到的源代码和浏览器中看到的不一样。
因此，使用基本HTTP请求库得到的源代码可能跟浏览器中的页面源代码不太一样。对于这样的情况，我们可以分析其后台Ajax接口，也可使用Selenium、Splash这样的库来实现模拟JavaScript渲染。
相关资讯
换ip软件帮您解决ip被封烦恼！
换ip软件帮您解决ip被封烦恼！我想做互联网工作的基本上都需要换下ip吧，很多时候我们做推广经常被封账号，特别是同一个IP自问自答马上封你没商量，但是这些推广也
来源：黑核混拨IP网
2018-12-25 15:52:02
不知道怎么样修改ip地址可以用黑核混拨IP软件
现在做推广越来越难做了，动不动就被封号，要么就是一个IP只能登陆一个账号，这就尴尬了，如果只用一个账号推广根本不见效啊，或者说见效也效果不大，只能大批量的做推广
来源：黑核混拨ip加速器网
2018-12-25 16:28:24
黑核混拨IP加速器让你知道如何改变ip地址
被论坛禁言了？玩游戏作弊，被封号了？被人屏蔽IP是件很让人不爽的事情，平时正忙的时候被封禁，会有种天塌下来的感觉。如何改变ip地址成了我们比做的事情，不改变IP
来源：黑核混拨ip加速器网
2018-12-25 16:58:44
黑核混拨IP加速器轻松解决怎么修改手机ip地址问题
有些视频播放站很坑，一天只能观看几个视频就需要开通会员才能看了，但是我们又不想冲会员怎么办，那就需要修改手机IP地址了，但是怎么修改手机IP地址呢？不是谁都懂的
来源：黑核混拨ip加速器网
2018-12-25 17:39:01
还在找ip地址修改器吗？来试试黑核混拨IP加速器吧
国内ip地址修改器顾名思义就是转换自己的IP地址的一个工具或者一款软件，ip地址修改用哪些工具好处呢，因为工作或者个人需求，修改IP后可以注册一些限制IP注册的
来源：黑核混拨ip加速器网
2018-12-25 18:13:13
在国外想玩lol国服吗？来试试这个ip加速器吧
身在国外想玩下国服游戏是一件很痛苦的事情，因为网络延迟太高了，卡到让人怀疑人生的那种地步，有多卡呢？玩个游戏能卡出漫画的效果来，看着都着急啊。特别是玩游戏的时候
来源：黑核混拨ip加速器网
2018-12-27 17:07:17
什么是ip代理软件？可以修改ip地址吗？
经常碰到朋友问，代理IP是做啥的，有什么用。我对他一顿解释，然后他还是云里雾里，好吧，可能是我口才不好，这里写文再解释下。代理IP对于很多人来说，用处很大，他们
来源：黑核混拨ip加速器网
2018-12-27 17:27:18
互联网工作中ip代理是不可缺少的工具
目前，中国的互联网大军正在不断壮大，各种各样依托互联网的新兴行业正在兴起，哪怕是很多传统行业，为了抢占竞争的制高点，也将跟友商之间的竞争搬到了互联网平台之上。对
来源：黑核混拨ip加速器网
2018-12-27 17:45:23
爬虫技术工程师为什么离不开ip代理
说到爬虫，自然离不开爬虫代理地址。爬虫是一门随着互联网大数据而应运而生的产物，它主要是为了在海量的网络数据中采集分析有效的数据而诞生的一门技术。无需多言，爬虫技
来源：黑核混拨ip加速器网
2018-12-28 15:24:23
解析IP地址、子网掩码、网关的关系
子网掩码是每个网管必须要掌握的基础知识，只有掌握它，才能够真正理解TCP/IP协议的设置。以下就由黑核动态ip代理来深入浅出地讲解什么是子网掩码。IP地址的结构
来源：黑核动态ip代理
2019-04-08 15:22:44
代理ip软件的原理是什么有什么用
互联网上网大家已经不在陌生，但是安全上网不被人这么容易追踪到隐私就不是所有人都知道的了，这就牵扯到了代理ip软件以及如何使用的问题。代理ip软件的工作原理是：当
来源：黑核混拨ip加速器网
2019-01-05 15:56:24
推荐阅读
在线客服
.png)
