爬虫从待抓取URL队列依次读取，并将URL通过DNS解析，把链接地址转换为网站服务器对应的IP地址。然后将其和网页相对路径名称交给网页下载器，网页下载器负责页面的下载。对于下载到本地的网页，一方面将其存储到页面库中，等待建立索引等后续处理；另一方面将下载网页的URL放入已抓取队列中，这个队列记录了爬虫系统已经下载过的网页URL，以避免系统的重复抓取。对于刚下载的网页，从中抽取出包含的所有链接信息，并在已下载的URL队列中进行检查，如果发现链接还没有被抓取过，则放到待抓取URL队列的末尾，在之后的抓取调度中会下载这个URL对应的网页。如此这般，形成循环，直到待抓取URL队列为空。

通用爬虫又称全网爬虫，它将爬取对象从一些种子 URL扩充到整个Web上的网站，主要用途是为门户站点搜索引擎和大型Web服务提供商采集数据。

聚焦爬虫，又称主题网络爬虫，是指选择性地爬行那些与预先定义好的主题相关的页面的网络爬虫。

增量式网络爬虫是指在具有一定量规模的网络页面集合的基础上，采用更新数据的方式选取已有集合中的过时网页进行抓取，以保证所抓取到的数据与真实网络数据足够接近。

爬取表层网页的爬虫叫做表层爬虫。表层网页是指传统搜索引擎可以索引的页面，以超链接可以到达的静态网页为主构成的Web页面。

爬取深层网页的爬虫就叫做深层爬虫。深层网页是那些大部分内容不能通过静态链接获取的、隐藏在搜索表单后的，只有用户提交一些关键词才能获得的 Web 页面。

不法分子利用恶意爬虫不遵守网站的robots协议，对网站中某些深层次的、不愿意公开的数据肆意爬取，其中不乏个人隐私或者商业秘密等重要信息，并有可能给对方服务器性能造成极大损耗。未经过网站服务器的合法授权去抓取数据会干扰网站的正常运营，而非正规爬虫自动持续且高频次地对网站服务器发起请求，服务器负载飙升，同一时间大量的爬虫请求会让网站服务器过载或崩溃，尤其是中小网站可能会面临网站打不开、网页加载极其缓慢、甚至直接瘫痪的情况。

User-Agent是请求头的一部分，在用户请求网站时会告诉网站服务器，网站服务器可以通过请求头参数中的 User-Agent 来判断请求方是否是浏览器、客户端程序或者其他的终端，如果是通过爬虫方式请求则为默认的请求头信息，直接过滤拒绝访问，如果是用户浏览器，就会应答。

在网站服务器设置User-Agent，添加指定的User-Agent请求头信息，User-Agent存放于Headers中，网站服务器就是通过查看Headers中的User-Agent字段中的值来判断是谁在请求访问网站。当用户或者爬虫程序请求访问网站时网站服务器会自动的去检测连接对象，如果检测到请求头中未包含指定的User-Agent的话，网站本身的反爬虫程序就会识别出你是通过爬虫程序在访问网站，网站服务器会判断是非法请求，从而拒绝访问 。如果检测对象的User-Agent为指定的请求头信息则接受访问。

在网站服务器中配置黑名单策略，当请求方发起请求后网站服务器进行识别、只要编程语言出现在黑名单策略中，都视为爬虫，对于此类请求可以不予处理或者返回相应的错误提示。

网站服务器后台对访问进行统计，如果单个User-Agent访问超过指定阈值，予以临时封锁或永久性封锁。

网站服务器后台对请求访问的IP进行统计，如果单个IP访问超过指定阈值，予以临时封锁或永久性封锁。