随着时间的推移，互联网上产生的页面越来越多，据统计几乎重复的网页数量占据整个网络页面数量的30%，比如一篇文章在知名的平台上投稿后，过后会有很多平台会去采集，放在自己的网站上。比如搜索：最近比较热门的文章，互联网上面会有很多很多的重复重复内容，如果仔细看会发现，有新站有老站，有修改发布时间的，还有调整文章内容的。
网页重复可以分为4个种类
一、如果两个网页，除了网址之外，它的内容和模板都一模一样，则叫做完全重复。
二、如果两个网页，除了网址之外，它的内容一模一样但是模板布局不同，则叫做内容重复。
三、如果两个网页，除了网址之外，它的内容有部分的重复，模板布局一模一样，则叫做模板布局重复。
四、如果两个网页，除了网址之外，它的内容有部分的重复，模板布局也不相同，则叫做部分重复。
搜索引擎通过一些相关的算法快速的发现这些网页信息的重复性，并且这个指标已经成为互联网硬性标准。那么对于搜索引擎来讲到底如何的重要呢？
1、首先可以在服务器上找到这些重复的页面并且清除掉，可以让搜索引擎把空间留给更加高质量的页面。
2、其次我们都知道网页的快照时间是会更新的，通过重复页面的抓取和统计，可以让搜索引擎选择部分页面而更新快照。
3、要是一个网页在某段时间内的有大量的镜像页面，说明这个网页的内容比较受到用户的欢迎，从而导致搜索引擎认为改网页很重要，给予其较高的权重。
4、最后，如果用户打开一个网页发现是404页面，那么可以通过打开相同的页面来解决自己的需求，这样也是增加了用户体验。
在搜索引擎实际的抓取过程中，当蜘蛛抓取到一个url，会对网页的内容进行识别，然后在与已经建立索引的页面进行对比，如果重复度很高，那么就会直接抛弃掉，当然这个也要看网页的权重，比如新浪博客，即使是复制粘贴，依然会有排名而且排名还不错，也相当的稳定。
我们说起来比较简单，但是搜索引擎要处理那么庞大的网页数据，技术难度还是不容小视的，个大搜索引擎去重算法其实是近乎一致的。比如指纹对比法：
首先从网页中抽取一些特征集合，当然这些特征包含了页面的重要信息。过滤掉了不重要的信息，如果过滤的信息越多则丢失重要的信息概率就越大。既然是特征集合那么就可以进入到了相似文档的阶段。经过这些过滤将有价值的网页，建立索引从而参与排名。
实际应用：
1、为什么有些行业要在采集过的文章中加入一些不相干的文字，这就是把指纹打乱掉，让其重复度更低些，缺点是文章的可读性会比较差。或者段乱打乱掉，或者对文章进行修改。
2、老榕树广告联盟，644个页面包含了那句话，会被搜索引擎认为篇文章非常重要同时这么文章中包含了他的官网地址，他这个是通过发大量的外链，以及投放新闻源来实现的。
3、网站被镜像后，原网站排名会受到影响【很多人是自己镜像自己的网站，做了两个不同的域名同样的模板和同样的内容的网站】
