一般的网站程序而言，总是有三种生成方式：动态页面、静态页面、伪静态页面生成。然而正是由于诸多的生成方式导致了同一内容中的不同URL显示，最后导致搜索引擎再索引同一内容的时候索引到不同的URL地址连接。但是也不要庆幸自己又多了条收录，高度重复的内容搜索引擎并不喜欢，何况还是同一个站内的内容，对于这样的内容如果过多出现，不是遭到降权对内容进行剔除，那么便是封站。所以站长理应对其重视起来，避免被搜索引擎收录同一内容的高重复链接。
　　什么样的链接是重复链接?

　　一般而言，很多程序设计不完善，即使如Discuz也会存在一部分的高重复性的链接。诸如一些：www .xxxx/1.html是网站的一个页面，而同时又存在www .xxx/view.asp?id=1，这是典型的URL不同，但却造成内容高度重复的链接。对于这样的内容，蜘蛛爬到页面也会大感郁闷，到底哪一个链接才是要阐述内容的链接呢?吃了那么多的链接，怎么都是重复内容啊?介于此，蜘蛛再喜欢你独立的原创，时间久了也会被一次次吓跑。www.boryin.net

　　这个是二进制刚刚发现有一个友情链接的情况。事实上，这个文章也仅仅是一篇而已，但是为什么被收录了如此之多呢?就是因为网站在优化过程中，忽略了对一些链接的屏蔽，导致了同一内容出现多条不规范的URL链接而被收录。不过虽说被收录了，但是被剔除也是早晚的事，而且极容易带来搜索引擎的将权惩罚，所以站长们不要学习如何增加收录页，要做的是防微杜渐的进行优化。

　　如何避免内容重复的URL链接?

　　发现了问题的所在，我们接下来便解决问题。对于以上问题，一般而言我们基本上用两种方法，第一种：规范URL，第二种：Robots.txt进行屏蔽。

　　A：在网站建设之初就规范好网站URL的标准化，无论是对外还是对内的链接，统一选择静态，将页面所有可能产生双重或多重的动态链接全部换做静态生成。这样下来，网站基本避免了内容重复的URL链接。www.boryin.net

　　B：Robots.txt，大部分的SEOer们用此来进行内容或页面的屏蔽。如设置(Disallow: /*?*)意在告诉搜索引擎不要访问所有带“?”的页面，不过前提是做好了全站的静态生成。