ITbadu

大家都知道，同一个页面如果有1个以上的链接可以链接到，通常情况下是不好的，理论上搜索引擎不会认为一个页面有2个地址，而是有2个相同的页面，当网站上这样的页面存在多了之后就会导致整个网站存在大量的复制页面，最终导致网站的降权。

相信大家关于如何让网站被搜索引擎能够顺利的爬取多少也能知道点，相关的文章也看过不少。优化已经存在的网站、重新做一个新站也好，首先都离不开URL的规划，当然一套好的URL会让网站优化事半功倍，同时你应该看下这篇文章：如何让URL标准化。 爬虫顺着一个个的URL在互联网上抓取网页，它一边下载这个网页，一边在提取这个网页中的链接。假设只有一个蜘蛛以网站的某个节点开始爬取到itbadu的首页，那么蜘蛛顺着首页能够抓取到好多的URL链接，这时它会将这些URl存放带一个公用的“待抓取列表”中。

搜索引擎蜘蛛（英文：spider）在抓取一个网站时，首先会检查该网站的根目录里面是否有一个叫做robots.txt文件（如：你的网站域名是 www.xxx.com 那么搜索引擎会检查 www.xxx.com/robots.txt 这个默认路径），这个文件用于指定搜索引擎蜘蛛spider在您网站上的抓取范围，当你不想让蜘蛛爬取你站内页面或者某个目录时就可以用robots.txt来屏蔽蜘蛛抓取。

从事seo方面的工作到底需要学习和了解哪些方面的知识，精通哪方面的技能？下面我就从58同程seo的招聘要求给大家聊聊seo的一些需知点和必知点！了解搜索引擎的发展动向，这个你需要不停的关注这方面的新闻和资讯。不管你从事一些什么工作，你所做的工作的未来发展方向和一些动向你是不可能不关注的。

快照一直是我们在优化过程中的重点，总的来说快照也是一个非常重要的东西，在讲网页快照为什么不更新之前，我先跟大家解释下网页快照的原理。大家首先应该先明白搜索引擎的工作原理，搜索引擎通过指向你网站的链接到达你的网站，然后抓取你的网页，并分析出搜索引擎能理解的一系列的标识，并将其存入到服务器。

在学习seo的时候，我们面临的一个问题就是：“学习seo最好的方式是什么？”，当然有很多答案，每个人对这个的认识不同。当然也并不是所有的学习方法都是好的，每个学习方法都有自己独特的风格。如果你是seo新手，并不是所有的方法都适合于你；如果你是seo老手，别人也并不能教给你多少你不知道的。