搜索引擎蜘蛛是什么

看学习搜索优化的文章，都会看到蜘蛛这个词，它不是我们现实中的动物蜘蛛，它是网络中的一个很形象的专业名词，网络蜘蛛即Web Spider，互联网就像一个蜘蛛网，那么Spider就是在网上爬来爬去的蜘蛛。蜘蛛实际上是一个以人类无法达到的速度不间断地执行访问网络上的网站并抓取网站内容任务的软件程序。而我们所说的蜘蛛来爬网站，即是网站被搜索引擎收录的过程。

网络蜘蛛，是从网站某一个页面开始，读取网页的内容，并找到在网页中的其它链接地址，然后通过这些链接地址找下一个网页，这样一直循环下去，直到把这个网站所有的网页都抓取完为止。如果把整个互联网当成一个网站，那么网络蜘蛛就可以用这个原理把互联网上所有的网页都抓取下来。