南京
[切换城市]
收藏千搜 网站地图
让全世界精准客户找到你

百度、360、搜狗、神马、谷歌排名优化

15206197711

您所在的位置: 首页 > 千搜学院 > 网站优化

搜索引擎蜘蛛标识及其抓取原理 日期:2019-01-03 11:25:34  作者:千搜网络  点击:5072  点赞:
0 +1

桐庐SEO工作者对于搜索引擎蜘蛛的知识应了解的蜘蛛工作原理:蜘蛛在浏览网站的时候,首先会去看网站里的机器人文本文件。要是这里面设置了一些不让蜘蛛抓取的东西,那么蜘蛛就会根据协议,不去抓取这部分内容网址。蜘蛛有自己的代理名字,站长能从日志里看到他们不一样的名字,这样子能够将其进行分辨。搜索引擎标识中下面的几个名字很常见:

Baiduspider+……

……compatibleYahoo!……

msnbot-academic……

想让蜘蛛能抓更多的东西,就需要跟踪链接,一个页面到另一个。酷似真正的蜘蛛在网上面爬行一样,所以得名“蜘蛛”。

 

所有的网址全是相互链接形成的,理论上的蜘蛛从每一个页面都能爬向所有页。可这些页面不是一个简单的组合体,蜘蛛得通过它特定的爬行战略方式才能到达每一个页面。

 

桐庐SEO需要研究蜘蛛的爬行:其中的两种爬行不太复杂,广度、深度优先。若a是一个网址,a1b1c1是她能访问到的下一个链接,其中深度优先是蜘蛛根据看到的链接一直往前,等到没有链接可以往前爬行了就从头一个页面再从另一个链接爬行。即从aa1a2a3a4a5a6ab1b2b3b4b5b6……等到第二层1爬完就开始爬第三层2的链接,一直把所有的链接都爬完。

 

而广度优先是从aa1b1c1a1a2a3a4。先把a能连接的页面都访问完,再从a链接的下一个页面a1开始把a1链接的所有页面都访问完。这两种简单的访问方式,要是时间允许,蜘蛛用这两种方式分别都能够将网页浏览完。现实中这两种方式是一起使用,就可以为更多的网站服务,能浏览到更多的网站和网站里面的内容。

 

所以,就算是蜘蛛可以将一切页面爬行完,但是也不会这样子做。所以网站优化工作人员想把自己的网站收录更多内容,就要用一定策略吸引蜘蛛进行抓取。因为不可以每一个页面都能够抓取的到,所以蜘蛛会选择抓重要的内容。搜索引擎蜘蛛标识及爬行原理这篇已经写了出来,而蜘蛛认为重要的内容是怎样的呢,下一篇再详细讲一讲这方面的内容,敬请期待。


相关热搜词:优化策略

分享至:
window._bd_share_config = { common : { bdText : '自定义分享内容', bdDesc : '自定义分享摘要', bdUrl : '自定义分享url地址', bdPic : '自定义分享图片' }, share : [{ "bdSize" : 16 }], image : [{ viewType : 'list', viewPos : 'top', viewColor : 'black', viewSize : '16', viewList : ['qzone','tsina','huaban','tqq','renren'] }], selectShare : [{ "bdselectMiniList" : ['qzone','tqq','kaixin001','bdxc','tqf'] }] } with(document)0[(getElementsByTagName('head')[0]||body).appendChild(createElement('script')).src='http://bdimg.share.baidu.com/static/api/js/share.js?cdnversion='+~(-new Date()/36e5)];
$(function(){ $("#praise").click(function(){ var praise_img = $("#praise-img"); var text_box = $("#add-num"); var praise_txt = $("#praise-txt"); var num=parseInt(praise_txt.text()); if(praise_img.attr("src") == ("Images/yizan.png")){ $(this).html(""); praise_txt.removeClass("hover"); text_box.show().html("-1"); $(".add-animation").removeClass("hover"); num -=1; praise_txt.text(num); tijiao(274 , "jian");//参数 }else{ $(this).html(""); praise_txt.addClass("hover"); text_box.show().html("+1"); $(".add-animation").addClass("hover"); num +=1; praise_txt.text(num); tijiao(274 , "jia");//参数 } }); //传参数AJAX function tijiao(newsid,ftype){ $.post('ajax/fabulous.php', {newsid:newsid, ftype:ftype}, function(d){ }, 'json'); } //function tijiao(newsid,ftype)//提交表单 // { //$.ajax({ type:'POST', url:'ajax/fabulous.php',{newsid:newsid,ftype:ftype} , function(data){ // } //}; }); (function(){ window.scrollReveal = new scrollReveal({ reset: true, move: '50px'}); })();