我来分享:爬虫程序只抓取首页处理办法【微发信息网】
SEO优化
我来分享:爬虫程序只抓取首页处理办法
2014-01-17  浏览:4
 经常看到有朋友说网站出现只抓取首页,其他的内页一个页面都不抓取的情况,那么这个情况是怎么回事呢?下面笔者来做一个详细的解答:

1、刚刚做好的网站

对于新新的网站,首页刚刚被收录,这时候网站的权重是极低的。就不要期望这么快收录内页了,这样的情况,是很正常的,一般最少过了一个月之后,其他的内页才会放出来。
制定一个详细的优化方案,定时更新,切记使用一些不正常的手法。

2、robots.txt文件、服务器限制

这是很多新手容易犯的错误,对robots.txt文件不是很了解,但是不设置又觉得自己降低了档次,所以就错误的填写,导致屏蔽了内页。这样也就导致了蜘蛛无法爬取你的内页。另外服务器的限制也会出现这种情况。

解决策略:检查robots.txt文件和服务器是否有限制,自己看不懂可以找别人帮你。

3、网站的自身布局

网站布局是不是混乱,导航布局是不是混乱,导航不清楚,主页有没有足够的链接指向内页。

处理策略:收拾网站导航,理顺布局,让网站导航更清晰明了,调用内页关键词到主页,增多一种“最新作品”、“作品引荐”等版块,添加内页入口。

4、网站内容质量和更新频率

网站内容质量应该是所有因素里面最重要的一个,也是收录不充分常见的缘由。试想一篇自己都看不下去的文章,百度又怎么会有所青睐呢?互联网发展到现在,已经是粘贴复制,抄袭山寨横行。百度为了提供良好的用户体验,对于复制抄袭的内容,坚持不收录的准则。同时网站的更新是不是具有规律性也非常重要。SEO管家中间:我们把百度蜘蛛比喻成一个人,它本来是1天来一次,你网站没有更新。然后就2天来一次,你的网站依旧没有更新。那么爬虫程序根本就不想再来了。


解决策略:坚持有质量、有数量的定期更新网站内容,当然针对不同的行业更新的频率也不仅相同。

总结:一般新网站权重太低,出现这种情况很正常,老网站出现这种情况很可能是网站布局不合理。针对以上提出的几点现象,逐一排除,自会找出问题的根源。
发表评论
0评