如何使用光年日志分析软件进行robots改写

 

SEO要做的分析出了网站情况分析,还有一部分是做日志分析。下面我来讲讲如何通过光年日志分析软件来进行robots改写。

各种登录,注册类的页面不仅要nofollow掉,robots也要屏蔽掉.许多活动类栏目会换成动态链接,在页面上使用nofollow并robots屏蔽掉,即杜绝了蜘蛛抓取,同时又不让其收录该页面.

下面是光年日志分析出来的百度爬虫数据:

光年日志分析出来的百度爬虫数据
光年日志分析出来的百度爬虫数据

因此可以看到那个文件夹访问的多,哪个少。下面是优孕行的robots改写细节:

可以根据目录抓取的次数来写robots, 根据下图,robots禁止访问:

User-agent: *

Disallow: /admux/
Disallow: /hospitals.html
Disallow: /js/
Disallow: /admin/
Disallow: /plus/
Disallow: /weixin_api_test/
Disallow: /includes/
Disallow: /css/
Disallow: /editor/
Disallow: /manage/
Disallow: /system/
Disallow: /qiniu_ueditor/
Disallow: /simditor/

Sitemap: http://www.uyunbaby.com/sitemap.xml

这便是运营科学化通过日志分析来达到SEO优化的效果,把不必要的robots禁止掉,然后爬虫就可以效率飞快的抓我们希望它抓的页面了。

 

留下第一个评论