服务器大本营

 找回密码
 我要入营

微信扫码 , 快速开始

QQ登录

只需一步,快速开始

查看: 217|回复: 0

网站SEO优化之Robots.txt文件标准写法

[复制链接]

795

敬重

367

主题

207

精华

管理员

积分
5735

启航之章进阶之印里程之碑突破之证飞跃之星蜕变之勋卓越之路龙年行大运

QQ
发表于 2024-4-10 17:21:07 | 显示全部楼层 |阅读模式

我要入营,结交更多好友,开启更多功能,轻松玩转服务器大本营!

您需要 登录 才可以下载或查看,没有账号?我要入营

x
Robots协议文件是一种用于指导搜索引擎爬虫如何访问网站的文本文件。它不仅为搜索引擎提供了重要的指导,还为网站所有者提供了控制网站被抓取的能力。通过编写Robots协议文件,可以告诉爬虫哪些页面可以抓取,哪些页面不能抓取,以及在访问网站时需要遵循的规则。因此,正确编写Robots协议文件对于网站的SEO和运营至关重要。

一、Robots协议的作用
1、提升搜索引擎优化效果
通过控制爬虫对网站的访问范围,Robots协议文件可以帮助网站聚焦重要页面,提升搜索引擎优化效果。对于一些无关紧要的页面,可以通过Robots协议文件禁止抓取,让搜索引擎更好地抓取网站其他内容,提高网站在搜索结果中的排名。

2、节省服务器资源
如果网站包含大量的音视频文件或者图片,通过Robots协议文件可以禁止抓取这些文件,从而避免爬虫对这些文件进行无效的抓取和存储。这有助于节省服务器资源,让服务器运行更加畅通,提高网站的响应速度和用户体验。避免无效链接影响用户体验和搜索引擎判断

Robots协议可以屏蔽一些死链接,避免这些无效链接影响用户体验和搜索引擎的判断。如果网站存在大量的死链接,不仅会影响用户的体验和网站的口碑,还可能被搜索引擎认为是垃圾网站而受到惩罚。

3、提高网站性能和资源利用效率
通过控制爬虫的访问频率和范围,Robots协议有助于节省网站资源,减少搜索引擎爬虫的抓取频率,从而降低服务器压力,提高网站性能和资源利用效率。

二、Robots协议文件的写法
Robots协议文件通常由两部分组成:User-agent和Disallow。User-agent用于指定爬虫的名称或类型,Disallow用于指定禁止访问的页面或目录。以下是一些常见的Robots协议写法示例:

1、User-agent 定义搜索引擎
一般情况下,网站里面都是:User-agent: *,这里*的意思是所有,表示定义所有的搜索引擎。比如我想定义百度,那么就是User-agent: Baiduspider;定义google,User-agent: Googlebot。搜索引擎蜘蛛在文末有分享。

2、Disallow 禁止爬取
如我想禁止爬取我的admin文件夹,那就是Disallow: /admin/;禁止爬取admin文件夹下的login.html,Disallow: /admin/login.html。

3、Allow 允许
在默认情况下,都是允许的,那为什么还有允许的语法呢?举个例子,我想禁止admin文件夹下的所有文件,除了.html的网页,那怎么写呢?可以Disallow一个一个禁止,但那样太费时间和精力了。这时候运用Allow就解决了复杂的问题,你可以这样写:
Allow: /admin/.html$
Disallow: /admin/

4、$ 结束符
例:Disallow: .php$ 这句话的意思是屏蔽所有的以.php结尾的文件,不管前面有多长的URL,如abc/aa/bb//index.php也是屏蔽的。
* 通配符符号或多个任意字符。例:Disallow: *?* 这里的意思是屏蔽所有带“?”文件,也是屏蔽所有的动态URL。

robots.txt文件写法举例说明
禁止Google/百度等所有搜索引擎访问整个网站
User-agent: *
Disallow: /

允许所有的搜索引擎spider访问整个网站(Disallow:可以用Allow: /替代)
User-agent: *
Disallow:

禁止Baiduspider访问您的网站,Google等其他搜索引擎不阻止
User-agent: Baiduspider
Disallow: /

只允许Google spider: Googlebot访问您的网站,禁止百度等其他搜索引擎
User-agent: Googlebot
Disallow:
User-agent: *
Disallow: /

禁止搜索引擎蜘蛛spider访问指定目录
(spider不访问这几个目录。每个目录要分开声明,不能合在一起)
User-agent: *
Disallow: /cgi-bin/
Disallow: /admin/
Disallow: /~jjjj/

禁止搜索引擎spider访问指定目录,但允许访问该指定目录的某个子目录
User-agent: *
Allow: /admin/far
Disallow: /admin/

使用通配符星号"*"设置禁止访问的url
(禁止所有搜索引擎抓取/cgi-bin/目录下的所有以".html"格式的网页(包含子目录))
User-agent: *
Disallow: /cgi-bin/*.html

使用美元符号"$"设置禁止访问某一后缀的文件
(只允许访问以".html"格式的网页文件。)
User-agent: *
Allow: .html$
Disallow: /

阻止google、百度等所有搜索引擎访问网站中所有带有?的动态网址页面
User-agent: *
Disallow: /*?*

阻止Google spider:Googlebot访问网站上某种格式的图片
(禁止访问.jpg 格式的图片)
User-agent: Googlebot
Disallow: .jpg$

只允许Google spider:Googlebot抓取网页和.gif格式图片
(Googlebot只能抓取gif格式的图片和网页,其他格式的图片被禁止;其他搜索引擎未设置)
User-agent: Googlebot
Allow: .gif$
Disallow: .jpg$

只禁止Google spider:Googlebot抓取.jpg格式图片(其他搜索引擎和其他格式图片没有禁止)
User-agent: Googlebot
Disallow: .jpg$

声明网站地图sitemap
这个告诉搜索引擎你的sitemap在哪,如:
Sitemap:https://www.fwqdby.com/sitemap.txt
Google和百度对robots.txt文件的介绍: Google robotstxt,百度 robots.txt。

PS:
国内的搜索引擎蜘蛛
百度蜘蛛:baiduspider
搜狗蜘蛛:sogou spider
有道蜘蛛:YodaoBot和OutfoxBot
搜搜蜘蛛: Sosospider

国外的搜索引擎蜘蛛
google蜘蛛: googlebot
yahoo蜘蛛:Yahoo! Slurp
alexa蜘蛛:ia_archiver
bing蜘蛛(MSN):msnbot

以上是一些常见的Robots协议写法示例,但具体写法还需根据网站的具体情况进行调整。在编写Robots协议文件时,需要遵循一些基本的规则和准则,如不屏蔽重要的页面、不禁止合法的爬取行为等。同时,也需要注意Robots协议文件的更新和维护,及时调整规则以适应网站的变化和发展。

感谢您的阅读,服务器大本营-技术文章内容集合站,助您成为更专业的服务器管理员!
一入IDC深似海,从此你我是良人!
您需要登录后才可以回帖 登录 | 我要入营

本版积分规则

QQ|Archiver|手机版|小黑屋|服务器大本营 ( 赣ICP备2021009089号 )

GMT+8, 2024-5-19 15:16 , Processed in 0.094924 second(s), 24 queries .

Powered by 服务器大本营

© 2021-2023 联系飞飞

快速回复 返回顶部 返回列表