robots.txt怎么生成_育才学习网

robots.txt怎么写

1. robots.txt怎么写

robots.txt必须放置在一个站点的根目录下，而且文件名必须全部小写。

robots.txt文件的格式 User-agent：定义搜索引擎的类型 Disallow：定义禁止搜索引擎收录的地址 Allow：定义允许搜索引擎收录的地址我们常用的搜索引擎类型有：（User-agent区分大小写） google蜘蛛：Googlebot 百度蜘蛛：Baiduspider yahoo蜘蛛：Yahoo!slurp alexa蜘蛛：ia_archiver bing蜘蛛：MSNbot altavista蜘蛛：scooter lycos蜘蛛：lycos_spider_(t-rex) alltheweb蜘蛛：fast-webcrawler inktomi蜘蛛： slurp Soso蜘蛛：Sosospider Google Adsense蜘蛛：Mediapartners-Google 有道蜘蛛：YoudaoBot robots.txt文件的写法 User-agent： * 这里的*代表的所有的搜索引擎种类，*是一个通配符 Disallow: /admin/ 这里定义是禁止爬寻admin目录下面的目录 Disallow: /require/ 这里定义是禁止爬寻require目录下面的目录 Disallow: /ABC/ 这里定义是禁止爬寻ABC目录下面的目录 Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL（包含子目录）。 Disallow： /*？* 禁止访问网站中所有的动态页面 Disallow: /jpg$ 禁止抓取网页所有的.jpg格式的图片 Disallow:/ab/adc.html 禁止爬去ab文件夹下面的adc.html文件。

Allow: /cgi-bin/ 这里定义是允许爬寻cgi-bin目录下面的目录 Allow: /tmp 这里定义是允许爬寻tmp的整个目录 Allow: .htm$ 仅允许访问以".htm"为后缀的URL。 Allow: .gif$ 允许抓取网页和gif格式图片 robots.txt文件用法举例例1. 禁止所有搜索引擎访问网站的任何部分 User-agent: * Disallow： / 实例分析：淘宝网的 Robots.txt文件 User-agent: Baiduspider Disallow: / User-agent: baiduspider Disallow： / 很显然淘宝不允许百度的机器人访问其网站下其所有的目录。

例2. 允许所有的robot访问（或者也可以建一个空文件 “/robots.txt” file） User-agent: * Allow：例3. 禁止某个搜索引擎的访问 User-agent: BadBot Disallow： / 例4. 允许某个搜索引擎的访问 User-agent: Baiduspider allow：/ 例5.一个简单例子在这个例子中，该网站有三个目录对搜索引擎的访问做了限制，即搜索引擎不会访问这三个目录。需要注意的是对每一个目录必须分开声明，而不要写成 “Disallow: /cgi-bin/ /tmp/”。

User-agent：后的*具有特殊的含义，代表“any robot”，所以在该文件中不能有“Disallow: /tmp/*” or “Disallow:*.gif”这样的记录出现。 User-agent: * Disallow: /cgi-bin/ Disallow: /tmp/ Disallow: /~joe/ Robot特殊参数：允许 Googlebot：如果您要拦截除 Googlebot 以外的所有漫游器不能访问您的网页，可以使用下列语法： User-agent: Disallow: / User-agent: Googlebot Disallow: Googlebot 跟随指向它自己的行，而不是指向所有漫游器的行。

“Allow”扩展名： Googlebot 可识别称为“Allow”的 robots.txt 标准扩展名。其他搜索引擎的漫游器可能无法识别此扩展名，因此请使用您感兴趣的其他搜索引擎进行查找。

“Allow”行的作用原理完全与“Disallow”行一样。只需列出您要允许的目录或页面即可。

您也可以同时使用“Disallow”和“Allow”。例如，要拦截子目录中某个页面之外的其他所有页面，可以使用下列条目： User-agent: Googlebot Disallow: /folder1/ Allow: /folder1/myfile.html 这些条目将拦截 folder1 目录内除 myfile.html 之外的所有页面。

如果您要拦截 Googlebot 并允许 Google 的另一个漫游器（如 Googlebot-Mobile），可使用”Allow”规则允许该漫游器的访问。例如： User-agent: Googlebot Disallow: / User-agent: Googlebot-Mobile Allow：使用 * 号匹配字符序列：您可使用星号（*）来匹配字符序列。

例如，要拦截对所有以 private 开头的子目录的访问，可使用下列条目： User-Agent: Googlebot Disallow: /private*/ 要拦截对所有包含问号（？）的网址的访问，可使用下列条目： User-agent: * Disallow： /*？* 使用 $ 匹配网址的结束字符您可使用 $ 字符指定与网址的结束字符进行匹配。例如，要拦截以 .asp 结尾的网址，可使用下列条目： User-agent: Googlebot Disallow: /*.asp$ 您可将此模式匹配与 Allow 指令配合使用。

例如，如果？表示一个会话 ID，您可排除所有包含该 ID 的网址，确保 Googlebot 不会抓取重复的网页。但是，以？结尾的网址可能是您要包含的网页版本。

在此情况下，可对 robots.txt 文件进行如下设置： User-agent: * Allow: /*?$ Disallow: /*? Disallow： / *？一行将拦截包含？的网址（具体而言，它将拦截所有以您的域名开头、后接任意字符串，然后是问号（？），而后又是任意字符串的网址）。 Allow： /*？$ 一行将允许包含任何以？结尾的网址（具体而言，它将允许包含所有以您的域名开头、后接任意字符串，然后是问号（？），问号之后没有任何字符的网址）。

Robots Meta标签 Robots.txt文件主要是限制整个站点或者目录的搜索引擎访问情况，而Robots Meta标签则主要是针对一个个具体的页面。和其他的META标签（如使用的语言、页面的描述、关键词等）一样，Robots Meta标签也是放在页面中，专门用来告诉搜索引。

2. robots.txt文件是什么,要怎么写

举一个简单的例子：当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。

常见的蜘蛛识别：google蜘蛛（Googlebot）、baidu蜘蛛（Baiduspider）、bing蜘蛛（MSNbot）、sousou蜘蛛（sosospider）robots.txt文件的写法User-agent： * 这里的*代表的所有的搜索引擎种类，*是一个通配符Disallow: /admin/ 这里定义是禁止爬寻admin目录下面的目录Disallow: /require/ 这里定义是禁止爬寻require目录下面的目录Disallow: /ABC/ 这里定义是禁止爬寻ABC目录下面的目录Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以”.htm”为后缀的URL（包含子目录）。

3. robots.txt的写法

robots.txt的写法是做seo的人员必须知道的（什么是robots.txt），但该如何写，禁止哪些、允许哪些，这就要我们自己设定了。

百度蜘蛛是一机器，它只认识数字、字母和汉字，而其中robots.txt就是最重要也是最开始和百度“对话”的内容。

当我们的网站在没有建好的时候，我们不希望百度来抓取我们的网站，往往有人会禁止百度来抓取。但是，这种做法是非常不好的，这样会让百度蜘蛛很难再来到你的网站了。所以，我们必须现在本地搭建网站，等一切都搞好以后，再去买域名、空间，要不，一个网站的反复修改，会对你的网站有一定的不利影响。

我们的网站起初的robots.txt写法如下：

User-agent: *

Disallow: /wp-admin/

Disallow: /wp-includes/

User-agent： * 的意思是，允许所以引擎抓取。

而Disallow: /wp-admin/和Disallow: /wp-includes/，则是禁止百度抓取我们的隐私，包括用户密码、数据库等。这样的写法既保护了我们的隐私，也让百度蜘蛛的抓取最大化。

如果，你想禁止百度蜘蛛抓取某一个页面，比如123.html，那就加一句代码“Disallow: /123.html/”即可。

robots.txt写好后，只需要上传到网站的根目录下即可。

4. robots.txt文件要怎么写

大家先了解下robots.txt文件是什么，有什么作用。

搜索引擎爬去我们页面的工具叫做搜索引擎机器人，也生动的叫做“蜘蛛”蜘蛛在爬去网站页面之前，会先去访问网站根目录下面的一个文件，就是robots.txt。这个文件其实就是给“蜘蛛”的规则，如果没有这个文件，蜘蛛会认为你的网站同意全部抓取网页。

Robots.txr文件是一个纯文本文件，可以告诉蜘蛛哪些页面可以爬取（收录），哪些页面不能爬取。举个例子：建立一个名为robots.txt的文本文件，然后输入User-agent： * 星号说明允许所有搜索引擎收录Disallow: index.php？表示不允许收录以index.php？前缀的链接，比如index.php?=865Disallow: /tmp/ 表示不允许收录根目录下的tmp目录，包括目录下的文件，比如tmp/232.html具体使用方法百度和谷歌都有解释，百度Robots.txt文件可以帮助我们让搜索引擎删除已收录的页面，大概需要30-50天。

5. robots.txt怎么写

我们可以建立一个空白的文本文档，命名为robots.txt放在网站的根目录下即可。robots.txt写法如下：User-agent: *Disallow：或者User-agent: *Allow: /

如果我们需要某一个搜索引擎的抓取的话，比如百度，禁止百度索引我们的网站的话robots.txt写法如下：User-agent: BaiduspiderDisallow: /

如果我们禁止Google索引我们的网站的话，其实跟示例3一样，就是User-agent：头文件的蜘蛛名字改成谷歌的Googlebot即可robots.txt写法如下：User-agent: GooglebotDisallow: /

如果我们需要禁止蜘蛛访问某个目录，比如禁止admin、css、images等目录被索引的话robots.txt写法如下：User-agent: *Disallow: /css/Disallow: /admin/Disallow: /images/

如果我们允许蜘蛛访问我们网站的某个目录中的某些特定网址的话robots.txt写法如下：User-agent: *Allow: /css/myAllow: /admin/htmlAllow: /images/indexDisallow: /css/Disallow: /admin/Disallow: /images/

我们看某些网站的robots.txt里的Disallow或者Allow里会看很多的符号，比如问号星号什么的，如果使用“*”，主要是限制访问某个后缀的域名，禁止访问/html/目录下的所有以".htm"为后缀的URL（包含子目录）。robots.txt写法如下：User-agent: *Disallow: /html/*.htm

如果我们使用“$”的话是仅允许访问某目录下某个后缀的文件robots.txt写法如下：User-agent: *Allow: .asp$Disallow: /

如果我们禁止Google搜索引擎抓取我们网站上的所有图片（如果你的网站使用其他后缀的图片名称，在这里也可以直接添加）robots.txt写法如下：User-agent: GooglebotDisallow: .jpg$Disallow: .jpeg$Disallow: .gif$Disallow: .png$Disallow: .bmp$

6. 如何写网站robots.txt

robots.txt撰写方法：（1），允许所有的搜索引擎访问网站的所有部分或者建立一个空白的文本文档，命名为robots.txt。

User-agent:*Disallow：或者User-agent:*Allow:/(2)，禁止所有搜索引擎访问网站的所有部分。User-agent:*Disallow:/(3)，禁止百度索引你的网站。

User-agent:BaiduspiderDisallow:/(4)，禁止Google索引你的网站。User-agent:GooglebotDisallow:/(5)，禁止除百度以外的一切搜索引擎索引你的网站。

User-agent:BaiduspiderDisallow:User-agent:*Disallow:/(6)，禁止除Google以外的一切搜索引擎索引你的网站。User-agent:GooglebotDisallow:User-agent:*Disallow:/(7)，禁止和允许搜索引擎访问某个目录，如：禁止访问admin目录；允许访问images目录。

User-agent:*Disallow:/admin/Allow:/images/(8)，禁止和允许搜索引擎访问某个后缀，如：禁止访问admin目录下所有php文件；允许访问asp文件。User-agent:*Disallow:/admin/*.php$Allow:/admin/*.asp$(9)，禁止索引网站中所有的动态页面（这里限制的是有“？”的域名，如：index.php?id=8）。

User-agent:*Disallow:/*?*。

7. robots.txt这样写是什么意思

武汉seo发现很多企业网站没有robots.txt这个文件，也不知道robots.txt是什么，这个文件有什么作用。

今天我就和大家详细说下这个文件吃及他的作用。1.什么是robots.txt Baidu作出的回答，robots.txt是一个必须放在根目录底下的纯文本文件，文件名必须全部是小写的字母即“robots.txt”，在这个文件中声明该网站中不想被robot访问的部分，这样，该网站的部分或全部内容就可以不被搜索引擎收录了，或者指定搜索引擎只收录指定的内容。

2.robots.txt有什么作用 1.SEO中引导搜索蜘蛛抓取网站地图，更好地收录网站页面。2.禁止所有搜索蜘蛛抓取你网站的所有内容或者是指定目录。

3.robots.txt用法举例 1. 允许所有搜索引擎收录本站：robots.txt为空就可以，什么都不要写。2.禁止某个搜索引擎收录本站，例如禁止百度： User-agent: Baiduspider Disallow: / 3.禁止所有搜索引擎收录本站 User-agent: * Disallow: / 4.禁止所有搜索引擎收录网站的某些目录： User-agent: * Disallow： /目录名1/ Disallow： /目录名2/ Disallow： /目录名3/ 参考资料：常见搜索引擎机器人Robots名字名称搜索引擎 Baiduspider 。

robots.txt怎么写