本文记载和介绍的是wordpress的robots.txt的在哪儿？以及如何修改robots文件来禁止搜索引擎爬取/ajax目录下的文章。以及如何优化WordPress网站的robots文件
wordpress设置robots文件的目录：/wp-includes/functions.php，然后搜索do_robotstxt，大概在1699行。
在functions.php中，wordpress默认设置的robots文件是：
$output = "User-agent: *\n";
$public = get_option( 'blog_public' );
$site_url = parse_url( site_url() );
$path = ( ! empty( $site_url['path'] ) ) ? $site_url['path'] : '';
$output .= "Disallow: $path/wp-admin/\n";
$output .= "Allow: $path/wp-admin/admin-ajax.php\n";- 第一个output变量是允许所有的蜘蛛爬取页面，
- 第二个output变量是禁止爬取/wp-admin/目录下的所有文件，
- 第三个则是允许爬取/wp-admin/admin-ajax.php文件。
如果需要修改wordpress默认的robots禁止蜘蛛爬取某一个文件目录，这个时候直接再写入一个output变量，后面再写入需要禁止的目录名称即可。我需要禁止ajax目录，直接写入一个output变量，禁止爬取ajax目录就OK了。
关于wordpress的robots.txt文件在哪儿？wordpress修改robots文件的方法一文就记载到这，后续将观察禁止蜘蛛爬取ajax目录后，百度会不会继续收录此类目录下的页面。
下面小编整理的一些WordPress网站的robots.txt内容参考：
User-Agent: * （*星号，表示允许所以的搜索引擎蜘蛛）
Disallow: /wp-admin/ （disallow 表示不允许，不允许爬取/wp-admin/核心文件目录)
Disallow: /wp-includes/ （不允许爬取/wp-includes/核心文件目录)
Disallow: /wp-content/plugins （不允许爬取wordpress插件目录)
Disallow: /wp-content/themes （不允许爬取wordpress主题目录)
Disallow: /plus/ad_js.php （不允许爬取这个PHP文件)
Disallow: /plus/posttocar.php
Disallow: /anli/weixin （其它目录）
Disallow: /themes
Disallow: /get_activation
Disallow: /*?* （不允许蜘蛛爬取URL中带问号的链接)
Disallow: /*&* （不允许蜘蛛爬取URL中带&的链接)
Disallow: /*.rar （不允许蜘蛛爬取rar后缀的文件)
Disallow: /*.zip （不允许蜘蛛爬取zip后缀的压缩文件)
Sitemap: http : //xxx . com/sitemap.html （允许蜘蛛爬取网站静态地图)
Sitemap: http : //xxx . com/sitemap.xml （允许蜘蛛爬取sitemap网站地图)
robots.txt代码的规则还是非常简单的，就那么几个关键词：
User-Agent（搜索引擎蜘蛛名）、
Disallow（不允许）、
Allow（允许）、
Sitemap（指定网站的地图文件）。
如果我们只想让百度蜘蛛爬取我们的wordpress网站，而不让其它的搜索引擎蜘蛛进我的网站爬取，我们可以把上面代码中的User-Agent:* 修改成 User-Agent:baiduspider 。
另外，“Disallow: /wp-admin/” 与 “Disallow: /wp-admin”也表示不同的意思，虽然后面的只少了一个斜杠。“Disallow: /wp-admin/”表示禁止搜索引擎蜘蛛爬取网站wp-admin目录下的目录，但include目录中的文件仍然可以爬取；而“Disallow: /wp-admin”表示禁止搜索引擎蜘蛛爬取网站wp-admin整个目录，包括其下的所有文件。
如果想禁止搜索引擎蜘蛛爬取全站，可以用 Disallow: / ；
如果想允许搜索引擎蜘蛛可以爬取全站，可以用Allow:/；
如果想禁止搜索引擎蜘蛛爬取wordpress网站的全部PHP文件，可以用Disallow: /*.php 。
以上就是我们今天介绍的所有内容——如何为我们的wordpress网站添加robots.txt文件？每一个wordpress网站，可能的限制不一样，所以，我们都要根据自己网站情况，做出相应的修改，以达到最佳效果。注意：Disallow: /可千万要小心用哦，除非在我们wordpress网站的建站初期——网站还在建设当中，不希望搜索引擎来打扰。但一定要记住，等网站做好了，一定要去掉这个Disallow: / 。
