对于一个新站来说，搜索引擎爬虫来抓你的网站，他们就跟大爷一样，要好吃好喝的供着，你不能让别人自己端茶倒水，把别人累个半死，你说这样他回去会跟他主子（搜索引擎）说什么好话么？
那怎么让他们吃好喝好呢？其实也简单，就是让他们少做点，我们多做点，对于一个网站，那就是把目录结构尽量扁平话，但是要掌握好一个度，凡事过了就物极必反，蜘蛛来你网站，你肯定要想办法第一时间把最好的文章，最想排名的关键词让它带走，对于站长来说唯一能和蜘蛛交流的办法，就是robots.txt文件了，不知道这个东西？那可以看看这篇文章先《robots.txt文件介绍》
因为SEO小也这个站是使用WordPress搭建的，WordPress默认使用的是一个虚拟的robots.txt文件，内容比较简单，没有屏蔽feed页面，这个页面对搜索引擎来说没什么作用，谷歌也基本不收录
文章插图
所以把这些文件排除，让搜索引擎蜘蛛只抓取那些对于他们有用的文件，因为蜘蛛来抓取一个网站是有时间限制的，如果把宝贵的时间花在这些没用的内容上，对网站优化来说就太浪费了 。
因为图省事，我就去网上找了一段robots.txt适用于WordPress的规则，当时也没多想，只直接写入到文件里面，但是没过两天，Google Search Console既然有错误提示？
文章插图
说我移动设备兼容有问题？不可能啊，我前一段时间刚花了一天时间做了响应式布局的？难道我老了不中用了？响应式写错了？带着这么多疑问，我看了错误提示：
- 什么是运营服务，运营服务的三个层面
- 清明上河图的作者是谁 清明上河图价值多少钱
- 微信朋友圈文案 高情商发朋友圈的句子
- 微商引流的方法有哪些 分享微商引流的2大方法
- 如何在网站上快速赚钱 分享在网站上赚钱的7大技巧
- 那些有创意的营销手段有哪些这10种极致的营销手段
- 品牌网站策划书该怎么写 介绍写网站品牌策划书的6种方式
- 养罗威纳犬的坏处有哪些
- 南非在哪里 南非的地理位置
- 南京的车牌号字母代表是什么