原文网址：https://www.youyong.top/article/11594901e93e7
一直用Google抓取工具来测试蜘蛛的抓取情况，最近老是提示暂时无法访问，如下图。一开始觉得没啥事，可能Google抓取的服务器与我的服务器通信有问题，被Qiang的东西，可以理解啦。最近老出现，而且还连着，以前也没有这种问题啊
原文网址：https://www.youyong.top/article/11594901e93e7
接着测试抓取的时候，去看网站访问日志，居然没有访问情况，也就是根本就没有来抓取。
接着去看上下文的日志，发现访问robots.txt是404，
这个我知道，robots.txt没内容，我就把这个给去掉了。
难道这个影响Google的抓取？
赶紧把robots.txt添加上，Google再测试抓取就好了。
