使用微信扫一扫
扫一扫关注官方微信 robots.txt的写法
- 来源：纵横数据
- 作者：中横科技
- 时间：2019/12/24 14:49:14
- 类别：新闻资讯
robots.txt的写法
（1）美国站群服务器允许所有的robot访问
User-agent: *
Disallow:
或者
User-agent: *
Allow: /
或者建一个空文件”robots.txt”即可。
（2）仅禁止某个机器人访问您的网站，如Baiduspider。
User-agent: Baiduspider
Disallow: /
更多关于robots讨论，可以qq442780253，关注纵横云Alice分享
全球服务器租用|海外服务器租用|网站建站一站式网络解决方案-纵横云
（1）美国站群服务器允许所有的robot访问
User-agent: *
Disallow:
或者
User-agent: *
Allow: /
或者建一个空文件”robots.txt”即可。
（2）仅禁止某个机器人访问您的网站，如Baiduspider。
User-agent: Baiduspider
Disallow: /
更多关于robots讨论，可以qq442780253，关注纵横云Alice分享
全球服务器租用|海外服务器租用|网站建站一站式网络解决方案-纵横云
