robots.txt文件用法举例，以下内容来自百度官方资料的截图

扩展阅读：

robots.txt文件概念和10条注意事项