什么是 Robots.txt？作用及其使用教程

Robots.txt 主要是通过 allow 和 disallow 指令来告诉爬虫怎么抓取网站的页面，本篇博客将详细介绍它的工作原理和一些常见的指令，帮助大家合理化分配蜘蛛的爬取预算。

更通俗一点的说法就是，我们经过一大堆分析工作之后，做了一个让自己、让客户、让搜索引擎都很满意的网站。