什么是robots.txt？robots.txt（又称“爬虫协议”或“机器人协议”）是一个存放在网站根目录下的纯文本文件，它的作用是告知搜索引擎的爬虫（也称为“机器人”或“蜘蛛”），网站中哪些页面可以抓取，哪些页面不可以抓取，重要提示：...
