网站robots禁止抓取,但是网站地图里面有链接,那么搜索引擎会不会抓取...

发布网友 发布时间:2024-10-23 17:46

我来回答

1个回答

热心网友 时间:5分钟前

不会,因为搜索引擎蜘蛛抓取网站内容的时候首先会访问robots文件,有按照规则抓取,没有默认可全部抓取。

声明声明:本网页内容为用户发布,旨在传播知识,不代表本网认同其观点,若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。E-MAIL:11247931@qq.com