robots.txt已经禁止抓取网站,为什么还是能搜到关键词

发布网友 发布时间:2024-10-23 17:46

我来回答

1个回答

热心网友 时间:2024-11-03 14:26

比如推送过,或者搜索引擎通过外链访问到这个网页,就可以抓取入库,robots是*抓取网页,但是并不是一定不能抓

声明声明:本网页内容为用户发布,旨在传播知识,不代表本网认同其观点,若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。E-MAIL:11247931@qq.com