非凡云交流社区»论坛 › 交流与讨论 › 综合讨论 › 网站如何防止爬虫爬取数据

返回列表发新帖

查看: 20|回复: 1

网站如何防止爬虫爬取数据

6 主题	9 回帖	86 积分

积分: 86

发消息

发表于 2024-8-9 10:53:19 | 显示全部楼层 |阅读模式

网站99%访问都是乱七八糟的爬虫

回复

0 主题	5 回帖	34 积分

积分: 34

发消息

发表于 2024-8-9 10:56:59 | 显示全部楼层

robots.txt文、user-agent过滤、ip限制、验证码、动态页面生成、频率限制、动态url参数和反爬虫技术等

回复

返回列表发新帖

小黑屋|非凡云交流社区 ( 蜀ICP备2023029164号-2 )

Powered by Discuz! X3.5

快速回复 返回顶部 返回列表