收集屏蔽各大AI公司爬虫IP或者User Agent

闲聊 无标签
0 119
WIZ
WIZ 自成一派 2024-12-05 15:16:33
Lv:38级
搜索引擎爬虫可以给网站带来访客。

但AI爬虫并不被欢迎,并且没有底线的爬,服务器都快被爬挂了。

有没有整理AI爬虫的User Agent 或着爬虫IP,批量屏蔽一下。

User-agent: AI2Bot
User-agent: Ai2Bot-Dolma
User-agent: Amazonbot
User-agent: anthropic-ai
User-agent: Applebot
User-agent: Applebot-Extended
User-agent: Bytespider
#注意:Bytespider是字节跳动的爬虫,也用于头条搜索,请根据网站来自头条的流量决定是否要屏蔽
User-agent: CCBot
User-agent: ChatGPT-User
#注意:ChatGPT-User是代理用户访问的爬虫,该爬虫不用于收集数据训练AI,请根据情况自行决定是否屏蔽
User-agent: Claude-Web
User-agent: ClaudeBot
User-agent: cohere-ai
User-agent: Diffbot
User-agent: DuckAssistBot
User-agent: FacebookBot
User-agent: facebookexternalhit
User-agent: FriendlyCrawler
User-agent: Google-Extended
User-agent: GoogleOther
User-agent: GoogleOther-Image
User-agent: GoogleOther-Video
User-agent: GPTBot
User-agent: iaskspider/2.0
User-agent: ICC-Crawler
User-agent: ImagesiftBot
User-agent: img2dataset
User-agent: ISSCyberRiskCrawler
User-agent: Kangaroo Bot
User-agent: Meta-ExternalAgent
User-agent: Meta-ExternalFetcher
User-agent: OAI-SearchBot
User-agent: omgili
User-agent: omgilibot
User-agent: PerplexityBot
User-agent: PetalBot
User-agent: Scrapy
User-agent: Sidetrade indexer bot
User-agent: Timpibot
User-agent: VelenPublicWebCrawler
User-agent: Webzio-Extended
User-agent: YouBot


楼主签名:DNSWIZ 站长故事
回帖
回复列表

    遵守各国法律法规 严谨违规内容

    • QQ群:1140251126
    • Email:m@max.ooo
    • 本站可以自由发布正规网站外链
    • 本站域名皆为闲置域名可出售
    本站热帖
    01 一种访问谷歌网站的简单方法 503
    02 全网疯求滑县女网红的瓜来了 280
    03 免费一年.one 域名 267
    04 罪犯,到此一游 265
    05 多IP站群服务器选择指南 236
    06 为什么不用国内DNS打开百度就特别慢? 216
    07 2025年了,还剩4个域名,全面停止域名买卖。 196
    08 在线钢琴源码,在学习工作之余可以在线弹钢琴 193
    09 用网址做经营场所申请营业执照有行业和经营范围限制吗? 189
    10 一起淘:阿里官方新推的私域分销项目,早加入早吃肉! 184
    推荐主机