今天打开网站后台,日常查看一下网站ip,但是突然发现了一个域名为:https://hk-408-proxy.kkdns.uk/的网址,打开网址发现,居然和我网站一毛一样,然后第一个想到的就是,网站被恶意镜像了,这个链接点进去,无论是内容还是图片,都是这个网址,我甚至都怀疑,我是不是盗版,然后第一次遇到这种情况,也不知道如何去操作,一头雾水。


我首先看了看这个访问ip,是CF的节点IP,我尝试屏蔽这个ip,发现没有任何用,因为他是一个ip段的,屏蔽一个没用,镜像站依旧可以的访问,然后我又尝试把这个IP段用宝塔服务器给屏蔽掉,结果屏蔽掉之后,又多出来一个段,我尝试把多余出来的ip段继续拉黑,结果拉黑了七八个IP段之后,依旧采集站可以正常访问,然后我就请教了一下网络上的一个建站的大哥

这是镜像站的IP

利用宝塔的WAF防火墙添加IP段
然后问大哥这个怎么操作的,怎么屏蔽,镜像站都可以打开,然后把截图丢给了大哥,等了几分钟,大哥说:因为服务器屏蔽了垃圾蜘蛛访问抓取,导致GPTBot无法访问我的网站,然后没办法抓取我的内容,然后就镜像我网站,方便GPTBot蜘蛛去抓取内容,然后只需要屏蔽掉这个蜘蛛就行

UserAgent
Mozilla/5.0 ApplewebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.2; +https://openAI.com/gptbot)
GPTBot 蜘蛛在采集你 他直接访问不来 就用的代理
你如果 不想 这个蜘蛛访问 可以屏蔽掉他即可
ip是封不完 的
然后我就尝试在 宝塔防火墙里面,全局设置,里面有个恶意爬虫防御,点开之后,把GPTBot添加进去,然再尝试打开镜像网站看看

在宝塔面板里面添加这个蜘蛛UserAgent
然后我尝试重新打开镜像站的网址,报错了,502报错,终于是打不开了,完美解决镜像站的问题

为了以防万一,宝塔面板-网站-选择被镜像的网站-电机设置里面的防盗链,把设置打开即可,然后基本上解决镜像的问题了

肯定会有人问了,这种镜像站如果不管的话,会有什么好处和坏处呢?答案是肯定有,但是没好处,全都是坏处,首先呢,GPTBot镜像你网站,然后抓取你内容,给AI拿去训练,这种情况下,你得不到任何好处,唯一的好处就是消耗你网站资源,占用宽带,甚至搜索引擎还会把你原创的站视为垃圾站,还会降权掉收录,所以,没任何好处。

还没有评论,来说两句吧...