在观察一个 Web 服务器的日志的时候,看到一个现象,有大量的网络爬虫,或者说网络蜘蛛来访问,抓取内容。这个访问数量有些过分。看这个截图。排名最前的十位如下:714,290(36.96%)101(00.07%)11.8 GiB(39.11%)GPTBot/1.247,085(02.44%)299(00.20%)8 GiB(26.31%)GoogleOther9,350(00.48%)453(00.30%)578.1 MiB(01.87%)meta-externalagent/1.135,038(01.81%)20(00.01%)470.2 MiB(01.52%)Ai2Bot-Dolma39,785(02.06%)852(00.57%)376.3 MiB(01.21%)AhrefsBot/7.032,944(01.70%)216(00.14%)375.7 MiB(01.21%)MJ12bot/v1.4.828,577(01.48%)3,695(02.48%)313 MiB(01.01%)ClaudeBot/1.03,953(00.20%)967(00.65%)297.4 MiB(00.96%)Bytespider13,919(00.72%)943(00.63%)202.8 MiB(00.65%)Googlebot/2.122,576(01.17%)13(00.01%)170.3 Mi
...
继续阅读
(2)