第57章 阻挡爬虫(1/2)
“搬家?”张健起身快步凑过去看了一眼,“臥槽,这抓取频率,这是爬虫啊!谁特么这么缺德,大半夜閒的来爬咱们的用户帖子?”
“查一下ip。”白宇航眼神一凝,身子坐直了。
宛良皓手指飞快地打开网站访问数据日誌,几秒钟后,一行地址跳了出来。
“ip归属地……京城。”宛良皓转头看向白宇航,“hd区的ip段。”
包厢里的空气瞬间凝固了。
京城,海淀,爬虫技术。
这几个词组合在一起,在这个年代,指向性太明显了。
那个刚刚海归回国不久,在中关村租了个宾馆房间,开始搞搜索的男人,或者是那几家正在阵痛转型的门户巨头,已经闻到了这边的血腥味。
“看来咱们的动静,確实比想像中还要大。”白宇航盯著那个闪烁的ip,嘴角勾起一抹冷笑,隨手拿起桌上的打火机,“啪”地打著了火,“这是好事。说明咱们已经入了真正的正规军的法眼。让他爬,把咱们的防火墙策略改一下,让他吃一口漏一口,別让他吃得太顺嘴了。”
宛良皓说话间按照白宇航的想法,改好了防火墙策略。將对启航校內网的所有访问要求中,筛选出短时间內的连续访问刷新的ip,增加了验证。然后几人盯著屏幕上不断实时跳动的日誌,眉头越锁越紧,最后忍不住拿笔帽戳了戳显示器:“这孙子还没停,频率反而更高了。你看这请求路径,专门盯著『班级成员列表』和『用户个人资料』抓。这是想把咱们的户口本都给端走啊。”
“hd区的ip,这会儿还没睡,也是个加班的苦命鬼。”张健凑过来扫了一眼,含糊不清地骂道,“真特么不要脸,咱们辛辛苦苦拉的人头,他写个脚本就想白嫖?老六,要不我顺著ip摸过去,给他伺服器种个木马?”
“別乱来,咱们是正经公司,不干那黑客的勾当。”白宇航把刚点著的烟,架在菸灰缸上,身子前倾,盯著那一行行贪婪的访问记录。
2000年的网际网路还是片蛮荒之地,各大门户和搜寻引擎为了扩充內容库,派出的爬虫就像蝗虫一样,所过之处寸草不生。
后来著名的robots协议此时在大多数站长眼里就是个摆设,更別提什么隱私保护观念了。
但在白宇航眼里,这不仅仅是几个页面的事,爬走的数据並不能为启航校內网扩充搜寻引擎的访问结果,反而將用户信息暴露在公网上,这是在动启航的根基。
“他这是在偷咱们的关係链。”白宇航手指在桌面上轻叩,“咱们最值钱的不是页面,是『谁认识谁』这张网。要是被百度或者別的什么门户抓走了,咱们的护城河就漏了。”
“那咋整?封ip?”宛良皓看著白宇航,“封了一个,人家换个代理或者ip接著爬,治標不治本。”
本章未完,点击下一页继续阅读。