百度网址安全中心,这个神秘的组织如何为世上所有的网址“验明正身”?
副标题[/!--empirenews.page--]
网络世界,就像一道无尽的步行街。 而不同的网址,就像一扇扇大门,分列在街道左右。这些门背后,有摩天大厦,也有木屋小宅。 例如:
然而,惊悚的故事总需要一些反派。在林立的大门中,有一些不太利于社会主义和谐社会的建设。 例如:
【不知为什么,突然想贴一张图】 当你推开一扇门的时候,很可能并不知道自己将会身处险境。这时,你可能需要一只“上帝之手”,在你误入歧途的一瞬间,把你拉回人间。 这位“全知全能”的上帝,就是百度网址安全中心所扮演的角色。 这世上的陷阱百度,注定不能做一个安静的推荐者。因为人们期待并且要求它为推荐的结果负责。所以,在把网址链接呈现给用户之前,即使是刀山油锅,网址安全中心的童鞋们也要为用户“尝试”一下。 坐镇国内最大的搜索引擎旗下,百度网址安全中心可谓“阅人无数”。 那么,这个安全中心究竟如何运作,其中又有什么有趣的技术呢?雷锋网宅客频道采访到了百度商业安全研发部技术总监冯景辉,他负责百度安全旗下企业安全产品的研发工作。 【百度商业安全研发部技术总监 冯景辉】 冯景辉告诉我们,一般情况下恶意网址分为以下几类: 恶意病毒网址:这类网页会隐藏恶意脚本,利用你的系统漏洞安装木马病毒。如果你的系统没有升级到最新版本,有可能被木马“钻”进来。木马一旦“进驻”就会进而获取你的隐私信息,或者远端控制你的电脑。 黄赌毒网址:这三类网址可以统一归为违法网址。它们所宣扬的内容本身并不合法,严重影响社会安定,所以显然属于恶意网址范畴。 而且这类网站中,很大一部分也隐藏着病毒木马。 钓鱼网址:严格地说,这类网址本身的存在并不违法,但它们是诈骗环节的一部分。例如:仿冒的银行网页,虚假的中奖信息网页。骗子会通过各种渠道把这些网址发送给受害人,诱骗他们填入密码等信息,进而盗取银行欠款,或者进一步诈骗。 【虚假的《奔跑吧兄弟》中奖网站截图】 这些恶意网站,背后被不同的经济模式所驱动。在金钱的诱惑面前,总会有人铤而走险。中国境内恶意网址的数量,甚至超过了我们的人口。 根据团队的研究,冯景辉总结了恶意网址的一些特点:
百度VS黑产,神魔斗法的“两大法宝”看上去,恶意网址都是那么地“个性鲜明”,判断一个网址是不是属于恶意网址似乎很简单。但是仔细分析,你会发现至少面临两个巨大的技术困难。 1、在浩若烟海的网络空间中,怎样找到要检测的目标? 2、面对数以亿计的目标网址,如何在可控的时间内完成检测? 冯景辉向雷锋网宅客频道介绍了团队用来完成检测任务的两大“法宝”。 一、爬虫中的“战斗虫”你可能会熟悉“搜索引擎爬虫”,也就是百度搜索产品的重要技术。 回到最初的比喻,如果用街道上的门来比喻一个个网址,搜索引擎爬虫的主要任务是把那些“门”里的大致情景记下来,然后在需要的时候呈现给用户。为了精确,有事还会推开门拍一张厅堂的“快照”(网页快照)。 但是,这样的爬虫并不能“感受”到在房间内部究竟有怎样的“机关暗道”。这时,你需要“战斗爬虫”。 “战斗爬虫”不仅仅是“看一眼”或“拍张照”这么简单,而是把所有的门都探索一遍。一些网页会存在跳转、加密。“战斗爬虫”要做的,就是利用种种技术手段,把房间中的暗门和夹层全部记录下来。 【爬虫基本原理】 另外,系统还面临一个任务,那就是尽可能多地找到不同的网址用于鉴定。 冯景辉说,
二、察言观色的老刑警:检测引擎资料齐备,接下来就到了另一个关键时刻:检测。 当然,检测恶意网址最可靠的方法就是交给人工。但是,面对如此庞大的网址数量,全国人民一起上阵都未必忙得过来。 所以,这些资料会统统交给一位经验丰富的“老刑警”来搞定,这个老刑警就是“网址安全检测引擎”。 网址安全检测引擎对于不同种类的恶意网址,有不同的鉴定流程。 揪出恶意病毒网址对于恶意挂马网页的检测方式,和对病毒的检测方式非常类似。
|