手机浏览器扫描二维码访问
第768章 爬虫（第2页）
在大方向的理论上，周大老板比一些专业人士还强。
王小船深以为然，“是啊，大数据的处理。百度和谷歌的差距，微点和百度的差距，最主要的就是体现在我们在数据处理时的效率问题。按理来说，通过爬虫技术，可以抓取到互联网上所有信息。可相关信息太多了，数据量太大了。怎么才能在短时间内把想要的信息抓取并展示出来，是搜索引擎最大的技术难题。”
周不器打了个响指，笑道：“巧了，我这次过来，就是想问问你爬虫的事。”
王小船有些费解。
周大老板这个技术外行，怎么还关心起技术细节来了？
就缓缓的解释道：“爬虫是搜索的基础工具，爬虫搜信息……嗯，就跟使用浏览器上网差不多，都是先向服务器发送请求，获得返回的页面，然后筛选出有价值的内容。如果时间足够长计算量足够大，使用爬虫工具，就可以把互联网上的所有信息都搜索一遍。”
见周大老板似乎很感兴趣的样子。
王小船就拿过纸笔，很快速的写下了一行代码，“假如说我们要爬取微知网的信息，用这行代码就可以实现了。”
周不器拿过代码一看，嗯，是很简单。
headers={‘use-agent’:‘chaiknowsthebot’，}
r=（“
html=xt
print（html）
难怪说3月份的时候，北科有两个计算机系的大学生被开除了。
这技术好像是不太难。
因为大四写论文，可用谷歌、百度、微点等搜索引擎，却搜不到别人写的相关论文。怎么办？就有计算机系的学生，自己写了段爬虫算法。
然后成功的爬取到了几百篇相关论文。
接下来就好办了，摘抄、重组、整合。
如果查重不过关，也简单，用谷歌翻译，先汉译英、再英译汉。再人工地把句子整理通顺，查重就顺利通过。
可能是北科的创业环境被周不器给带起来了，那俩大学生就有了通过技术牟利的心思，玩起了帮同学写论文的生意。
被发现后，俩人都被开除了。
要不是周不器出面力保，上缴了非法所得，并安排到了校内网工作，他俩说不定就要蹲监狱了，前程就全毁了。
王小船接着说：“这是静态网站的爬取，如果是优酷、朋友网的这种动态页面，算法会相对复杂。可不管怎样，这都是很基础的工具。我们做搜索引擎，难点已经从复杂性变为规模量了。”
周不器皱皱眉，“老马……就是阿里的那位。他跟我说，要屏蔽百度对淘宝的爬虫，怎么回事？”
王小船笑道：“这事也简单，爬虫和网站之间有一个爬取协议，业内叫robot协议。这个协议会声明，该网站的哪些内容可以爬取，哪些内容不能爬取，并规定白名单里的爬虫可以爬取主页内容。淘宝如果要屏蔽百度，只需要把百度的爬虫加到黑名单里就行了。”
“嗯！”
周不器点了点头。
这就是他想要的答案。
爬虫黑名单！
神道丹帝叶尘苏傲雪列表 星际唯一治愈系，但是暴力奶妈 反派长媳 随母改嫁，我跟继父约法三章 没有人告诉我女配性转了 我有一家宠兽店 成为雍正妹妹之后 师娘超强，却过分谨慎 快穿攻略之病娇大佬又黑化了 天生甜宠命[快穿] 温柔瘾 签到三年我成了八零首富 月光倾城不及你 穿梭在晋朝 渔家四时鲜 大世界 远风知我意 末日法则：灾厄降临，开局先斩白莲花 宇宙最强欧皇 修无情道后我爆红冰雪综艺
告白100次从被女神讨厌开始
关于告白100次从被女神讨厌开始王富贵表白女神被拒，觉醒了水泥封心系统。只要能让女神讨厌宿主，便可以获得系统奖励。校园新闻网记者采访同学，请问你是如何做到让全校女神都讨厌你，但又围在你身边转个不停呢？王富贵目光微眺，斜上方45度望向天空可能，是因为我的人格魅力和超帅的颜值吧。当然，还有那么一点点多才多艺和多财多亿...
盗墓：蛊仙传承，杀穿盗墓世界！
黎羽穿越盗墓世界，成为仅存的九黎族蛊师。从接收献王遗产最终成就蛊仙之名。痋术？尸鳖丹？那都是我蛊虫最好的养料。能制造虫洞的霍氏不死虫。飞天遁地的飞天大蜈蚣。世间至毒的万年尸鳖王。胖子黎爷好手段，您这大粗腿我是抱定了。雪莉杨黎先生拜托您，我一定要得到雮尘珠。小三爷虫儿哥，我三叔和九门就拜托你了。王月半我可是黎...
离婚后前妻成了债主
前妻以四百万威胁，韩谦不顾一切的选择了离婚。离婚后为了钱去努力，拼了命的去解决四百万的债务，麻烦不断，桃花泛滥。可前妻突然变卦了。...
恶毒女配狠嚣张
关于恶毒女配狠嚣张左子萱穿越前乃三十二岁的大龄单身医学博士。在别人眼里，就是白瞎了一张漂亮脸蛋，只有智商没有情商的书呆子。实则人家不仅会读书，医术好，背地里还是个有拥有百万粉丝的美食博主。顺风顺水几十年，终于背时了一回。这天她刚完成二十几个小时的手术，在回休息室的路上，莫名其妙的被不明物体砸伤后脑勺，穿越到了一部年代励志电视剧中，开局三分钟就被领盒饭的男主作精原配身上。穿越第一天贺毅拍着病床边的床头柜，气愤的吼道左子萱，我刚说的话，你听到了吗？左子萱双眼通红的瞪着眼前帅气中带着点儿痞气的男人，吼什么吼？我耳朵不聋。人狗殊途，老娘不跟狗子计较。谁不离，谁是王八蛋。祝你不孕不育，与罗贱人儿孙满堂没过多久，贺毅将左子萱按在床上媳妇儿，我是王八蛋！咱们不离婚好不好？左子萱翻着大白眼，心里吐槽，要在江湖混，最好是光棍。这人生呀，总不能在一棵树上吊死，总要在附近找几棵树多死几次试试。多年后，贺毅一脸委屈的跑到左子萱面前告状，老婆，兔崽子说自己是小王八蛋。左子萱无所谓的道他说他自己，你委屈个啥？贺毅气愤的道他说我是老王八蛋，才会生出他那小王八蛋...
惊！玄学老祖一张嘴就有人要凉
玄学老祖顾雪清渡劫失败，一睁眼就重生在了被狠心继母算计送进精神病院的顾家大小姐身上。为了将当年自己创立，如今已经没落的清风观重新买回来发扬光大，顾雪清干起了老本行，直播算命赚钱。对长年累月做慈善，德高望重的富商你做坏事太多，命不久矣，早点给自己买块墓地吧。对成婚多年，婚姻幸福的娱乐圈影后你老公准备下毒害你...
禁止离婚！陆少夜夜跪地轻哄
结婚三年，他对她弃如敝履，却待白月光如珍似宝。他冷落她苛待她，他们的婚姻犹如牢笼。乔熏全部忍耐，因为她深爱陆泽！直到那晚大雨滂沱，他抛下怀孕的她飞往国外陪伴白月光，而乔熏遭遇意外，却只能爬着出去叫救护车她终于释然有些人的心永远捂不热。乔熏写下一纸离婚协议，悄然离开。两年后乔熏归来，身边追求者无数。她的渣前夫却将她按在门板上，步步紧逼陆太太，我还没有签字！你休想跟别人好！乔熏笑颜淡淡陆先生，我们之间再无关系！男人眼眶微红，颤着声音说出结婚时的誓言陆泽乔熏这辈子不离不弃，禁止离婚！...