手机浏览器扫描二维码访问
第768章 爬虫（第2页）
在大方向的理论上，周大老板比一些专业人士还强。
王小船深以为然，“是啊，大数据的处理。百度和谷歌的差距，微点和百度的差距，最主要的就是体现在我们在数据处理时的效率问题。按理来说，通过爬虫技术，可以抓取到互联网上所有信息。可相关信息太多了，数据量太大了。怎么才能在短时间内把想要的信息抓取并展示出来，是搜索引擎最大的技术难题。”
周不器打了个响指，笑道：“巧了，我这次过来，就是想问问你爬虫的事。”
王小船有些费解。
周大老板这个技术外行，怎么还关心起技术细节来了？
就缓缓的解释道：“爬虫是搜索的基础工具，爬虫搜信息……嗯，就跟使用浏览器上网差不多，都是先向服务器发送请求，获得返回的页面，然后筛选出有价值的内容。如果时间足够长计算量足够大，使用爬虫工具，就可以把互联网上的所有信息都搜索一遍。”
见周大老板似乎很感兴趣的样子。
王小船就拿过纸笔，很快速的写下了一行代码，“假如说我们要爬取微知网的信息，用这行代码就可以实现了。”
周不器拿过代码一看，嗯，是很简单。
headers={‘use-agent’:‘chaiknowsthebot’，}
r=（“
html=xt
print（html）
难怪说3月份的时候，北科有两个计算机系的大学生被开除了。
这技术好像是不太难。
因为大四写论文，可用谷歌、百度、微点等搜索引擎，却搜不到别人写的相关论文。怎么办？就有计算机系的学生，自己写了段爬虫算法。
然后成功的爬取到了几百篇相关论文。
接下来就好办了，摘抄、重组、整合。
如果查重不过关，也简单，用谷歌翻译，先汉译英、再英译汉。再人工地把句子整理通顺，查重就顺利通过。
可能是北科的创业环境被周不器给带起来了，那俩大学生就有了通过技术牟利的心思，玩起了帮同学写论文的生意。
被发现后，俩人都被开除了。
要不是周不器出面力保，上缴了非法所得，并安排到了校内网工作，他俩说不定就要蹲监狱了，前程就全毁了。
王小船接着说：“这是静态网站的爬取，如果是优酷、朋友网的这种动态页面，算法会相对复杂。可不管怎样，这都是很基础的工具。我们做搜索引擎，难点已经从复杂性变为规模量了。”
周不器皱皱眉，“老马……就是阿里的那位。他跟我说，要屏蔽百度对淘宝的爬虫，怎么回事？”
王小船笑道：“这事也简单，爬虫和网站之间有一个爬取协议，业内叫robot协议。这个协议会声明，该网站的哪些内容可以爬取，哪些内容不能爬取，并规定白名单里的爬虫可以爬取主页内容。淘宝如果要屏蔽百度，只需要把百度的爬虫加到黑名单里就行了。”
“嗯！”
周不器点了点头。
这就是他想要的答案。
爬虫黑名单！
星际唯一治愈系，但是暴力奶妈 月光倾城不及你 末日法则：灾厄降临，开局先斩白莲花 穿梭在晋朝 快穿攻略之病娇大佬又黑化了 反派长媳 修无情道后我爆红冰雪综艺 成为雍正妹妹之后 渔家四时鲜 大世界 随母改嫁，我跟继父约法三章 神道丹帝叶尘苏傲雪列表 师娘超强，却过分谨慎 签到三年我成了八零首富 没有人告诉我女配性转了 我有一家宠兽店 远风知我意 温柔瘾 天生甜宠命[快穿] 宇宙最强欧皇
惊！玄学老祖一张嘴就有人要凉
玄学老祖顾雪清渡劫失败，一睁眼就重生在了被狠心继母算计送进精神病院的顾家大小姐身上。为了将当年自己创立，如今已经没落的清风观重新买回来发扬光大，顾雪清干起了老本行，直播算命赚钱。对长年累月做慈善，德高望重的富商你做坏事太多，命不久矣，早点给自己买块墓地吧。对成婚多年，婚姻幸福的娱乐圈影后你老公准备下毒害你...
乱世武道：从偷看邻家姐姐开始
关于乱世武道从偷看邻家姐姐开始大乾武国，这个世界暴雨，雷电，酷暑，民不聊生，也有帮派，世家，宗门，诸侯割据，笼络天下资源。许华穿越过来，成为了一名底层矿工，吃不饱，穿不暖，日子比狗都过得艰难。就在某天晚上，自己邻家姐姐正在沐浴，他就偷看了一眼，结果一脚摔倒在地。等许华醒来过后，发现自己获得一键升级系统。一门武学别人苦修三年，他只需一秒升级。别人修炼一门武学，他则是能身兼百门。...
活一年涨一道果，以道果证道长生
李长生穿越来到了以武为尊，伟岸之力归于己身的世界。这里武道昌盛，武道强者可肉身横渡虚空，而李长生穿越过来却是普通人一个，没有背景，没有实力，没有资质。本以为会一辈子虚度人生，可没想到刚刚穿越过来一年，他就获得了一枚锻造道果，随着他不断锻造，可提升锻造道果能力，让他能够锻造出强大的兵器。且每活一年，他就可以再凝聚一枚...
身穿后他们把我当Omega
本书简介 他只是身穿到这里的一个普通人。—沈顾礼被景家捡回去时，有人告诉他，他与景家少主的匹配度高达99％。他想哦。从此以后，他被打上景翊的标签。世家宴会，他是景翊的漂亮Omega。行军打仗，他是辅佐景翊的副将领。在景家时，他是景翊贴心的未婚妻。在所有人眼里，他是跟景翊最契合最匹配的Omega。他们两人的结合将是世人艳羡的完美婚姻。在景家八年，连他自己也这样觉得。直到一次变故，景翊从外面带回来一个Omega，柔弱易折小白花，还有他的临时标记。景翊说，这个Omega与他的匹配度100％，才是他的天选伴侣。沈顾礼心想他都忘记了，这里还是一个靠匹配度定终身的ABO世界。然后，他在景翊与Omega的订婚礼前，带着自己所有东西，从景家消失了。沈顾礼不知道的是，在他消失后，景翊发疯似地找他，还抛下了那个据说与他匹配度100％的完美伴侣。身穿后他们把我当Omega全文免费阅读，如果您喜欢身穿后他们把我当Omega天灵根最新章节，请分享给您的好友一起来免费阅读。魔蝎小说...
小美人重生后被献给了暴君
上辈子余星被瑞王花言巧语所骗，最终落得苟延残喘，遭世人唾骂，惨遭嫡姐毒害。重活一世，他拒绝了瑞王，却被他记恨在心，以祸心之名将他进献给禹国暴君。他想逃却被整个京城的人盯着，他们视他为祸害，将他强行塞入马车，送往禹国，保陈国无忧。余星痛恨他们，仇视他们！他以为自己会在禹国惨遭迫害，却没想到迎来了所有人欢迎。他在宫里战战兢兢，唯恐惹怒暴君，没想到一向不近男女的暴君，却朝他走来，拉着他的手，朝着巍峨大殿走去。下方大臣齐齐朝他叩拜。余星！再后来禹国攻入陈国皇宫，暴君带着他居高临下睥睨着一身狼狈的瑞王。魔蝎小说...
医武双修在都市
...