手机浏览器扫描二维码访问
第四十六章 搜索引擎的研发（第2页）
从开发量上，技术难度是远远大于目录式检索技术的。
首先说网络爬虫，也称网络蜘蛛（WebSpider），这项技术是基于Web的自动化浏览程序，通过网页链接（URL），爬虫不断的通过互联网中获得新的网页数据，下载页面数据形成后台数据库。
可以说，网络爬虫抓取数据是搜索引擎工作流程的第一步。
爬虫的体系架构直接关系到搜索引擎每天数据的采集量，而抓取策略则关系到搜索结果的数据质量，数据的更新策略则关系到系统资源的利用率。
这只是第一步，采集了大量数据信息之后，还需要通过自然语言处理（NLP），将文本信息分解为结构化数据和价值性数据。
这里面就又存在一个问题，目前国外的搜索引擎都是英文分词，而中文比较特殊，最小单位是字，但具有语义的最小单位是词。
所以，在中文分词这一部分，就需要技术团队单独进行开发。
通过建立词库、采用条件随机概率分布模型、词性标注、语义相似度、已存句法分析、情感倾向分析等，通过各种模型判断，让程序理解抓取到的关键词中文的语义，才能提高搜索的准确性和查全率。
这还只是其中比较小的开发困难。
比如，搜索引擎的核心就是通过海量数据抓取后的快速检索，而抓取的数据越多，当庞大的数据存储在数据库里，就需要构建快速存取数据的分布式存储架构。
再比如，为了让用户在最短的时间内获得想要的搜索结果，就需要后台系统不断的执行数据抓取和建立索引等操作。
这就需要建立分布式实时计算系统，以及对索引结构的构建……
王川估计也是最近开发中有些郁闷了，一说起来就滔滔不绝。
隋波虽然不太懂他说的一些技术术语，但毕竟前世作为用户也使用了20多年的搜索引擎，接触的多了，也了解一些基本的知识。
他安静的听着王川不断的讲述团队面临的一个个困难，又是怎么想办法克服的。
不时提问两句，显得听的很认真。
脑子里却不断的在回忆，当初Google和百度是有哪些创新的举措，才一举成功的？
印象最深的，就是那句“百度更懂中文”，这应该就是刚才王川所提的中文分词了，这块王川已经考虑到了。
至于是不是更进一步，先弄个智能输入法出来？……
现在团队的研发压力已经很大了，暂时先略过不提。
还有就是百度快照，不过好像这个功能虽然对用户而言很有价值，但争议很大……
还有就是Google独创的PageRank技术。
这是一种根据网页之间的链接结构来评价判断网页重要性的排序算法。
想到这里，隋波就提了一下，是否在搜索结果的排序算法上，可以采用这种模式？
从网页的链接数量、权威性、主题相关性、网页内容的匹配性等多个方面，综合分析，进行搜索结果的排序。
王川听了以后若有所思：“这个算法我回去研究一下，应该没问题。”
隋波笑道：“技术上我没办法给你太大的帮助，不过我可以从公司激励政策和后勤上为团队鼓劲！
你回去和大家说一下，搜索引擎项目的团队项目奖金定在10万，而且根据每个人的表现，到时候还有个人奖励。
我已经让清泉给你们做好后勤，每天会定时让送餐厅送饭菜过来。
另外给你们弄一个休息间，里面准备好啤酒、咖啡、饮料和小吃，保证供应。
嗯……，再让她给你们办公室里配一个沙发，大家累了可以躺下休息一会。
王川，这个项目将会是公司除了电商平台，最核心的业务，还要你多辛苦了！”
王川点头，一脸的倔强：“波总，你放心，我有信心把这个搜索引擎搞出来！实际上每当解决一个技术难题，大家的那种快乐都是无法言表的，公司又给我这么大的支持力度，我一定全力以赴！”
隋波拍拍他的肩膀：“我相信你，你也别着急，和团队成员要劳逸结合，注意休息，别搞坏了身体，我们还有足够的时间来成长！”
我的身上有外挂！ 我能看见你高考多少分 超级科技提取器 斗破之签到就有奖励 武焰吞天 史上第一茶话会 我才是主角 败家从神级选择开始 都市之近身战神 都市无敌战神 太古吞天诀 冒牌小县令 缔造黑科技时代 逍遥邪帝 团团的奶爸很无敌 深渊世界行 大宋无敌太子爷 我的老婆是魔头 谁拉满了我的特效值 农民工走向人生巅峰
天下霸宠
被权贵欺压，被恶霸调戏，被心仪的男子拒绝，柳千言的及笈礼过的相当不平静，但，以为这样就完了吗？当然不是，一道圣旨将她指给三王爷为侧妃，左有恶霸的亲姐姐虎视眈眈，右有权贵的亲姐姐看她不顺眼，还有在上的夫君威胁她，她遇上的每一个人似乎都有姐，偏偏她姐一心和她抢男人，柳千言握拳，搞定男人的后宫之前，必先搞定男人。...
总裁，我跟你不熟
追妻三字奥义不要脸！一朝之间，高高在上的莫总化身为宠妻狂魔，就差没有在脸上写着对你爱爱爱爱不完。而唐初微在和莫承南较量的无数个日夜里，一次又一次的妥协，一次又一次的越战越勇。她痴爱着他的时候，他从骨子里厌恶她。她选择遗忘他的时候，他步步紧逼。被某人疯狂追求的唐初微表示今天的你对我冷漠无视，明天的我让你高攀不起，总裁，我们不熟！...
征途（枪手1号）
箭术超卓但一心只想过安稳生活的大越边民云昭一夜之间家破人亡，为了寻找失踪的妻子，为了替亲人报仇，他带箭携刀，踏上征途，在外有外族入侵，内有农民起义，朝堂之上皇位争夺激烈的风起云涌的乱之世当中，云昭从最底层开始，开始了属于他的传奇征程。一个温顺的良民被逼上梁山之后愤怒的呐喊，一个草根从底层奋斗的漫漫征途，一段血与火，情与仇交织的多彩人生。无限精彩，尽在征途...
三国之最强开光系统
...
宋风
王静辉作为医务兵莫名其妙的回到了宋朝后，他该如何在这个陌生的时代去生存？改革之路充满了扑朔迷离的变数，王安石司马光苏轼所有的人都在寻找大宋的出路，到底又是谁对谁错？眼前的一切都在锤炼着王静辉走向成熟，重生的蝴蝶是否能够改变历史的走向？请看一个现代医生所演义的宋风。戒念新书北洋在四月七日正式上传，希望各位尊敬的读者能够赏光一观，谢谢大家的支持！...
导演有点皮
徐浪重生了，却发现前任是个废材。明明是富二代，却跟钻石王老五的老爹宛如仇人，老死不相往来。他老爹还给他找了个年轻的小妈，生了个弟弟跟他争家产，你说气不气人？明明高大帅气，却是个文艺青年，资深单身狗和陈年老处男。这都不叫事，前任开了个影视文化公司，业绩常年负增长。他拍的电影票房一败涂地，号称票房鬼见愁。留给徐浪一堆的烂摊子，为了在这个世界活下去，徐浪这个导演必须得浪。浪到让别人无路可走才是正理。。。...