手机浏览器扫描二维码访问
从开发量上,技术难度是远远大于目录式检索技术的。
首先说网络爬虫,也称网络蜘蛛(WebSpider),这项技术是基于Web的自动化浏览程序,通过网页链接(URL),爬虫不断的通过互联网中获得新的网页数据,下载页面数据形成后台数据库。
可以说,网络爬虫抓取数据是搜索引擎工作流程的第一步。
爬虫的体系架构直接关系到搜索引擎每天数据的采集量,而抓取策略则关系到搜索结果的数据质量,数据的更新策略则关系到系统资源的利用率。
这只是第一步,采集了大量数据信息之后,还需要通过自然语言处理(NLP),将文本信息分解为结构化数据和价值性数据。
这里面就又存在一个问题,目前国外的搜索引擎都是英文分词,而中文比较特殊,最小单位是字,但具有语义的最小单位是词。
所以,在中文分词这一部分,就需要技术团队单独进行开发。
通过建立词库、采用条件随机概率分布模型、词性标注、语义相似度、已存句法分析、情感倾向分析等,通过各种模型判断,让程序理解抓取到的关键词中文的语义,才能提高搜索的准确性和查全率。
这还只是其中比较小的开发困难。
比如,搜索引擎的核心就是通过海量数据抓取后的快速检索,而抓取的数据越多,当庞大的数据存储在数据库里,就需要构建快速存取数据的分布式存储架构。
再比如,为了让用户在最短的时间内获得想要的搜索结果,就需要后台系统不断的执行数据抓取和建立索引等操作。
这就需要建立分布式实时计算系统,以及对索引结构的构建……
王川估计也是最近开发中有些郁闷了,一说起来就滔滔不绝。
隋波虽然不太懂他说的一些技术术语,但毕竟前世作为用户也使用了20多年的搜索引擎,接触的多了,也了解一些基本的知识。
他安静的听着王川不断的讲述团队面临的一个个困难,又是怎么想办法克服的。
不时提问两句,显得听的很认真。
脑子里却不断的在回忆,当初Google和百度是有哪些创新的举措,才一举成功的?
印象最深的,就是那句“百度更懂中文”,这应该就是刚才王川所提的中文分词了,这块王川已经考虑到了。
至于是不是更进一步,先弄个智能输入法出来?……
现在团队的研发压力已经很大了,暂时先略过不提。
还有就是百度快照,不过好像这个功能虽然对用户而言很有价值,但争议很大……
还有就是Google独创的PageRank技术。
这是一种根据网页之间的链接结构来评价判断网页重要性的排序算法。
想到这里,隋波就提了一下,是否在搜索结果的排序算法上,可以采用这种模式?
从网页的链接数量、权威性、主题相关性、网页内容的匹配性等多个方面,综合分析,进行搜索结果的排序。
王川听了以后若有所思:“这个算法我回去研究一下,应该没问题。”
隋波笑道:“技术上我没办法给你太大的帮助,不过我可以从公司激励政策和后勤上为团队鼓劲!
你回去和大家说一下,搜索引擎项目的团队项目奖金定在10万,而且根据每个人的表现,到时候还有个人奖励。
我已经让清泉给你们做好后勤,每天会定时让送餐厅送饭菜过来。
另外给你们弄一个休息间,里面准备好啤酒、咖啡、饮料和小吃,保证供应。
嗯……,再让她给你们办公室里配一个沙发,大家累了可以躺下休息一会。
王川,这个项目将会是公司除了电商平台,最核心的业务,还要你多辛苦了!”
王川点头,一脸的倔强:“波总,你放心,我有信心把这个搜索引擎搞出来!实际上每当解决一个技术难题,大家的那种快乐都是无法言表的,公司又给我这么大的支持力度,我一定全力以赴!”
隋波拍拍他的肩膀:“我相信你,你也别着急,和团队成员要劳逸结合,注意休息,别搞坏了身体,我们还有足够的时间来成长!”
深渊世界行 谁拉满了我的特效值 武焰吞天 都市之近身战神 我才是主角 农民工走向人生巅峰 我的身上有外挂! 缔造黑科技时代 逍遥邪帝 团团的奶爸很无敌 我能看见你高考多少分 我的老婆是魔头 超级科技提取器 败家从神级选择开始 大宋无敌太子爷 太古吞天诀 斗破之签到就有奖励 冒牌小县令 都市无敌战神 史上第一茶话会
一世丹尊苏凌,偶获上古至宝天魔珠,却惨遭奸人围攻陨落。五百年后,苏凌重生在一个苏家的废物少爷身上,从此踏上一条逆天之路。修炼丹武之道,何人敢称至尊,唯我苏凌!...
崇祯皇帝身处深宫,被人忽悠而吊死煤山。可如果他有窃听系统在手,能听到别人背后的议论,那还能亡国灭种么?好吧,崇祯皇帝还是穿越的,虽然已经是崇祯十一年末,可结果必定会改变!金戈铁马,气吞万里如虎,我崇祯活这一世,大明必定中兴!(这是有系统加持的正经穿越历史文!)...
穿成童话世界的王子,伊泽发现这里竟然有丑小鸭的故事,后来,他也真的遇到了白雪公主,匹诺曹,安娜公主,灰姑娘,卖火柴的小女孩amphellipamphellip而一出生就被预言18岁会死去的王子伊泽,不得不踏上童话世界的征程,去寻找活下来的办法amphellipamphellipamphellip各位书友要是觉得童话世界最强王子还不错的话请不要忘记向您QQ群和微博里的朋友推荐哦!童话世界最强王子最新章节童话世界最强王子无弹窗童话世界最强王子全文阅读...
...
法医狂妃,别太凶!由作者陌骄阳创作全本作品该小说情节跌宕起伏扣人心弦是一本难得的情节与文笔俱佳的好书919言情小说免费提供法医狂妃,别太凶!全文无弹窗的纯文字在线阅读。...
系统,升级,宝箱,金手指七夜穿越了,还带了个系统。系统是个会卖萌的萝莉音,可它只会催着七夜继续变强。火影忍者的世界瞳术?血脉?通灵兽?系统表示咱都有,给宿主来个加强版!秽土转生?系统永久控制型秽土转生卡片了解一下,无副作用的呦!斗罗大陆的世界武魂?魂骨?十万年魂环?系统在手,,一切都是小意思!听说修罗神执法犯法?系统宿主,干他丫的!后续世界还在整理中(有意见或者建议,欢迎在评论区留言(^^),但是拒绝人参公鸡°3°)...