光一样的少年|| 通用搜索引擎背后的技术点，图解来源|后端技术指南针

头图|图虫
鉴于搜索引擎内容非常多，每一部分都够写好几篇文章的所以本文只是抛砖引玉，深入挖掘还得老铁们亲力亲为。
通过本文你将对通用搜索引擎的基本原理和组成有一个较为清晰的认识，用心读完，肯定有所收获！
废话不说，各位抓紧上车，冲鸭！
通用搜索引擎
通用搜索又称为大搜，诸如谷歌、百度、搜狗、神马等等都属于这一类。
垂直搜索又称为垂搜，是特定领域的搜索，比如用QQ音乐搜周杰伦的歌等。
共同点
宏观上来说，搜索和推荐都是为了解决用户和信息之间的隔离问题，给用户有用的/需要的/喜欢的信息。
区别点
搜索一般是用户主动触发，按照自己的意图进行检索，推荐一般是系统主动推送，让用户看到可能感兴趣的信息。
【光一样的少年|| 通用搜索引擎背后的技术点，图解】换句话说，搜索引擎懂得用户真正想要找什么，可以快速准确地展示出来，对于一些热点突发信息也可以及时收录展示，就能很好地博得用户。
这个目标需要搜索引擎多个模块协作处理，是个复杂的系统工程，并非易事。
1.网络蜘蛛爬虫每天不辞辛苦地收录网页，然后存储起来，这样各个站点的页面就有了一份份镜像，这个规模是百亿/千亿级的。