光一样的少年|| 通用搜索引擎背后的技术点，图解( 三 ) 来源|后端技术指南针

网络爬虫同时需要考虑抓取频率，防止给站点造成过重负担，总之，搜索引擎的网络爬虫需要是个谦谦君子。
5.2中文分词将清洗完成的内容进行分词提取关键词，比如一个网页内容有1000字，分词之后大约有50个词，相当于提取了网页的主干，并且会对标题、摘要、正文等不同部分的内容做不同权重处理。
分词过程中会剔除停用词、虚词等，比如"的、得、地"等，从而极力还原网页的主干内容。
我们用在线网页分词工具和真实网页来模拟下这个过程：
网页分词在线工具：
抓取网页：
基于字符串匹配的分词算法
基于概率统计的分词算法
基于语义规则的分词算法
其他算法
所谓正排就是根据docid可以拿到属于该网页的所有内容，是一个符合我们思维的正向过程，相对而言会有倒排索引。
我们以一篇《隐秘的角落》剧情简介的页面为例，模拟分词情况，大致如下(本分词结果纯属脑补，以实际为准)：