本文在深入分析難過過搜索引擎基本原理、架構(gòu)設(shè)計(jì)和核心技術(shù)的基礎(chǔ)上,結(jié)合可擴(kuò)展的scrapy框架、開源搜索引擎lucene的實(shí)現(xiàn)原理以及多種分詞技術(shù),設(shè)計(jì)并實(shí)現(xiàn)了一個可擴(kuò)展可復(fù)用的小型搜索引擎文本預(yù)處理系統(tǒng)。