|
Google本周二(2005.7.19)宣布任命李開復(fù)擔(dān)任其籌建中的中國研發(fā)中心總監(jiān)
李開復(fù)離職前最近一段時(shí)間專注于新技術(shù)研發(fā)。負(fù)責(zé)“MSN網(wǎng)絡(luò)搜索應(yīng)用總體開發(fā)”
微軟不得不使用違反競(jìng)爭(zhēng)協(xié)議，狀告GOOGLE和李開復(fù)，以此來拖慢GOOGLE的發(fā)展步伐。但GOOGLE明知違法，也要繼續(xù)這次挖角，顯然，挖角的損失比起加快自己發(fā)展速度來說還是要?jiǎng)澦愫芏唷?/P>
這是分屬網(wǎng)絡(luò)時(shí)代和PC時(shí)代的兩個(gè)公司的對(duì)決，明顯，GOOGLE后來居上。
在技術(shù)上的四大搜索技術(shù)將是今后兩公司的競(jìng)爭(zhēng)重點(diǎn)。
傳統(tǒng)的網(wǎng)絡(luò)搜索、桌面搜索、博客服務(wù)、電子郵件
且不管因此引起的微軟和Google之間的官司如何，可見網(wǎng)絡(luò)搜索已逐漸成為新?lián)屖值膽?yīng)用范疇。我想有興趣的程序員，可以學(xué)習(xí)一下有關(guān)搜索引擎的知識(shí)，這必將對(duì)你的職業(yè)人生產(chǎn)生不小影響。
在此簡(jiǎn)要的說一下搜索引擎的基本步驟（主要說自動(dòng)的）
1.編輯 一般通過Robot（即爬蟲，網(wǎng)絡(luò)蜘蛛）到各個(gè)網(wǎng)站采集數(shù)據(jù)
2.檢索 一般根據(jù)關(guān)鍵詞建立索引以便快速查詢
3.分類 一般通過Open Directory Project（開放式目錄管理）
4.排序 要保證前100個(gè)滿足98%用戶的需求，其中分詞很重要
其中的難點(diǎn)如下（個(gè)人拙見）
1.公正性 及時(shí)更新很重要，目前主要通過Robot和ODP，這樣容易被SEO（搜索引擎優(yōu)化）鉆空子，故需要獨(dú)有的技術(shù)，如使用PageRank
2.關(guān)鍵詞 一般分自動(dòng)和詞表切分，為了更高的索引效率低建議使用詞表切分，但詞表維護(hù)成本非常高，目前已有很多人研究，如 www.rainsts.net/article.asp?id=48
關(guān)于分詞的概念：http://www.microsoft.com/china/rdcenter/info/result/chinese.asp
3.分布式 主要是為大數(shù)據(jù)量做準(zhǔn)備，模型很重要，有點(diǎn)像分公司各自運(yùn)作，各個(gè)公司負(fù)責(zé)幾個(gè)區(qū)域的市場(chǎng)，查詢時(shí)又互相內(nèi)部交流
4.過濾器 將類似的重復(fù)的以及無關(guān)痛癢的過濾掉，才能更有效的“前100個(gè)滿足98%”，畢竟客戶搜索的更關(guān)心的是內(nèi)容，但也要有個(gè)開關(guān)，類似Google做法
對(duì)于李開復(fù)加入搜索行業(yè)可能帶來的影響（個(gè)人預(yù)測(cè)）
1.人機(jī)交互 使查詢更為人性化，有點(diǎn)像以前Chinaren那孫悟空搜索，但應(yīng)該更出色
2.媒體搜索 雖然MPEG7已經(jīng)出了很久，但實(shí)際上真正用于媒體搜索畢竟少數(shù)
說了這么多，如何入門很關(guān)鍵：建議到
http://sourceforge.net/projects/dotlucene 下載dotLucene學(xué)習(xí)
Lucene原來是java寫的，現(xiàn)在成了apache的開源項(xiàng)目。
地址： http://jakarta.apache.org/lucene/
Lucene的貢獻(xiàn)者Doug Cutting是一位資深全文索引/檢索專家，曾經(jīng)是V-Twin搜索引擎(Apple的Copland操作系統(tǒng)的成就之一)的主要開發(fā)者，目標(biāo)是為各種中小型應(yīng)用程序加入全文檢索功能。
車東 www.chedong.com ，也在 sourceforge 上開設(shè)了自己的開源項(xiàng)目，叫weblucence，支持中日韓語。
www.Teein.com 開站也就一年不到，就于2005年5月獲得IDG風(fēng)險(xiǎn)投資，其中文論壇搜索引擎就是以dotLucene做底層索引庫的
參見資料
http://ceo.icxo.com/htmlnews/2005/07/20/635019.htm
http://www.chedong.com/tech/lucene.html
http://blog.joycode.com/roy/archive/2004/12/07/40571.aspx
http://www.95time.cn/bbs/NewsDetail.asp?id=2140319
出處：藍(lán)色理想
責(zé)任編輯：藍(lán)色
|
