第1741章彆被技術細節嚇住
辦公室的白板上寫滿了字。
李明的粉筆停在半空，眉頭皺成一個疙瘩。
他轉身看向另外四個同伴，又看看坐在會議桌旁的賈瀞雯。
“賈總，這個‘網頁爬蟲’的概念……我們研究了三天，還是有點不明白。”他放下粉筆，拍了拍手上的粉灰，“文檔上說，要讓程序像蜘蛛一樣在網上爬，自動發現和收集網頁。
但具體怎麼實現？”
張濤推了推眼鏡，翻開陳浩寫的技術框架文檔：“這裡寫了一些思路--從幾個種子網站開始，提取頁麵上的鏈接，然後訪問這些鏈接，再提取新鏈接。
理論上可行，但實際做起來問題很多。”
“什麼問題？”賈瀞雯問。
“比如，有些網站不允許被訪問。”說話的是王磊，團隊裡最年輕的一個，北大研究生在讀，“還有，網頁格式千奇百怪，怎麼準確提取鏈接？再比如，如果程序陷入死循環怎麼辦？”
賈瀞雯點點頭。
這些她也不懂，但她知道該問誰。
“今天先到這裡。”她看看表，“晚上我打電話問問陳總。
大家繼續研究其他部分，分詞算法那邊有進展嗎？”
張濤搖搖頭：“更難。
英文有空格分隔單詞，中文是連在一起的。
‘中華人民共和國’怎麼分？是‘中華’‘人民’‘共和國’，還是‘中華人民’‘共和國’？不同的分法，意思差彆很大。”
會議室裡一陣沉默。
五個年輕人你看看我，我看看你，都從對方眼裡看到同樣的困惑--這個項目，比他們想象的要難得多。
晚上八點，賈瀞雯在辦公室撥通了陳浩的電話。
“喂？”陳浩的聲音有點喘，背景裡有嘈雜的人聲。
“在忙？”
“剛下戲，換衣服呢。”陳浩走到安靜的地方，“說吧，今天遇到什麼問題了？”
賈瀞雯把白天的討論複述了一遍。
陳浩聽完，笑了：“正常，這些確實是難點。
你記一下，我一個個說。”
賈瀞雯拿起筆。
“第一，爬蟲的倫理問題。
我們要遵守robots協議，就是網站根目錄下的一個文本文件，告訴爬蟲哪些頁麵可以訪問，哪些不行。
這個必須遵守，不然我們會惹麻煩。”
“第二，網頁格式問題。
現在網頁主要是html，雖然各家寫法不一樣，但基本結構是固定的。
鏈接都在＜ahref=＞標簽裡，用正則表達式可以提取。”
賈瀞雯打斷：“正則表達式是什麼？”
“一種文本匹配的方法。”陳浩解釋，“比如你要找所有以‘’開頭的字符串。
這個讓技術人員去查資料，他們懂。”
“第三，防止死循環。
每個訪問過的鏈接都要記錄下來，下次遇到就直接跳過。
還要設置深度限製，不能無限爬下去。”
賈瀞雯飛快地記著。
陳浩的聲音很平靜，好像這些難題都不是問題。
“那中文分詞呢？”她問，“這個他們覺得特彆難。”
電話那頭沉默了一會兒。
“這個確實難。”陳浩承認，“英文搜索可以直接按單詞匹配，中文必須先把句子切分成有意義的詞語。
我們需要的不是機械切分，而是理解語義後的智能切分。”
“怎麼做？”
“兩種思路。”陳浩說，“一是基於詞典，把常用的詞做成詞典庫，然後匹配。
二是基於統計，分析大量文本，找出經常連在一起出現的字組合。
（本章未完，請點擊下一頁繼續閱讀）第1741章彆被技術細節嚇住(第2/2頁)
最好的辦法是兩者結合。”
賈瀞雯記下最後幾個字，筆尖頓了頓：“浩哥，這些概念你怎麼都懂？你又冇學過計算機。”
陳浩笑了：“我是不懂具體編程，但我懂邏輯，懂原理。
而且我看得多，想得多。
搜索引擎的核心不是技術多炫，而是理解人想要什麼，然後從數據裡找出來。”
他頓了頓：“瀞雯，你告訴團隊，彆被技術細節嚇住。
我們不是在寫完美的學術論文，是在做一個能用的工具。
第一版可以粗糙，可以有問題，但要快，要讓用戶能用上。
改進可以慢慢來。”
掛斷電話後，賈瀞雯把筆記整理成文檔，打印了五份。
第二天開會，她把陳浩的話轉述給團隊。
“陳總說，第一版可以粗糙，但要快。”她看著五張年輕的臉，“我們不求完美，但求可用。”
李明眼睛一亮：“這就對了。
我們總想一次做到最好，結果越想越不敢動手。
其實可以先做個最簡單的版本，能跑起來就行。”
“對！”張濤一拍桌子，“爬蟲可以先從幾個固定的網站開始，比如新聞網站。
這些網站結構規範，容易抓取。
分詞可以先做基於詞典的簡單版本，複雜的以後再說。”
團隊的氣氛活躍起來。
年輕人就是這樣，不怕困難，就怕迷茫。
一旦有了方向，哪怕方向不完美，他們也敢往前衝。
三天後，新的問題來了。
這次是王磊提出的。
他在研究分詞算法時，遇到了一個具體難題。
“賈總，我們試了基於詞典的方法，但遇到一個問題。”王磊在白板上寫了個例子，“比如‘乒乓球拍賣完了’這句話。
怎麼分？”
他畫出兩種分法：“‘乒乓球/拍賣/完了’，這是說乒乓球被拍賣掉了。
但也可以是‘乒乓/球拍/賣完了’，這是說球拍賣光了。
同一個句子，兩種分法，意思完全不一樣。”
賈瀞雯看著白板上的句子，也皺起眉。
確實，這太難了。
當晚的電話彙報，她重點說了這個問題。
陳浩聽完，冇有馬上回答。
“這個問題很關鍵。”他說，“中文的歧義切分是搜索引擎必須要解決的。
這樣，你讓團隊等一下，我想想。”
電話掛斷了。
賈瀞雯以為陳浩要思考幾天，冇想到第二天一早，她就接到了電話。
“瀞雯，我畫了個圖。”陳浩的聲音聽起來有些疲憊，像是熬了夜，“我讓助理去傳真給你，你看一下。”
半小時後，傳真機響了。
五頁紙，上麵是手繪的流程圖和說明。
賈瀞雯拿起來看。
第一頁是總覽，標題是“中文分詞歧義處理邏輯”。
後麵四頁是詳細的流程圖，每一步都有說明。
她看不懂技術細節，但能看懂思路。
陳浩提出了一個“雙向最大匹配”的方法。
從左到右掃描一遍，從右到左再掃描一遍，比較兩種結果。
如果一致，就用這個結果。
如果不一致，就啟用歧義處理規則--檢查上下文，查詞典，甚至用簡單的概率統計。
最下麵還有一行小字：初期可用簡單規則，後續逐步完善。
賈瀞雯把傳真複印了五份。
團隊看到後，會議室裡炸開了鍋。
【跪求禮物，免費的為愛發電也行！】