第1765章遇到問題,分析問題,解決問題
賈瀞雯回到北京時是周一早上。
她冇回家,直接拖著行李箱去了辦公室。
團隊五個人都在,正圍在白板前爭論什麼。
看到她進來,所有人都轉過頭。
“賈總回來了!”
“陳總有什麼指示嗎?”
賈瀞雯放下行李箱,脫掉外套:“先說說你們這邊的進展。”
李明趕緊彙報:“索引結構優化做了第一版,測試結果顯示查詢速度能提升百分之二十左右。
但有個問題,內存占用增加了。”
“分詞算法呢?”
張濤接過話:“常見歧義解決了一部分,但遇到新的問題。
比如‘南京市長江大橋’,可以分成‘南京市長-江大橋’,也可以分成‘南京市-長江大橋’。
這種結構歧義,靠詞典解決不了。”
賈瀞雯點點頭,走到白板前。
她拿起筆,在空白處寫下幾個字:超鏈分析。
“陳總提出了一個新概念。”她轉身看著團隊,“叫超鏈分析。
簡單說,就是通過分析網頁之間的鏈接關係,來判斷網頁的重要性。”
五個人都愣了。
“鏈接關係?”王磊問,“什麼意思?”
“一個網頁如果被很多其他網頁鏈接,說明它可能比較重要,比較權威。”賈瀞雯解釋,“反過來,如果一個網頁鏈接了很多重要網頁,那它自己可能也是個樞紐。
通過分析整個網絡的鏈接結構,我們可以給每個網頁打分,這個分數可以用於搜索結果排序。”
會議室裡安靜了幾秒。
李明眼睛慢慢亮起來:“這思路……太牛了。
等於是把整個互聯網當成一個投票係統,每個鏈接就是一票。”
張濤也反應過來:“對!這樣就能解決垃圾頁麵堆關鍵詞的問題了。
那些垃圾頁麵不會被其他頁麵鏈接,分數自然低。”
“但實現起來很難。”王磊皺起眉,“我們需要分析整個網絡的鏈接結構,這計算量太大了。”
賈瀞雯放下筆:“所以陳總說了,先做簡化版。
不分析整個網絡,隻分析我們已收錄的十萬網頁。
先驗證這個思路是否可行。”
她看著團隊:“陳總給了兩周時間。
兩周內,我們要做出超鏈分析的第一版,集成到排名算法裡。”
任務定下來了,但怎麼開始,誰都冇底。
第一天,團隊在查閱資料。
超鏈分析這個概念,國外有論文提到過,但冇見到實際應用。
他們需要自己從頭設計算法。
第二天,李明在白板上畫出了第一版架構圖:“我們需要建兩個矩陣。
一個記錄每個網頁的出鏈,一個記錄入鏈。
然後迭代計算,直到收斂。”
“收斂條件呢?”
“每個網頁的分數變化小於某個閾值。”
“計算量還是大。”張濤搖頭,“十萬網頁,矩陣就是一百億個元素。
現在的服務器算不動。”
第三天,陳浩打電話來了。
“遇到困難了?”他問。
賈瀞雯實話實說:“算力不夠。
團隊說矩陣太大,迭代計算需要的時間太長。”
電話那頭沉默了一會兒。
“可以簡化。”陳浩說,“第一,不需要算所有網頁。
隻計算有入鏈的網頁,那些孤立頁麵直接給最低分。
(本章未完,請點擊下一頁繼續閱讀)第1765章遇到問題,分析問題,解決問題(第2/2頁)
第二,迭代可以分批進行,不需要一次性算完。
第三,分數不需要精確到小數點後很多位,整數就行。”
賈瀞雯把這些記下來,轉告給團隊。
李明聽了,一拍大腿:“對啊!我們可以分塊計算!先把網頁按鏈接關係分組,組內迭代,組間再迭代。
這樣內存占用能降下來。”
思路打開了,進展就快了。
第一周結束時,他們做出了簡化版的超鏈分析算法。
測試數據很小,隻有一千個網頁,但結果令人鼓舞——重要網頁的分數確實高,垃圾網頁的分數確實低。
第二周,開始集成到真實數據裡。
問題又來了:十萬網頁的鏈接關係太複雜,計算一次要八個小時。
“太慢了。”張濤盯著屏幕,“如果每天都要重新計算,根本跟不上網頁更新的速度。”
賈瀞雯給陳浩打電話。
這次陳浩的建議很直接:“增量更新。
每天隻計算新增網頁和發生變化的部分,其他的用緩存。”
又是新的挑戰。
但團隊已經適應了這種節奏——遇到問題,分析問題,解決問題。
第二周周四晚上,李明從座位上跳起來。
“出來了!第一次完整計算完成!”
所有人圍過去。
屏幕上顯示著計算結果:十萬網頁,每個都有一個分數。
排在前麵的,確實是那些權威網站,新聞門戶,高校主頁。
排在後麵的,大多是個人主頁或者廣告頁麵。
“集成到排名算法裡測試一下。”賈瀞雯說。
李明敲了幾行代碼,啟動測試程序。
輸入幾個關鍵詞,搜索結果按新算法排序。
效果明顯。
之前搜“電腦價格”,前排結果裡總有幾個堆關鍵詞的垃圾頁麵。
現在那些頁麵不見了,取而代之的是真正的電腦報價網站。
“準確率!”張濤喊,“測試集準確率升到百分之六十二了!”
辦公室響起掌聲。
連續兩周的加班,值了。
周五,賈瀞雯讓大家休息一天。
她自己冇休息,去了中關村的一棟寫字樓。
公司該換個地方了。
現在那個八十平米的辦公室,六個人已經擠得不行。
隨著超鏈分析的實現,團隊還要招人,需要更大空間。
她看中了一間兩百平的辦公室,在五樓,視野不錯。
租金不便宜,但還能承受。
簽完租約,她開始聯係裝修。
簡單裝修,隔出辦公區、會議室、休息區,還要有個小廚房。
同時,招聘啟事也發出去了。
這次她要招十五個人:算法工程師、前端開發、係統架構師、還有產品和運營。
簡曆像雪片一樣飛來。
某度公測後的知名度,加上中關村的地理位置,吸引了很多求職者。
賈瀞雯親自麵試了每一個技術崗位。
她問的問題很實際:你怎麼理解搜索?如果讓你優化排名算法,你會怎麼做?中文分詞最大的難點是什麼?
有的候選人答得好,有的答得一般。
她最終錄用了十五個人,加上原來的五個,團隊擴充到二十人。
【跪求禮物,免費的為愛發電也行!】