不過首先你會發(fā)現(xiàn),你在不同的地區(qū)或者不同的網(wǎng)絡(luò)(電信、聯(lián)通、移動)的情況下,轉(zhuǎn)換后的ip地址很可能是 不一樣的,這首先涉及到負(fù)載均衡的第一步,通過dns解析域名時將你的訪問分配到不同的入口,同時盡可能保證你所訪問的入口是所有入口中可能較快的一個 (這和后文的cdn不一樣)。
你通過這個入口成功的訪問了taobao的實際的入口ip地址。這時你產(chǎn)生了一個pv,即page view,頁面訪問。每日每個網(wǎng)站的總pv量是形容一個網(wǎng)站規(guī)模的重要指標(biāo)。淘寶網(wǎng)全網(wǎng)在平日(非促銷期間)的pv大概是16-25億之間。同時作為一個獨立的用戶,你這次訪問淘寶網(wǎng)的所有頁面,均算作一個uv(unique visitor用戶訪問)。最近臭名昭著的12306.cn的日pv量最高峰在10億左右,而uv量卻遠(yuǎn)小于淘寶網(wǎng)十余倍,這其中的原因我相信大家都會知道。
因為同一時刻訪問taobao的人數(shù)過于巨大,所以即便是生成淘寶首頁頁面的服務(wù)器,也不可能僅有一臺。僅用于生成taobao首頁的服務(wù)器就可能有成百上千臺,那么你的一次訪問時生成頁面給你看的任務(wù)便會被分配給其中一臺服務(wù)器完成。這個過程要保證公正、公平、平均(暨這成百上千臺服務(wù)器每臺負(fù)擔(dān)的用戶數(shù)要差不多),這一很復(fù)雜的過程是由幾個系統(tǒng)配合完成,其中最關(guān)鍵的便是lvs(linux virtual server),世界上最流行的負(fù)載均衡系統(tǒng)之一,正是由目前在淘寶網(wǎng)供職的章文嵩博士開發(fā)的。
經(jīng)過一系列復(fù)雜的邏輯運算和數(shù)據(jù)處理,用于這次給你看的淘寶網(wǎng)首頁的html內(nèi)容便生成成功了。對web前端稍微有點常識的童鞋都應(yīng)該知道,下一步瀏覽器會去加載頁面中用到的css、js、圖片、腳本和資源文件。但是可能相對較少的同學(xué)才會知道,你的瀏覽器在同一個域名下并發(fā)加載的資源數(shù)量是有限制的,例如ie6-7是兩個,ie8是6個,chrome各版本不大一樣,一般是4-6個。我剛剛看了一下,我訪問淘寶網(wǎng)首頁需要加載126個資源,那么如此小的并發(fā)連接數(shù)自然會加載很久。所以前端開發(fā)人員往往會將上述這些資源文件分布在好多個域名下,變相的繞過瀏覽器的這個限制,同時也為下文的cdn工作做準(zhǔn)備。
據(jù)不可靠消息,在雙十一當(dāng)天高峰,淘寶的訪問流量最巔峰達(dá)到871gb/s。這個數(shù)字意味著需要178萬個4mb帶寬的家庭寬帶才能負(fù)擔(dān)的起,也完全有能力拖垮一個中小城市的全部互聯(lián)網(wǎng)帶寬。那么顯然,這些訪問流量不可能集中在一起。并且大家都知道,不同地區(qū)不同網(wǎng)絡(luò)(電信、聯(lián)通等)之間互訪會非常緩慢,但是你卻發(fā)現(xiàn)很少發(fā)現(xiàn)淘寶網(wǎng)訪問緩慢。這便是cdn(content delivery network),即內(nèi)容分發(fā)網(wǎng)絡(luò)的作用。淘寶在全國各地建立了數(shù)十上百個cdn節(jié)點,利用一些手段保證你訪問的(這里主要指js、css、圖片等)地方是離你最近的cdn節(jié)點,這樣便保證了大流量分散在各地訪問的加速節(jié)點上。
這便出現(xiàn)了一個問題,那就是假若一個賣家發(fā)布了一個新的寶貝,上傳了幾張新的寶貝圖片,那么淘寶網(wǎng)如何保證全國各地的cdn節(jié)點中都會同步的存在這幾張圖片供用戶使用呢?這里邊就涉及到了大量的內(nèi)容分發(fā)與同步的相關(guān)技術(shù)。淘寶開發(fā)了分布式文件系統(tǒng)tfs(taobao file system)來處理這類問題。
好了,這時你終于加載完了淘寶首頁,那么你習(xí)慣性的在首頁搜索框中輸入了'毛衣'二字并敲回車,這時你又產(chǎn)生了一個pv,然后,淘寶網(wǎng)的主搜索系統(tǒng)便開始為你服務(wù)了。它首先對你輸入的內(nèi)容基于一個分詞庫進(jìn)行分詞操作。眾所周知,英文是以詞為單位的,詞和詞之間是靠空格隔開,而中文是以字為單位,句子中所有的字連起來才能描述一個意思。例如,英文句子i am a student,用中文則為:“我是一個學(xué)生”。計算機(jī)可以很簡單通過空格知道student是一個單詞,但是不能很容易明白“學(xué)”、“生”兩個字合起來才表示一個詞。把中文的漢字序列切分成有意義的詞,就是中文分詞,有些人也稱為切詞。我是一個學(xué)生,分詞的結(jié)果是:我 是 一個 學(xué)生。
進(jìn)行分詞之后,還需要根據(jù)你輸入的搜索詞進(jìn)行你的購物意圖分析。用戶進(jìn)行搜索時常常有如下幾類意圖:(1)瀏覽型:沒有明確的購物對象和意圖,邊看邊買,用戶比較隨意和感性。query例如:”2010年10大香水排行”,”2010年流行毛衣”, “zippo有多少種類?”;(2)查詢型:有一定的購物意圖,體現(xiàn)在對屬性的要求上。query例如:”適合老人用的手機(jī)”,”500元 手表”;(3)對比型:已經(jīng)縮小了購物意圖,具體到了某幾個產(chǎn)品。query例如:”諾基亞e71 e63″,”akg k450 px200″;(4)確定型:已經(jīng)做了基本決定,重點考察某個對象。query例如:”諾基亞n97″,”ibm t60″。通過對你的購物意圖的分析,主搜索會呈現(xiàn)出完全不同的結(jié)果來。
之后的數(shù)個步驟后,主搜索系統(tǒng)便根據(jù)上述以及
更多信息請查看IT技術(shù)專欄