淘寶技術(shù)這十年

淘寶網(wǎng)有著我國最大的hadoop分布式計算群集之一，日增加數(shù)據(jù)信息50TB，有40PB海量信息儲存。遍布在國內(nèi)各地80好幾個連接點的CDN互聯(lián)網(wǎng)，適用的總流量超出800Gbps。淘寶的百度可以對數(shù)十億的產(chǎn)品數(shù)據(jù)信息開展即時檢索，此外還有著自主研發(fā)的文檔存儲系統(tǒng)和緩存文件系統(tǒng)，及其java中間件和消息中間件系統(tǒng)，這一切構(gòu)成了一個巨大的相應(yīng)實際操作系統(tǒng)。此外從金融數(shù)據(jù)上看來，AMAZON的財務(wù)報告表明2011年完成了大概 480億美元的成交額，EBAY2011年財務(wù)報告全年度完成了大概600億美元的成交額（不包括其單獨的車輛平臺交易）。無論從成交額、產(chǎn)品總數(shù)、同比增長率等指標值上看，淘寶網(wǎng)均遠超在此，是現(xiàn)階段世界最大的相應(yīng)服務(wù)平臺。

一切網(wǎng)站的進步都并不是一蹴而就的。它在快速發(fā)展歷程中會碰到各式各樣的情況和業(yè)務(wù)流程產(chǎn)生的工作壓力。恰好是這種難題和工作壓力推動著技術(shù)的發(fā)展和發(fā)展趨勢，而技術(shù)的快速發(fā)展相反又會推動業(yè)務(wù)流程的更高提高。現(xiàn)如今淘寶網(wǎng)的關(guān)鍵字排名已經(jīng)是全世界前15名、中國前3名，其系統(tǒng)網(wǎng)絡(luò)服務(wù)器也從一臺發(fā)展趨勢到萬部之上。《淘寶技術(shù)這十年》從技術(shù)工程師的視角敘述淘寶這一集成電路工藝互聯(lián)網(wǎng)技術(shù)系統(tǒng)的成長過程，以及全部積極和被動技能的技術(shù)轉(zhuǎn)型的來龍去脈。書里有背后小故事、商品工作經(jīng)驗、構(gòu)架演變、技術(shù)啟蒙教育，也是有大神發(fā)展、業(yè)界八卦、不成功實例、勵志小故事?！短詫毤夹g(shù)這十年》筆風順暢，有技術(shù)工作人員獨有的幽默風趣；內(nèi)容積極主動正臉，有臨場感，所有是創(chuàng)作者真實經(jīng)歷。

淘寶技術(shù)發(fā)展趨勢（本人網(wǎng)站）：

2003年4月7日，馬云，在杭州市，創(chuàng)立了一個隱秘的機構(gòu)。他喊來十位職工，要她們簽了一份協(xié)議書，這一份協(xié)議書規(guī)定她們馬上離去阿里，去做一個神密的新項目。這一新項目規(guī)定絕對信息保密，老劉譽為“連睡覺做夢被媳婦聽見都不好，誰如果透漏出去，我將襲擊到海角天涯”。這一份合同是英語版的，匆忙之間，大部分人壓根趕不及看懂，但出自于對老劉的信賴，都翻卷被褥離開阿里。她們來到一個隱秘的聚集點——湖畔花園住宅小區(qū)的一套未室內(nèi)裝修的房屋里，房屋的主人家是馬云。這伙人剛進來的情況下，馬云給他布局了一個每日任務(wù)，便是在很短的時間內(nèi)作出一個本人對本人（C2C）的產(chǎn)品交易的網(wǎng)站。如今出一個難題考閱讀者，看著你適不適合做淘寶的創(chuàng)業(yè)者。親，如果使你來做，你怎么做？在講出這一回答以前，容我先賣個關(guān)子，介紹一下這一創(chuàng)業(yè)者的組員：三個研發(fā)工程師（虛竹、三豐、多?。?、一個UED（二當家）、三個經(jīng)營（寶寶、阿珂、誅魔）、一個主管（財神爺）、也有便是馬云和他的文秘。那時候?qū)θ繄F隊而言側(cè)壓力較大的便是時間，怎樣在最少的時間內(nèi)把一個幾乎就沒有的網(wǎng)站從零開始創(chuàng)建起來？掌握淘寶歷史時間的人了解淘寶是在2003年5月10日發(fā)布的，這中間僅有一個月。如果你一直在這一精英團隊里，你怎么做？大家的回答便是：買一個來。買一個網(wǎng)站顯而易見比成一個網(wǎng)站要方便一些，可是它們的理想并不是做一個小網(wǎng)站罷了，要做大，就并不是隨意買一個就可以了的，要有較為低的維護保養(yǎng)成本費，要可以方便快捷的擴大和二次開發(fā)。那下面便是第二個難題：買一個什么樣子的網(wǎng)站？回答是：輕巧一點的，簡單一點的，因此購買了那樣一個構(gòu)架的網(wǎng)站：LAMP（linux apache mySQL PHP）。這一直到如今或是一個很常見的網(wǎng)站構(gòu)架實體模型。這類構(gòu)架的特點是：不用編譯程序，公布迅速，PHP功能齊全，能做從網(wǎng)頁頁面3D渲染到數(shù)據(jù)信息瀏覽全部的事兒，并且使用的技術(shù)全是開源系統(tǒng)的，完全免費。那時候大家是以一個外國人那邊買回來的一個網(wǎng)站系統(tǒng)，這一系統(tǒng)的名稱稱為PHPAuction（她們的官方網(wǎng)網(wǎng)站http://phpauction.net這一名稱很直接，一眼就看出去這一系統(tǒng)是用什么語言做的、是做什么用的），PHPAuction有好多個版本號，大家買的是最大版的，作用比較多，并且最重要的是另一方接受了源碼。最大版較為貴，花了大家2000美元（好像如今減價了，只需946美金）。買回來以后并不是隨便就能用的，必須許多本土化的改動，比如頁面設(shè)計改的好看一點，頁頭底部再加上自身的網(wǎng)站介紹等，在其中最有技術(shù)成分的是對數(shù)據(jù)庫查詢開展了一個改動。原先是以一個數(shù)據(jù)庫查詢開展任何的存取數(shù)據(jù)，拿過來以后多隆把它給拆分為一個主庫、2個從庫，讀寫分離。那么做的益處有幾個方面：存儲量提升了，擁有備份數(shù)據(jù)，促使安全系數(shù)提升了，讀寫分離促使讀寫能力高效率提高了。那樣全部系統(tǒng)的構(gòu)架就如下圖所顯示：在其中pear DB是一個PHP控制模塊，承擔數(shù)據(jù)信息瀏覽層。此外也用開源系統(tǒng)的社區(qū)論壇系統(tǒng)PHPBB（http://phpbbchina）構(gòu)建了一個小的社區(qū)論壇，虛竹承擔設(shè)備購置、配備、搭建等，三豐和多隆承擔編號，她們把買賣系統(tǒng)和社區(qū)論壇系統(tǒng)的客戶信息連通，給營銷工作人員開發(fā)設(shè)計出管理后臺（admin系統(tǒng)）的作用，把交易方式從僅有競拍這一種提升為競拍、一口價、購買產(chǎn)品、宣傳海報產(chǎn)品（意思是還沒有發(fā)布的產(chǎn)品，先掛個宣傳海報出去）這四種。（PHPAuction僅有競拍的買賣，Auction即競拍的含意。@_行癲在新浪微博中提及：今天eBay全部買賣中競拍買賣依然占了40%，而在我國，此類方式在淘寶基本上從一開始就無法占有優(yōu)點，現(xiàn)如今在流行的買賣中基本上可以忽略。身后的緣故一直匪夷所思。我大概可以得出在其中一種表述，eBay基本上在資本主義國家進行業(yè)務(wù)流程，加工制造業(yè)業(yè)務(wù)外包后，相應(yīng)的基本上人群大多數(shù)只有表達為零散的個人間買賣。）在經(jīng)歷了此外一些有意思的事以后（這種有意思的事包含“淘寶”這一名字的來歷，職工好聽的花名的來歷這些，因為這書關(guān)鍵敘述技術(shù)層面的小故事，對這種有感興趣的可以去在網(wǎng)上找），網(wǎng)站逐漸正式上線運作了。在下面的半年多時間里，這一網(wǎng)站快速表明出了它的活力。這兒必須提一下當初的市場環(huán)境，抗擊非典（SARS）的席卷促使大家都不敢出門，尤其是去大型商場這類人多的地方。此外在大江南北上最開始發(fā)生的C2C網(wǎng)站ebay易趣也正忙的樂此不疲，2002年3月，eBay以3000萬美金回收了ebay易趣企業(yè)33%的股權(quán)，2003年6月以1.5億美金回收了ebay易趣企業(yè)剩下67%的股權(quán)。那時候淘寶網(wǎng)容許交易雙方留有聯(lián)系電話，容許同城送貨，全部操作流程簡易輕輕松松。而eBay為了更好地扣除交易傭金，是嚴禁那么做的，這必定多了交易方式的難度系數(shù)。并且eBay為了更好地全世界統(tǒng)一，把ebay易趣原先的系統(tǒng)換成了英國eBay的系統(tǒng)，客戶體驗一下子全發(fā)生變化，實際操作起來十分不便，這等因此把累積的客戶作揖贈給了淘寶。為了更好地不造成eBay的留意，淘寶網(wǎng)在2003年里一直宣稱自身是一個“本人網(wǎng)站”。因為這一創(chuàng)業(yè)者強勁的市場拓展和運營能力，淘寶網(wǎng)發(fā)展趨勢的十分迅速，2003年底就吸引住了申請注冊客戶XXX，最大每日31萬PV，從5月到年末成交量4000萬。這沒有造成eBay的留意，卻造成了阿里內(nèi)部許多公司員工的留意，她們感覺這一網(wǎng)站之后會變成阿里強悍的敵人。乃至有些人以內(nèi)網(wǎng)發(fā)帖子，告誡高管要當心這一剛發(fā)展的網(wǎng)站，但高管好像視而不見。（這一精英團隊的保密做的真棒）在銷售市場和經(jīng)營的后才，淘寶網(wǎng)的技術(shù)精英團隊也在迅速的做著系統(tǒng)的改善和自主創(chuàng)新。這兒也有個有趣的小故事，eBay和ebay易趣初期都是有職工在社區(qū)論壇上回應(yīng)客戶的要求，eBay的社區(qū)論壇用粉紅色背景來區(qū)別職工的講話，ebay易趣的公司員工在社區(qū)論壇上呢稱都選各種各樣痘痘，比如黃豆豆、豇豆豆等。淘寶在探討運營策略的是提及這個問題，規(guī)定全部的職工都去社區(qū)論壇上回應(yīng)客戶的難題。最開始解答問題的任務(wù)落在寶寶頭頂，那大家用什么名字好呢？“淘淘”？“小寶寶”？寶寶都不滿意，太男性化了。探討了好長時間以后，寶寶靈光乍現(xiàn)，索性取個名字叫“寶寶”吧，寶寶帶七個媳婦來開實體店，迎來諸位客官，很有故事類。因此許多古代武俠小說中的角色逐漸在社區(qū)論壇中俠義天下，這種呢稱下邊意味著“淘寶店小二”，她們回應(yīng)著多種多樣的難題，快速響應(yīng)著客戶的各類要求。如果是技術(shù)可以處理的，幾個人商量一下，立刻就開發(fā)設(shè)計、檢測、公布發(fā)布。相反比照一下，ebay易趣被eBay回收以后，系統(tǒng)拆換變成全球通用的版本號，回應(yīng)客戶的一個要求必須逐層審核，反應(yīng)速率當然慢了出來。那時候淘寶第一個版本號的系統(tǒng)里邊早已涵蓋了產(chǎn)品公布、管理方法、檢索、商品詳情、競價選購、點評舉報、我的淘寶這種作用（如今主流程中也是這種控制模塊。在2003年10月提升了一個作用連接點：“安全性買賣”，這個是支付寶錢包的原型）。伴隨著用戶需求和數(shù)據(jù)流量的持續(xù)提高，系統(tǒng)上邊干了許多的日常改善，網(wǎng)絡(luò)服務(wù)器由起初的一臺變成了三臺，一臺承擔推送email、一臺承擔運作數(shù)據(jù)庫查詢、一臺承擔運作webApp。過一段時間以后，商品查詢的作用占有數(shù)據(jù)庫查詢資源太大（用like檢索的，比較慢），又從阿里中文網(wǎng)站搬回來她們的百度搜索引擎iSearch，最初iSearch數(shù)據(jù)庫索引的文檔放到電腦硬盤上，伴隨著信息量的提高，又選擇了NetApp網(wǎng)絡(luò)服務(wù)器置放iSearch。這般節(jié)奏快的工作中，實際上大家都累到不好，有些人就建議大伙兒隨時的加強鍛煉，但是外邊SARS猖狂，在一個一百多方的房屋里，如何鍛煉呢？高挑美女阿珂建議大伙兒訓練瘦腰操，這一提議遭受男性的一致，之后虛竹就教大伙兒訓練倒立起來，這一大家都能接納。因此這一倒立起來的傳統(tǒng)式一直持續(xù)迄今，和好聽的花名文化藝術(shù)、武俠江湖文化藝術(shù)一并承傳了出來。伴隨著瀏覽量和信息量的飛快增漲，難題迅速就出來，第一個難題發(fā)生在數(shù)據(jù)庫查詢上。mySQL那時候是第4版的，大家用的是正常的儲存模塊myisam，這類種類讀

文件目錄：

第0章 前言：單身節(jié)的歡樂第1章 本人網(wǎng)站LAMP構(gòu)架的網(wǎng)站武俠江湖和倒立起來文化藝術(shù)的發(fā)源第2章 本人網(wǎng)站的升級數(shù)據(jù)庫查詢從mySQL到Oracle支付手段的自主創(chuàng)新——支付寶錢包溝通交流方法的自主創(chuàng)新——淘寶淘寶旺旺第3章 公司級Java網(wǎng)站洗心革面的升級——拆換編程語言堅若磐石——緊緊圍繞特性、容積和費用的演變第4章 造就技術(shù)淘寶文檔系統(tǒng)——TFS淘寶KV緩存文件系統(tǒng)——Tair第5章 分布式系統(tǒng)相應(yīng)實際操作系統(tǒng)服務(wù)創(chuàng)新分布式數(shù)據(jù)庫Session架構(gòu)Session架構(gòu)開發(fā)者平臺第6章 我還在淘寶這八年第一年（2004年—2005年）第二年（2005年—2006年）第三年（2006年—2007年）第四年（2007年—2008年）第五年（2008年—2009年）第六年（2009年—2010年）第七年（2010年—2011年）第八年（2011年—2012年）第7章 牛P本紀正明——集團公司關(guān)鍵系統(tǒng)高級研究者正祥——淘寶高級研究者，OceanBase項目經(jīng)理畢玄——集團公司關(guān)鍵系統(tǒng)杰出技術(shù)權(quán)威專家放翁——淘寶開發(fā)者平臺項目經(jīng)理吳翰清——阿里云服務(wù)器集團公司網(wǎng)絡(luò)信息安全核心高級安全性權(quán)威專家云錚——大數(shù)據(jù)平臺與產(chǎn)品研發(fā)杰出技術(shù)權(quán)威專家小龍——淘寶UED前面通用性服務(wù)平臺高級技術(shù)權(quán)威專家淘寶熱血傳奇技術(shù)工程師多隆的程序流程全球