這篇文章主要介紹了新浪SAE及背后的云計(jì)算發(fā)展理念,講到了新浪對paas模式云服務(wù)的一些發(fā)展經(jīng)驗(yàn),需要的朋友可以參考下
新浪SAE究竟是什么呢?
從產(chǎn)品的概念和發(fā)展歷程方面來講,Sina App Engine簡稱為SAE,是新浪研發(fā)中心于2009年8月開始內(nèi)部開發(fā),并在2009年11月3日正式推出第一個(gè)Alpha版本的國內(nèi)首個(gè)公有云計(jì)算平臺(tái),SAE是新浪云計(jì)算戰(zhàn)略的核心組成部分。具有以下幾個(gè)特點(diǎn):
1、SAE作為國內(nèi)的公有云計(jì)算,從開發(fā)伊始借鑒吸納Google、Amazon等國外公司的公有云計(jì)算的成功技術(shù)經(jīng)驗(yàn),并很快推出不同于他們的具有自身特色的云計(jì)算平臺(tái)。
2、SAE選擇在國內(nèi)流行最廣的Web開發(fā)語言PHP作為首選的支持語言,Web開發(fā)者可以在Linux/Mac/Windows上通過SVN、SDK或者Web版在線代碼編輯器進(jìn)行開發(fā)、部署、調(diào)試,團(tuán)隊(duì)開發(fā)時(shí)還可以進(jìn)行成員協(xié)作,不同的角色將對代碼、項(xiàng)目擁有不同的權(quán)限;
3、SAE提供了一系列分布式計(jì)算、存儲(chǔ)服務(wù)供開發(fā)者使用,包括分布式文件存儲(chǔ)、分布式數(shù)據(jù)庫集群、分布式緩存、分布式定時(shí)服務(wù)等,這些服務(wù)將大大降低開發(fā)者的開發(fā)成本。同時(shí)又由于SAE整體架構(gòu)的高可靠性和新浪的品牌保證,大大降低了開發(fā)者的運(yùn)營風(fēng)險(xiǎn)。
4、作為典型的云計(jì)算,SAE采用“所付即所用,所付僅所用”的計(jì)費(fèi)理念,通過日志和統(tǒng)計(jì)中心精確的計(jì)算每個(gè)應(yīng)用的資源消耗(包括CPU、內(nèi)存、磁盤等)。
總之,SAE就是簡單高效的分布式Web服務(wù)開發(fā)、運(yùn)行平臺(tái)。
SAE的核心優(yōu)勢
首先來講,確定發(fā)展目標(biāo)是一個(gè)平臺(tái)成長的關(guān)鍵,SAE的基本目標(biāo)用戶有兩種:一種是Web開發(fā)者,另一種是普通互聯(lián)網(wǎng)上網(wǎng)人群。
對于Web開發(fā)者,SAE帶來的好處主要有以下四個(gè)方面:
1、硬件成本更低,無需預(yù)先購買設(shè)備,承擔(dān)更大的投入風(fēng)險(xiǎn)。
2、開發(fā)成本更低,SAE提供許多服務(wù)供開發(fā)者使用,開發(fā)者無需重復(fù)開發(fā),包括隊(duì)列、數(shù)據(jù)庫、緩存、定時(shí)、驗(yàn)證碼、計(jì)數(shù)器,幾乎覆蓋了Web開發(fā)的所有領(lǐng)域。另外對于特定開放平臺(tái)的開發(fā)者,比如新浪微博開發(fā)者,SAE已經(jīng)集成了完整的OpenAPI的封裝,將開發(fā)者的開發(fā)成本降到最低。值得一提的是,SAE的開發(fā)者目前已經(jīng)形成了良好的交流氛圍,在意見反饋中心、SAE官方群,SAE官方微群可以看到很多熱情的開發(fā)者在一起共同提高。
3、運(yùn)維成本更低,在SAE上的應(yīng)用無需關(guān)心硬件維護(hù)、服務(wù)監(jiān)控、數(shù)據(jù)容災(zāi)等操作,SAE會(huì)通過其高可靠的架構(gòu)和方便的監(jiān)控頁面為用戶將運(yùn)維成本降到最低擴(kuò)展性更強(qiáng),在SAE上的服務(wù)無需關(guān)心服務(wù)壓力猛增時(shí)帶來的擴(kuò)容等操作,SAE自動(dòng)支持服務(wù)擴(kuò)展
4、更加安全可靠,SAE自動(dòng)提供SQL語句性能分析、前端防攻擊、代碼檢查等功能,在SAE上的所有應(yīng)用均為多機(jī)房容災(zāi)部署,比傳統(tǒng)的部署模式更加安全可靠,并且SAE提供服務(wù)的SLA來實(shí)現(xiàn)對用戶服務(wù)質(zhì)量的承諾
對于普通上網(wǎng)人群,使用SAE可以:
使用推薦應(yīng)用一鍵安裝Web應(yīng)用,普通用戶無需會(huì)編碼,也可以在瞬間擁有自己的團(tuán)購、博客、微博、Wiki等。
SAE整體架構(gòu)介紹
SAE從架構(gòu)上采用分層設(shè)計(jì),從上往下分別為反向代理層、路由邏輯層、Web計(jì)算服務(wù)池。而從Web計(jì)算服務(wù)層延伸出SAE附屬的分布式計(jì)算型服務(wù)和分布式存儲(chǔ)型服務(wù),具體又分成同步計(jì)算型服務(wù)、異步計(jì)算型服務(wù)、持久化存儲(chǔ)服務(wù)、非持久化存儲(chǔ)服務(wù)。各種服務(wù)統(tǒng)一向日志和統(tǒng)計(jì)中心匯報(bào),參考下圖:
7層反向代理層:HTTP反向代理,在最外層,負(fù)責(zé)響應(yīng)用戶的HTTP請求,分析請求,并轉(zhuǎn)發(fā)到后端的Web服務(wù)池上,并提供負(fù)載均衡、健康檢查等功能。
服務(wù)路由層:邏輯層,負(fù)責(zé)根據(jù)請求的唯一標(biāo)識(shí),快速的映射(O(1)時(shí)間復(fù)雜度)到相應(yīng)的Web服務(wù)池,并映射到相應(yīng)的硬件路徑。如果發(fā)現(xiàn)映射關(guān)系不存在或者錯(cuò)誤,則給出相應(yīng)的錯(cuò)誤提示。該層對用戶隱藏了很多具體地址信息,使開發(fā)者無需關(guān)心服務(wù)的內(nèi)部實(shí)際分配情況。
Web服務(wù)池:由一些不同特性的Web服務(wù)池組成。每個(gè)Web服務(wù)池實(shí)際是由一組Apache(PHP)組成的,這些池按照不同的SLA提供不同級別的服務(wù)。每個(gè)Web服務(wù)進(jìn)程實(shí)際處理用戶的HTTP請求,進(jìn)程運(yùn)行在HTTP服務(wù)沙盒內(nèi),同時(shí)還內(nèi)嵌同樣運(yùn)行在SAE沙盒內(nèi)的PHP解析引擎。用戶的代碼最終通過接口調(diào)用各種服務(wù)。
日志和統(tǒng)計(jì)中心:負(fù)責(zé)對用戶所使用的所有服務(wù)進(jìn)行統(tǒng)計(jì)和資源計(jì)費(fèi),并設(shè)定的分鐘配額,來判定是否有非正常的使用。分鐘配額描述了資源消耗的速度,當(dāng)資源消耗的速度到達(dá)一個(gè)預(yù)警閾值時(shí),SAE通知系統(tǒng)會(huì)提前向用戶發(fā)出一個(gè)警告,提醒用戶應(yīng)用在某個(gè)服務(wù)上的使用可能存在問題,需要介入關(guān)注或處理,配額系統(tǒng)是SAE用來保證整個(gè)平臺(tái)穩(wěn)定的措施之一;日志中心負(fù)責(zé)將用戶所有服務(wù)的日志匯總并備份,并提供檢索查詢服務(wù)。
各種分布式服務(wù):SAE提供幾乎可以覆蓋Web應(yīng)用開發(fā)所有方面的多種服務(wù),用戶可以通過StdLib(可以理解為SAE PHP版的STL)很方便的調(diào)用它們。
SAE和虛擬主機(jī)的區(qū)別
提到云平臺(tái),新浪很自然的想到和以往虛擬化技術(shù)的區(qū)別。兩者的主要區(qū)別表現(xiàn)在以下幾個(gè)方面:
1、傳統(tǒng)服務(wù)托管面向的是硬件軟件設(shè)備,使用者得到的也是設(shè)備的使用權(quán);而SAE面向的服務(wù),使用者得到的是服務(wù)的使用權(quán)。
2、傳統(tǒng)服務(wù)托管不面向開發(fā)者,開發(fā)者無法在其上享受到開發(fā)的樂趣;而SAE的一個(gè)重要用戶就是web developer,開發(fā)者可以在其上通過在線調(diào)試、日志分析、協(xié)作共享等功能進(jìn)行web開發(fā)。
3、傳統(tǒng)服務(wù)托管不提供分布式系統(tǒng)解決方案;而SAE提供的完整的分布式web服務(wù)的解決方案,其中不僅僅包括分布式數(shù)據(jù)庫、分布式文件系統(tǒng),更包括分布式定時(shí)器系統(tǒng)、網(wǎng)頁抓取服務(wù)、圖像處理服務(wù)等。
4、傳統(tǒng)服務(wù)托管不解決域名問題,用戶往往煩惱于域名申請;而SAE的用戶將自動(dòng)得到在sinaapp下的二級域名,同時(shí)SAE還支持域名cname。
5、傳統(tǒng)服務(wù)托管無法保證SLA(Service Level Agreement),硬件故障的成本基本由使用者承擔(dān);而SAE保證用戶的SLA,用戶的web服務(wù)自動(dòng)享有高冗余的前端服務(wù)器、享有自動(dòng)負(fù)載均衡系統(tǒng)、服務(wù)自動(dòng)擴(kuò)展、服務(wù)自動(dòng)收縮等功能。
6、傳統(tǒng)的服務(wù)托管采用預(yù)付費(fèi)的方式,費(fèi)用固定且和實(shí)際使用情況無直接關(guān)系;而SAE采用預(yù)充值方式,“所付即所用,所付僅所用”,web服務(wù)的一切損耗均提供報(bào)表查詢和賬單匯總,讓用戶一目了然。如果你注冊SAE后通過實(shí)名認(rèn)證,如果你前一天流量用完,第二天將會(huì)送你1000云豆,就是相當(dāng)于4G的流量,大概能支持5萬PV,這些都是免費(fèi)的。
新浪為什么要做SAE?
Sina App Engine項(xiàng)目始于2009年8月,目標(biāo)為云計(jì)算時(shí)代的分布式web服務(wù)提供一整套解決方案。開發(fā)SAE主要是出于對內(nèi)、對外兩方面考慮:
對內(nèi):新浪很早以前就開始了關(guān)于私有云的開發(fā)和實(shí)踐,所以為了進(jìn)一步提高公司資源的利用率,更加提高web開發(fā)的效率,降低web運(yùn)營的成本,決定了新浪要開發(fā)SAE。
對外:亞馬遜、Google都是國外的成功的提供公有云計(jì)算服務(wù)的公司,SAE也想借助云計(jì)算這樣一個(gè)趨勢,為國內(nèi)廣大用戶提供云計(jì)算的分布式web服務(wù)的開發(fā)、運(yùn)行平臺(tái)。
新浪的paas服務(wù)支持
整個(gè)云計(jì)算各個(gè)層面的增長趨勢,saas在前面增長非常高,新浪看到整個(gè)的趨勢里面,saas和paas的占比越來越高。整個(gè)IT效率提升是第一需求,并不是所有的企業(yè),都有非常強(qiáng)的能力,可以自己建設(shè),自己運(yùn)維,自己管理。就導(dǎo)致IT企業(yè)在選擇我用什么樣的設(shè)施基礎(chǔ)架構(gòu)的時(shí)候,會(huì)考慮怎么樣最高效。首先saas是最好的解決方案,它基本上不需要運(yùn)維,對于IT的管理者來說是很高效的解決方案。paas的集成度也非常高,可以降低很多的開發(fā)投入和資源。
新浪的應(yīng)用越來越向移動(dòng)轉(zhuǎn)型,企業(yè)越來越向移動(dòng)轉(zhuǎn)型,隨著現(xiàn)在整個(gè)行業(yè)的變化,信息的快速交換,智能終端、移動(dòng)終端的出現(xiàn),都要向移動(dòng)轉(zhuǎn)型,這方面就需要一個(gè)平臺(tái)。同時(shí)企業(yè)內(nèi)部的IT系統(tǒng),也是一樣的。在企業(yè)內(nèi)部,隨著企業(yè)的移動(dòng)辦公,企業(yè)內(nèi)部的IT系統(tǒng),也需要優(yōu)化,需要向移動(dòng)轉(zhuǎn)型,這些都是作為paas和saas更加適應(yīng)的解決方案。
這個(gè)趨勢從國內(nèi)來看,越來越多的企業(yè)、創(chuàng)業(yè)團(tuán)隊(duì),開始考慮使用云計(jì)算服務(wù)。下面是工信部的調(diào)查。在2014年新浪發(fā)現(xiàn)云計(jì)算水平有所提升,國內(nèi)的企業(yè)對云計(jì)算開始接受。新浪SAE的業(yè)務(wù)量,和收入來看,最近兩年,都得到了顯著的提升,說明大家越來越認(rèn)可。
新浪整個(gè)的SAE是國內(nèi)最早的公有云計(jì)算平臺(tái),發(fā)布于2009年11月發(fā)布,在2011年的11月份,新浪開放了java的平臺(tái)的運(yùn)營環(huán)境,在2013年6月份開始,開始研發(fā)企業(yè)級技術(shù)解決方案。在今年新浪SAE已經(jīng)開始小范圍的進(jìn)行內(nèi)測了。
SAE目前有35萬的用戶,為什么新浪的用戶這么多?一方面是新浪的口碑,一方面新浪認(rèn)為它是非常高效,非常能夠幫助開發(fā)者節(jié)省資源的?;趐aas本身的軟件, 一個(gè)開發(fā)者在使用新浪SAE的時(shí)候,完全不需要付費(fèi),一個(gè)開發(fā)者在申請一個(gè)SAE的環(huán)境的時(shí)候,他在開發(fā)測試、調(diào)試的過程中,是不需要付任何的費(fèi)用。新浪是按需付費(fèi)的門檻。
很多的開發(fā)者其實(shí)在平臺(tái)上需要做大量的調(diào)研的工作,需要做大量的初期的開發(fā)工作。新浪現(xiàn)在的流量,是每天超過10億。最上面是業(yè)界最有名的paas平臺(tái),新浪在后面。整個(gè)的SAEpaas平臺(tái),是屬于底層的。
像Mysqlrdc,kvdb 、tripps和storger.新浪的應(yīng)用不是上面的API,所有的都新浪自己來做,是不可能實(shí)現(xiàn)的,新浪本身是一個(gè)開放的平臺(tái),第三方的開放商業(yè),能夠豐富整個(gè)平臺(tái)的服務(wù),和平臺(tái)的功能,能夠讓真正的云計(jì)算的用戶,他們能夠高效的低成本的使用,建立他們APP的應(yīng)用。
新浪有22種各類服務(wù),包括短信、地理信息服務(wù)、郵件服務(wù)、推送服務(wù)、人工智能服務(wù)、安全檢查服務(wù)、搜索服務(wù)。來自360、高德、有道,對服務(wù)商的選擇非常的嚴(yán)格。新浪不會(huì)非常關(guān)心你的API,都會(huì)找到平臺(tái)的本身,新浪如果要承擔(dān)起給用戶提供最好服務(wù)的同時(shí),必須是可靠可用的。
這部分是說新浪針對大數(shù)據(jù)方面的趨勢,新浪也在去年年底推出了superQuery的功能。用簡單的方法就是讓所有的SAE的用戶,可以實(shí)時(shí)的對SAE應(yīng)用的請求、日志、行為做分析,同時(shí)可以把他們一些特定的數(shù)據(jù),傳到這個(gè)平臺(tái)上來,幫助他們做定向的分析。
在企業(yè)幫助移動(dòng)化轉(zhuǎn)型方面,新浪提供了APP工廠,包括這個(gè)應(yīng)用快速的生成。新浪也提供了BaaS,可以把很多遠(yuǎn)端的服務(wù),可以解決計(jì)算能力不足的問題。也會(huì)對接一些更豐富的API服務(wù),幫助這些開發(fā)者順利的向移動(dòng)轉(zhuǎn)型。
針對開發(fā)本身,新浪非常的強(qiáng)調(diào)平臺(tái)使用的易用性,新浪推出了手機(jī)的掌上SAE,方便用戶隨時(shí)隨地掌握應(yīng)用運(yùn)行情況,分析應(yīng)用的數(shù)據(jù)。在下面新浪還推出了能夠在手機(jī)上直接的續(xù)費(fèi),避免出現(xiàn)異常的狀況,這時(shí)候都可以進(jìn)行快速的恢復(fù),這是移動(dòng)版SAE主要的考慮。
在安全的方面,就像這次可信云更大的一方面講的,新浪在SAE本身做了很多的工作。這是一個(gè)簡單的考慮,最下一層是SAE的平臺(tái)層,這一層主要是做一些基礎(chǔ)性。新浪整個(gè)的SAE是DDOS的服務(wù)方案,在外面會(huì)有一些安全的掃描和安全的檢測,新浪也會(huì)提供第三方的安全檢查,避免出現(xiàn)重大的安全性的事故。在平臺(tái)之上新浪會(huì)分兩層,一個(gè)是帳戶的安全,一個(gè)是應(yīng)用的安全。用戶在寫操作的時(shí)候,新浪會(huì)要求他輸入第二層的密碼,這個(gè)密碼可能會(huì)跟手機(jī)綁定。再它之上新浪有管理安全,管理安全新浪是想在開發(fā)者來講,在管理的時(shí)候,開發(fā)者會(huì)引進(jìn)不同的開發(fā)人員,對開發(fā)人員進(jìn)行控制,有一套比較負(fù)責(zé)的項(xiàng)目權(quán)限對應(yīng)人的安全機(jī)制。
新浪對于整個(gè)計(jì)算資源的消費(fèi),是有一個(gè)很清晰的審核和進(jìn)入機(jī)制。而且新浪對于整個(gè)的消費(fèi),對于性能,對于云計(jì)算的資源,能夠有一個(gè)運(yùn)算管理的機(jī)制。一旦用戶出現(xiàn)特殊的情況,比如說出現(xiàn)泄露,或者是代碼本身的質(zhì)量。
一個(gè)是數(shù)據(jù)安全,一個(gè)是代碼的安全,數(shù)據(jù)的安全,對整個(gè)的用戶數(shù)據(jù),有個(gè)很好的保護(hù)機(jī)制,保證這個(gè)數(shù)據(jù)不會(huì)出現(xiàn)重大的丟失的問題。另外一方面,新浪對數(shù)據(jù)的使用,有一個(gè)安全的考核機(jī)制。
代碼安全,新浪提供了代碼的加密機(jī)制。新浪會(huì)提供自己研發(fā)的解決方案,可以進(jìn)行隔離。
對于現(xiàn)在很多的企業(yè)和行業(yè),很多的企業(yè)是需要私有云的解決方案,新浪也希望在企業(yè)內(nèi)部使用的更加方便。從去年開始研發(fā),在今年也推出了私有云的MAE,明天會(huì)著重的介紹。MAE介紹了SAE成熟的經(jīng)驗(yàn)和解決方案。另外它是一鍵部署的,非常方便企業(yè)使用。
在可信云項(xiàng)目中,新浪新浪去年8月份開始就全程的參與,參與了整個(gè)可信云的制定討論,而且作為國內(nèi)最大的paas服務(wù)商,新浪提供了很多的意見和幫助。在整個(gè)的上面各項(xiàng)中,新浪很順利的通過了,這個(gè)項(xiàng)目本身,對新浪的平臺(tái)而言,也是非常好的提升和挑戰(zhàn)。
像持久性、遷移性、另外一方面也讓新浪自身去提升新浪的服務(wù)質(zhì)量。在整個(gè)的過程中,云引擎,運(yùn)輸局庫、云存儲(chǔ),這三項(xiàng)新浪一次性的通過,新浪目前為政府部門、銀行、大學(xué)、報(bào)社提供了服務(wù)。
這方面可以提升新浪的服務(wù)質(zhì)量,這是一個(gè)嚴(yán)格的服務(wù)的要求,另外新浪會(huì)更加的遵守新浪的服務(wù)承諾,新浪希望讓整個(gè)的行業(yè)服務(wù)更加標(biāo)準(zhǔn),讓用戶更放心。
對于行業(yè)而言,我覺得做可信云,更多的是真正讓國內(nèi)的云服務(wù)企業(yè)有一個(gè)標(biāo)準(zhǔn),讓他們真正的重視他們這個(gè)所謂的服務(wù)質(zhì)量和他們之間的關(guān)系,讓他們真正的按照一個(gè)要求去實(shí)現(xiàn)。對于想使用,或者是愿意使用的云計(jì)算的行業(yè)用戶而言,他們有一個(gè)選擇的標(biāo)準(zhǔn),他們能夠看哪些標(biāo)準(zhǔn)是真正的符合標(biāo)準(zhǔn),是站在行業(yè)標(biāo)準(zhǔn)之內(nèi)的,新浪可以進(jìn)行考量,而不是像以前瞎做。未來新浪希望給政府,給企業(yè)提供更多的云服務(wù)。
從新浪整個(gè)SAE未來的考慮,是兩個(gè)方面。對外是走一些細(xì)分的垂直行業(yè),因?yàn)閺恼麄€(gè)互聯(lián)網(wǎng)來看,十年前大家對門戶是這個(gè)類型,近兩年垂直門戶迅速的崛起,而且垂直門戶的影響力、市值來看,不亞于傳統(tǒng)的門戶。只有做細(xì)分,做垂直的,才有可能真正的貼近用戶的需求,才能讓用戶認(rèn)可。所以新浪也在努力的探討,也去調(diào)研,去嘗試一些垂直行業(yè)。媒體和自媒體本身面臨著轉(zhuǎn)型,隨著整個(gè)建設(shè),整個(gè)用戶接觸信息的渠道,隨著整個(gè)信息交換的頻度,面臨很大的轉(zhuǎn)折。在其中新浪是有機(jī)會(huì)的。另外在社交、游戲、電商,包括傳統(tǒng)的企業(yè),和線上、線下企業(yè)溝通的結(jié)合,都需要IT的變革。再教育上更是這樣的,金融云本身一方面是改變金融自身的變革,另一方面金融需要跟互聯(lián)網(wǎng)快速的結(jié)合,能夠推向市場。
希望借助新浪集團(tuán)的傳統(tǒng)優(yōu)勢,打造生態(tài)體系。新浪本身主要是微博、現(xiàn)在是開放平臺(tái),新浪希望把新浪集團(tuán)的媒體咨詢,包括社交,這些相關(guān)的資源,通過某種開放模式開放出來,能夠真正實(shí)現(xiàn)信息的產(chǎn)生、信息的交換、信息的獲取,信息的消費(fèi),能夠快速的建立起來。在這其中新浪希望SAE可以作為新浪整個(gè)生態(tài)過程中重要的環(huán)境,新浪希望大量的托管,需要承接第三 方的業(yè)務(wù)。在整個(gè)的新浪體系里面,SAE是非常大的,非常好的支撐工具。從目前來看,在整個(gè)的新浪集團(tuán)里面,在這次世界杯期間有很多的競猜。