【13551字全文照發(fā)】SaaS公司的系統(tǒng)穩(wěn)定和安全機(jī)制——中國(guó)有贊投資者交流專題電話會(huì)紀(jì)要

大家下午好，我是中國(guó)有贊IR侯蕾，感謝大家參加我們中國(guó)有贊舉辦的關(guān)于系統(tǒng)穩(wěn)定及安全機(jī)制的投資者交流專題電話會(huì)，我們注意到本周行業(yè)內(nèi)某公司出現(xiàn)了一些嚴(yán)重的系統(tǒng)安全事件，然后有很多投資人和商家朋友都來(lái)詢問(wèn)有贊，比如說(shuō)有贊有沒(méi)有這樣的問(wèn)題，有贊是如何做系統(tǒng)穩(wěn)定和安全管理的？花心思做好這個(gè)事情要多少成本？

基于大家的疑問(wèn)和擔(dān)憂，我們覺(jué)得有責(zé)任跟大家就“系統(tǒng)穩(wěn)定和安全機(jī)制”這個(gè)話題做一個(gè)交流。那么今天參加我們分享的是中國(guó)有贊的CFO俞韜先生和CTO崔玉松先生。

大家好，我是有贊的桃子，截止到今天為止，我們關(guān)注到的事件應(yīng)該已經(jīng)是中國(guó)互聯(lián)網(wǎng)公司歷史上持續(xù)時(shí)間最長(zhǎng)的一次宕機(jī)了，再往后每多持續(xù)一個(gè)小時(shí)都在創(chuàng)造記錄。

所以今天我們分享的主題就是SaaS系統(tǒng)穩(wěn)定和安全。

昨天晚上有一個(gè)朋友問(wèn)我，他說(shuō)你一個(gè)CFO能講清楚系統(tǒng)安全和穩(wěn)定相關(guān)的問(wèn)題嗎？

我們有贊有句話叫“真誠(chéng)的友誼來(lái)自不斷的自我介紹”，所以開(kāi)始之前我先簡(jiǎn)單自我介紹幾句：我覺(jué)得我非常慶幸也非常幸運(yùn)，大概在10年前開(kāi)始在一家中國(guó)互聯(lián)網(wǎng)公司巨頭工作的時(shí)候，就以一個(gè)財(cái)務(wù)的角色參與過(guò)中國(guó)互聯(lián)網(wǎng)歷史上非常著名的去IOE的項(xiàng)目。去IOE項(xiàng)目，就是去IBM的小型機(jī)oracle的數(shù)據(jù)庫(kù)和EMC的存儲(chǔ)設(shè)備，用我們自研的系統(tǒng)取而代之，還有各種各樣災(zāi)備機(jī)房、災(zāi)備體系的建設(shè)，還有某云計(jì)算的歷史性的一個(gè)登月項(xiàng)目等等。平常都是以CFO的身份跟大家打交道，其實(shí)在有贊我還全面負(fù)責(zé)有贊的安全跟風(fēng)控團(tuán)隊(duì)。從2014年開(kāi)始，我們整個(gè)團(tuán)隊(duì)就在持續(xù)對(duì)抗著各種DDoS攻擊、有組織的黑產(chǎn)攻擊，以及各種信用卡盜卡、網(wǎng)絡(luò)欺詐等安全事件。

今天我們的分享分三個(gè)部分。

第一部分，我們希望給大家分享跟系統(tǒng)穩(wěn)定和安全相關(guān)的因素、角色有哪些。大家可能從各種地方都能看到各種各樣的文章，但可能都比較術(shù)語(yǔ)話化，我們盡量白話的表述來(lái)幫助大家去理解這些東西。第一部分會(huì)由崔來(lái)說(shuō)。

第二部分，想跟大家介紹一下常見(jiàn)的影響系統(tǒng)穩(wěn)定安全的事件有哪些，行業(yè)里面是怎么去應(yīng)對(duì)的。

第三部分想跟大家交流一下，所謂的刪庫(kù)對(duì)于一個(gè)商家或者對(duì)于一個(gè)用戶來(lái)說(shuō)，到底意味著什么。

我們先開(kāi)始第一部分，就先有請(qǐng)我的戰(zhàn)友，也是我們的CTO崔玉松先生來(lái)分享。在有贊我們都叫他崔神。

大家好，我叫崔玉松。我之前的經(jīng)歷，在創(chuàng)立有贊之前，是在剛剛桃子提到的中國(guó)最大的電商公司里面工作了很長(zhǎng)的時(shí)間，其中有比較長(zhǎng)的一段時(shí)間也是在中國(guó)現(xiàn)在最大的云計(jì)算公司里面。我當(dāng)時(shí)加入有贊這家公司的時(shí)候人還比較少，所以親眼見(jiàn)證了很多的過(guò)程，所以也是自我感覺(jué)比較幸運(yùn)。加入有贊之后，很多東西開(kāi)始用得上。

第一部分，我先簡(jiǎn)單跟大家介紹一些關(guān)于系統(tǒng)安全和穩(wěn)定相關(guān)的一些概念，因?yàn)檫@些概念相對(duì)來(lái)講，不是這個(gè)行業(yè)的人來(lái)講的話，相對(duì)比較深?yuàn)W一些，我盡量用一種通俗易易懂的話，來(lái)跟大家簡(jiǎn)單的介紹一下這些概念。

第一個(gè)是穩(wěn)定性的衡量，在行業(yè)里面也通常叫做SLA，就是穩(wěn)定性的一種承諾。

所以我們經(jīng)常會(huì)聽(tīng)到一些術(shù)語(yǔ)，比如說(shuō)“99.99%的可用”。我們?nèi)粘５膶?duì)話里面也叫“三個(gè)9”或者“四個(gè)9”。三個(gè)9就是99.9%，四個(gè)9是99.99%。但是很少人真正的把它換算成大家能夠理解的概念。它其實(shí)是一個(gè)相對(duì)一個(gè)服務(wù)周期來(lái)算，這個(gè)服務(wù)周期常是“按年”，也有一些會(huì)把它按照月來(lái)分，通常來(lái)講越底層的公司越把它按照顆粒度分更細(xì)，因?yàn)檫@樣的話他的保障周期會(huì)更長(zhǎng)一些，越往上一點(diǎn)它會(huì)顆粒度會(huì)更大一些。

比如說(shuō)按年來(lái)算，一年365天，如果是三個(gè)9，差不多有5個(gè)小時(shí)左右的不可用時(shí)間。如果是四個(gè)9差不多只有50多分鐘不可用的時(shí)間。一般來(lái)講，業(yè)界大概會(huì)在三個(gè)9，四個(gè)9其實(shí)能做到的其實(shí)是非常少的。那么，兩個(gè)9相當(dāng)于什么概念？拿我們每個(gè)人的工作時(shí)間來(lái)類比，“兩個(gè)9”是99%，相當(dāng)于是大家正常的上班，有雙休日有節(jié)假日；“三個(gè)9”就是有雙休日，沒(méi)有節(jié)假日；“四個(gè)9”的話相當(dāng)于基本上是全年無(wú)休的狀態(tài)。

有贊核心的系統(tǒng)里面，其實(shí)已經(jīng)做到了“四個(gè)9”，也就是每年大概只有萬(wàn)分之一的時(shí)間不可用，換算下來(lái)就是3000多秒。

還有一些基本的概念。關(guān)于硬件，比如說(shuō)，大家會(huì)經(jīng)常聽(tīng)到的IaaS層的一些東西，比如機(jī)房里面有服務(wù)器、硬盤、光纖，對(duì)吧？

硬盤大家可能會(huì)更有概念，比如說(shuō)大家在電腦里面都會(huì)有硬盤，硬盤是一個(gè)最基礎(chǔ)的存儲(chǔ)單元，大量的東西都存在硬盤里面，硬盤在服務(wù)器里面，服務(wù)器部署在機(jī)房里面，機(jī)房一般是由現(xiàn)在的IaaS層的廠商提供的，但也有一些是用自己獨(dú)立的機(jī)房，但現(xiàn)在通常來(lái)講都是由類似于像AWS、華為云提供的這樣的一些機(jī)房。

國(guó)內(nèi)現(xiàn)在的云廠商主要有騰訊云、阿里云、華為云、AWS、Ucloud，還有微軟。然后他們主要是把這些存儲(chǔ)資源虛擬化之后，給上層的應(yīng)用使用，主要是一些互聯(lián)網(wǎng)公司。

除了這些剛剛介紹的一個(gè)關(guān)于SLA穩(wěn)定性的東西，然后基本的硬件的概念之后，還有一個(gè)重要的概念就是網(wǎng)絡(luò)運(yùn)維。運(yùn)維其實(shí)在國(guó)內(nèi)叫運(yùn)維，它是一個(gè)非常中性的概念，在Google有另外一個(gè)叫法叫做SRE，網(wǎng)站可靠性工程師，從這個(gè)稱呼上來(lái)看，它實(shí)際上會(huì)更明確一些。當(dāng)然因?yàn)閲?guó)內(nèi)叫法的運(yùn)維和網(wǎng)站可靠性工程師之間還是有一點(diǎn)點(diǎn)的工作的差異，但是其實(shí)整體上來(lái)講差異不大，實(shí)際上都是幫助網(wǎng)站變得更加穩(wěn)定了。

這里面還有一個(gè)概念，就是關(guān)于軟件生命周期的成本的概念。實(shí)際上一個(gè)軟件，尤其是互聯(lián)網(wǎng)軟件，從出生到最后，它都是有周期的，從生產(chǎn)出來(lái)到最后下線的整個(gè)生命周期里面，實(shí)際上只有25%的成本是花在研發(fā)上，就是真正的用來(lái)開(kāi)發(fā)軟件，而75%的成本實(shí)際上都是在這后面保障它的穩(wěn)定，以及一些bug的修復(fù)上面，也就是說(shuō)，真正的成本其實(shí)是在后面。

Google有一篇專門的論文去講這個(gè)，所以他們把運(yùn)維叫做SRE。也是因?yàn)檫@篇文章，他們自己研究的原因，就是整個(gè)的生命周期的一個(gè)價(jià)值。這里面除了運(yùn)維或者SRE，還有一個(gè)叫DBA的角色。DBA主要就是數(shù)據(jù)庫(kù)管理員。數(shù)據(jù)庫(kù)管理員是干嘛的，他其實(shí)主要就是相當(dāng)于管了一些最核心的資產(chǎn)，然后只有DBA是可以自由進(jìn)出的，其他的角色都是不可以自由進(jìn)出的。他是幫忙去把一些數(shù)據(jù)庫(kù)備份，包括取數(shù)、維護(hù)都是由DBA來(lái)完成。

IaaS層的廠商相當(dāng)于建了一個(gè)辦公樓，然后又裝修好的工位，能夠給到我們這樣的SaaS公司來(lái)租用，需要多少就租多少。比如說(shuō)有贊租了一層辦公室，然后我們的DBA相當(dāng)于是行政，把一層辦公室再分割成不同的辦公區(qū)域，指派給不同的業(yè)務(wù)單元和工程師來(lái)工作。負(fù)責(zé)辦公室的區(qū)域安全，主要是由DBA和運(yùn)維這兩個(gè)角色來(lái)共同完成。

辦公室當(dāng)然可以是精裝修的，也可以是毛坯的。各有各的好處，這取決于你自己的想法和你自己想要的東西。比如說(shuō)精裝修的好處，就是你馬上就能用，做的更豪華一點(diǎn)，你馬上就能住進(jìn)去，但是它的壞處就是它的自定義程度就會(huì)低一點(diǎn)。做成毛坯的好處，就是你可以按照你自己的想法來(lái)設(shè)計(jì)，但是壞處就是你要花成本、花時(shí)間、花更多的精力去裝修。它的好處也特別明顯，就是通常來(lái)講越大的公司會(huì)采用這種毛坯的方式，因?yàn)樗凑兆约旱南敕ㄈパb修更能適合自己的業(yè)務(wù)。

以上就是我簡(jiǎn)單跟大家介紹一下關(guān)于穩(wěn)定性相關(guān)的一些概念，后面讓我們桃子來(lái)再繼續(xù)下一部分。

剛才崔提到的很多概念，比方說(shuō)可用性、IaaS服務(wù)商、網(wǎng)絡(luò)運(yùn)維、 DBA、數(shù)據(jù)庫(kù)等等。后面第二部分我想講的是，到底整個(gè)影響系統(tǒng)安全跟穩(wěn)定的事件風(fēng)控到底有哪些？

在這部分開(kāi)始前，我想說(shuō)的是，其實(shí)所有人都知道，所有的風(fēng)險(xiǎn)都是伴隨著一定的概率，所謂的風(fēng)控措施，就是將風(fēng)險(xiǎn)的概率降低到一個(gè)可接受的水平，或者說(shuō)當(dāng)風(fēng)險(xiǎn)事件發(fā)生的時(shí)候，把它帶來(lái)的損失控制在一個(gè)可接受的水平。當(dāng)然所有的風(fēng)控措施都是有對(duì)應(yīng)的成本的，成本要么就是錢、要么就是資源，或者說(shuō)從終極上來(lái)說(shuō)，其實(shí)都是錢。

對(duì)于每個(gè)公司來(lái)說(shuō)，什么是你可接受的風(fēng)險(xiǎn)水平，都有自己不同的判斷，對(duì)于降低風(fēng)險(xiǎn)或者說(shuō)降低風(fēng)險(xiǎn)帶來(lái)的損失所要付出的財(cái)務(wù)成本，每家公司意愿和能力都是不一樣的。其實(shí)這才是導(dǎo)致了不同的互聯(lián)網(wǎng)公司，保持系統(tǒng)穩(wěn)定跟安全的能力是不一樣的。

所以，從這個(gè)層面上來(lái)說(shuō)，互聯(lián)網(wǎng)公司保持系統(tǒng)穩(wěn)定跟安全的能力，不僅僅是一個(gè)技術(shù)能力的問(wèn)題，它更多的是一個(gè)態(tài)度和意愿的問(wèn)題。

白話一點(diǎn)來(lái)說(shuō)，不僅僅是你行還是不行，更多的是你愿意還是不愿意。

先說(shuō)第一類，就是我們覺(jué)得這個(gè)行業(yè)里面普遍會(huì)存在第一類影響系統(tǒng)安全跟穩(wěn)定的事件，我把它叫做災(zāi)害或者不可抗力。從性質(zhì)上來(lái)說(shuō)，它是一種被動(dòng)的風(fēng)險(xiǎn)事件。

舉個(gè)例子，比方說(shuō)輕一點(diǎn)的，大家經(jīng)常會(huì)聽(tīng)到說(shuō)某機(jī)房斷電了，或者說(shuō)機(jī)房的光纖被施工單位挖斷了，這都是真實(shí)存在的案例。嚴(yán)重一點(diǎn)的也是比較少發(fā)生的，比方說(shuō)一些機(jī)房所在的區(qū)域遭遇地震了、洪水了、火災(zāi)了，也就是機(jī)房不可抗拒地被團(tuán)滅了。這種就是屬于不可抗的偶發(fā)事件。

這種怎么辦？既然是災(zāi)害，其實(shí)大家都比較經(jīng)常聽(tīng)到就叫“災(zāi)備”，顧名思義就是災(zāi)難的備份。所有的數(shù)據(jù)你一個(gè)不夠，你就得備份兩個(gè)。你如果擔(dān)心備份在一個(gè)機(jī)房里的數(shù)據(jù)掛了，那你就數(shù)據(jù)放在多個(gè)地方。你擔(dān)心多個(gè)機(jī)房都是同一個(gè)云服務(wù)商的，你擔(dān)心云服務(wù)商掛了，那你就有兩個(gè)以上的云服務(wù)商。所以這個(gè)核心的意思就是你不要把雞蛋放在同一個(gè)籃子里，這其實(shí)是行業(yè)比較通行的做法。當(dāng)然不同的層級(jí)的備份，其實(shí)對(duì)應(yīng)的不同的成本。

有贊是怎么做的呢？在IaaS云的層面，主要的服務(wù)商有騰訊云跟Ucloud的兩個(gè)，而且他們兩個(gè)相互備份的。而且我們?cè)诿總€(gè)服務(wù)商的不同的機(jī)房里有備份。也就是退1萬(wàn)步講，即使一個(gè)云服務(wù)商出現(xiàn)問(wèn)題，我們?cè)诩夹g(shù)上都可以自動(dòng)切換到另一個(gè)云服務(wù)上，并且從技術(shù)的角度，從數(shù)據(jù)的角度，我們可以在5分鐘之內(nèi)基本上恢復(fù)95%的流量。在非常極端的情況下，比方說(shuō)我們?cè)庥隽朔浅O限的災(zāi)難的時(shí)候，我們可能最長(zhǎng)的時(shí)間——按我們現(xiàn)在預(yù)估——大概30分鐘可以完全恢復(fù)。

當(dāng)然，不同的公司遭遇這樣的事情的時(shí)候，切換機(jī)房的速度，切換不同云服務(wù)商的速度，預(yù)警的速度，修復(fù)的速度，這個(gè)能力可能就因?yàn)榧夹g(shù)能力有很大差異。

當(dāng)然剛才說(shuō)的更多的是一個(gè)備份的存儲(chǔ)的地方，另外一個(gè)角度就是你備份的方式。一般分兩種方式，一種叫冷備，一種叫熱備，我們現(xiàn)在就是冷備熱備并存的。所謂的熱備份就是數(shù)據(jù)的實(shí)時(shí)備份，也就是說(shuō)你一邊生產(chǎn)數(shù)據(jù)一邊就在備份數(shù)據(jù)了。冷備份是指數(shù)據(jù)的離線備份，也就是說(shuō)可能每天或者說(shuō)定期的某一個(gè)時(shí)間段去備份。

其實(shí)所有的備份想要抵抗的都是一個(gè)災(zāi)害發(fā)生的一個(gè)概率。大家說(shuō)的不可抗力，其實(shí)在很多人看來(lái)它是一個(gè)小概率事件，他確實(shí)也是一個(gè)小概率事件，所以并不是所有的互聯(lián)網(wǎng)公司都做了災(zāi)備的，有些人可能覺(jué)得心存僥幸，可能覺(jué)得這種事情反正發(fā)生的概率不大，我可能就是99%或者說(shuō)不會(huì)發(fā)生災(zāi)難的那一部分，或者說(shuō)有些可能會(huì)覺(jué)得災(zāi)備的成本太大了，財(cái)務(wù)上覺(jué)得不劃算，或者說(shuō)覺(jué)得不想做，都有各種各樣的原因。

從成本上簡(jiǎn)單的算，比方，1個(gè)備份的成本是1，10個(gè)備份的成本就是10，有三個(gè)云服務(wù)商可能備份的成本就是30。所以成本的投入跟安全系數(shù)是相對(duì)相關(guān)的，當(dāng)然技術(shù)能力的提升可以去優(yōu)化成本跟備份數(shù)之間的線性的關(guān)系。無(wú)論如何，技術(shù)是有成本的；想做好，就一定要重視，要愿意花成本。這就是我想說(shuō)的第一部分，就是災(zāi)難和災(zāi)備對(duì)應(yīng)的系統(tǒng)穩(wěn)定、安全。

第二類，其實(shí)大家也可能經(jīng)常會(huì)聽(tīng)到，我們把它歸類為網(wǎng)絡(luò)攻擊。第一類剛才說(shuō)的災(zāi)備其實(shí)是一個(gè)被動(dòng)的風(fēng)險(xiǎn)事件，網(wǎng)絡(luò)攻擊就是一個(gè)主動(dòng)的風(fēng)險(xiǎn)事件。

比方說(shuō)，最常見(jiàn)的網(wǎng)絡(luò)攻擊，就是我前面提到的叫DDoS攻擊，DDoS是分布式阻斷服務(wù)的英文簡(jiǎn)稱，DDoS利用攻擊器控制大量機(jī)器來(lái)達(dá)到妨礙正常使用者使用服務(wù)的目的。

相對(duì)用白話一點(diǎn)來(lái)翻譯一下，比如說(shuō)一個(gè)互聯(lián)網(wǎng)公司的系統(tǒng)服務(wù)是一個(gè)城市的交通網(wǎng)絡(luò)，正常的客戶的需求就是在這個(gè)城市里正常通行。而DDoS就是人為的在各種交通要道，比方說(shuō)立交橋、高架、隧道、用車、設(shè)置路障，人為的造成了交通堵塞，甚至于交通癱瘓，這種時(shí)候正常出行的人就沒(méi)有辦法正常通行了。基于這個(gè)特點(diǎn)，DDoS有兩個(gè)特點(diǎn)，第一它一定是人為的，第二攻擊方式有成本的，因?yàn)槿绻阋斐山煌ǘ氯阈枰{(diào)用大量的車，租車是要錢的，或者買車是要錢的。所以DDoS就是花自己的錢讓別人不爽。

我們偶爾也會(huì)被DDoS，這事很煩人，攻擊方要花費(fèi)成本，我們也需要花費(fèi)成本來(lái)應(yīng)對(duì)。

這是網(wǎng)絡(luò)攻擊的一種，我們估計(jì)還有另外一種，拖庫(kù)。

用白話一點(diǎn)來(lái)說(shuō)，就是找黑客溜進(jìn)你的技術(shù)系統(tǒng)里拿走或者復(fù)制走他想要的東西，一般的就是數(shù)據(jù)。大家可能經(jīng)常在新聞里聽(tīng)到的，就是某某公司用戶數(shù)據(jù)泄露或者什么酒店的入住記錄被泄露之類的。人家拖走或者復(fù)制走的數(shù)據(jù)一定是有它的價(jià)值的。

這種怎么來(lái)防護(hù)呢？最基礎(chǔ)的就生產(chǎn)網(wǎng)絡(luò)跟辦公網(wǎng)絡(luò)完全隔離，測(cè)試網(wǎng)絡(luò)跟真實(shí)網(wǎng)絡(luò)的確認(rèn)，分別部署各種各樣的堡壘。比方說(shuō)你在自己家一定防小偷來(lái)入室盜竊，無(wú)非就是在家里裝防盜窗、防盜門，家里有院子建圍墻，圍墻上要不要加個(gè)電網(wǎng)？你要不要用鋼板來(lái)加固你的墻體？你要不要裝紅外報(bào)警裝置的？你要不要備一些武器來(lái)對(duì)抗武器入侵？當(dāng)然這些層面都還是在我們說(shuō)的防御的層面，就是防它怎么進(jìn)來(lái)。

除了這個(gè)之外，對(duì)抗這些主動(dòng)的入侵，我們還有一種方式，我們會(huì)組織各種各樣的模擬攻擊，有點(diǎn)像軍事演習(xí)。行業(yè)內(nèi)也會(huì)做通用的兩種方式，比方說(shuō)有贊自己每個(gè)月都會(huì)組織內(nèi)部的團(tuán)隊(duì)進(jìn)行模擬的網(wǎng)絡(luò)安全滲透，說(shuō)白了就是讓我們自己內(nèi)部相對(duì)比較牛的工程師來(lái)攻擊我們自己的網(wǎng)絡(luò)，當(dāng)然是在測(cè)試環(huán)境下，以己之矛攻己之盾。目的不是為了測(cè)試矛行不行，是測(cè)試盾行不行。希望看到的結(jié)果就是攻擊的矛都折了，盾還是完好無(wú)恙。

還有一種是會(huì)請(qǐng)第三方叫安全眾測(cè)。我們每個(gè)季度都會(huì)做安全眾測(cè)。我們會(huì)邀請(qǐng)白帽子來(lái)模擬攻擊我們，會(huì)按照他們找到的漏洞來(lái)優(yōu)化升級(jí)我們的系統(tǒng)。這兩種都是像用極端真實(shí)的軍事演習(xí)來(lái)模擬戰(zhàn)斗能力來(lái)提高防護(hù)能力。

有些人可能會(huì)問(wèn)說(shuō)為什么要持續(xù)的這么頻繁的去做。我經(jīng)常問(wèn)我們的一些比較資深的工程師一個(gè)問(wèn)題，就是工程師的技術(shù)能力有沒(méi)有極限，或者說(shuō)有沒(méi)有天花板？他們告訴我的是工程師的技術(shù)能力是沒(méi)有極限的。雖然是一句玩笑話，那代表的就是一種趨勢(shì)，就是技術(shù)能力它是隨著時(shí)間、科學(xué)和科技進(jìn)步的，安全層面需要魔高一丈道高一尺。

今天你覺(jué)得自己有一個(gè)相對(duì)安全的防護(hù)能力，不代表明天，后天，明年這個(gè)時(shí)候還是。所以如果你不持續(xù)去迭代、去優(yōu)化、去升級(jí)你的防護(hù)能力，今天好的防護(hù)水平在下一個(gè)時(shí)期內(nèi)可能就是差的。

當(dāng)然對(duì)于系統(tǒng)安全來(lái)講，最最關(guān)鍵的是，我們堅(jiān)定認(rèn)為，這個(gè)東西不是說(shuō)天天靠誰(shuí)在外面喊就喊出來(lái)系統(tǒng)安全的，基本上系統(tǒng)安全一定是靠做出來(lái)或者打仗打出來(lái)的。

我們?cè)谙到y(tǒng)安全跟穩(wěn)定方面還會(huì)去邀請(qǐng)很多的國(guó)際頂尖去做一些國(guó)際領(lǐng)先的認(rèn)證，我先贅述一堆術(shù)語(yǔ)。有贊主體的SaaS業(yè)務(wù)擁有ISO27001信息安全管理體系認(rèn)證、CSA C*STAR云計(jì)算安全國(guó)際認(rèn)證、信息安全等級(jí)保護(hù)（三級(jí)）等認(rèn)證；持牌公司“高匯通”的支付業(yè)務(wù)通過(guò) UPDSS銀聯(lián)卡支付信息安全管理標(biāo)準(zhǔn)，信息安全等級(jí)保護(hù)三級(jí) ，監(jiān)督保護(hù)級(jí)等認(rèn)證。這些認(rèn)證的證書(shū)，我們一直公示在有贊官網(wǎng)的“權(quán)威認(rèn)證”頁(yè)面。

以上一堆認(rèn)證，我用一句話來(lái)幫助大家理解，就是有贊，今天我們的安全防護(hù)水平是銀行級(jí)別。

前面說(shuō)了兩類安全事件，第三類我想說(shuō)一下就是服務(wù)器的瞬時(shí)峰值的超載，這一類其實(shí)是常規(guī)原因?qū)е碌牟环€(wěn)定。

舉個(gè)例子，大家都比較熟的雙11，或者說(shuō)某個(gè)商家在做大促銷或者做活動(dòng)的期間，它的流量比較高，就可能會(huì)出現(xiàn)這樣的情況。就是瞬時(shí)的使用的峰值超過(guò)了這個(gè)系統(tǒng)能夠承載的最大值。

還是打個(gè)比方來(lái)說(shuō)，就是一條高速公路平時(shí)可能都不太堵車，一旦放長(zhǎng)假了，大家都涌過(guò)去，尤其在某一個(gè)時(shí)點(diǎn)，就可能造成交通堵塞。平常大家上下班也會(huì)堵車，應(yīng)對(duì)這個(gè)情況其實(shí)需要去做的就是不斷優(yōu)化系統(tǒng)性能。

今天我們?cè)谧龅氖虑槭牵咚俟飞闲旭偮愤€是那條路，但是車突然多了起來(lái)，流量突然多起來(lái)的時(shí)候，我們可以通過(guò)優(yōu)化來(lái)保證每輛車都快速通行，比方說(shuō)我們可以優(yōu)化信號(hào)燈，優(yōu)化交通要道的通信能力，去擴(kuò)建車道，去優(yōu)化路面之類。

舉個(gè)實(shí)際的例子，去年2019年雙11的時(shí)候，我們的訂單跟訪問(wèn)的瀏覽量和訪問(wèn)的峰值差不多是平常的10倍以上，但是我們整個(gè)系統(tǒng)沒(méi)有任何的波動(dòng)。雙11值班的人只是在值班的狀態(tài)，基本上沒(méi)有投入戰(zhàn)斗。我們?nèi)ツ曜龅囊粋€(gè)事情是動(dòng)態(tài)的去調(diào)整了我們系統(tǒng)的峰值。

這里會(huì)涉及到一個(gè)跟財(cái)務(wù)相關(guān)的問(wèn)題，因?yàn)槔碚撋蟻?lái)說(shuō)，你想把你的峰值，你的承載能力調(diào)到無(wú)限大，也可以，只要付錢。但是當(dāng)峰值過(guò)去的時(shí)候，你平時(shí)流量沒(méi)有那么多的時(shí)候，如果你還維持在峰值上其實(shí)是一種浪費(fèi)。所以這里存在一個(gè)平衡，就是你到底在什么程度上去滿足峰值的需求，同時(shí)又能解決成本的問(wèn)題。

有贊可以去做到的是動(dòng)態(tài)的調(diào)整峰值。基本上是在雙11前一周就開(kāi)始動(dòng)態(tài)調(diào)整我們系統(tǒng)的承載能力峰值來(lái)迎接峰值。我們做到的是既滿足了系統(tǒng)峰值的需要，又實(shí)現(xiàn)了滿足這個(gè)業(yè)務(wù)需求的成本不過(guò)高。

從技術(shù)性能上，有贊系統(tǒng)支持每秒6萬(wàn)筆交易，也就是同時(shí)6萬(wàn)人在同一秒下單支付也沒(méi)有任何問(wèn)題，頁(yè)面打開(kāi)僅需1秒。有贊云開(kāi)放接口數(shù)量1000+，日調(diào)用量超5億，吞吐自如。

除了前三個(gè)之外，第四類風(fēng)險(xiǎn)或者說(shuō)是影響系統(tǒng)安全跟穩(wěn)定的因素，我們把它歸類為內(nèi)部管理，它應(yīng)該是一種管理因素，或者說(shuō)人的因素，它包括人為的操作失誤、操作錯(cuò)誤，或者說(shuō)人為主觀故意的破壞，比如說(shuō)“刪庫(kù)”，就數(shù)據(jù)庫(kù)被刪了。

所有的代碼都是人寫的，所有的系統(tǒng)也都是需要人維護(hù)，有人的地方就有風(fēng)險(xiǎn)。

大家可能會(huì)問(wèn)說(shuō)，這是不是無(wú)解？其實(shí)也不是，尤其在資本市場(chǎng)朋友一定很熟悉，一個(gè)非常簡(jiǎn)單也經(jīng)常聽(tīng)到的一個(gè)詞，就是內(nèi)控。

他在做的其實(shí)是什么？比方說(shuō)流程管理，比方說(shuō)前面崔提到的數(shù)據(jù)管理工程師、數(shù)據(jù)管理員、數(shù)據(jù)庫(kù)管理員和運(yùn)維管理員，他就需要角色是分離的。有些公司它為了節(jié)省成本，它可能讓一個(gè)人干多個(gè)角色的活，看起來(lái)好像省了幾個(gè)人的成本，但其實(shí)大大增加了這種風(fēng)險(xiǎn)。

再比如權(quán)限的隔離，你生產(chǎn)用的數(shù)據(jù)庫(kù)和剛剛提到的備份用的數(shù)據(jù)庫(kù)，就應(yīng)該在不同的DBA手上管理。如果一個(gè)DBA管理所有的數(shù)據(jù)庫(kù)，你備份了等于白備份。這就像每一家公司在銀行賬戶需要財(cái)務(wù)打款的時(shí)候，一定需要兩個(gè)以上的UKey才能完成支付是一個(gè)道理。

在有贊，CTO崔、CEO白鴉都沒(méi)有權(quán)限，可以用一臺(tái)電腦、一套賬號(hào)、一套密碼完成刪庫(kù)的動(dòng)作，是做不到的。

再退一步講，為了防止這種風(fēng)險(xiǎn)，能不能禁止所有人去刪除數(shù)據(jù)庫(kù)，這其實(shí)也是行不通的。有點(diǎn)像一個(gè)廚師做菜，他需要菜刀，菜刀有可能會(huì)傷害到旁邊的人，但是你不能說(shuō)因?yàn)椴说队锌赡軅Φ脚赃吶私箯N師用菜刀，對(duì)吧？

所以這個(gè)時(shí)候這里的防控的措施就是萬(wàn)一出現(xiàn)菜刀傷人的事件，我們可以怎么去做？萬(wàn)一被刪庫(kù)，其實(shí)很多互聯(lián)網(wǎng)公司都經(jīng)歷過(guò)，怎么辦呢？

你這個(gè)時(shí)候要做的就是你找到你的災(zāi)備機(jī)房的備份，去快速的去啟用去恢復(fù)你的備份的數(shù)據(jù)，當(dāng)然備份恢復(fù)的時(shí)間跟你的技術(shù)能力跟你的數(shù)據(jù)存儲(chǔ)量都有關(guān)系，但通常來(lái)說(shuō)差別基本上在分鐘級(jí)別或者小時(shí)級(jí)別，最多幾個(gè)小時(shí)級(jí)別，幾天都還恢復(fù)不了是不可思議的，除非還有更多沒(méi)有公開(kāi)的信息。

還有很多的措施，來(lái)防止這些所謂的人為管理的錯(cuò)誤。

比方說(shuō)，機(jī)房的部署，一定需要有嚴(yán)格的訪問(wèn)控制，員工的授權(quán)一定需要分角色。還有有一個(gè)在產(chǎn)研團(tuán)隊(duì)的授權(quán)原則，叫最小授權(quán)原則。什么叫最小授權(quán)原則？就是產(chǎn)研團(tuán)隊(duì)授予一個(gè)員工的權(quán)限，一定不能大于他工作職責(zé)的需要。

比方說(shuō)，還有各種各樣在測(cè)試環(huán)境里需要經(jīng)常演習(xí)各種人為操作，還不單是攻擊，還要去演習(xí)各種人為操作造成的風(fēng)險(xiǎn)事件，團(tuán)隊(duì)怎么去應(yīng)對(duì)。因?yàn)槟悴荒鼙ＷC每個(gè)人不失誤，但是當(dāng)出現(xiàn)失誤或者造成一定的后果的時(shí)候，團(tuán)隊(duì)里每個(gè)角色他知道該干嘛，他應(yīng)該聽(tīng)誰(shuí)的指揮，各種各樣的工作先后順序應(yīng)該是什么，會(huì)不會(huì)產(chǎn)生二次災(zāi)難？這個(gè)時(shí)候如果沒(méi)有災(zāi)害演練，沒(méi)有預(yù)演，沒(méi)有預(yù)案，其實(shí)真的出現(xiàn)問(wèn)題的時(shí)候，可能邏輯上技術(shù)上好像什么都可以做，但對(duì)于團(tuán)隊(duì)來(lái)說(shuō)，可能他們已經(jīng)完全失去了戰(zhàn)斗能力。

當(dāng)然最基礎(chǔ)的還有一些，比方說(shuō)，主動(dòng)的預(yù)警跟監(jiān)測(cè)，我覺(jué)得這些是行業(yè)最基礎(chǔ)的，比方說(shuō)你進(jìn)入生產(chǎn)網(wǎng)絡(luò)需要有最基本的操作日志，你必須得做到追溯什么人，什么時(shí)候做了什么事情，一旦有異常的操作系統(tǒng)就要自動(dòng)響應(yīng)。我們運(yùn)維團(tuán)隊(duì)，他們基本上都是7×24小時(shí)在線。多說(shuō)一句，互聯(lián)網(wǎng)行業(yè)運(yùn)維團(tuán)隊(duì)的工作是非常辛苦的。整個(gè)團(tuán)隊(duì)要時(shí)時(shí)刻刻保持在戰(zhàn)備和戰(zhàn)斗的狀態(tài)。

還有一類第五類比較特殊，尤其在我們這樣的交易類的SaaS公司里面特別重要。

因?yàn)樯碳以谟糜匈澫到y(tǒng)，會(huì)做各種各樣的在線營(yíng)銷活動(dòng)，發(fā)個(gè)優(yōu)惠券、發(fā)個(gè)代金券、發(fā)個(gè)優(yōu)惠卡，而所有的營(yíng)銷活動(dòng)它都是有實(shí)際價(jià)值的，都是商家計(jì)劃好的實(shí)實(shí)在在的營(yíng)銷預(yù)算。對(duì)商家來(lái)說(shuō)，它的原意是希望把自己的一些促銷讓利給消費(fèi)者，由此來(lái)帶動(dòng)消費(fèi)者的消費(fèi)意愿，或者擴(kuò)大整個(gè)社交的傳播。

但始終在這個(gè)行業(yè)里面都會(huì)有各種叫黑產(chǎn)和灰產(chǎn)。黑色產(chǎn)業(yè)的人，他們就像禿鷲一樣，永遠(yuǎn)盯著全網(wǎng)各種各樣的營(yíng)銷活動(dòng)，有組織有技術(shù)的盯著各種各樣的營(yíng)銷活動(dòng)，用技術(shù)的手段來(lái)薅羊毛。把各種各樣的營(yíng)銷活動(dòng)利益最終流入了這些黑產(chǎn)跟灰產(chǎn)的口袋里。

這個(gè)問(wèn)題涉及的是商家的資產(chǎn)安全，對(duì)于有贊來(lái)說(shuō)，我們叫做反作弊。有贊過(guò)去在幫助商家反作弊上也投入了非常多的精力跟力量。雖然有時(shí)候在這些活動(dòng)上的保護(hù)和防控的措施，商家都不一定能感知到，但是我們希望去保證的，除了系統(tǒng)安全，還保證商家的錢用在刀刃上，而不是被這些技術(shù)性的、組織性的、薅羊毛的人薅走。

前面這里大概說(shuō)了五大類跟安全跟穩(wěn)定相關(guān)的風(fēng)險(xiǎn)點(diǎn)以及常用的一些措施。然后第三部分我想請(qǐng)崔來(lái)跟大家分享一下，數(shù)據(jù)庫(kù)被刪到底意味著什么？

因?yàn)閷?duì)大家來(lái)說(shuō)，可能覺(jué)得好像說(shuō)數(shù)據(jù)被刪了沒(méi)什么概念。所以后面交給崔來(lái)跟大家分享一下。

說(shuō)到刪數(shù)據(jù)庫(kù)，我先跟大家解釋一下，互聯(lián)網(wǎng)行業(yè)數(shù)據(jù)大概分為幾部分。

通常來(lái)講數(shù)據(jù)分為兩部分來(lái)存儲(chǔ)，一部分就是我們叫在線的實(shí)時(shí)數(shù)據(jù)庫(kù)，通常意義上大家理解的刪庫(kù)的部分。還有一部分的數(shù)據(jù)是存在我們叫離線數(shù)據(jù)系統(tǒng)，也就是大家通常認(rèn)知上大數(shù)據(jù)的系統(tǒng)。

這兩部分?jǐn)?shù)據(jù)有什么差異呢？大數(shù)據(jù)肯定是會(huì)包含實(shí)時(shí)的數(shù)據(jù)，但是大數(shù)據(jù)的數(shù)據(jù)會(huì)遠(yuǎn)遠(yuǎn)大于實(shí)時(shí)的數(shù)據(jù)。以有贊為例，實(shí)時(shí)數(shù)據(jù)大概只占到整個(gè)數(shù)據(jù)體量的5%~7%比例，越大體量的公司比例可能會(huì)越低。

為什么會(huì)這樣？比如剛剛前面桃子講到的關(guān)于交易訂單，比如說(shuō)你買一個(gè)東西，你下了一個(gè)訂單，這個(gè)訂單會(huì)存在實(shí)時(shí)的數(shù)據(jù)庫(kù)系統(tǒng)里面。但是在下單之前，你可能瀏覽了100次，可能瀏覽了100頁(yè)，每一頁(yè)上面可能還會(huì)點(diǎn)擊了，在每一頁(yè)上面你還點(diǎn)了三次加在一起就有300次的行為數(shù)據(jù)，數(shù)據(jù)量遠(yuǎn)遠(yuǎn)大于你剛剛下的那一單的數(shù)據(jù)量。

所以大數(shù)據(jù)里面有非常多的關(guān)于行為數(shù)據(jù)，更多明細(xì)的一些數(shù)據(jù)，只有通過(guò)這些數(shù)據(jù)可以反推出來(lái)一個(gè)消費(fèi)者怎么買到這個(gè)單，從而可以去優(yōu)化提高購(gòu)買的轉(zhuǎn)化率，提高營(yíng)銷的效率，諸如此類的一些東西，這些都在大數(shù)據(jù)的這一層去完成的。

如果是實(shí)時(shí)的那部分?jǐn)?shù)據(jù)庫(kù)刪了，它被刪的那一刻開(kāi)始，接下來(lái)在恢復(fù)之前，它都不能交易了。還有你的訂單被刪了，用戶有損失、商家有損失之外，實(shí)際上它帶來(lái)最大的損失是履約的損失以及消費(fèi)者的不信任。

這具體會(huì)表現(xiàn)在什么？比如說(shuō)你這條訂單刪了，但是你錢已經(jīng)付了，對(duì)吧？但是你再去找這個(gè)商家說(shuō)我這個(gè)錢付了，那你這東西給不給我？商家又沒(méi)有看到訂單，你說(shuō)他到底給還是不給，不給得罪消費(fèi)者，給他可能又虧本了。

進(jìn)一步說(shuō)，你下了一筆訂單應(yīng)該有20個(gè)積分，然后這個(gè)積分給還是不給，以及這一系列的這些東西，這都會(huì)出現(xiàn)很大的風(fēng)險(xiǎn)。所以在系統(tǒng)發(fā)生宕機(jī)故障徹底混亂的時(shí)候，商家和消費(fèi)者之間會(huì)的矛盾會(huì)集中爆發(fā)，這就是我們認(rèn)為的叫履約風(fēng)險(xiǎn)。就是他消費(fèi)者下了單，但是商家沒(méi)有辦法進(jìn)行履約的，整個(gè)活動(dòng)交付，整個(gè)的后臺(tái)的邏輯都亂。消費(fèi)者跟商家扯皮，不信任商家，就是要商家的命。

還有一個(gè)就是大數(shù)據(jù)的這一部分，大數(shù)據(jù)這一部分如果出現(xiàn)了問(wèn)題的話，它帶來(lái)的不僅僅是一個(gè)商家履約不成功的后果，它會(huì)導(dǎo)致一系列的后臺(tái)的問(wèn)題。

現(xiàn)在大家都在講說(shuō)大數(shù)據(jù)、人工智能、AI，所有的東西其實(shí)都是以數(shù)據(jù)明細(xì)為起點(diǎn)的。比如說(shuō)像我們要的精準(zhǔn)營(yíng)銷，推薦，針對(duì)不同人群發(fā)送不同的優(yōu)惠券，都是要靠消費(fèi)者每一次點(diǎn)擊的行為數(shù)據(jù)，通過(guò)一種機(jī)器算法來(lái)識(shí)別的。丟掉的每一條數(shù)據(jù)都會(huì)導(dǎo)致識(shí)別的準(zhǔn)確度會(huì)下降，如果你全丟完了，那就沒(méi)有什么人工智能和大數(shù)據(jù)精準(zhǔn)營(yíng)銷可言了。所以對(duì)于一家公司，最重要的可能就是這個(gè)部分。

當(dāng)然商家這一端肯定也會(huì)面臨一些損失。因?yàn)閺乃麆h庫(kù)的那一刻開(kāi)始的話，他后面所有的生意就中斷了。尤其是像現(xiàn)在疫情期間，大家線下不能做生意，開(kāi)始把生意往網(wǎng)上轉(zhuǎn)的時(shí)候，基本上像我們的一些商家，一天有幾百萬(wàn)的交易額。

有贊2019年前三季度GMV是380億，差不多平均一天1.4億。實(shí)際上在疫情期間，一些傳統(tǒng)商家轉(zhuǎn)到線上來(lái)，實(shí)際上可能還會(huì)比他之前要更好一些。所以疫情以及電商的這種模式，實(shí)際上給商人們開(kāi)了一個(gè)窗戶。然后現(xiàn)在很多地方很多人窗戶又被關(guān)上，所以我們自己也確實(shí)比較憂慮這些商家的生存狀況。他們的線上線下都休克了，這也是我們昨天為什么有在業(yè)務(wù)層面上發(fā)了一個(gè)公告的原因。希望能幫上忙。

既然有損失，作為一家公司肯定是要對(duì)于商家的損失不能視而不見(jiàn)，所以肯定會(huì)牽扯到一些賠付。

有贊的核心服務(wù)，我們都給予102.4倍的服務(wù)期的補(bǔ)償。如果不穩(wěn)定一分鐘補(bǔ)償就是102.4分鐘。通常來(lái)講，這個(gè)行業(yè)里面的補(bǔ)償是超過(guò)某一個(gè)期限，比如說(shuō)大家去看幾乎所有的云廠商，他們通常的算法是這樣的，就是說(shuō)比如說(shuō)這個(gè)月沒(méi)滿足99%，沒(méi)有滿足三個(gè)9，四個(gè)9就是他承諾的期限，然后從它沒(méi)滿足的那一刻開(kāi)始，他給你算錢。

比如說(shuō)我承諾你四個(gè)9，也就是說(shuō)我承諾你一年宕機(jī)不超過(guò)50分鐘，在50分鐘之內(nèi)我是不會(huì)賠的。但是有贊只要宕機(jī)一分鐘都是會(huì)補(bǔ)償?shù)模詫?shí)際上是我們按照承諾的是按照100%的承諾補(bǔ)償。

所以不穩(wěn)定一天實(shí)際上就會(huì)補(bǔ)償商家102.4天，按照我們現(xiàn)在的客單價(jià)來(lái)說(shuō)，相當(dāng)于大概3500塊錢。如果你宕機(jī)一天影響1萬(wàn)個(gè)商家，那就是補(bǔ)償了3500萬(wàn)，如果是10萬(wàn)個(gè)商家就一天就補(bǔ)償了3.5個(gè)億。如果不穩(wěn)定五天，這個(gè)賬，沒(méi)敢算。

2017年11月27日，為了讓“系統(tǒng)穩(wěn)定高于一切”不斷地做到極致。有贊推出了“護(hù)航計(jì)劃”，并正式宣布：有贊微商城如果出現(xiàn)系統(tǒng)不穩(wěn)定影響了客戶的生意，就按照不可用時(shí)間給予對(duì)應(yīng) 102.4 倍的補(bǔ)償。這是整個(gè)信息服務(wù)行業(yè)里沒(méi)有的最最高規(guī)格的“承諾”。2020年1月1日，有贊零售、有贊美業(yè)也正式加入“有贊護(hù)航”。有贊因技術(shù)故障對(duì)商家的每一次影響，我們都公開(kāi)、自動(dòng)、動(dòng)態(tài)顯示在有贊護(hù)航的官網(wǎng)上，符合護(hù)航補(bǔ)償界定范圍的，都有護(hù)航補(bǔ)償公告。因?yàn)橥该鳎孕湃巍Ｒ驗(yàn)樾湃危猿袚?dān)。

也可以一并說(shuō)說(shuō)騰訊云、百度云服務(wù)不可用的賠償標(biāo)準(zhǔn)。

騰訊云是低于99.9%但等于或高于99%，賠償相當(dāng)于月度服務(wù)費(fèi)10%的代金券；低于99%但等于或高于95%，賠償相當(dāng)于月度服務(wù)費(fèi)25%的代金券；低于95%，賠償相當(dāng)于月度服務(wù)費(fèi)50%的代金券。而百度云是低于99.99%但是等于或高于99%，賠償相當(dāng)于月度服務(wù)費(fèi)10%的代金券；低于99%但等于或者高于95%，賠償相當(dāng)于月度服務(wù)費(fèi)25%的代金券；低于95%，賠償相當(dāng)于月度服務(wù)費(fèi)100%的代金券。

當(dāng)然，騰訊云和百度云這類IaaS和有贊這樣的SaaS還是有些不一樣。有贊在SaaS行業(yè)3年前就公布了護(hù)航計(jì)劃，堅(jiān)持影響做生意就補(bǔ)償，對(duì)自己的嚴(yán)格苛刻，都是源于要讓商家安全、穩(wěn)定、放心地做生意。

這個(gè)就是我們我簡(jiǎn)單介紹了一下關(guān)于刪庫(kù)以及數(shù)據(jù)的基本的一些東西，希望大家能夠理解。

最后其實(shí)我還想就回應(yīng)一個(gè)問(wèn)題，很多人也比較關(guān)心：發(fā)生這樣的事件，大家問(wèn)我說(shuō)公有云是不是不安全，是不是應(yīng)該整個(gè)行業(yè)或者說(shuō)整個(gè)社會(huì)就應(yīng)該回到私有云？

其實(shí)這個(gè)問(wèn)題的回答特別簡(jiǎn)單，就是所有在公有云上遇到的風(fēng)險(xiǎn)和問(wèn)題，在私有云上一模一樣的會(huì)遇到。因?yàn)樗械募軜?gòu)、協(xié)作方式，生產(chǎn)流都是一模一樣的。所以，在公有云層面遇到的問(wèn)題，在私有云層面一模一樣的會(huì)遇到，但是在公有云層面，有更多專業(yè)人、專業(yè)的角色一起去解決問(wèn)題，去維護(hù)穩(wěn)定和安全，私有云的層面只有自己的IT團(tuán)隊(duì)來(lái)解決問(wèn)題，而絕大部分想做私有云的客戶沒(méi)有一定的技術(shù)能力，更別提一些安全防護(hù)的能力，要有也是需要極高的代價(jià)（人工）。所以從行業(yè)的角度，我覺(jué)得大家完全不用擔(dān)心這個(gè)問(wèn)題。

還想重復(fù)一下最前面說(shuō)的幾句話。

所有的風(fēng)險(xiǎn)都是伴隨著一定的概率的，風(fēng)控措施就是將風(fēng)險(xiǎn)概率降低到可接受的水平，或者說(shuō)將風(fēng)險(xiǎn)事件帶來(lái)的損失控制在可接受的水平。當(dāng)然所有的措施都是有成本的，也就是錢，每個(gè)公司愿意接受什么樣的風(fēng)險(xiǎn)水平，愿意接受風(fēng)險(xiǎn)帶來(lái)的損失的程度都是不一樣的，這就導(dǎo)致了每個(gè)公司保障系統(tǒng)穩(wěn)定跟安全能力是不一樣的。所以互聯(lián)網(wǎng)公司系統(tǒng)穩(wěn)定安全不僅僅是你行不行的問(wèn)題，更多的是你愿不愿意的問(wèn)題。

過(guò)去我經(jīng)常也會(huì)跟大家溝通的時(shí)候會(huì)聊到說(shuō)，我覺(jué)得有贊是一家產(chǎn)品和技術(shù)主導(dǎo)的公司，我們的技術(shù)非常好。過(guò)去大家可能沒(méi)什么感覺(jué)，你們老說(shuō)自己好，哪里好？

還是打個(gè)比方，比方說(shuō)我們?cè)诮ǚ孔樱到y(tǒng)的穩(wěn)定跟安全就像房子的地基，這個(gè)地基其實(shí)大家都是看不到的，大家看到的是說(shuō)樓有多高，這樓裝修的多漂亮，大家不知道這個(gè)地基有多深，但只有在坍塌的時(shí)候知道。所以其實(shí)只有兩個(gè)人知道，就是造房子的人和災(zāi)難知道。

所以，我們始終是把系統(tǒng)的穩(wěn)定跟安全放在第一位，這是我們有贊的產(chǎn)研團(tuán)隊(duì)最核心的OKR。在有贊的內(nèi)部，我們會(huì)把各種各樣的業(yè)務(wù)項(xiàng)目用P1、P2、P3來(lái)分優(yōu)先級(jí)，數(shù)字越小就代表這個(gè)項(xiàng)目或者說(shuō)這個(gè)事情重要性水平越高。只有兩類事情，無(wú)論是什么時(shí)候永遠(yuǎn)是P0級(jí)別的，就是我們的系統(tǒng)安全事件和我們的資金安全事件。

今天其實(shí)過(guò)去差不多快一個(gè)小時(shí)的時(shí)間，跟大家交流的更多的是系統(tǒng)安全的問(wèn)題，關(guān)于資金相關(guān)的問(wèn)題，我覺(jué)得今天可能沒(méi)有時(shí)間跟大家分享，如果大家有興趣，我們可以下次再跟大家分享。

在有贊團(tuán)隊(duì)構(gòu)成上，過(guò)去和現(xiàn)在，包括未來(lái)也一直會(huì)是，我們的產(chǎn)研的團(tuán)隊(duì)一直保持在占總?cè)藬?shù)的一半以上。其實(shí)大家從我們發(fā)布的各種各樣的財(cái)報(bào)和路演資料里面都能看到，我們的目的和希望就是以足夠充足的研發(fā)能力來(lái)保證有贊持續(xù)的研發(fā)迭代能力和安全防護(hù)能力。

今天的最后我想再分享給大家一個(gè)故事，這個(gè)故事就是霸王龍的故事，作為今天的結(jié)尾。

很多人都知道霸王龍是有贊的吉祥物，昨天我們?cè)诮o大家發(fā)的ConCall的邀請(qǐng)函里面也有一個(gè)霸王龍的水印的圖像，很多人可能不理解，為什么你們一個(gè)IT公司的吉祥物是一個(gè)霸王龍。

在2014年的時(shí)候，那時(shí)候有贊還不到兩歲，我們的系統(tǒng)還不很穩(wěn)定。不可用的時(shí)候，我們的后臺(tái)顯示頁(yè)面就有一只霸王龍。那時(shí)候我們和我們的商家都知道，一旦頁(yè)面出現(xiàn)霸王龍就代表有贊的系統(tǒng)服務(wù)不可用，所以那個(gè)時(shí)候只要有商家打電話給我們，或者在微信群里艾特我們說(shuō)你們霸王龍了，你們趕緊處理，我們就特別緊張，當(dāng)然也特別不安。

所以，霸王龍從過(guò)去的歷史上來(lái)說(shuō)，對(duì)有贊來(lái)說(shuō)，它代表的就是“不穩(wěn)定”，代表的就是“不可用”，它其實(shí)代表了一種恥辱。

我們?yōu)榱颂嵝堰^(guò)去的、現(xiàn)在的、未來(lái)的所有有贊人，時(shí)時(shí)刻刻記住這個(gè)恥辱，我相信我們是可能是全世界把一個(gè)恥辱變成吉祥物的，我們把霸王龍變成了我們的吉祥物，我們把它放在我們辦公室的每個(gè)樓層，把它做成各種各樣的鑰匙扣、工牌，然后把它貼在墻上，放在所有大家能想到的能看到的地方。我們就是為了時(shí)時(shí)刻刻提醒大家，系統(tǒng)安全跟穩(wěn)定是互聯(lián)網(wǎng)公司、是有贊的基石，也是永遠(yuǎn)是第一優(yōu)先級(jí)的。

我們認(rèn)為，在互聯(lián)網(wǎng)行業(yè)、尤其是SaaS行業(yè)，系統(tǒng)的安全和穩(wěn)定就像一幢大樓的地基，地基不穩(wěn)、大樓遲早坍塌。但是地基是看不見(jiàn)的，牢不牢只有自己知道，只有災(zāi)難知道。

為此，我們始終堅(jiān)持“系統(tǒng)穩(wěn)定高于一切”，為商家保駕護(hù)航，幫助每一位重視產(chǎn)品和服務(wù)的商家成功。

我覺(jué)得我們今天的分享時(shí)間也差不多，我們今天分享就到這里，大家如果有更多的問(wèn)題，隨時(shí)歡迎大家聯(lián)系我們的IR團(tuán)隊(duì)。她們的聯(lián)系方式，她們的郵箱在邀請(qǐng)函里都有，我們今天的分享就到此結(jié)束，非常感謝大家，謝謝！