說說故事

童話故事|兒童故事|謎語睡前故事|胎教故事|對聯

資料學習

作文|范文|醫學|留學|教程幼兒|考研|詩詞|板報|名言

高考中考

高中|小學初中|大學

學科中心

語文|簡譜|化學|政治|歷史數學|生物|物理|地理|美術

考試學校

英語|題庫|星座學校|高考|中考

去哪兒網智能故障預測與應用健康管理實踐

目錄

去哪兒網智能故障預測與應用健康管理實踐

作者簡介

苗宏濤,去哪兒網站運營中心技術保障部。

GOPS 2019 · 深圳站上,去哪兒網運營中心技術保障部苗宏濤老師帶來“智能故障預測與應用健康管理實踐”,本文根據苗宏濤老師的演講整理而成。

一、OPS的目標

首先對OPS來說,應用運維工作目標有兩個,一個是減少應用的故障產生,另外就是讓應用盡可能長處于有效狀態。


應用有效標準基本是由業務線制定的,需要注意的是有效性和業務線的定義中通常包括服務降級或者啟動備份、冗余系統后仍能提供有限服務的狀況。這種情況在業務線定義中還是認為有效的,對于OPS來說這種情況非常危險,距離故障只有一步之遙。

舉個例子,一輛汽車在緊急制動下爆胎了,雖然車停住了,但是輪胎失效了,

OPS 就應該識別、控制、修復這種失效。作為運維方不應該采用這個概念以及這個概念下的指標,應該制定故障標準,明確失效邊界,并由此來明確可靠性的度量方法。

明確故障定義以后當發生故障要快速修復故障,使得應用恢復到標準能力輸出,恢復故障包含定位故障、隔離故障和解決故障的步驟。

如何完成上述目標呢,這個公式就能說明,運維工作的根本使命就是提高系統和應用的可靠性、可用性。

如何計算可用性呢?我們引用可用度這個指標,就是常說的幾個九的問題,為了方便我不用可用度、可靠度這種學術詞語,統一用“可靠性”這個大家熟悉的名稱。可用性主要是通過公式計算出來的,通過這個公式大家就可以直觀看到提高可用性是圍繞兩個指標。

第一個是平均無故障工作時間,這個很好理解,就是正常工作越久越可靠,對于運維人員也是越輕松的。第二個是修復時間,故障不可怕,可怕的是長時間不能修復故障,修復時間越短對于提高可用性越有幫助。所以OPS的日常工作就是盡量延長無故障工作時間,盡量縮短修復時間。

說點題外話,關于應用可靠性應該達到幾個九,問題比較復雜,各種說法都有,其實我們勤勞祖先已經告訴我們,一九二九不出手,一個九、兩個九的指標拿不出手,三九四九冰上走,達到三四個九還是非常危險的,特別小心失足可能性。五九六九河邊踏青,達到五個九六個九就可以去踏青了。

對故障我們可以分為已發生故障和未發生潛在故障。首先說一下已發生故障,這就是我們通常意義上的故障,面對已經發生的故障,剛才說過OPS兩個職責,延長無故障工作時間無論如何達不到了,能做的就是快速修復故障。


如何達到快速修復故障的能力呢?經驗就是這三點:首先,精確定位是關鍵。互聯網應用復雜度非常高,主要體現在軟件、硬件的結合,系統間的依賴、中間件、數據庫、網絡以及認為操作失誤等等。

故障定位的關鍵是梳理出這些關系,從而從故障的表現追溯到故障的根源,精確梳理出這種關系是十分困難的,但是一旦理清這些關系,帶來的利好也十分巨大。

為了能精確快速定位故障,我們采用一系列手段,監控和報警是基礎,即時有效、準確報警,能給故障解決爭取到很多時間。去哪兒的監控包括系統指標監控、業務指標監控、日志采集和分析。

定位故障首先做的是隔離故障,不讓故障擴散開形成更大的故障,降低損失,保證正常業務正常使用。

什么是最重要的業務呢?對于去哪兒來說就是影響訂單、支付、轉換率以及會引起客訴的業務,故障隔離一般采取服務降級、限流、熔斷等業務開發方的手段。同時OPS也有一些手段,主要是硬件隔離、網絡隔離等等。最根本的還是要快速解決故障,出現了故障要快速動員相關人員。

去哪兒根據故障等級確定動員規模,一般來說QA開發產品都是要被快速召集起來的,我們有基于去哪兒內部及時通信QTalk,通過QTalk工具開發自己的故障機器人,故障機器人根據上訪人員快速拉群,將相關人員快速召集起來進行溝通,并且定時搜集故障,直到故障解決。

對于故障在規定時間內沒有解決的,我們會升級到更高的管理者,以便動員更多人員處理故障。然后就是要有故障預案,在去哪兒工程師入職的時候就要進行工程師處理培訓,做到故障流程的周知,同時日常也會定時進行一些有關故障處理活動,業務線也會對故障進行演練,基礎服務會有值班制,制定了SOP保障任何人可以做到依靠文檔就可以處理大量已知問題。

最后就是要有一系列工具支撐,運維自動化是一件需要持續進行的事情,沒有自動化一切運維都是空中樓閣。自動化一定是全自動的,是一鍵觸發的,中間無需人工干預,自動上報狀態,自動觸發動態切換。

比如IDC網絡故障,我們會偵測網絡故障并自動將流量切換其他機房,并且偵測網絡恢復以后,流量也是自動切換,比如快速擴容、請求突增的時候,我們可以做到數分鐘擴容和發布,有了這些工具的支持,才能快速解決故障。

以上三點是處理已發生故障的重要步驟,本身也是有遞進和依賴關系,想要減少處理故障時間,做好這三點是非常關鍵的,也是我們付出很多心血的。

故障發生了,無論準備多么充分,都是被動的,根據可用性公式計算,解決得再快也會對可用性計算有影響。如果能在故障發生之前就把故障扼殺在萌芽中才是最好的,常見的故障預測包括容量預測,這也是最簡單的,并且在基礎運維中已經有了很好的實效。

比如對磁盤空間、SD卡壽命、帶寬占用、預警等等,故障預測和健康管理是這個演講的主題,也是我具體要講的。具體講之前我要闡明一下我的觀點,故障預測是復雜的,同時也是需要很多前提條件和技術經驗積累。

現在大家都知道,大家都在談人工智能、機器學習,運維也進入AIOps時代,但是從互聯網這幾十年運維實踐告訴我們,一步一個腳印,踏踏實實工作才是運維人員應有的品質,彎道超車大部分情況下是危險,實現AIOps沒有捷徑也不能跳過。

二、Qunar 運維演進

下面我要講去哪兒運維路徑也是想給大家提供思路和例子,希望大家認識到實現AIOps要經歷什么。


去哪兒運維演進經歷三個階段,第一階段是人工半自動階段,主要是業務方為提工單/郵件方式進行人工審核。從事OPS主要是人工處理夾雜自動化腳本,最后是通知業務方檢查,過程效率低,溝通成本極高,知識無法沉淀。

第二部分進入運維自動化階段,統一公司資源,建立CMDB我們叫OPSDB,建立自己監控平臺,這個監控平臺搜集全公司機器系統指標以及各業務部門業務指標,建立了自己獨立的自動化工具和平臺,并且有自己各個審批工作流以及內部溝通工具QTalk。

第三部分建立去哪兒Portal平臺,將資源、CICD、監控、日志進行集中管理、統一入口、統一認證授權。建立appcode對應用全局唯一標識,對應用進行全生命周期的管理。


基于去哪兒運維的現狀,我們總結了針對故障處理不同階段的處理,故障結束后要對故障進行review,最主要是找到故障原因,作出整改措施,保障不被同一塊石頭絆倒兩次。

有了整改措施還要監督實施,不能只停留在紙面上,并且要在限定的期限內完成整改,同時要把每個故障入庫,以便后期統計和信息學習,隨著故障的積累,我們可以分級哪些業務線故障率高,在什么地方容易出問題,以及能從這個故障中產生什么提高系統可用性的需求。

同時甚至可以發現哪些人更靠譜,對于人員培養也是有一定的參考。去哪兒目前主要運維重點還是在于處理已發生故障,對照前面說的,對于已經發生的故障主要是定位,定位主要靠監控和日志分析。

此外,我們會匯集公司范圍內的運營實踐,比如應用發布、配置發布、數據庫變更等等,這些運維事件對加快處理故障恢復有十分重要的作用。舉個例子監控發現訂單量下降,這個時候訂票系統依賴的某個服務也發生異常,不需要定位原因直接回滾剛才的發布就可以恢復故障。

這種處理還是建立在之前說的完全梳理清楚應用依賴關系基礎之上。根因分析需要更多數據支持,尤其是在復雜的系統中,故障原因往往不是一個,而是一種連鎖反應,根因分析比較依賴日志分析。

去哪兒系統調用主要是HTTP和double,去哪兒也是double的用戶,我們可以清楚分析出遠程服務調用的依賴關系。除此之外我們中間件、QMQ進入所有的關系,有了這些數據分析定位故障源清楚很多。利用機器學習模型才會是如虎添翼。

三、故障預測


故障預測是目前正在嘗試和準備重點攻關的部分。說到正在大力攻關的應用故障預測以及健康管理,這個概念不是我發明的,也不是現在才出現的。這個概念從提出到現在也有將近30年,如果從雛形出現到現在應該有半個世紀了。


PHM在工業界已經應用得非常廣泛,這里簡單給大家介紹一下歷史沿革,又是美國,又是NASA,90年代初NASA提出飛行健康監控概念,主要面對的是飛行器,這個時候沒有預測只是監控。

到了90年代中,監控上升到管理,而且也是綜合系統的管理,這時候意味著處理的系統更復雜了,關聯性也更強了,同時也不僅僅是監控,要對監控結果作出判斷和管理。


隨著90年代末GSF項目啟動,PHM理論正式形成,并且從航空領域迅速延展到整個工業界。目前我們知道已經在是使用PHM包括軍工、航天、高鐵、橋梁、民網航空。

我國在50年代初已經有了可靠性工程專業,一直服務于航天領域,對我國航天幾十年來一直沒有掉隊起到了非常重要的作用,同時高鐵、高架橋是我國近幾十年特別拿得出手的工程,PHM在里面起到非常重要的作用。

PHM已經在工業界運用十分成熟和廣泛,我們就想能不能直接利用這種理論指導我們的實踐呢?我們知道工業和互聯網領域還是有很大差別的,能不能直接拿來為我們所用。


我們從三點考慮,首先是我們的目標是一致的,都是避免失效,提高應用可靠性,只不過工業界面臨更多的是裝備,我們多的是軟件。工業裝備發展到現在其中軟件成分也是越來越多,這一點我們目標是一致的。

第二是理論完備,互聯網領域往往注重實踐、理論不夠完備,問題也隨之而來,最佳實踐只是在某些特定條件和環境下才是最佳的,一旦脫離環境就不一定適合,而理論之所以稱之為理論就是放之四海而皆準。看到我們現在具備的技術是否足以支撐把理論轉化為實踐。

PHM的基本原理就是使用大量傳感器采集數據,再進行加工計算預測故障,看一下我們現在的技術積累,大數據流處理已經很成熟,機器學習也開始普及,技術上我們判斷也是具備條件的,基于以上的判斷我們開始了自己的實踐過程。


這是一個工業領域的典型故障預測模型,首先簡單介紹一下,大量的傳感器搜集數據,進行數據預處理,進行數據傳輸,再從數據中進行一些特征提取,對狀態進行監測,最終會根據故障診斷的一些預測故障點,結合歷史統計數據、產品參數和模型,最終形成故障決策。


故障預測有幾個典型模型,有基于狀態的,我們監控和報警就是明顯的基于狀態的。有基于異常現象的,通過歷史監控和當前指標的對比,采取異常模型,可以識別異常的出現。還有基于環境的,我們運維實踐是針對環境信息的。還有損傷標尺信息的。我們主要用硬件廠商給的可靠性參數。

結合這些模型就可能預測出故障即將產生,并且采取相應措施避免故障的出現。

實施故障預測是否有效,要進行評估,評估可以從這三方面著手。


首先是及時性要求,我們最期望就是在故障發生前,識別出故障風險加以修整,至少也要在故障發生的1分鐘之內識別故障,否則就失去了預測的意義,這個我們還在探索。

另外是經濟性要求,也就是花費在故障預測成本包括人力設備要小于故障帶來的損失。第三個是最重要的,對故障預測要可評價、可驗證。一個顯而易見的邏輯上的問題,沒有發生故障怎么能確定避免了故障呢?這是難點。

目前我們只能采用回訪和用戶反饋的模式,其實效果并不是太好,這一點我們也還在探索,希望在座各位能提出一些自己的看法。

四、Qunar的實踐


首先講一下去哪兒故障預測流程。


第一個是指標采集,這一塊主要采集的是機器指標、機器報警、業務報警、日志等。

第二個是對數據進行預處理,主要做一些平滑、去毛刺的處理,對報警的閃報進行過濾,對warning報警進行過濾,總之保留重要特征,去除雜波。

第三個階段是故障診斷,通過對數據的分析,主要分析出哪些指標是故障指標,也就是說,這些指標失效馬上會產生故障,這些指標才是我們重點關注的指標。第四是故障預測。故障診斷會定位到多個潛在點,得到故障只是故障的表現,根因在哪里并不知道,這個步驟就是分析出故障根因,從而定位到故障的根源。

下一步就是通過各種手段通知到相關的應用負責人,這里主要是通過內部的及時通訊QTalk做,緊急的時候也會用到短信。

最后一步,在處理完成以后,我們要搜集用戶反饋,對這次預報的準確性、及時性都要有評價。


我們對預測指標的標準有四點,完整性、客觀性、真實性、有效性。

基礎指標和報警通常是客觀的,有問題就是有問題的,關鍵業務指標也會很直觀反映出故障,比如訂單量、支付、查詢量,這些指標可以直接使用,還有一些指標容易受到影響,比如一個業務的邏輯修改導致某個指標變化很大,對OPS來看這種變化屬于異常,業務看了是正常變化,不是異常,這就很難辦。

對于業務監控主要看業務的報警信息,因為報警閾值和策略是業務方自己定義的,他們很清楚什么情況下是有問題的,應該報警。

各種日志也是重要的指標來源,在去哪兒我們主要通過NG的日志和double日志就能分析出系統目前的可用狀態以及響應時間等重要指標。

后面就是要明確應用的關聯關系,這種關系包括靜態和動態的,靜態關系主要通過服務治理系統獲得,但是光有靜態還不夠,我們還要看在故障發生時故障動態是什么樣子的。還有運維事件需要在統一的地方看到全公司現在有哪些運維事件正在發生,比如網絡切換、數據庫變更等等。這些對判斷故障來源也是有非常重要的作用。


故障預測方法有四點,第一個是策略和閾值,靜態閾值主要是根據經驗值設定的,我們還可以通過周期性的計算動態調整閾值,還可以根據個人指標的綜合策略進行判斷。同時對周期性指標進行同比和環比檢查,要做一些平滑、去毛刺處理,排除歷史故障時期指標,要對這些指標進行補齊。

故障預測模型使用的機器學習模型主要是以趨勢預測算法和異常檢測算法為主。

最后故障預測要沉淀到知識庫,在故障完成檢查后,還要對現在故障進行匹配,現階段我們需要驗證檢測出的故障是不是真的故障。

故障預測之后還要進行故障預測反饋,沒有反饋就不知道預測是否準確,必須對反饋形成反饋的閉環,反饋這里面主要是總結的四點,第一個是機制健全,要自上而下建立規范和制度,提高全員對可靠性的認識,同時我們要保持渠道暢通,通過技術手段建立多種方便的反饋渠道。同時要對反饋反應及時和迅速。


這是我們運維實踐平臺其中一個健康看板,報告出來的就是我們預測出來有問題的應用,同時我們會把相關聯的報警以及運維實踐全部整合在一起。從健康看板看,就可以看到應用相關信息,看到這個應用以及其他服務之間的調用關系。

在運維實踐平臺,我們會把所有發生的事件包括報警、發布、變更全部匯集運維事件時間軸,以先后順序展現出來,通過運維事件時間軸可以看到去哪兒當前發生的所有事件。


這個圖是我們通過對NG日志以及double日志實時計算做出來的關聯拓撲圖。我們不是憑空實現的一個PHM系統,而是在現有系統上實現的,沒有這些基礎工作就如同沙灘上建城堡。

首先我們建立appcode,appcode是全局應用唯一標識,無層級關系,統一標識各種資源,可以做到對應用全生命周期的管理。我們會把運維事件、監控指標、報警全部關聯到appcode上面。


如果沒有分級,我們就不能把有限資源利用到有價值的地方,我們對業務、應用、報警、運維事件進行分類分級,其中對應用和運維事件根據其對業務的重要性以及對應用健康的影響做了1-4級的分級。


報警作為預測的重要指標必須是準確和獨立的,但是現實情況我們會遇到的濫設報警、無效報警、報警規則不更新,這主要是業務發展和技術迭代后沒有及時做更新報告規則,還有報警接收人不清楚報警來源等等。

解決的方法就是做關聯appcode,明確報警來源、明確報警接收人,明確報警管理者,對長時間沒有結束的報警要做一些閾值的調整以及人員的及時培訓,提供各種報警設置方法,比如單指標、多指標聚合、同批、環比、函數、組合,在內部進行不定期教育培訓活動。

我們也對故障進行制度和流程,在建立故障的時候,建立管理制度和流程,包含發現故障、申報故障等等。

對故障上報做了標準化表單,通過故障機器人實現自動化,對故障級別進行相應的制定,在故障結束也制定了REVIEW原則和制定,將每個故障進行存檔,以便后期的統計和分析,業務部門可以根據已經發生的故障做一些故障演練和培訓。

五、前景與問題


最后和大家講一下我們的前景和問題。


PHM在互聯網行業遇到的問題總結有四點:業務變化快、缺少理論支持、缺少交流、技術治理等問題。業務變化快體現在互聯網商業形態變化快,技術更新快、人員流動快。

缺少技術理論支撐主要體現在互聯網有一定重實踐、輕理論,不能很好形成總結,也不能持續改進,方向選擇隨意。缺少交流,不知道、不愿意、沒渠道。


根據這些問題,我們的思考是,與工業界理論相結合,形成適合互聯網業務形態的方法論,并且大膽應用于實踐,不斷試錯提煉出有效的理論,結合技術發展、持續改進自己的方法,最終希望能夠反哺工業界。

說明:本文為去哪兒網苗宏濤老師在 GOPS 2019 · 深圳站的分享。

7月5日~6日,關于 DevOps 的一場盛會將于北京召開,DevOps 國際峰會 2019 · 深圳站

更多詳情,請點擊閱讀原文

苗宏濤

贊賞

長按二維碼向我轉賬

受蘋果公司新規定影響,微信 iOS 版的贊賞功能被關閉,可通過二維碼轉賬支持公眾號。

去哪兒網智能故障預測與應用健康管理實踐最新查閱>>
去哪兒網智能故障預測與應用健康管理實踐相關:
發布時間:2019-05-09去哪兒網智能故障預測與應用健康管理實踐

作者簡介苗宏濤,去哪兒網站運營中心技術保障部。GOPS 2019 · 深圳站上,去哪兒網運營中心技術保障部苗宏濤老師帶來“智能故障預測與應用健康管理實踐”,本文根據苗宏濤老師的演講整理而成。一、OPS的目標首先對OPS來說,應用運維工作目標有兩個,一個是減少應用的故障產生,另外就是讓應用盡可能長處于有效狀態。應用有效標準基本是由業務線制定的,需要注意的是有..

發布時間:2019-05-09霉菌,暖宮才是重點呢!親身實踐!

不詳細我的癥狀了,煩了幾個月了,在網上晃了不少時間,收集了N多方法,還專門開了個總結貼。經過反復研究,并親身實踐,有效果,送給苦難的姐妹們!  從網上找到的理論根據  一、宮寒:中醫認為生殖系統都稱為子宮,簡稱宮,認為絕大多數婦科病都來自宮寒, 以前看過一個醫生在電視上講KFC,麥叔叔,這些快餐最不好了,女孩子大熱天,一進來就來一杯冰飲,熱身見冰水,最容易..

發布時間:2019-05-09《全國首屆繪畫心理實踐應用高峰論壇第一天速記》 高曙霞 2019~5~4 周六 堅持分享第658天 長沙 雨

圖片發自51Ui.cnApp5月3日,全國首屆繪畫心理實踐應用高峰論壇在長沙中南大學鐵道學院拉開帷幕。本次論壇以“深度聚焦繪畫心理應用與實踐”為主題,來自全國各地和日本的嚴文華、嚴虎、吉沅洪、陶新華、田禾等多位專家分享了繪畫心理中的研究、應用及實踐成果,介紹了繪畫心理正在全國心理學界正在擴大影響力、擴大應用范圍的發展現狀及前景。論壇會場座無虛席。教育部精神..

發布時間:2019-05-09《全國首屆繪畫心理實踐應用高峰論壇五大亮點紀實》 ? 高曙霞 ? ?2019~5~5 ?周日 ? 堅持分享第659天 ? ?長沙 ? ?雨

5月4日,全國首屆繪畫心理實踐應用高峰論壇落下帷幕。論壇為期兩天,內容豐富,涉及面廣,亮點紛呈。亮點一,陣容強大的與會嘉賓是本次高峰論壇的一大看點。與會者來自全國各地,各行各業。來自全國武警部隊、公安司法、醫療衛生、教育戰線、企事業單位等嘉賓和專家學者,充分說明了論壇得到的積極響應,也體現了本次論壇的豐富全面。共計650余人參加了此次論壇。亮點二,重在應用..

發布時間:2019-05-09區塊鏈解決方案和應用案例征集,推動區塊鏈技術應用落地、尋找區塊鏈技術應用創新踐行者

為推動區塊鏈技術應用落地,尋找區塊鏈技術應用創新踐行者,總結先進經驗,提升我國區塊鏈應用水平,在賽迪研究院和中國區塊鏈生態聯盟的指導下,賽迪區塊鏈研究院聯合清華大學互聯網研究院區塊鏈實驗室、北京郵電大學區塊鏈實驗室、北京電視臺解碼區塊鏈欄目等單位現面向全社會征集區塊鏈解決方案和應用案例,按領域評選出優秀解決方案和應用案例(每個領域3-5項優秀解決方案),結..

發布時間:2019-05-09開貼測號碼,診斷其對機主影響(解決健康 事業、感情、子女等人生問題)

1,寫下號碼后八位,前3位用XXX代替,如:XXX62712687  2,表明性別,年紀,職業,是否為唯一號碼  3,本帖測算均為免費,請各位積極反饋,不至于新帖沉底  4,使用不足一年的號碼不測,已找其他大師的換過的不測  5,非誠勿擾(遇到試試看的人,看本人是否有真功夫)  6,支持先生者,請到自己發帖那樓右上方不費錢不費力點個贊,以資鼓勵  7:緣主..

發布時間:2019-05-09抖音舌診哥:舌診知健康,教你學會看舌象系列三十五

文章來源于抖音舌診哥抖音舌診哥,堅持每天幫助大家免費舌診第312位—早泄、脂肪肝現在是第312位舌象我們之前有說過一個人如果陽氣不足那么就會白天沒精神晚上沒力氣對于男性朋友來說如果腎陽不足就會出現很尷尬的男性功能性障礙問題通俗點講就是陽痿、早泄、遺精急慢性前列腺炎等 所以男人一定要養腎上面這位朋友通過其舌象可以很明顯的看出舌質淡白,舌苔白膩這是脾腎陽虛的情..

發布時間:2019-05-09身體出現1黃2紅,提示肝臟不健康了!保護肝臟,謹記“四個一”

身體出現1黃2紅,提示肝臟不健康了!1黃——"鞏膜發黃"甲型肝炎、急性乙型肝炎,幾乎都會存在不同程度的"鞏膜黃染"。據研究調查發現,有過半的肝硬化患者,會出現這種癥狀。一旦眼鞏膜發黃,立刻就醫檢查,不要拖延。2紅——蜘蛛痣蜘蛛痣,是肝病的一種表現,有蜘蛛痣的人,85%有肝臟組織病變,其中,30%為肝硬化。一旦發現身上出現“蜘蛛痣”,或者蜘蛛痣數量增多、增大..

發布時間:2019-05-092019年最佳健康飲食排行榜出爐!這種飲食奪冠,速看!

每年,美國“新聞和世界報道"網站都會經過大量調查統計出全球最健康的飲食排行榜。近日,2019年最佳飲食排名榜單出爐,今年針對41種飲食,根據必須安全,相對容易遵循,營養豐富的標準選出最佳飲食,我們來一起看看怎樣吃才是最健康的吧!排名前十的飲食方法圖片來源:攝圖網第一名:Mediterranean Diet(地中海飲食)第二名:DASH Diet(得舒飲食)..

發布時間:2019-05-09技術驅動娛樂,直播平臺運維保障實踐

大家好,我叫張觀石,來自虎牙直播,虎牙直播是彈幕式的游戲直播平臺,我在公司負責業務運維相關工作。看直播已經成為一種重要的娛樂方式,技術驅動娛樂是虎牙的slogan,我今天要分享的是運維技術如何驅動直播平臺整體技術穩定性。今天我會分享的幾塊內容。首先會介紹下直播技術的總體架構和挑戰;然后給大家分享下我提煉的可靠性工程、穩定性保障工作的一個能力框架;接著講下在..

發布時間:2019-05-09體育學科話語權,去哪兒呢?

若干年前,有幸聽了田麥久教授的專題講座《體育科學話語權》,但側重于講述中國體育(競技體育)在國際中的話語權、影響力,有點高大上,無法和那時我的認知體系產生共鳴。現今結合這個主題談談自己對于中小學體育學科話語權的想法。話語權僅從字面上理解,就是說話權、發言權,亦即說話和發言的資格和權力,而嫁接到中小學體育學科來講,可能“是指話語主體(體育老師)‘圍繞學校體育..

發布時間:2019-05-09咖啡有益健康的18個理由!

人們通常喜歡不健康的食物和飲料,例如蘇打飲料,建議偶爾享用一次。不過,咖啡是個例外。作為美國非常受歡迎的飲品之一,咖啡有助健康,某種程度上喝的越多效果越明顯。根據一項2018全美咖啡協會(NCA)的調查,64%的美國成年人每天至少飲用1杯咖啡,這是自2012年以來的最高比例。相比比戒掉咖啡或者喝的較少的人,此類人得致命疾病的風險更低。24/7 Wall S..

發布時間:2019-05-09重慶市市場監督管理局黨組副書記、副局長楊宏偉接受審查調查!

來源:重慶市紀委監委版權歸原作者所有,如有問題請聯系我們據市紀委監委消息:重慶市市場監督管理局黨組副書記、副局長楊宏偉涉嫌嚴重違紀違法,目前正接受市紀委監委紀律審查和監察調查。楊宏偉簡歷楊宏偉,男,漢族,1964年6月出生,四川達州人,中央黨校在職研究生學歷,1984年7月參加工作,1986年12月加入中國共產黨。1984.07-1989.01 四川省涪陵..

發布時間:2019-05-09奇門“運用重點悟”----趨吉避兇與擇時擇方、預測兩翼。

趨吉避兇與擇時擇方趨吉避兇與擇時擇方體現了人們在生存與發展方面的具體要求;也是奇門預測生存的立根之本;趨吉避兇體現人們的生存需求;擇時擇方體現了人們的發展需求,甚至具體到時間與方位確定以后,是動還是靜,先動還是后動,這些決策的實際實現行為。做到趨吉避兇與擇時擇方總的原則:急則從神緩從門,動靜先后分主客。原則釋義:A、急則從神,“天盤值符所在之宮,地盤值符所..

發布時間:2019-05-09科研管理?|?國家衛生健康委黨組書記、主任馬曉偉:不斷提升人民群眾健康獲得感

導讀學習時報2019年5月6日第1版發表國家衛生健康委員會黨組書記、主任馬曉偉署名文章。全文如下:沒有全民健康,就沒有全面小康。必須堅持以人民為中心的發展思想,把不斷增進人民群眾健康獲得感作為深化醫改、推進健康中國建設一以貫之的出發點、落腳點和根本價值取向,把人民健康放在優先發展的戰略地位,努力實現全方位、全周期保障人民健康。黨的十八大以來,以習近平同志為..

發布時間:2019-05-09黑心去哪兒 欺**消費者

在去哪網購買一張機票 我想操作退票 但是去哪網退票費用比我查詢的要高

發布時間:2019-05-09排骨這么做“色澤油亮”,酸甜口味,關鍵肉質醇厚還健康

原標題:排骨這么做“色澤油亮”,酸甜口味,關鍵肉質醇厚還健康糖醋排骨,是源于浙江也是一道人人都喜愛吃的菜式,味道不會重口,男女老少都喜歡,尤其是小孩子。糖醋排骨用到的主料一般是用豬的肋排,配以冰糖與醋做出來酸酸甜甜的口味,糖醋排骨每個家庭都有自己的做法,但出來的成品都是色澤如琥珀油亮,酸甜口味肉質醇厚,而今天的這個菜譜算是簡單粗暴的一個,自己在家做,沒有飯..

發布時間:2019-05-09麥吉麗還你健康肌膚

[cp]春季過敏高發季節,過敏了不要隨意買藥膏擦,很多人一過敏總是擦藥膏,變成了激素性皮炎就很難治療麥吉麗基因修復啫喱,純草本中藥配方,麥吉麗獨家產品,針對過敏及敏感肌膚的修復。安全放心給大家科普下這款超好用的【麥吉麗紅茶薰衣草面膜】疏通毛孔、清除螨蟲,鎮定安神,美白淡斑,抗氧化,長期使用能夠有效預防粉刺痘痘的滋生

發布時間:2019-05-09四逆湯在兒科中應用

楊某,男,一歲兩個月。早產兒。患病后屢用西藥效差。于是經常到我處用中藥治療感到效果滿意。去年夏初此兒又患病,來時上午8時左右。上吐下瀉、發熱無汗 、面紅耳赤、哭鬧、舌質紅苔薄。查體溫38.5。據以前用藥經驗不加思索處以葛根湯。下午14.30患兒又來復診,其母訴服藥已兩次諸癥依然,發熱更高自喂退熱藥也不起作用也不汗出。雙目似閉非閉、時斷時續低聲哭叫。怎么哄也..

發布時間:2019-05-09痛風患者平均壽命較健康人縮短15~20年,可不是空穴來風!

痛風患者都知道該病給他們帶來的痛苦,但很多人也都覺得,只要我忌口,到痛風急性發作期忍忍就過去了,其實很多人不知道疏于護理和治療造成的后果有多嚴重。專家說痛風會縮短患者的壽命,嚴重的話還會造成死亡,這不是危言聳聽。痛風可怕的不只是關節炎,它有更恐怖的三宗罪。一宗罪:毀關節說明尿酸鹽結晶不僅在沉積的時候會發生劇烈疼痛,因為它是鈉鹽,對骨質關節有很強的腐蝕性,久..

百度去哪兒網智能故障預測與應用健康管理實踐:

欄目推薦
熱點排行
推薦閱讀
福建体彩25选5开奖结果