2019運維技能風向標

為促進社區發展,運維派尋求戰略合作、贊助、投資,請聯系微信:helloywp

運維是一個融合多學科(網絡、系統、開發、安全、應用架構、存儲等)的綜合性技術崗位。從最初的網絡管理(網管)發展到現在的系統運維工程師、網絡運維工程師、安全運維工程師、運維開發工程師等,可以看出,運維的分工一直在細化,并且對綜合技能要求越來越高。未來運維的發展趨勢是高、精、尖。高表示高度,精表示精通,尖表示尖端,也就是運維職場一定要站在一定的技術高度,在多個技術領域中,要精通某項技能,同時對尖端前沿技術一定要能掌控趨勢。

運維職位的發展和趨勢

根據不同的運維領域和技術面以及分工流程三個方面來了解下2019年運維職位的發展趨勢。

1.按領域來劃分

  • 1)基礎設施運維:IDC/網絡運維、服務器/存儲設備運維
  • 2)系統運維:系統中間件運維、云計算平臺運維
  • 3)數據運維:數據庫運維、大數據技術平臺運維
  • 4)應用運維:應用軟件系統
  • 5)云平臺運維:公有云平臺運維
  • 6)容器運維:基于容器服務的運維

2.按技術切面來分

  • 1)安全運維
  • 2)性能運維
  • 3)數據運維
  • 4)集成運維

3.按流程來劃分

  • 1)構建/持續集成、發布
  • 2)安裝部署、升級、遷移、合并、擴展
  • 3)配置、初始化、配置變更
  • 4)備份、傳輸、恢復
  • 5)日志、監控、預警
  • 6)診斷排查、優化

系統運維技能圖譜

系統運維是運維的基礎,新的一年中,對基礎運維技能要求也在提高,打好系統運維基礎,才能深入學習后面的各種運維技能。

下圖列出了系統運維要掌握的必備技能:

Web運維技能圖譜

Web運維是運維崗位中崗位最多的一個,薪資也相對較高,但需要掌握的知識點也比較多,新的技能要掌握,老的運維技能也不能丟。

下圖列出了web運維要掌握的各種必備技能。

大數據運維技能圖譜

大數據從2017年開始逐漸走到生活的各個角落,2018年在逐漸落地,而在2019年,大數據依然火熱。

加上國家對大數據產業的扶持,大數據產業在新的一年崗位需求一定會更加大,因此掌握大數據運維技能,就走在了運維的前沿。

下圖列出了大數據運維要掌握的各種必備技能。

容器運維技能圖譜

容器的產生,是一次IT行業的革命,2015 年到 2016 年,是業界普遍認為的容器技術爆發的一年,短短一年多時間里,容器技術在中國大陸完成了從零星概念到烽火燎原的壯舉。

時至今日,容器技術在國內大多數企業中落地已成為一種共識,而國內的生態系統,也呈現出了企業產品、開源社區和公有云齊頭并進的良好局面。

因此,2019年也是容器繼續快速落地的一年,下圖列出了大數據運維要掌握的各種必備技能。

數據為王的時代

萬丈高樓平地起,高樓穩不穩取決于地基是否扎實。運維數據便是運維管理這座高樓的地基。運維數據大致分為CMDB、日志、生產DB、知識庫四個方面。

對數據的維護和管理至關重要,特別是日志數據,對運維來說,通過日志可以比較準確全面地知道系統或是設備的運行情況,可以返查問題產生的原因,還原問題發生的整個過程。

通過日志也可以提前預測系統可能要發生的問題或是故障,如系統安全日志,如果網絡攻 擊會在系統安全日志中有一定的體現。

日志數據處理

這么多的日志,運維要通過各種手段完成日志的收集、過濾分析、可視化展示,那么如何實現這些功能呢?

方法很多,例如ELK集成套件(Elasticsearch , Logstash, Kibana)就可以輕松實現日志數據的實時收集、分析傳輸以及圖形化展示。

那么要如何使用ELK呢,根據日志量的不同,對應的ELK架構也不盡相同,看下面幾個常見架構:

ELK架構1

此架構主要是將Logstash部署在各個節點上搜集相關日志、數據,并經過分析、過濾后發送給遠端服務器上的Elasticsearch進行存儲。

Elasticsearch再將數據以分片的形式壓縮存儲,并提供多種API供用戶查詢、操作。用戶可以通過Kibana Web直觀的對日志進行查詢,并根據需求生成數據報表。

此架構的優點是搭建簡單,易于上手。缺點是Logstash消耗系統資源比較大,運行時占用CPU和內存資源較高。

另外,由于沒有消息隊列緩存,可能存在數據丟失的風險。此架構建議供初學者或數據量小的環境使用。

ELK架構2

由此衍生出來了第二種架構:

此架構主要特點是引入了消息隊列機制,位于各個節點上的Logstash Agent(一級Logstash,主要用來傳輸數據)先將數據傳遞給消息隊列(常見的有Kafka、Redis等)。

接著,Logstash server(二級Logstash,主要用來拉取消息隊列數據,過濾并分析數據)將格式化的數據傳遞給Elasticsearch進行存儲。

最后,由Kibana將日志和數據呈現給用戶。由于引入了Kafka(或者Redis)緩存機制,即使遠端Logstash server因故障停止運行,數據也不會丟失,因為數據已經被存儲下來了。

這種架構適合于較大集群、數據量一般的應用環境,但由于二級Logstash要分析處理大量數據,同時Elasticsearch也要存儲和索引大量數據,因此它們的負荷會比較重,解決的方法是將它們配置為集群模式,以分擔負載。

此架構的優點在于引入了消息隊列機制,均衡了網絡傳輸,從而降低了網絡閉塞尤其是丟失數據的可能性,但依然存在Logstash占用系統資源過多的問題,在海量數據應用場景下,可能會出現性能瓶頸。

ELK架構3

最后,還有第三種架構:

這個架構是在上面第二個架構基礎上改進而來的,主要是將前端收集數據的Logstash Agent換成了filebeat,消息隊列使用了kafka集群,然后將Logstash和Elasticsearch都通過集群模式進行構建。

此架構適合大型集群、海量數據的業務場景,它通過將前端Logstash Agent替換成filebeat,有效降低了收集日志對業務系統資源的消耗。

同時,消息隊列使用kafka集群架構,有效保障了收集數據的安全性和穩定性,而后端Logstash和Elasticsearch均采用集群模式搭建,從整體上提高了ELK系統的高效性、擴展性和吞吐量。

用大數據思維做運維監控

大數據分析最早就來源于運維人的日志分析,到逐漸發展對各種業務的分析,人們發現這些數據蘊涵著非常大的價值。

那么如何用大數據思維做運維呢,大數據架構上的一個思維就是:提供一個平臺讓運維方便解決這些問題, 而不是,讓大數據平臺去解決出現的問題。

基本的一個大數據運維架構是這樣的:

對于運維的監控,利用大數據思維,需要分三步走:

獲取需要的數據過濾出異常數據并設置告警閥值通過第三方監控平臺進行告警

所有系統最可靠的就是日志輸出,系統是不是正常,發生了什么情況,我們以前是出了問題去查日志,或者自己寫個腳本定時去分析。現在這些事情都可以整合到一個已有的平臺上,我們唯一要做的就是定義分析日志的的邏輯。

網友評論comments

發表評論

電子郵件地址不會被公開。 必填項已用*標注

  1. woxizishen說道:

    1.結合工業4.0時代。你說的這個方向太大了。現在開源工具功能大同小異。個人覺得運維工程師要做的不是拓寬,而是要收縮戰線,做精通。如果能把一套軟件運用的滾瓜爛熟,形成自己一套運維理念,比那些所謂新出來開的新工具要更勝任。
    2.個人覺得shell或者bat高手,不比寫程序開發一個可視化平臺的效率低。前者可以做到很多時候故障進行自動處理,而所謂可視化平臺給大boss炫耀戰績確實不錯。實質上在工作效率算。腳本才是王道!!!
    一切把工作最后都仍在圖形界面作業的,都是在脫褲子放屁。圖形界面適合新人玩,但是一旦有問題,底層東西不知道,最后還得找這個開發人員解決,通用性極差。
    如果可以我建議互聯網大企業,對于優秀的腳本運維代碼一定要保留。一個精通腳本的運維工程師效率,可以頂數十個程序猿甚至上百個圖形化作業的工程師。國內運維工程師普片工作效率低下,因為太依賴與圖形,而不想著通過操作系統自帶的命令自己解決問題,將很多問題提前殺于萌芽之中。
    我個人目前管控上百個服務器,錯錯由于。沒有什么高深莫測技術。
    我只需要一個nagios報警軟件,監控所有有網絡的設備,不管電腦,交換機,路喲器,防火墻。其次將一些偶爾會發生問題,但是規律性出現的,我寧愿花一天時間為他寫一個腳本自動進行,讓問題永遠在萌芽狀態就被解決掉。而不是等報警,我還要人工取干預。

    在我理解工業4.0.
    IT要做的不只是運用什么高大上的新技術,而是運維更加要高效的保證問題被殺死于萌芽之中,而不是被動救火,除了保證業務連續性,更重要是分析問題根源,從預防,監控,災難發生應急預案等等

    • SunMan說道:

      你說的是100臺,如果是是1000臺,10000臺呢? 圖形可以對這10000臺服務器各時間段負載各時間段用戶數運行情況的曲線一目了然,每天看看,什么時候擴容,什么時候需要人工介入,可以做到胸有成竹。

Copyright ? 2012-2019 YUNWEIPAI.COM - 運維派 - 粵ICP備14090526號-3
掃二維碼
掃二維碼
返回頂部
qq宠物欢乐捕鱼怎么玩 一分快3大小单双技巧玩法 安卓平台软件开发 网店海产品赚钱吗 计算快三大小软件 11选5怎么视频现场直播 利赢棋牌游戏送10元 打老虎机诀窍 炸金花必胜口诀 重庆老时时彩彩开奖 pk10赛车走势图怎么看 开金店靠什么赚钱 极速时时开奖管我 云南快乐10分计划 变形计城市主人公自己赚钱 998855app好运来下载 苏会文3d预测