大數據運維工程師的基本職責
大數據運維工程師的基本職責
大數據運維工程師需要處理公司大數據平臺各類異常和故障，確保系統(tǒng)平臺的穩(wěn)定運行。下面是學習啦小編為您精心整理的大數據運維工程師的基本職責。
大數據運維工程師的基本職責1
職責:
1、技術保障各底層支撐系統(tǒng)的可靠性與穩(wěn)定性;
2、負責車輛網平臺的運行監(jiān)控的解決方案編制、實施與二次功能開發(fā);
3、負責技術文檔手冊編寫，更新，經驗總結沉淀，培訓分享;
4、負責對新技術和方案進行調研，評估和引進，用技術去提升運維生產效率
任職資格:
1、熟悉常見的應用服務部署和調優(yōu)(Nginx、MySQL、Redis、MongoDB、ELK，Hadoop等)，熟悉高可用集群、負載均衡集群的規(guī)劃與搭建;
2、熟練使用Linux、TCP/IP網絡協(xié)議棧，了解常用的Troubleshooting手段和常見性能指標
3、具有車聯(lián)網平臺運維的經驗，精于容量規(guī)劃、架構設計、性能優(yōu)化;
4、熟悉主流PaaS云產品的使用，具有運維平臺開發(fā)經驗者、參與過開源產品的開發(fā)者優(yōu)先;
5、優(yōu)秀的溝通能力，出色的學習與鉆研能力，良好的問題分析與解決能力;
6、對行業(yè)技術敏感度高且細致，善于思考，樂于發(fā)現(xiàn)，對解決具有挑戰(zhàn)性問題充滿激情。
大數據運維工程師的基本職責2
職責：
1、負責維護服務器的運行，包括巡檢、故障排除、數據備份等業(yè)務，保證服務器高質量、高效率運行狀態(tài);
2、負責服務器漏洞整改及補丁升級;
3、負責hadoop運維相關工作;
4、負責大數據平臺的日常部署、升級、擴容、遷移;
5、負責高并發(fā)，大存儲和實時流的Hadoop/spark大數據平臺規(guī)劃，運維，監(jiān)控和優(yōu)化工作。
任職資格：
1、2年左右服務器運維經驗;
2、對linux基礎運維命令熟悉，shell,python至少精通一種，如會scala語言可優(yōu)先考慮;
3、熟悉Linux的維護和管理，熟悉bat及Shell腳本開發(fā)，能看懂Python/Scala優(yōu)先;
4、做過大規(guī)模hadoop集群優(yōu)先;
5、大數據項目：包括不限于hadoop、hive、kafka、hbase、spark、Kudu、Impala等大數據生態(tài)的平臺搭建，監(jiān)控，運維，調優(yōu)、生產環(huán)境hadoop集群trouble shooting 、hadoop版本升級管理及優(yōu)化支持。
大數據運維工程師的基本職責3
職責:
1、負責Hadoop平臺搭建，運維，管理，故障處理。
2、負責保障大數據平臺的高效運轉、提升系統(tǒng)穩(wěn)定性和安全性。
3、對平臺的Hadoop，Hbase，Kafka，Hive等進行優(yōu)化。
4、建立Hadoop集群管理和維護規(guī)范，包括版本管理和變更記錄等。
崗位要求:
1、有豐富的Hadoop生態(tài)系統(tǒng)的運維經驗，了解Hadoop、Storm、Spark、Kafka這些組件的原理，具備部署、實施、維護hadoop 及相關組件的能力;
2、至少精通 Perl/Python/Shell腳本語言中的一種;
3、掌握Linux操作系統(tǒng)的配置，管理、優(yōu)化以及各種常用命令，能夠獨立排查及解決操作系統(tǒng)層的各類問題;
4、分析問題能力優(yōu)秀，善于從各種系統(tǒng)、應用日志中尋找出問題的原因。
5、有獨立分析問題和解決問題的能力，能出差。
大數據運維工程師的基本職責4
職責：
1.負責Hadoop、spark、hbase、oozie、hive等平臺運營和優(yōu)化工作，保障平臺服務運行穩(wěn)定、高效。
2.負責大數據方案架構及方案落地;
3.開發(fā)Hadoop大數據管理平臺與監(jiān)控建設;
3.負責hadoop平臺部署、維護;生產問題、告警、故障處理及服務器維護、日常值班;
4.負責集群網絡架構、機器管理等。
任職資格：
1. 全日制本科以上學歷，三年以上后臺系統(tǒng)運營工作經驗;
2. 熟悉hadoop原理，具有Hadoop平臺應用及管理經驗，熟悉hadoop、hive、spark、hbase、oozie、druid、kylin、flink等開源項目及部署、維護、調優(yōu);
3. 熟悉linux操作系統(tǒng)及調優(yōu);熟悉sql編程，熟悉Shell/Python/Java/Perl語言的一種或多種，有開發(fā)經驗優(yōu)先， 熟悉nagios,cacti,ganglia,zabbix,zenoss優(yōu)先;
4. 對大數據和自動化運維開發(fā)有濃厚興趣，有大規(guī)模hadoop運維經驗者優(yōu)先;有hadoop/hbase/spark/hive 開發(fā)經驗者優(yōu)先。
大數據運維工程師的基本職責5
職責：
1. 負責大數據平臺的穩(wěn)定性和性能優(yōu)化;
2. 負責大數據項目的運維工作;
3. 針對業(yè)務需求制定統(tǒng)一的運維解決方案;
4. 完善自動監(jiān)控報警系統(tǒng)，對業(yè)務層面關鍵指標進行監(jiān)控與報警通知;
任職要求：
1、熟練掌握hadoop平臺搭建、維護，有平臺優(yōu)化經驗;
2、熟悉HDFS、Hive、Spark、HBbase、Kafka、Flume等組件的原理，有閱讀源碼能力者優(yōu)先;
3、熟悉騰訊云產品，有騰訊云EMR使用經驗者優(yōu)先考慮;
4、熟練掌握java、python語言，熟練使用SQL，并有一定的優(yōu)化能力
相關文章：