- 目錄
-
第1篇 大數(shù)據(jù)運(yùn)維工程師職位描述與崗位職責(zé)任職要求
職位描述:
崗位職責(zé):
1. 負(fù)責(zé)大數(shù)據(jù)平臺(tái)的業(yè)務(wù)監(jiān)控、持續(xù)交付、應(yīng)急響應(yīng)、容量規(guī)劃、性能優(yōu)化;
2. 負(fù)責(zé)cloudera manage平臺(tái)各大數(shù)據(jù)組件(例例如:hdfs、yarn、hbase、hive、hue、impala、spark、sqoop、zk等)安裝調(diào)試與支持;
3. 深入研究大數(shù)據(jù)相關(guān)運(yùn)維技術(shù),持續(xù)優(yōu)化集群服務(wù)架構(gòu),探索新的hadoop運(yùn)維技術(shù)及發(fā)展方向;
4. 負(fù)責(zé)hadoop平臺(tái)的用戶管理、權(quán)限分配、資源分配;
崗位要求:
1. 熟悉apache hadoop、spark、kafka、hbase、hive等大數(shù)據(jù)組件的安裝部署、故障處理理、性能調(diào)優(yōu),具有cdh等組件實(shí)際使用經(jīng)驗(yàn);
2. 具有cloudera manage平臺(tái)搭建維護(hù)經(jīng)驗(yàn);
3. 熟悉linu_,有cloudera使用經(jīng)驗(yàn)優(yōu)先;
4. 有一定的hql/sql性能調(diào)優(yōu)工作;
5. 熟悉azkaban工作流組件優(yōu)先。
第2篇 大數(shù)據(jù)java開發(fā)工程師職位描述與崗位職責(zé)任職要求
職位描述:
工作職責(zé):
1、根據(jù)業(yè)務(wù)需求與前端組協(xié)作開發(fā)并實(shí)現(xiàn)各功能;
2、與架構(gòu)師一起確定后端研發(fā)中涉及到的技術(shù)框架選型及相關(guān)實(shí)現(xiàn);
3、與架構(gòu)師一起確定協(xié)作完成核心接口的定義、使用、測(cè)試并保證業(yè)務(wù)代碼的運(yùn)行效率;
4、與測(cè)試組及運(yùn)維組協(xié)作實(shí)現(xiàn)產(chǎn)品上線,并監(jiān)控產(chǎn)品服務(wù),及時(shí)處理線上異常;
5、能帶領(lǐng)小團(tuán)隊(duì)獨(dú)立工作,分解項(xiàng)目需求,完成模塊設(shè)計(jì),組織評(píng)審,制訂開發(fā)計(jì)劃,保證質(zhì)量;
6、參與code review ,從技術(shù)層面帶領(lǐng)團(tuán)隊(duì)整體實(shí)力提升。
任職資格:
職位要求
1、計(jì)算機(jī)相關(guān)專業(yè),本科及以上學(xué)歷;
2、具有3年或以上java web項(xiàng)目開發(fā)工作經(jīng)驗(yàn);
3、java基礎(chǔ)扎實(shí),深入理解成熟java開源框架,如spring, springmvc等;
4、熟練使用和配置一種或一種以上tomcat、jetty、ngin_等主流應(yīng)用服務(wù)器;
5、熟練使用mysql等常用數(shù)據(jù)庫(kù),對(duì)redis有深入理解和實(shí)際設(shè)計(jì)及使用經(jīng)驗(yàn);
6、有豐富的高并發(fā),高吞吐系統(tǒng)開發(fā)經(jīng)驗(yàn);
7、有較強(qiáng)的承壓能力以及學(xué)習(xí)能力;
有以下經(jīng)驗(yàn)者優(yōu)先:
1、深入理解redis
2、了解apache karaf、apache camel,有相關(guān)使用經(jīng)驗(yàn)
3、熟悉阿里云或中間件相關(guān)技術(shù)
第3篇 大數(shù)據(jù)平臺(tái)(高級(jí))工程師-實(shí)驗(yàn)評(píng)估方向職位描述與崗位職責(zé)任職要求
職位描述:
工作職責(zé):
1、研發(fā)業(yè)界領(lǐng)先的灰度實(shí)驗(yàn)/abtest系統(tǒng),面向頭條全公司的所有產(chǎn)品線;
2、建立通用的用戶行為指標(biāo)體系,探索性發(fā)掘新指標(biāo),研究業(yè)界領(lǐng)先的個(gè)性化評(píng)估方法;
3、從pb級(jí)超大規(guī)模的用戶行為數(shù)據(jù)中挖掘信息,并設(shè)計(jì)實(shí)驗(yàn)驗(yàn)證假設(shè),為策略/產(chǎn)品改進(jìn)提供支持。
任職要求:
1、熟悉多項(xiàng)大數(shù)據(jù)處理/分析相關(guān)的工具/框架,e.g.hadoop, mapreduce, hive, storm, spark, kylin,scribe, kafka, hbase, canal,sqoop etc;
2、強(qiáng)悍的編碼能力,生產(chǎn)環(huán)境快速 trouble-shooting能力,對(duì)新技術(shù)有強(qiáng)烈的學(xué)習(xí)熱情;
3、優(yōu)秀的理解溝通能力,能快速理解業(yè)務(wù)背景,對(duì)數(shù)據(jù)敏感,崇尚數(shù)據(jù)說話,深信數(shù)據(jù)在驅(qū)動(dòng)業(yè)務(wù)、支撐決策上的價(jià)值,有web應(yīng)用開發(fā)能力者優(yōu)先。
第4篇 資深大數(shù)據(jù)工程師職位描述與崗位職責(zé)任職要求
職位描述:
【崗位職責(zé)】:
1、參與公司數(shù)據(jù)平臺(tái)架構(gòu)設(shè)計(jì),負(fù)責(zé)大數(shù)據(jù)平臺(tái)和數(shù)據(jù)倉(cāng)庫(kù)相關(guān)建設(shè);
2、依據(jù)公司的大數(shù)據(jù)技術(shù)發(fā)展路線,負(fù)責(zé)基于hadoop生態(tài)系統(tǒng)和mpp數(shù)據(jù)庫(kù)的大規(guī)模數(shù)據(jù)平臺(tái)的研發(fā)及數(shù)據(jù)倉(cāng)庫(kù)建設(shè),提供可靠的數(shù)據(jù)存儲(chǔ)和訪問能力;
3、負(fù)責(zé)公司大數(shù)據(jù)平臺(tái)和數(shù)據(jù)倉(cāng)庫(kù)的搭建、開發(fā)、管理、監(jiān)控和性能調(diào)優(yōu),保證集群高效穩(wěn)定運(yùn)行;
4、規(guī)劃與開發(fā)離線數(shù)據(jù)平臺(tái)系統(tǒng),處理海量數(shù)據(jù),優(yōu)化存儲(chǔ)和計(jì)算架構(gòu)的性能;
5、負(fù)責(zé)數(shù)據(jù)平臺(tái)技術(shù)難點(diǎn)攻關(guān)、技術(shù)選型評(píng)估,參與開發(fā)流程的討論與優(yōu)化;
6、參與公司數(shù)據(jù)治理策略等的制訂和實(shí)施;
7、負(fù)責(zé)協(xié)助產(chǎn)品經(jīng)理進(jìn)行數(shù)據(jù)倉(cāng)庫(kù)相關(guān)的需求分析、建模、寬表設(shè)計(jì)等工作;
8、負(fù)責(zé)系統(tǒng)核心代碼編寫、代碼審核和重構(gòu),指導(dǎo)和培訓(xùn)數(shù)據(jù)工程師、不斷進(jìn)行系統(tǒng)優(yōu)化;
【任職資格】:
1、本科以上學(xué)歷,5年以上大數(shù)據(jù)研發(fā)經(jīng)驗(yàn),帶領(lǐng)過10人以上的大數(shù)據(jù)團(tuán)隊(duì);
2、有大型分布式系統(tǒng)設(shè)計(jì)經(jīng)驗(yàn),負(fù)責(zé)過海量數(shù)據(jù)平臺(tái)上高可用、高性能分布式系統(tǒng)的架構(gòu)設(shè)計(jì);
3、熟悉大數(shù)據(jù)開發(fā)框架,熟悉hadoop,hbase,spark等及業(yè)界主流流處理平臺(tái)如,如storm,flunk,sparkstreaming等之一;
4、熟悉greenplum等數(shù)據(jù)倉(cāng)庫(kù)技術(shù),并有廣泛的實(shí)踐經(jīng)驗(yàn),具備維護(hù)和解決生產(chǎn)問題的能力;
5、熟悉掌握分布式存儲(chǔ)和nosql數(shù)據(jù)庫(kù)技術(shù)(如monogodb、redis等),有實(shí)際生產(chǎn)項(xiàng)目應(yīng)用經(jīng)驗(yàn);
6、熟練掌握java,python,scalar中的至少一種編程語言,掌握常見的數(shù)據(jù)結(jié)構(gòu),算法,了解軟件工程、敏捷開發(fā)等知識(shí),熟悉常用設(shè)計(jì)模式
7、理解soa,微服務(wù),中間件等paas相關(guān)的關(guān)鍵理念與技術(shù),并對(duì)其有廣泛的實(shí)踐與應(yīng)用經(jīng)驗(yàn),樂于。
8、有民航、電子商務(wù)、風(fēng)控等大數(shù)據(jù)設(shè)計(jì)和從業(yè)經(jīng)驗(yàn)者優(yōu)先。
第5篇 大數(shù)據(jù)云計(jì)算工程師崗位職責(zé)
高級(jí)java開發(fā)工程師(云計(jì)算大數(shù)據(jù)方向) 中軟國(guó)際科技 中軟國(guó)際科技服務(wù)有限公司,中軟國(guó)際,中軟國(guó)際科技,中軟國(guó)際科技服務(wù),中軟 職責(zé)描述:
1、負(fù)責(zé)/參與應(yīng)用系統(tǒng)平臺(tái)設(shè)計(jì)、重構(gòu)、優(yōu)化,主導(dǎo)/參與技術(shù)難題攻關(guān);
2、負(fù)責(zé)并參與系統(tǒng)需求分析、功能模塊詳細(xì)設(shè)計(jì),完成系統(tǒng)業(yè)務(wù)功能實(shí)現(xiàn)、測(cè)試及維護(hù)工作;
3、負(fù)責(zé)編寫相應(yīng)的需求、設(shè)計(jì)與技術(shù)文檔,向系統(tǒng)使用者提供技術(shù)支持服務(wù);
4、參與線上系統(tǒng)環(huán)境的升級(jí)、運(yùn)維監(jiān)控、性能調(diào)優(yōu);
5、推動(dòng)跟進(jìn)業(yè)務(wù)線需求,為改善系統(tǒng)的功能積極提出建議。
任職要求:
1、3以上java語言開發(fā)經(jīng)驗(yàn),基礎(chǔ)扎實(shí), 熟練使用springmvc框架進(jìn)行開發(fā);
2、對(duì)多線程編程,線程安全等有較深理解. 能夠熟練使用線程池等常用功能;
3、熟練使用jpa,hibernate,mybatis中的一種或多種持久層框架;
4、熟練使用sql的crud命令;
5、具有庫(kù)表結(jié)構(gòu)設(shè)計(jì)能力, 并且有一定的sql開發(fā)及優(yōu)化能力。
第6篇 大數(shù)據(jù)開發(fā)工程師(數(shù)倉(cāng)方向)職位描述與崗位職責(zé)任職要求
職位描述:
崗位職責(zé):
1. 理解業(yè)務(wù)需求,負(fù)責(zé)數(shù)據(jù)倉(cāng)庫(kù)建設(shè)、etl流程的開發(fā)和優(yōu)化工作;
2. 解決業(yè)務(wù)數(shù)據(jù)分析、數(shù)據(jù)報(bào)表、數(shù)據(jù)異常相關(guān)的技術(shù)問題;
3. spark/yarn/hdfs 的性能改進(jìn)、功能擴(kuò)展、故障分析;
任職資格:
1. 計(jì)算機(jī)相關(guān)專業(yè)本科及以上學(xué)歷;
2. 精通java編程語言,并熟悉scala、python、shell等一門以上腳本語言;
3. 熟悉hadoop大數(shù)據(jù)平臺(tái)架構(gòu),熟悉spark/spark sql/yarn開發(fā)調(diào)優(yōu)技術(shù),具有相關(guān)項(xiàng)目經(jīng)驗(yàn)
4. 掌握數(shù)據(jù)倉(cāng)庫(kù)(dw)/olap/商業(yè)智能(bi)/數(shù)據(jù)統(tǒng)計(jì)理論,熟悉oracle/mysql數(shù)據(jù)庫(kù);
5. 思路清晰,具備良好的溝通能力和理解能力,較強(qiáng)的學(xué)習(xí)能力以及快速解決問題的能力;
6. 具有高度的責(zé)任感,工作認(rèn)真、踏實(shí)。
福利待遇:
1、薪酬:有競(jìng)爭(zhēng)力的薪酬體系,我們不止跟你談理想,錢也必須談一談~
2、交通:無論天涯,免費(fèi)班車直達(dá)公司,驀然回首,地鐵就在公司不遠(yuǎn)處。。。
3、工作時(shí)間:5天7小時(shí)工作制,充足的休息讓你一整天元?dú)鉂M滿!
4、各種福利:五險(xiǎn)一金小case,節(jié)日禮物福利補(bǔ)貼說不完!
5、團(tuán)建活動(dòng):下午茶,團(tuán)隊(duì)活動(dòng),部門聚餐,經(jīng)費(fèi)充足不差錢,大公司就是這么壕!
6、發(fā)展平臺(tái):想要升職加薪走向人生巔峰?上市公司晉升發(fā)展機(jī)會(huì)多多~
第7篇 數(shù)據(jù)平臺(tái)-大數(shù)據(jù)開發(fā)套件服務(wù)端高級(jí)工程師職位描述與崗位職責(zé)任職要求
職位描述:
工作職責(zé):
1、面向公司的大數(shù)據(jù)開發(fā)套件產(chǎn)品設(shè)計(jì)與研發(fā),包括大數(shù)據(jù)任務(wù)建設(shè)平臺(tái),元數(shù)據(jù)管理系統(tǒng),數(shù)據(jù)質(zhì)量監(jiān)控平臺(tái),任務(wù)運(yùn)維平臺(tái)等
2、參與需求調(diào)研與用戶技術(shù)支持
3、追求極致,構(gòu)建業(yè)內(nèi)領(lǐng)先的數(shù)據(jù)平臺(tái)產(chǎn)品
任職要求:
1、精通java/scala語言,包括jvm、類裝載、線程、并發(fā)、io資源管理、網(wǎng)絡(luò)
2、扎實(shí)的計(jì)算機(jī)基礎(chǔ),對(duì)技術(shù)有熱情,愿意不斷嘗試新技術(shù)和業(yè)務(wù)挑戰(zhàn)
3、精通soa架構(gòu)和微服務(wù)架構(gòu)
4、有 ide 開發(fā)經(jīng)驗(yàn)者優(yōu)先考慮
5、熟悉前端技術(shù)的全棧開發(fā)工程師優(yōu)先
6、熟悉hadoop ecosystem常用開源框架者優(yōu)先,例如hadoop/flink/spark等
第8篇 大數(shù)據(jù)架構(gòu)資深工程師職位描述與崗位職責(zé)任職要求
職位描述:
工作職責(zé):
1、打造業(yè)界領(lǐng)先的存儲(chǔ)、計(jì)算等分布式系統(tǒng);
2、為海量數(shù)據(jù)和大規(guī)模業(yè)務(wù)系統(tǒng)提供可靠的基礎(chǔ)設(shè)施。
任職要求:
1、掌握分布式系統(tǒng)原理,對(duì)存儲(chǔ)、計(jì)算、消息隊(duì)列、集群管理中的一項(xiàng)或多項(xiàng)有深入的理解和認(rèn)識(shí);
2、樂于挑戰(zhàn)沒有明顯答案的問題,能快速理解業(yè)務(wù)場(chǎng)景,從具體問題中抽象出通用的解決方案;
3、存儲(chǔ)方向:對(duì) hdfs, rocksdb, leveldb, memcache, redis, mysql, hbase, kafka 的一項(xiàng)或多項(xiàng)有經(jīng)驗(yàn)者優(yōu)先;
4、計(jì)算方向:對(duì) spark, mapreduce, storm, hive, presto, impala 的一項(xiàng)或多項(xiàng)有經(jīng)驗(yàn)者優(yōu)先;
5、集群管理方向:對(duì) yarn, mesos 的一項(xiàng)或多項(xiàng)有經(jīng)驗(yàn)者優(yōu)先;
6、向開源社區(qū)貢獻(xiàn)過 patch 者優(yōu)先,請(qǐng)?jiān)诤?jiǎn)歷上說明。
第9篇 大數(shù)據(jù)工程師崗位職責(zé)職位要求
職責(zé)描述:
華為企業(yè)bg-大數(shù)據(jù)工程師
1、基于hadoop/spark/mppdb的大數(shù)據(jù)、數(shù)倉(cāng)平臺(tái)架構(gòu)設(shè)計(jì)及開發(fā)工作
2、數(shù)據(jù)處理流程設(shè)計(jì)及開發(fā)
3、海量數(shù)據(jù)的采集、存儲(chǔ)、管理、分析、建模
4、負(fù)責(zé)大數(shù)據(jù)、數(shù)倉(cāng)平臺(tái)的監(jiān)控及優(yōu)化,針對(duì)持續(xù)增長(zhǎng)的數(shù)據(jù)提供相應(yīng)的解決方案
5、負(fù)責(zé)大數(shù)據(jù)、數(shù)倉(cāng)項(xiàng)目的疑難問題解決,性能優(yōu)化
專業(yè)知識(shí)要求:
1、有3年以上相關(guān)崗位工作經(jīng)歷,或者非金融業(yè)的數(shù)據(jù)服務(wù)或信息數(shù)據(jù)管理工作經(jīng)驗(yàn)
2、數(shù)學(xué)、計(jì)算機(jī)技術(shù)等相關(guān)專業(yè)
3、精通大數(shù)據(jù)(mppdb、hadoop)等相關(guān)技術(shù),并精通hbase/hive/mr/spark/solr/storm/flink其中的任意3個(gè)組件技術(shù)。
4、至少精通主流數(shù)據(jù)庫(kù)技術(shù)oracle/postresql/mysql/sql server中的一種,精通數(shù)據(jù)倉(cāng)庫(kù)理論架構(gòu),包括但不限于數(shù)據(jù)調(diào)度、etl、元數(shù)據(jù)管理、數(shù)據(jù)監(jiān)控;
5、精通1-2門開發(fā)語言(java/python/scala/shell)
6、具有比較突出的組織、策劃、協(xié)調(diào)及溝通能力,有強(qiáng)烈的結(jié)果導(dǎo)向和客戶導(dǎo)向。
崗位要求:
學(xué)歷要求:本科
語言要求:不限
年齡要求:不限
工作年限:3-5年
第10篇 fwz-大數(shù)據(jù)挖掘工程師職位描述與崗位職責(zé)任職要求
職位描述:
職責(zé)描述:
1、熟知公司業(yè)務(wù)數(shù)據(jù)和業(yè)務(wù)變化,構(gòu)建業(yè)務(wù)數(shù)據(jù)模型;
2、維護(hù)業(yè)務(wù)數(shù)據(jù)模型,驗(yàn)證數(shù)據(jù)質(zhì)量,保障數(shù)據(jù)完整和可靠;
3、進(jìn)行數(shù)據(jù)研發(fā)和分析,支持業(yè)務(wù)優(yōu)化、監(jiān)控和考核;
4、不斷學(xué)習(xí)數(shù)據(jù)技術(shù),使用新技術(shù)高效完成任務(wù)。
5、平臺(tái)的搭建與數(shù)據(jù)維護(hù)
任職要求:
1、國(guó)內(nèi)外高校計(jì)算機(jī)、數(shù)學(xué)類相關(guān)專業(yè),本科以上學(xué)歷;
2、2年以上大規(guī)模數(shù)據(jù)研發(fā)、挖掘、分析相關(guān)工作經(jīng)驗(yàn);
3、熟悉mysql、oracle、sqlserver或至少其中之一,熟悉sql語言;
4、具有hadoop、hive、hbase、spark、strom等開源工具的使用經(jīng)驗(yàn),并能結(jié)合不同的業(yè)務(wù)場(chǎng)景使用;
5、具有python、shell開發(fā)經(jīng)驗(yàn);
6、有物流行業(yè)相關(guān)工作經(jīng)驗(yàn)者優(yōu)先;
7、了解數(shù)理統(tǒng)計(jì)、數(shù)據(jù)分析及挖掘,熟知常用算法,有運(yùn)用機(jī)器學(xué)習(xí)算法建模的理論基礎(chǔ)或?qū)嶋H經(jīng)驗(yàn)者優(yōu)先;應(yīng)用大數(shù)據(jù)平臺(tái)完成項(xiàng)目或任務(wù)。
第11篇 大數(shù)據(jù)工程師崗位工作職責(zé)
簡(jiǎn)介:大數(shù)據(jù)(big data),指無法在一定時(shí)間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合,是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。
大數(shù)據(jù)工程師職位描述(模板一)
崗位職責(zé):
1.負(fù)責(zé)數(shù)據(jù)分析、加工、清洗、處理程序的開發(fā);
2.從事海量數(shù)據(jù)分析、挖掘相關(guān)工作;
3.負(fù)責(zé)大數(shù)據(jù)相關(guān)平臺(tái)的搭建、開發(fā)、維護(hù)、優(yōu)化;
4.對(duì)業(yè)務(wù)部門的數(shù)據(jù)分析需求給予實(shí)現(xiàn)與支持;
5.對(duì)公司的“數(shù)據(jù)驅(qū)動(dòng)運(yùn)營(yíng)”的業(yè)務(wù)目標(biāo)進(jìn)行大數(shù)據(jù)架構(gòu)方案實(shí)現(xiàn)。
任職要求:
1.計(jì)算機(jī)相關(guān)專業(yè),本科及以上學(xué)歷,3年以上java開發(fā)工作經(jīng)驗(yàn),學(xué)習(xí)能力突出;
2.熟悉hadoop生態(tài)系統(tǒng)內(nèi)常見項(xiàng)目的使用(hdfs、hive、hbase、spark、zookeeper、yarn等),具有python、spark 、mapreduce開發(fā)經(jīng)驗(yàn),有實(shí)際大數(shù)據(jù)項(xiàng)目經(jīng)驗(yàn)優(yōu)先;
3.熟練掌握oracle、mysql等主流數(shù)據(jù)庫(kù);
4.精通java,熟悉基于j2ee的web架構(gòu)設(shè)計(jì),熟悉web開發(fā)流程,有豐富的web mvc(struts/spring mvc、spring,hibernate/mybatis等)開發(fā)經(jīng)驗(yàn);
5.熟悉linu_/uni_系統(tǒng)環(huán)境下的操作;熟悉tomcat等應(yīng)用服務(wù)器的配置和優(yōu)化;
6.具有良好的溝通能力、組織能力及團(tuán)隊(duì)協(xié)作精神,有較強(qiáng)的分析和解決問題的能力。大數(shù)據(jù)工程師職位描述(模板二)
崗位職責(zé):
1.大數(shù)據(jù)平臺(tái)功能規(guī)劃、設(shè)計(jì);
2.大數(shù)據(jù)平臺(tái)的設(shè)計(jì)、研發(fā);
3.大數(shù)據(jù)平臺(tái)實(shí)施、數(shù)據(jù)接入。
任職要求:
1.統(tǒng)招本科及以上學(xué)歷,計(jì)算機(jī)科學(xué)、軟件工程、數(shù)學(xué)、統(tǒng)計(jì)學(xué)相關(guān)專業(yè)畢業(yè);
2.具有扎實(shí)的java基礎(chǔ),精通sql、mysql以及2年以上軟件開發(fā)經(jīng)驗(yàn);
3.熟悉hadoop平臺(tái)架構(gòu),有hadooop、hbase、hive、spark、kafka使用經(jīng)驗(yàn);
4.熟練python進(jìn)行數(shù)據(jù)處理,網(wǎng)頁(yè)爬取;
5.有非結(jié)構(gòu)化數(shù)據(jù)解析、識(shí)別經(jīng)驗(yàn)優(yōu)先。大數(shù)據(jù)工程師職位描述(模板三)
崗位職責(zé):
1.負(fù)責(zé)數(shù)據(jù)倉(cāng)庫(kù)建設(shè)、設(shè)計(jì)、優(yōu)化和落地;
2.負(fù)責(zé)數(shù)據(jù)etl開發(fā)、數(shù)據(jù)平臺(tái)建設(shè)、設(shè)計(jì)并實(shí)現(xiàn)對(duì)bi分析、數(shù)據(jù)產(chǎn)品開發(fā)。
任職要求:
1.985院校計(jì)算機(jī)相關(guān)專業(yè)本科以上學(xué)歷;
2.有較扎實(shí)的數(shù)據(jù)倉(cāng)庫(kù)理論基礎(chǔ),對(duì)數(shù)據(jù)模型建設(shè)、應(yīng)用層建設(shè)有比較豐富的經(jīng)驗(yàn);
3.有hadoop、hive、spark、impala等大數(shù)據(jù)技術(shù)使用經(jīng)驗(yàn)者優(yōu)先。大數(shù)據(jù)工程師職位描述(模板四)
崗位職責(zé):
1.主要負(fù)責(zé)電信業(yè)務(wù)的大數(shù)據(jù)開發(fā)工作;
2.結(jié)合業(yè)務(wù)需求設(shè)計(jì)數(shù)據(jù)分析場(chǎng)景,并形成后臺(tái)實(shí)現(xiàn)方案,獨(dú)立完成業(yè)務(wù)數(shù)據(jù)建模,并將結(jié)果轉(zhuǎn)化為運(yùn)營(yíng)指標(biāo);
3.對(duì)產(chǎn)品全生命周期跟進(jìn),協(xié)調(diào)各種資源保證產(chǎn)品順利發(fā)展。
任職要求:
1.計(jì)算機(jī)或者相關(guān)專業(yè)本科及以上學(xué)歷,3年及以上相關(guān)工作經(jīng)驗(yàn);
2.熟練掌握java開發(fā)語言,熟悉多線程和線程調(diào)優(yōu),如懂scala開發(fā)更佳;
3.熟悉linu_服務(wù)器環(huán)境、熟悉shell;
4.熟悉分布式系統(tǒng)、集群管理、soa架構(gòu)等相關(guān)技術(shù),熟悉hadoop on yarn集群部署和工作原理,熟練掌握mr開發(fā),有大型集群開發(fā)運(yùn)維經(jīng)驗(yàn)更佳;
5.熟悉以下技術(shù)中3種及以上者優(yōu)先考慮:hive、hbase、impala、ngin_、zookeeper、redis、kafka、storm、spark、es、爬蟲;
6.具有良好的溝通能力和團(tuán)隊(duì)精神,具有良好的抗壓能力。大數(shù)據(jù)工程師職位描述(模板五)
崗位職責(zé):
1.負(fù)責(zé)大數(shù)據(jù)處理平臺(tái)應(yīng)用的開發(fā)工作;
2.利用hadoop yarn/storm/spark進(jìn)行開發(fā)、存儲(chǔ)、分布式計(jì)算應(yīng)用的代碼實(shí)現(xiàn);
3.優(yōu)化hadoop yarn/storm/spark 參數(shù),實(shí)現(xiàn)系統(tǒng)調(diào)優(yōu),滿足行業(yè)應(yīng)用的實(shí)時(shí)大數(shù)據(jù)處理需求;
4.學(xué)習(xí)新技術(shù),提高整個(gè)平臺(tái)的計(jì)算能力和效率;
5.開發(fā)基于hive、hbase、es等數(shù)據(jù)處理方式的腳本程序。
任職要求:
1.3年以上hadoop/storm/spark開發(fā)經(jīng)驗(yàn),對(duì)分布式、并行計(jì)算理論有深刻理解;
2.精通java/scala/python任一語言;
3.對(duì)hadoop/storm/spark源碼有研究,有大數(shù)據(jù)平臺(tái)開發(fā)工作經(jīng)驗(yàn)者優(yōu)先;
4.有很好的技術(shù)敏感性,良好的學(xué)習(xí)能力和吃苦耐勞能力;
5.具有較好的溝通協(xié)調(diào)能力、團(tuán)隊(duì)合作能力、文檔編寫能力。
第12篇 大數(shù)據(jù)計(jì)算引擎高級(jí)工程師職位描述與崗位職責(zé)任職要求
職位描述:
工作職責(zé):
1、研發(fā)業(yè)界領(lǐng)先的大數(shù)據(jù)計(jì)算引擎,服務(wù)于今日頭條全公司的數(shù)十個(gè)用戶產(chǎn)品線;
2、面向超大規(guī)模數(shù)據(jù)問題,每天千億增量的用戶行為數(shù)據(jù),秒級(jí)處理pb級(jí)別的數(shù)據(jù)計(jì)算;
3、善于理解和抽象業(yè)務(wù)問題,支撐多樣的海量數(shù)據(jù)分析場(chǎng)景。
任職要求:
1、強(qiáng)悍的系統(tǒng)設(shè)計(jì)&編碼能力,追求優(yōu)雅的設(shè)計(jì)和優(yōu)秀的代碼質(zhì)量,高標(biāo)準(zhǔn),快速行動(dòng);
2、對(duì)hive/kylin/presto/spark/tez/impala 的一項(xiàng)或多項(xiàng)有深入研究者優(yōu)先;
3、有pb規(guī)模的數(shù)據(jù)處理經(jīng)驗(yàn)者優(yōu)先/4、開源項(xiàng)目commiter或貢獻(xiàn)過patch 者優(yōu)先,請(qǐng)?jiān)诤?jiǎn)歷上說明。
第13篇 sfj-大數(shù)據(jù)挖掘與分析工程師(數(shù)據(jù)分析方向)職位描述與崗位職責(zé)任職要求
職位描述:
職責(zé)描述:
1、用系統(tǒng)化的方法分析業(yè)務(wù)變化趨勢(shì),為管理層決策和產(chǎn)品完善提供數(shù)據(jù)支持;
2、運(yùn)用hive/sql做數(shù)據(jù)挖掘分析,用數(shù)據(jù)驅(qū)動(dòng)產(chǎn)品改進(jìn)、業(yè)務(wù)發(fā)展;
3、指導(dǎo)與支持產(chǎn)品經(jīng)理、業(yè)務(wù)經(jīng)理設(shè)定目標(biāo),并檢驗(yàn)是否達(dá)標(biāo)。
任職要求:
1、統(tǒng)計(jì)、生物統(tǒng)計(jì)、運(yùn)籌、應(yīng)用數(shù)學(xué)相關(guān)專業(yè)本科及以上學(xué)歷;
2、三年以上在互聯(lián)網(wǎng)或物聯(lián)網(wǎng)行業(yè)的數(shù)據(jù)分析工作經(jīng)驗(yàn);有app數(shù)據(jù)運(yùn)營(yíng)、物流數(shù)據(jù)分析經(jīng)驗(yàn)的優(yōu)先;
3、優(yōu)秀的商業(yè)分析能力,有及時(shí)發(fā)現(xiàn)和分析其中隱含問題的敏銳性 ,能從復(fù)雜用戶行為數(shù)據(jù)進(jìn)行抽象概括,建立數(shù)學(xué)模型并用ppt等表達(dá);
4、熟悉sql與hive,掌握統(tǒng)計(jì)分析方法;
5、有設(shè)計(jì)a/b test的能力,精通各種統(tǒng)計(jì)假設(shè)檢驗(yàn)的方法,如:t-test, chi-square等;
6、具備r或python能力。
第14篇 大數(shù)據(jù)主任工程師職位描述與崗位職責(zé)任職要求
職位描述:
職責(zé)描述:
1. 負(fù)責(zé)客戶業(yè)務(wù)需求、數(shù)據(jù)分析需求的調(diào)研、收集與分析;
2. 負(fù)責(zé) kyligence enterprise 大數(shù)據(jù)平臺(tái)整體架構(gòu)和數(shù)據(jù)架構(gòu)設(shè)計(jì);
3. 負(fù)責(zé)技術(shù)設(shè)計(jì)及技術(shù)實(shí)現(xiàn)規(guī)范編制,指導(dǎo)開發(fā)團(tuán)隊(duì)進(jìn)行項(xiàng)目設(shè)計(jì)、項(xiàng)目實(shí)現(xiàn)及技術(shù)匯報(bào);
4. 負(fù)責(zé)項(xiàng)目重難點(diǎn)模塊的功能設(shè)計(jì)和難點(diǎn)攻堅(jiān);
5. 參與 kyligence enterprise/apache kylin 的應(yīng)用設(shè)計(jì)、開發(fā)、測(cè)試及優(yōu)化工作。
任職要求:
1. 計(jì)算機(jī)相關(guān)專業(yè),本科及以上學(xué)歷;
2. 有 3 年以上工作經(jīng)驗(yàn),其中包括2年以上大數(shù)據(jù)平臺(tái)架構(gòu)和系統(tǒng)設(shè)計(jì)經(jīng)驗(yàn);
3. 精通 hadoop、hive、hbase原理,熟悉大數(shù)據(jù)生態(tài)技術(shù),如storm、spark、flink、kafka、zookeeper等,有大規(guī)模集群架構(gòu)、開發(fā)及運(yùn)維經(jīng)驗(yàn),能根據(jù)業(yè)務(wù)場(chǎng)景設(shè)計(jì)合適的技術(shù)棧完成業(yè)務(wù)需求
4. 熟練sql 語言,掌握 oracle、db2、mysql 等一種或多種數(shù)據(jù)庫(kù)系統(tǒng)的使用,有一定的 sql 性能調(diào)優(yōu)經(jīng)驗(yàn);
5. 至少熟悉 java,scala,python,shell等編程語言中的2種;
6. 優(yōu)秀的分析和解決問題的能力,對(duì)挑戰(zhàn)性問題充滿激情;
7. 具備良好的團(tuán)隊(duì)合作精神,較強(qiáng)的溝通能力,具備良好的技術(shù)領(lǐng)導(dǎo)能力;
8. 有數(shù)據(jù)倉(cāng)庫(kù)背景或者 apache kylin 的開發(fā)經(jīng)驗(yàn)者優(yōu)先考慮;
第15篇 大數(shù)據(jù)開發(fā)高級(jí)工程師-etl方向職位描述與崗位職責(zé)任職要求
職位描述:
工作職責(zé):
1、 根據(jù)公司數(shù)據(jù)分析需求進(jìn)行基于hadoop 平臺(tái)的項(xiàng)目開發(fā);
2、 根據(jù)需求進(jìn)行數(shù)據(jù)倉(cāng)庫(kù)模型設(shè)計(jì),熟練使用kettle工具進(jìn)行etl程序的開發(fā);包括實(shí)時(shí)數(shù)據(jù)加工,計(jì)算,etl,管理, 監(jiān)控等;
3、 負(fù)責(zé)針對(duì)源系統(tǒng)進(jìn)行數(shù)據(jù)抽取、處理、分析等相關(guān)工作,及項(xiàng)目中涉及到的數(shù)據(jù)庫(kù)創(chuàng)建、維護(hù)及提供數(shù)據(jù)接口工作;
4、 負(fù)責(zé)設(shè)計(jì)并優(yōu)化基于hive 的數(shù)據(jù)倉(cāng)庫(kù)的建設(shè);
5、 制定數(shù)據(jù)庫(kù)備份和恢復(fù)策略及工作流程與規(guī)范。
6、能出具消費(fèi)品品牌制造行業(yè)應(yīng)用的數(shù)據(jù)分析技術(shù)解決方案,并落地。
任職資格:
1.從事數(shù)據(jù)倉(cāng)庫(kù)領(lǐng)域至少2年以上,熟悉數(shù)據(jù)倉(cāng)庫(kù)模型設(shè)計(jì)與etl開發(fā)經(jīng)驗(yàn) ,具備海量數(shù)據(jù)加工處理相關(guān)經(jīng)驗(yàn);
2. 熟悉數(shù)據(jù)倉(cāng)庫(kù)領(lǐng)域知識(shí)和技能者優(yōu)先,包括但不局限于:元數(shù)據(jù)管理、數(shù)據(jù)開發(fā)測(cè)試工具與方法、數(shù)據(jù)質(zhì)量、主數(shù)據(jù)管理;
3.有從事分布式數(shù)據(jù)存儲(chǔ)與計(jì)算平臺(tái)應(yīng)用開發(fā)經(jīng)驗(yàn),熟悉hadoop生態(tài)相關(guān)技術(shù)并有相關(guān)實(shí)踐經(jīng)驗(yàn)著優(yōu)先,重點(diǎn)考察hive、hdfs、hbase;
4. 熟練掌握kettlesqoop、data_、airflow等;
5. 有消費(fèi)品品牌制造、零售行業(yè)經(jīng)驗(yàn),尤其快消品行業(yè)和財(cái)務(wù)領(lǐng)域數(shù)據(jù)項(xiàng)目經(jīng)驗(yàn)者優(yōu)先;
6. 熟悉分布式計(jì)算presto/imapa優(yōu)先;
7.有實(shí)時(shí)計(jì)算方面的經(jīng)驗(yàn)的優(yōu)先。
第16篇 大數(shù)據(jù)基礎(chǔ)架構(gòu)研發(fā)工程師職位描述與崗位職責(zé)任職要求
職位描述:
職責(zé)描述:
1、負(fù)責(zé)公司內(nèi)部大數(shù)據(jù)平臺(tái)的選型與優(yōu)化工作;
2、參與整體系統(tǒng)架構(gòu)的規(guī)劃,維護(hù)公司的大數(shù)據(jù)生產(chǎn)平臺(tái),不斷優(yōu)化系統(tǒng)性能;
3、開發(fā)適合公司業(yè)務(wù)的大數(shù)據(jù)框架,并協(xié)助其他部門開發(fā)與優(yōu)化出高效的并行計(jì)算程序;
4、開發(fā)適合公司業(yè)務(wù)的大數(shù)據(jù)存儲(chǔ)平臺(tái),完成pb級(jí)別的高性能存儲(chǔ)作業(yè)。
任職要求:
1、985/211院校計(jì)算機(jī)相關(guān)專業(yè)畢業(yè),有良好的計(jì)算機(jī)基礎(chǔ);
2、熟悉java語言,熟練使用idea或eclipse,有第二門語言者優(yōu)先(python,c++);
3, 熟悉centos、ubuntu、等linu_操作系統(tǒng);
4,兩年以上研發(fā)工作經(jīng)驗(yàn),有中層管理經(jīng)驗(yàn)者優(yōu)先;
5,3年以上使用hadoop/hbase等分布式平臺(tái)經(jīng)驗(yàn),有過管理pb級(jí)別數(shù)據(jù)經(jīng)驗(yàn)者優(yōu)先;
6,熟悉hadoop/hbase的各類配置與插件開發(fā),有過源碼修改與插件開發(fā)經(jīng)驗(yàn)者優(yōu)先;
7,有過大型項(xiàng)目(使用人數(shù)超過100萬,日均pv超過1億)的參與經(jīng)驗(yàn)優(yōu)先。