你有兩年以上的前端開發(fā)經(jīng)驗(yàn)嗎?你會(huì)用數(shù)據(jù)開發(fā)輔助技能嗎?下面由學(xué)習(xí)啦小編為大家整理的前端數(shù)據(jù)開發(fā)，希望大家喜歡!

　　前端數(shù)據(jù)開發(fā)

　　01、Spark

　　一個(gè)高速、通用大數(shù)據(jù)計(jì)算處理引擎。擁有Hadoop MapReduce所具有的優(yōu)點(diǎn)，但不同的是Job的中間輸出結(jié)果可以保存在內(nèi)存中，從而不再需要讀寫HDFS，因此Spark能更好地適用于數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)等需要迭代的MapReduce的算法。它可以與Hadoop和Apache Mesos一起使用，也可以獨(dú)立使用。

　　02、Kinesis

　　可以構(gòu)建用于處理或分析流數(shù)據(jù)的自定義應(yīng)用程序，來滿足特定需求。Amazon Kinesis Streams 每小時(shí)可從數(shù)十萬種來源中連續(xù)捕獲和存儲(chǔ)數(shù)TB數(shù)據(jù)，如網(wǎng)站點(diǎn)擊流、財(cái)務(wù)交易、社交媒體源、IT日志和定位追蹤事件。

　　03、Trident

　　是對(duì)Storm的更高一層的抽象，除了提供一套簡(jiǎn)單易用的流數(shù)據(jù)處理API之外，它以batch(一組tuples)為單位進(jìn)行處理，這樣一來，可以使得一些處理更簡(jiǎn)單和高效。

　　前端數(shù)據(jù)查詢開發(fā)

　　01、Presto

　　是一個(gè)開源的分布式SQL查詢引擎，適用于交互式分析查詢，可對(duì)250PB以上的數(shù)據(jù)進(jìn)行快速地交互式分析。Presto的設(shè)計(jì)和編寫是為了解決像Facebook這樣規(guī)模的商業(yè)數(shù)據(jù)倉庫的交互式分析和處理速度的問題。Facebook稱Presto的性能比諸如Hive和MapReduce要好上10倍有多。

　　02、 Drill

　　于2012年8月份由Apache推出，讓用戶可以使用基于SQL的查詢，查詢Hadoop、NoSQL數(shù)據(jù)庫和云存儲(chǔ)服務(wù)。它能夠運(yùn)行在上千個(gè)節(jié)點(diǎn)的服務(wù)器集群上，且能在幾秒內(nèi)處理PB級(jí)或者萬億條的數(shù)據(jù)記錄。它可用于數(shù)據(jù)挖掘和即席查詢，支持一系列廣泛的數(shù)據(jù)庫，包括HBase、MongoDB、MapR-DB、HDFS、MapR-FS、亞馬遜S3、Azure Blob Storage、谷歌云存儲(chǔ)和Swift。

　　03、Phoenix

　　是一個(gè)Java中間層，可以讓開發(fā)者在Apache HBase上執(zhí)行SQL查詢。Phoenix完全使用Java編寫，并且提供了一個(gè)客戶端可嵌入的JDBC驅(qū)動(dòng)。Phoenix查詢引擎會(huì)將SQL查詢轉(zhuǎn)換為一個(gè)或多個(gè)HBase scan，并編排執(zhí)行以生成標(biāo)準(zhǔn)的JDBC結(jié)果集。

　　前端數(shù)據(jù)框架開發(fā)

　　01、 Hadoop

　　一個(gè)開源框架，適合運(yùn)行在通用硬件，支持用簡(jiǎn)單程序模型分布式處理跨集群大數(shù)據(jù)集，支持從單一服務(wù)器到上千服務(wù)器的水平scale up。Apache的Hadoop項(xiàng)目已幾乎與大數(shù)據(jù)劃上了等號(hào)，它不斷壯大起來，已成為一個(gè)完整的生態(tài)系統(tǒng)，擁有眾多開源工具面向高度擴(kuò)展的分布式計(jì)算。高效、可靠、可伸縮，能夠?yàn)槟愕臄?shù)據(jù)存儲(chǔ)項(xiàng)目提供所需的YARN、HDFS和基礎(chǔ)架構(gòu)，并且運(yùn)行主要的大數(shù)據(jù)服務(wù)和應(yīng)用程序。

　　02、Samza

　　出自于LinkedIn，構(gòu)建在Kafka之上的分布式流計(jì)算框架，是Apache頂級(jí)開源項(xiàng)目?？芍苯永肒afka和Hadoop YARN提供容錯(cuò)、進(jìn)程隔離以及安全、資源管理。

　　03、Storm

　　Storm是Twitter開源的一個(gè)類似于Hadoop的實(shí)時(shí)數(shù)據(jù)處理框架。編程模型簡(jiǎn)單，顯著地降低了實(shí)時(shí)處理的難度，也是當(dāng)下最人氣的流計(jì)算框架之一。與其他計(jì)算框架相比，Storm最大的優(yōu)點(diǎn)是毫秒級(jí)低延時(shí)。