Spark是加州大學(xué)伯克利分校AMP實驗室（Algorithms, Machines, and People Lab）開發(fā)通用內(nèi)存并行計算框架。Spark在2013年6月進入Apache成為孵化項目，8個月后成為Apache頂級項目，速度之快足見過人之處，Spark以其先進的設(shè)計理念，迅速成為社區(qū)的熱門項目，圍繞著Spark推出了Spark SQL、Spark Streaming、MLLib和GraphX等組件，也就是BDAS（伯克利數(shù)據(jù)分析棧），這些組件逐漸形成大數(shù)據(jù)處理一站式解決平臺。從各方面報道來看Spark抱負(fù)并非池魚，而是希望替代Hadoop在大數(shù)據(jù)中的地位，成為大數(shù)據(jù)處理的主流標(biāo)準(zhǔn)，不過Spark還沒有太多大項目的檢驗，離這個目標(biāo)還有很大路要走。