1. HIVE結構
Hive 是建立在 Hadoop 上的數據倉庫基礎構架。它提供了一系列的工具，可以用來進行數
據提取轉化加載 （ETL），這是一種可以存儲、 查詢和分析存儲在 Hadoop 中的大規模數據的
機制。 Hive 定義了簡單的類 SQL 查詢語言，稱為 QL，它允許熟悉 SQL 的用戶查詢數據。
同時，這個語言也允許熟悉 MapReduce 開發者的開發自定義的 mapper 和 reducer 來處理
內建的 mapper 和 reducer 無法完成的復雜的分析工作。
1.1HIVE 架構
Hive 的結構可以分為以下幾部分：
用戶接口：包括 CLI, Client, WUI
元數據存儲。通常是存儲在關系數據庫如 mysql, derby 中
6
解釋器、編譯器、優化器、執行器
Hadoop：用 HDFS 進行存儲，利用 MapReduce 進行計算
1、 用戶接口主要有三個： CLI，Client 和 WUI。其中最常用的是 CLI ， Cli 啟動的時候，
會同時啟動一個 Hive 副本。 Client 是 Hive 的客戶端，用戶連接至 Hive Server 。
在啟動 Client 模式的時候， 需要指出 Hive Server 所在節點，并且在該節點啟動 Hive
Server 。 WUI 是通過瀏覽器訪問 Hive 。
2、 Hive 將元數據存儲在數據庫中，如 mysql 、 derby 。 Hive 中的元數據包括表的名字，
表的列和分區及其屬性，表的屬性（是否為外部表等），表的數據所在目錄等。
3、 解釋器、編譯器、優化器完成 HQL 查詢語句從詞法分析、語法分析、編譯、優化以及
查詢計劃的生成。生成的查詢計劃存儲在 HDFS 中，并在隨后有 MapReduce 調用執行。
4、 Hive 的數據存儲在 HDFS 中，大部分的查詢由 MapReduce 完成（包含 * 的查詢，比
如 select * from tbl 不會生成 MapRedcue 任務）。
1.2Hive 和 Hadoop 關系
Hive 構建在 Hadoop 之上，
HQL 中對查詢語句的解釋、優化、生成查詢計劃是由 Hive 完成的
所有的數據都是存儲在 Hadoop 中
查詢計劃被轉化為 MapReduce 任務，在 Hadoop 中執行（有些查詢沒有 MR 任
務，如： select * from table ）
Hadoop和 Hive 都是用 UTF-8 編碼的
7
1.3Hive 和普通關系數據庫的異同
Hive RDBMS
查詢語言 HQL SQL
數據存儲 HDFS Raw Device or Local FS
索引 無 有
執行 MapReduce Excutor
執行延遲 高 低
處理數據規模 大 小
1. 查詢語言。由于 SQL 被廣泛的應用在數據倉庫中，因此，專門針對 Hive 的特性設計
了類 SQL 的查詢語言 HQL。熟悉 SQL 開發的開發者可以很方便的使用 Hive 進行開
發。
2. 數據存儲位置。 Hive 是建立在 Hadoop 之上的，所有 Hive 的數據都是存儲在 HDFS 中
的。而數據庫則可以將數據保存在塊設備或者本地文件系統中。
3. 數據格式。 Hive 中沒有定義專門的數據格式，數據格式可以由用戶指定，用戶定義數
據格式需要指定三個屬性：列分隔符（通常為空格、” t ”、” x001″）、行分隔符
（” n”）以及讀取文件數據的方法（ Hive 中默認有三個文件格式 TextFile ，
SequenceFile 以及 RCFile ）。由于在加載數據的過程中，不需要從用戶數據格式到
Hive 定義的數據格式的轉換，因此， Hive 在加載的過程中不會對數據本身進行任何修
改，而只是將數據內容復制或者移動到相應的 HDFS 目錄中。而在數據庫中，不同的數
據庫有不同的存儲引擎，定義了自己的數據格式。所有數據都會按照一定的組織存儲，
因此，數據庫加載數據的過程會比較耗時。
4. 數據更新。由于 Hive 是針對數據倉庫應用設計的，而數據倉庫的內容是讀多寫少的。
因此， Hive 中不支持對數據的改寫和添加，所有的數據都是在加載的時候中確定好的。
而數據庫中的數據通常是需要經常進行修改的，因此可以使用 INSERT
INTO ... VALUES 添加數據，使用 UPDATE ... SET 修改數據。
5. 索引。之前已經說過， Hive 在加載數據的過程中不會對數據進行任何處理，甚至不會
對數據進行掃描，因此也沒有對數據中的某些 Key 建立索引。