2023學年完整公開課版Hive視圖索引_第1頁
2023學年完整公開課版Hive視圖索引_第2頁
2023學年完整公開課版Hive視圖索引_第3頁
2023學年完整公開課版Hive視圖索引_第4頁
2023學年完整公開課版Hive視圖索引_第5頁
已閱讀5頁,還剩4頁未讀 繼續免費閱讀

下載本文檔

版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領

文檔簡介

Hive視圖、索引HiveQL視圖視圖是虛表。是一個命名的查詢,用于改變基表數據的顯示,簡化查詢。視圖不會存儲數據,hive目前不支持物化視圖。視圖的訪問方式與表的訪問方式相同。視圖的好處:可以限制對基表數據的訪問,只允許用戶通過視圖看到表中的一部分數據可以使復雜的查詢變得簡單提供了數據的獨立性,用戶并不知道數據來自于何處提供了對相同數據的不同顯示使用視圖來限制對數據的訪問對于視圖來說,一個常見的使用場景是基于一個或多個列的值來限制輸出的結果。有些數據庫允許將視圖作為一個安全機制,不給用戶直接訪問具有敏感數據的原始表。createviewsalary_vasselectname,deductions,addressfromemployees;使用視圖降低查詢復雜度當查詢變得長或者復雜的時候,通過使用視圖將查詢語句分割成多個小的、更可控的片段可以降低復雜度。select,e.salary,e.salary_shfrom(selectname,salary,deductions["grtaxes"]asgr_taxes,round(salary*(1-deductions["grtaxes"]))assalary_shfromemployees)ewheree.salary_sh>6000;使用視圖降低查詢復雜度createviewtest_vasselectname,salary,deductions["grtaxes"]asgr_taxes,round(salary*(1-deductions["grtaxes"]))assalary_shfromemployees;select*fromtest_vwheresalary_sh>6000;HiveQL索引—創建索引建立索引可以幫助裁掉一張表的一些數據塊,這樣能夠減少mapreduce的輸入數據量。Hive1.2.1版本目前支持的索引類型有CompactIndexHandler和Bitmap。CompactIndexHandler壓縮索引通過將列中相同的值的字段進行壓縮從而減小存儲和加快訪問時間。Bitmap位圖索引作為一種常見的索引,如果索引列只有固定的幾個值,那么就可以采用位圖索引來加速查詢,利用位圖索引可以方便的進行AND/OR/XOR等各類計算。從Hive索引功能來看,其主要功能就是避免第一輪mr任務的全表掃描,而改為掃描索引表。如果索引表本身很大,其開銷仍然很大,在集群資源充足的情況下,可以忽略使用hive下的索引。HiveQL索引—創建索引創建CompactIndexHandler索引:createindexstocks_indexontablestocks(symbol)as'pact.CompactIndexHandler'WITHDEFERREDREBUILDintablestocks_index_tablerowformatdelimitedfieldsterminatedby',';as…子句指定了索引處理器,就是一個實現了索引接口的java類。intable子句指定了在表中保存索引數據。WITHDEFERREDREBUILD:索引呈現空白狀態,不包含任何數據BitmapBitmap可以理解為通過一個bit數組來存儲特定數據的一種數據結構Bitmap節省大量的存儲空間,因此可以被一次性加載到內存中Bitmap很方便通過位的運算(AND/OR/XOR/NOT),高效的對多個Bitmap數據進行處理,它直接的支持了多維交叉計算能力。createindexstocks_bitmap_indexontablestocks(symbol)as'bitmap'WITHDEFERREDREBUILDintablestocks_bitmap_index_tablerowformatdelimitedfieldsterminatedby',';HiveQL索引—索引操作查看表上創建的索引:showindexonstocks;填充索引表的

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業或盈利用途。
  • 5. 人人文庫網僅提供信息存儲空間,僅對用戶上傳內容的表現方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容,請與我們聯系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論