二維碼
企資網(wǎng)

掃一掃關(guān)注

當(dāng)前位置: 首頁 » 企業(yè)資訊 » 行業(yè) » 正文

HIVE常用優(yōu)化方法

放大字體  縮小字體 發(fā)布日期:2021-09-03 11:36:49    作者:企資小編    瀏覽次數(shù):89
導(dǎo)讀

1、join連接時的優(yōu)化_當(dāng)三個或多個以上的表進行join操作時,如果每個on使用相同的字段連接時只會產(chǎn)生一個mapreduce。2、join連接時的優(yōu)化_當(dāng)多個表進行查詢時,從左到右表的大小順序應(yīng)該是從小到大。原因_hive在對每

1、join連接時的優(yōu)化_當(dāng)三個或多個以上的表進行join操作時,如果每個on使用相同的字段連接時只會產(chǎn)生一個mapreduce。

2、join連接時的優(yōu)化_當(dāng)多個表進行查詢時,從左到右表的大小順序應(yīng)該是從小到大。原因_hive在對每行記錄操作時會把其他表先緩存起來,直到掃描最后的表進行計算

3、在where字句中增加分區(qū)過濾器。

4、當(dāng)可以使用left semi join語法時不要使用inner join,前者效率更高。原因_對于左表中指定的一條記錄,一旦在右表中找到立即停止掃描。

5、如果所有表中有一張表足夠小,則可置于內(nèi)存中,這樣在和其他表進行連接的時候就能完成匹配,省略掉reduce過程。
設(shè)置屬性即可實現(xiàn),

set hive.auto.covert.join_true;

用戶可以配置希望被優(yōu)化的小表的大小
set hive.mapjoin.smalltable.sia_2500000;

如果需要使用這兩個配置可置入$HOME/.hiverc文件中。

6、同一種數(shù)據(jù)的多種處理_從一個數(shù)據(jù)源產(chǎn)生的多個數(shù)據(jù)聚合,無需每次聚合都需要重新掃描一次。

例如_

insert overwrite table student select * from employee;

insert overwrite table person select * from employee;

可以優(yōu)化成_

from employee

insert overwrite table student select *

insert overwrite table person select *

7、limit調(diào)優(yōu)_limit語句通常是執(zhí)行整個語句后返回部分結(jié)果。

Set hive.limit.optimia.enable_true;

8、開啟并發(fā)執(zhí)行。某個job任務(wù)中可能包含眾多的階段、其中某些階段沒有依賴關(guān)系可以并發(fā)執(zhí)行,開啟并發(fā)執(zhí)行后job任務(wù)可以更快的完成。

設(shè)置屬性_

set hive.e>ecparallel_true;

9、hive提供的嚴(yán)格模式,禁止3種情況下的查詢模式。

a_當(dāng)表為分區(qū)表時,where字句后沒有分區(qū)字段和限制時,不允許執(zhí)行。

b_當(dāng)使用order by語句時,必須使用limit字段,因為order by只會產(chǎn)生一個reduce任務(wù)。

c_限制笛卡爾積的查詢。

10、合理的設(shè)置map和reduce數(shù)量。

11、jvm重用。可在hadoop的mapredtite.xml中設(shè)置jvm?重用的次數(shù)。

 
(文/企資小編)
免責(zé)聲明
本文僅代表作發(fā)布者:企資小編個人觀點,本站未對其內(nèi)容進行核實,請讀者僅做參考,如若文中涉及有違公德、觸犯法律的內(nèi)容,一經(jīng)發(fā)現(xiàn),立即刪除,需自行承擔(dān)相應(yīng)責(zé)任。涉及到版權(quán)或其他問題,請及時聯(lián)系我們刪除處理郵件:weilaitui@qq.com。
 

Copyright ? 2016 - 2025 - 企資網(wǎng) 48903.COM All Rights Reserved 粵公網(wǎng)安備 44030702000589號

粵ICP備16078936號

微信

關(guān)注
微信

微信二維碼

WAP二維碼

客服

聯(lián)系
客服

聯(lián)系客服:

在線QQ: 303377504

客服電話: 020-82301567

E_mail郵箱: weilaitui@qq.com

微信公眾號: weishitui

客服001 客服002 客服003

工作時間:

周一至周五: 09:00 - 18:00

反饋

用戶
反饋

主站蜘蛛池模板: 综合图区亚洲欧美另类小说| 884hutv四虎永久7777| 清纯女神被老头耸动| 国产视频网站在线观看| 亚洲国产AV无码一区二区三区| 国产又大又粗又长免费视频| 日日橹狠狠爱欧美超碰| 免费看片aⅴ免费大片| 91精品国产高清久久久久久| 欧美jizzhd精品欧美| 国产一卡2卡3卡4卡网站免费 | 0urp|ay加速器| 日韩欧美一区二区三区免费观看 | 精品国产国产综合精品| 在线观看网站黄| 亚洲乱码一区二区三区在线观看 | 三上悠亚在线网站| 日本最新免费二区三区| 午夜精品在线视频| 77777_亚洲午夜久久多人| 日韩乱码人妻无码中文字幕| 午夜不卡av免费| 香蕉视频污在线观看| 日日噜噜噜夜夜爽爽狠狠| 伊人久久大香线蕉综合影院首页 | 中文字幕乱码人妻无码久久| 波多野结衣作品在线观看| 国产成人精品久久综合| 一级毛片无遮挡免费全部| 欧美日韩一区二区三区四区在线观看| 国产女人乱人伦精品一区二区 | 亚洲av无码片在线观看| 老司机美女一级毛片| 国产麻豆free中文| 婷婷被公交车猛烈进出视频| 手机在线观看你懂的| 免费观看成人羞羞视频软件| 老司机在线精品| 97精品在线播放| 久久青草国产免费观看| 儿子女朋友爸爸的朋友|