国产成人啪精品视频免费网-国产成人啪精品视频免费网站软件-国产成人盗拍精品免费视频-国产成人深夜福利在线观看-a中文字幕1区-a毛片

二維碼
企資網(wǎng)

掃一掃關(guān)注

當前位置: 首頁 » 企業(yè)資訊 » 行業(yè) » 正文

HIVE常用優(yōu)化方法

放大字體  縮小字體 發(fā)布日期:2021-09-03 11:36:49    作者:企資小編    瀏覽次數(shù):61
導(dǎo)讀

1、join連接時的優(yōu)化_當三個或多個以上的表進行join操作時,如果每個on使用相同的字段連接時只會產(chǎn)生一個mapreduce。2、join連接時的優(yōu)化_當多個表進行查詢時,從左到右表的大小順序應(yīng)該是從小到大。原因_hive在對每

1、join連接時的優(yōu)化_當三個或多個以上的表進行join操作時,如果每個on使用相同的字段連接時只會產(chǎn)生一個mapreduce。

2、join連接時的優(yōu)化_當多個表進行查詢時,從左到右表的大小順序應(yīng)該是從小到大。原因_hive在對每行記錄操作時會把其他表先緩存起來,直到掃描最后的表進行計算

3、在where字句中增加分區(qū)過濾器。

4、當可以使用left semi join語法時不要使用inner join,前者效率更高。原因_對于左表中指定的一條記錄,一旦在右表中找到立即停止掃描。

5、如果所有表中有一張表足夠小,則可置于內(nèi)存中,這樣在和其他表進行連接的時候就能完成匹配,省略掉reduce過程。
設(shè)置屬性即可實現(xiàn),

set hive.auto.covert.join_true;

用戶可以配置希望被優(yōu)化的小表的大小
set hive.mapjoin.smalltable.sia_2500000;

如果需要使用這兩個配置可置入$HOME/.hiverc文件中。

6、同一種數(shù)據(jù)的多種處理_從一個數(shù)據(jù)源產(chǎn)生的多個數(shù)據(jù)聚合,無需每次聚合都需要重新掃描一次。

例如_

insert overwrite table student select * from employee;

insert overwrite table person select * from employee;

可以優(yōu)化成_

from employee

insert overwrite table student select *

insert overwrite table person select *

7、limit調(diào)優(yōu)_limit語句通常是執(zhí)行整個語句后返回部分結(jié)果。

Set hive.limit.optimia.enable_true;

8、開啟并發(fā)執(zhí)行。某個job任務(wù)中可能包含眾多的階段、其中某些階段沒有依賴關(guān)系可以并發(fā)執(zhí)行,開啟并發(fā)執(zhí)行后job任務(wù)可以更快的完成。

設(shè)置屬性_

set hive.e>ecparallel_true;

9、hive提供的嚴格模式,禁止3種情況下的查詢模式。

a_當表為分區(qū)表時,where字句后沒有分區(qū)字段和限制時,不允許執(zhí)行。

b_當使用order by語句時,必須使用limit字段,因為order by只會產(chǎn)生一個reduce任務(wù)。

c_限制笛卡爾積的查詢。

10、合理的設(shè)置map和reduce數(shù)量。

11、jvm重用。可在hadoop的mapredtite.xml中設(shè)置jvm?重用的次數(shù)。

 
(文/企資小編)
免責(zé)聲明
本文僅代表作發(fā)布者:企資小編個人觀點,本站未對其內(nèi)容進行核實,請讀者僅做參考,如若文中涉及有違公德、觸犯法律的內(nèi)容,一經(jīng)發(fā)現(xiàn),立即刪除,需自行承擔(dān)相應(yīng)責(zé)任。涉及到版權(quán)或其他問題,請及時聯(lián)系我們刪除處理郵件:[email protected]
 

Copyright ? 2016 - 2025 - 企資網(wǎng) 48903.COM All Rights Reserved 粵公網(wǎng)安備 44030702000589號

粵ICP備16078936號

微信

關(guān)注
微信

微信二維碼

WAP二維碼

客服

聯(lián)系
客服

聯(lián)系客服:

在線QQ: 303377504

客服電話: 020-82301567

E_mail郵箱: [email protected]

微信公眾號: weishitui

客服001 客服002 客服003

工作時間:

周一至周五: 09:00 - 18:00

反饋

用戶
反饋

主站蜘蛛池模板: 看一级毛片一区二区三区免费 | 欧美做爰免费大片在线观看 | 成年人在线观看网站 | 奇米888四色在线精品 | 九九免费精品视频在这里 | 日韩中文字幕免费观看 | 99国产在线 | 国产精品一区二区三区免费 | 特级aa毛片在线播放 | 国产精品深爱在线 | 特级淫片欧美高清视频蜜桃 | 毛片看| 国产一级生活片 | 一级毛片在线免费观看 | 国产精品久久久久久一区二区三区 | 国产黄色三级三级三级 | 综合558欧美成人永久网站 | 日本一道免费一区二区三区 | 奇米第四狠狠777高清秒播 | 黄录像欧美片在线观看 | 成年人www| gogo999亚洲肉体艺术大胆 | 中文字幕在线观看国产 | 久久手机视频 | 在线免费看黄色 | 亚洲综合一区二区不卡 | 亚洲免费在线视频播放 | 亚洲一区二区三区不卡在线播放 | 国产深夜福利视频网站在线观看 | 免费人成黄页在线观看视频国产 | 色丁香久久 | 女人被男人躁得好爽免费视频免费 | 亚洲国产精品aaa一区 | 精品久久免费观看 | 99re热在线视频 | 4455四色永久免费 | 亚洲香蕉影院 | 日本卡一卡2卡3卡4精品卡无人区 | 人成精品视频三区二区一区 | 视频一区色眯眯视频在线 | 国产一区二区亚洲精品天堂 |