问答文章1 问答文章501 问答文章1001 问答文章1501 问答文章2001 问答文章2501 问答文章3001 问答文章3501 问答文章4001 问答文章4501 问答文章5001 问答文章5501 问答文章6001 问答文章6501 问答文章7001 问答文章7501 问答文章8001 问答文章8501 问答文章9001 问答文章9501

hive如何跨分区剔重数据?

发布网友 发布时间:2022-04-25 12:49

我来回答

1个回答

热心网友 时间:2022-04-13 16:03

一、Hive only:加载分区数据的快捷方法

如果指定的分区不存在Hive将创建新的分区

这个命令将:

(1)如果不存在的话添加分区到表的元数据

(2)如果存在的话,创建子目录:/user/hive/warehouse/call_logs/call_date=2014-10-02

(3)移动HDFS文件call-20141002.log到分区子目录

二、查看、添加和移除分区

(1)查看当前表分区

(2)使用ALTER TABLE添加或删除分区

三、  从已存在的分区目录创建分区

(1)HDFS的分区目录可以在Hive或Impala之外进行创建和数据,比如:通过Spark或MapRece应用

(2) Hive中使用MSCK REPAIR TABLE命令来为已存在的表创建分区

四、什么时候使用分区

下列情况使用分区

(1)读取整个数据集需要花费很长时间

(2)查询几乎只对分区字段进行过滤

(3)分区列有合理数量的不同的值

(4)数据生成或ETL过程是按文件或目录名来分段数据的

(5)分区列值不在数据本身

五、什么时候不使用分区

(1)避免把数据分区到很多小数据文件

– 不要对有太多惟一值的列进行分区

(2)注意:当使用动态分区时容易发生

– 比如:按照fname来分区客户表会产生上千个分区

六、  Hive进行分区

在旧的Hive版本中,动态分区默认没有启用 ,通过设置这两个属性启用:

但是在hive分区中我们应该注意一些问题,比如:

(1)注意:Beeline设置的Hive变量只在当前会话有效,系统管理员可以设置永久生效

(2)注意:如果分区列有很多唯一值,将会创建很多分区

另外,我们可以给Hive配置参数来*分区数 :

(1) hive.exec.max.dynamic.partitions.pernode

查询在某个节点上可以创建的最大动态分区数,默认100

(2) hive.exec.max.dynamic.partitions

一个HiveQL语句可以创建的最大动态分区数 ,默认1000

(3)hive.exec.max.created.files

一个查询总共可以创建的最大动态分区数,默认1000000

声明声明:本网页内容为用户发布,旨在传播知识,不代表本网认同其观点,若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。E-MAIL:11247931@qq.com
国外留学有用吗 花钱出国留学有用吗 !这叫什么号 百万医疗赔付后是否可以续保 前一年理赔过医疗险还能续保吗? 医疗住院险理赔后还能购买吗? 女生多大后可以不在长身高? 如何不用软件把手机投屏到电脑上手机屏幕怎样投放到电脑上 战时拒绝、故意延误军事订货罪既遂的处罚? 战时故意延误军事订货罪处罚标准 在hive中怎样删除一张有数据的管理表,包括删除数据 我的ETC卡无法使用去哪儿换卡? 其它水产属于商标分类的第几类 我昨天下午梦到被黑蝙蝠咬了,后来晚上又梦到大蛇 求一个渔具类的商标,好记好听? 渔具属于商标注册哪一类别 水族箱注册商标属于哪一类? 捕鱼用拖网注册商标属于哪一类? 钓鱼杆专用箱注册商标属于哪一类? 梦见黑蝙蝠和鱼被烫死在碗里? 鱼饵安装注册商标属于哪一类? 钓鱼用网注册商标属于哪一类? 钓鱼装备注册商标属于哪一类? 钓鱼手套注册商标属于哪一类? 坠注册商标属于哪一类? 梦到黑色蝙蝠是好是坏? 钓鱼竿座注册商标属于哪一类? 微信被盗了密码改了所以绑定都改了好友也删除了怎么找回来啊 鱼线标注册商标属于哪一类? 被盗怎么办号码也换了好友也被删了? hive中误删除了数据库,怎么恢复 hive如何去掉重复数据,显示第一条 hive shell的历史记录怎么清除 hive drop partition会不会删除全部数据 hive load hdfs文件,成功之后为什么原始文件被删除了 hive怎么实现update操作 hive sql 怎么把数据的%去掉 hive drop table hdfs数据会删除吗 为什么使用Hive?Hive提供了什么?Hive支持哪些用户 流星蝴蝶剑技能怎么放? 流星蝴蝶剑按键怎么操作? 石材工程的合同 求流星蝴蝶剑的玩法和操作步骤 我有个石材厂承包给个人,合同怎么写 石材轻工怎样签合同 两个承包石材用之前别人用的合同这个有法律效益吗? 流星蝴蝶剑的操作指南 矿山合作开采协议书-最新版 流星蝴蝶剑的操作方式,有没有具体名称 石材厂承包给乙方乙方乙方对石材厂剩下的那个传送带是不是应该舒服呀...