黑猴子的家:Kylin 快速入门之 Build Cube Error 解决和总结
发布网友
发布时间：2023-07-04 08:47
共1个回答
热心网友
时间：2023-10-10 06:44
1）logs
2）解决方案 -> map-site.xml
1）logs
2）解决方案
yarn-site.xml
刷新配置
内存资源太紧张，或者时间不统一等原因，导致hbase集群挂掉，设置容错
1）error
java.io.FileNotFoundException: /opt/mole/hadoop-2.8.2/logs/userlogs/application_1580972908133_0001/container_1580972908133_0001_01_000001 (是一个目录)
2）解决方案
restart build
第一个报错：failed on local exception: org.apache.hadoop.hbase.ipc.CallTimeoutException : Call id=xxxxx waitTime=xxxxx,operationTimeout = 5000 expired
不熟悉的人一下还真看不出来，还好组里有老司机，说hbase的rpc参数影响。问一问万能的度娘
Base中的RPC是RegionServer，Master以及Client（如Hbase shell， JAVA client API）三者之间通信的纽带
由此我们想到这个是通信等待时间太长，超多了设定的阈值
查看hbase的参数：hbase.rpc.timeout 默认是1min, 通过和老司机沟通，调整为10分钟，重启集群，然后在大规模跑历史数据中，不在报错，问题解决。
解决方案，改为10分钟
hbase-site.xml
The required MAP capability is more than the supported max container capability in the cluster. Killing the Job. mapResourceRequest: <memory:3072, vCores:1> maxContainerCapability:<memory:1024, vCores:2>
Job received Kill while in RUNNING state.
org.apache.zookeeper.KeeperException$SessionExpiredException: KeeperErrorCode = Session expired for /hbase/master
1）原因
HBase进程默认触发GC的时机是当年老代内存达到90%的时候，这个百分比由 -XX:CMSInitiatingOccupancyFraction=N 这个参数来设置。concurrent mode failed发生在这样一个场景：当年老代内存达到90%的时候，CMS开始进行并发垃圾收集，于此同时，新生代还在迅速不断地晋升对象到年老代。当年老代CMS还未完成并发标记时，年老 代满了，悲剧就发生了。CMS因为没内存可用不得不暂停mark，并触发一次全jvm的stop the world（挂起所有线程），然后采用单线程拷贝方式清理所有垃圾对象，也就是full gc。而我们的bulk的最开始的操作就是各种删表,建表频繁的操作，就会使用掉大量master的年轻代的内存，就会发生上面发生的场景，发生full gc。
2）解决方案
把 CMSInitiatingOccupancyFraction 的值设置为 70 ，这样年老代占到约 70% 时就开始执行 CMS ，这样就不会出现（或很少出现） Full GC 了。
3）步骤一
使用 vim $HBASE_HOME/conf/hbase-env.sh 打开文件，找到 export HBASE_OPTS ，在其位置上方（避免下文取不到该变量的值）添加 export HBASE_LOG_DIR=${HBASE_HOME}/logs ，然后设置 HBASE_OPTS 为
4）步骤二
java.lang.RuntimeException: HRegionServer Aborted
ERROR: Check hive's usability failed, please check the status of your cluster
bin/kylin.sh start
