redcode=-1加载失败

发布网友 发布时间：2022-12-26 19:57

我来回答

共2个回答

热心网友 时间：2023-10-16 23:45

在写MapRece程序时，在本地运行使用cat file.data | python mapper.py | sort k1,1 | python recer.py >result.data进行测试时，程序可以输出正确结果，程序运行正常，但是在编写shell脚本提交在hadoop集群进行运算时，出现了"PipeMapRed.waitOutputThreads(): subprocess failed with code 1"的报错，在查询解决方法的过程中，找到了如下几种解决问题的思路：
1、输入输出文件没有读写权限，导致出现这个报错，但是我在查看自己的文件目录的权限，发现不是自己的文件权限问题，具体权限是否会导致这种问题，我也不太清楚，仅供参考；

2、不同机器的python的环境路径不同，这个我把程序都改成了#!/usr/bin/python，再次执行，发现同样没有解决问题，依然报同样的错误；

3、查询Stack Overflow上面有的说法是python程序可能有问题，这个说法我一开始是不赞成的，因为我已经本地测试通过的。

于是在这个问题上卡了两个小时，在找到如何将日志文件拖到本体的方法后，拖取命令如下： yarn logs -applicationId application_1519803790630_15391 > temp1.log ，其中的application_1519803790630_15391根据自己任务的名称替换，查看其中Traceback部分错误提示，发现是自己在本地写的一个包在集群上找不到，提示import错误。把import包中函数放入mapper程序后，再次运行，问题被解决！！！！！！！

故：遇到这种报错的解决思路：首先取到程序运行日志，再分析日志中出现错误的原因，据测试，这种报错基本是由于程序错误导致的！！！！即使本地测试通过，在提交hadoop执行后，一旦报错也要根据错误日志进行程序更改！

热心网友 时间：2023-10-16 23:46

采用beeline连接hive server是遭遇到如下错误：

5: jdbc:hive2://bluejoe0/default> select * from hive_triples where subject='<http://semweb.csdb.cn/flux/resource/attribute/2348>' limit 1;
Error: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask (state=08S01,code=1)

但是这个查询在hive cli里面是OK的，同时观察到因为hive_triples表很大，所以该查询启动了一个MapRece任务

打开hive server2的日志之后，发现：

Permission denied: user=anonymous, access=EXECUTE, inode=”/tmp”

查找网上资料之后，发现是/tmp的访问权限问题，因此：
hadoop dfs -chmod -R 777 /tmp

设置完成后重新启动hive server2，问题解决。

hive server2输出如下：

至于为什么在hive cli中查询正常，而在hive server2中会报此错误，原因还待查清。。。