Linux中怎么用源地址统计日志和输出
发布网友
发布时间：2022-04-27 03:56
共1个回答
热心网友
时间：2022-05-26 05:17
1.在MapRece任务查看页面找到任务，点击进入
2.在任务详情页最下面由执行了该任务的节点
3.在节点的web地址后面加上logs/userlogs就能看到application列表，选择自己要找的
4.依次查看container
5.从container进去之后就是最终要找的日志了
stderr：输出System.err输出的信息；
stdout：输出System.out输出的信息
syslog：输出日志工具(比如Slf4j,log4j)输出的信息
可以看出通过管理页面查找sysout日志是十分麻烦的，而且mapper和recer的日志不在一起，如果有多个recer的话查看起来更是不方便
我们的代码(mapper,recer)是放到了Yarn上面去执行，Yarn的日志存放地址是在yarn-env.sh中配置的，如下
我们可以去节点上面查找；为了方便快捷 直接用脚本搞定
scanMRLog.sh
if [ $# -le 0 ]
then
echo 缺少参数
exit 1
fi
# 从Hadoop的配置文件获取所有datanode
for n in `cat ${HADOOP_HOME}/etc/hadoop/slaves`
do
echo ===========查看节点 $n============
# 下面的 ~/logs/yarn 是在yarn-site.xml中设定的日志目录
ssh $n "cat ~/logs/yarn/userlogs/${1}/container_*/*out"
done
查看的时候只需要一行命令搞定，mapper，recer里面的输出就都能看到了
# 命令中的appId从MRWeb管理端就能看到
sh test.sh application_1479689852668_0197
