CCAH-CCA-500-4题:Where are Hadoop task log files stored?

news/2024/6/29 13:47:57
4.Where are Hadoop task log files stored?

For each YARN job, the Hadoop framework generates task log file. Where are Hadoop task log files stored?

A.
Cached by the NodeManager managing the job containers, then written to a log directory on the NameNode
B.Cached in the YARN container running the task, then copied into HDFS on job completion
C.In HDFS, in the directory of the user who generates the job
D.On the local disk of the slave mode running the task


问题:
   
对于每个yarn job,hadoop框架产生的task日志文件存储在哪个位置上?

解析:
   
1.对于学习hadoop有段时间的和亲手搭建过,就会知道log文件一般 肯定是存储在 local disk(本地磁盘)上,而不是存储在hdfs文件系统中。
    2.一般输出位置由yarn.nodemanager.log-dirs参数设置(Default Path is ${yarn.log.dir}/userlogs)
    <property>
      <name>yarn.nodemanager.log-dirs</name>
      <value>/home/root/workspace-yarn/nm/log</value>
    </property>.
   如果不配置将使得NodeManager进程处于Unhealthy状态,无法提供服务,现象是提交作业时,作业一直处于pending状态无法往下执行,所以必须配置。

http://lihuaxi.xjx100.cn/news/244661.html

相关文章

表白这件事,比解 bug 要难多少?

情人节快乐&#xff01;我是可爱无敌的阿里妹。 今天是个粉红色日子&#xff0c;我们来聊聊和技术无关的“技术活”&#xff0c;比如&#xff1a; “如何表白&#xff1f;” 当技术人碰上动心的姑娘&#xff0c;他的浪漫开关就打开了。 在代码王国里劈荆斩刺的王子&#xff0c;…

Java面试题及答案整理(2022最新版) 持续更新

发现网上很多Java面试题都没有答案&#xff0c;所以花了很长时间搜集整理出来了这套Java面试题大全&#xff0c;希望对大家有帮助哈~博主已将这些面试题整理到一个网站上&#xff0c;每天更新 Java 面试题&#xff0c;目前有 1万多道 Java 高频面试题。 本套Java面试题大全&am…

nodejs原生模块简介

一、Express框架 前面的章节已经介绍过了&#xff0c;可以使用npm来安装node.js模块。具体操作请参照以前写的nodejs概论。 Express是一个nodejs的web开源框架&#xff0c;用于快速的搭建web项目。其主要集成了web的http服务器的创建、静态文本管理、服务器URL地址请求处理、ge…

python socket编程

python 编写server的步骤&#xff1a;1.第一步是创建socket对象。调用socket构造函数。如&#xff1a;socket socket.socket( family, type )family参数代表地址家族&#xff0c;可为AF_INET或AF_UNIX。AF_INET家族包括Internet地址&#xff0c;AF_UNIX家族用于同一台机器上的…

Java面试题及答案整理(2022年140道)持续更新

发现网上很多Java面试题都没有答案&#xff0c;所以花了很长时间搜集整理出来了这套Java面试题大全&#xff0c;希望对大家有帮助哈~博主已将这些面试题整理到一个网站上&#xff0c;每天更新 Java 面试题&#xff0c;目前有 1万多道 Java 高频面试题。 本套Java面试题大全&am…

PHPUnit实践三(构建模块化的测试单元)

本系列教程所有的PHPUnit测试基于PHPUnit6.5.9版本&#xff0c;Lumen 5.5框架 目录结构 模块下的目录是符合Lumen的模块结构的如&#xff1a;Controllers、Models、Logics等是Lumen模块目录下的结构目录如果有自己的目录同级分配即可&#xff0c;如我这里的Requests 整体结构 ├…

楼盘历史价格管理导入功能优化

备注&#xff1a;红色为重点关注的内容&#xff0c;绿色表示修改的内容 1.原始代码 ToolHistoricalPriceControl.java RequestMapping("fileImport") public String fileImport(RequestParam("file") MultipartFile file, Model model) { Map<St…