Spark集群启动时worker节点启不起来

news/2024/7/3 2:11:49

在spark集群中使用命令:

sbin/start-all.sh

启动集群时报错:

starting org.apache.spark.deploy.master.Master, logging to /home/yxk/cluster/spark/logs/spark-yxk-org.apache.spark.deploy.master.Master-1-linux.out
yxk@linux's password:
linux: starting org.apache.spark.deploy.worker.Worker, logging to /home/yxk/cluster/spark/logs/spark-yxk-org.apache.spark.deploy.worker.Worker-1-linux.out
linux: failed to launch: nice -n 0 /home/yxk/cluster/spark/bin/spark-class org.apache.spark.deploy.worker.Worker --webui-port 8081 spark://linux:7077
linux:   JAVA_HOME is not set
linux: full log in /home/yxk/cluster/spark/logs/spark-yxk-org.apache.spark.deploy.worker.Worker-1-linux.out

从日志分析中可以看出启动时找不到JAVA_HOME

不过检查当前用户下的java环境是正常的,经分析寻找资料在这个博客中找到了 原理https://stackoverflow.com/questions/33955635/why-does-start-all-sh-from-root-cause-failed-to-launch-org-apache-spark-deploy

 

解决方法

在当前用户的.bashrc文件中加入java的环境变量

$ vim ~/.bashrc加入java环境变量

重新启动spark集群

使用jps命令查看当前的进程。显示正常


http://lihuaxi.xjx100.cn/news/238359.html

相关文章

Gulp快速入门教程

Gulp是基于流的前端自动化的构建工具,虽说如今是webpack盛行的时代,但是gulp和webpack整合效果更美味的,鱼与熊掌都可兼得哦!本文只介绍下Gulp的基本使用和一些常用的Gulp插件,废话不多说,一起来看看吧。 g…

ssh框架实现数据库_自顶向下介绍SSH及其如何实现安全的数据共享

ssh框架实现数据库by Sam Ollason通过萨姆奥拉森(Sam Ollason) This article will take a high-level and top-down approach to explain how SSH works and how it is used for securely communicating with remote computers.本文将采用一种自上而下的高级方法来解释SSH的工…

并非所有区块链都生来平等:找到正确的共识算法

现在知道更多区块链技术,请百度【链客区块链技术问答社区】 链客,有问必答!!关于共识算法的信息很难找到,即使它们构成了区块链技术的主干。这些算法对于确保分布式分类账平稳运行至关重要,没有它们&#x…

微服务项目的整合与测试

实验目的 掌握微服务项目的整合使用 掌握Swagger-UI的简单使用 练习内容 1、微服务项目整合 1.1、项目预览 1.1.1、在 https://github.com/shi469391tou/microservice-mallmanagement.git 地址下载,并导入Myeclipse中; 1.1.2、查看项目的结构 1.2、…

单点登录与权限管理本质:session和cookie介绍

本篇开始写「单点登录与权限管理」系列的第一部分:单点登录与权限管理本质,这部分主要介绍相关的知识概念、抽象的处理过程、常见的实现框架。通过这部分的介绍,能够对单点登录与权限管理有整体上的了解,对其相关概念、处理流程、…

如何在区块链中创建块

想知道更多关于区块链技术知识,请百度【链客区块链技术问答社区】 链客,有问必答!!这里我们讨论的是区块链。区块链上所定义的协议不仅是要交易数据而且还要交易数据的价值。目前的主要方式是在互联网出现之前发明的,它…

CSS-in-JS的权衡

by Oleg Isonen由Oleg Isonen CSS-in-JS的权衡 (The tradeoffs of CSS-in-JS) Recently I wrote a higher level overview of CSS-in-JS, mostly talking about the problems this approach is trying to solve. Library authors rarely invest time into describing the trad…

微服务项目的部署

练习目标 掌握Docker Compose编排工具的使用掌握微服务项目与Docker的整合方式掌握微服务项目的部署方式 项目整合参考:https://blog.csdn.net/qq_37823605/article/details/91379272 练习内容 1、Docker Compose编排工具 1.1、Docker Compose的安装与卸载 1.1…