数码知识与测评

位置:首页 >  数码周边  > 正文

hadoop中jps无法看到进程

时间:2024-09-08 07:00:48

启动Hadoop之后jps查看不到相关进程的可能原因及解决

1. VERSION文件中的clusterID不一致。这几个错误在启动的时候应该都不会有啥出错信息,如果jps发现没有datanode这个进程的话就去查看一个datanode的日志吧,这个错误是会有明确的说的,就是会告诉你clusterID不一致,然后这个clusterID是在VERSION文件里面的,这个文件在namenode上面是在dfs.namenode.name.dir(hdfs-site.xml文件中配置)这个目录下面的current目录下,然后datanode里面就是在dfs.datanode.data.dir这个配置的目录的current目录下。我的环境里面这俩目录最后的文件夹分别是nn和dd,下面用到的时候就直接这么写了。

2. 端口号占用。如果错误是提示端口号占用问题,那么首先我们要看一下是哪个进程在占用这个端口,然后保险起见再去看一下这个进程的详细信息,我遇见的一般就是上个用户启动了集群然后关闭的时候没有遗留的进程,这种情况直接kill掉就行了。如果是最开始装的时候自己设的端口和系统的一些进程端口冲突了,建议换一下端口哈。

3. 文件权限问题。这个问题就是最开始说的,权限,很重要,比如说我用root用户建了个文件夹,然后把它配成了dfs.namenode.name.dir的路径,可能用hadoop用户启动集群的时候就会出问题,我遇到的问题好像就是这里,因为配置异构存储的时候要配置多个路径,有的时候用root登录上建了文件夹之后会忘记改一下权限。

4. 终极解决方案。清空nn和dd目录,然后重启。除了这俩之外还有一个core-site.xml文件里的hadoop.tmp.dir这个配置的目录,有的时候也会出问题,如果是发现日志中有关于这个的错误或者百度错误的时候发现有这个相关的,知道是到这个文件里找就行了,然后一般重新配置或者清空就行了。

声明:本站文章由来自于作者,仅代表原作者观点,不代表数码之家立场,如有侵权可直接反馈本站,我们将会作删除处理
联系我们 关于我们 版权申明

数码之家广州云媒派信息技术有限公司 版权所有粤ICP备2021127029号