无法使用Gethue/Hue Docker映像配置HDFS地址



我正在尝试从gethue/hue中获取色相docker映像,但是它似乎忽略了我给他的配置,并且总是在localhost上寻找HDF,而不是我问的docker容器他要寻找。

这是一些上下文:

  1. 我正在使用以下Docker组成的启动HDFS群集:
HDFS-NEMENODE:    图片:BDE2020/HADOOP-NENONODE:1.1.0-HADOOP2.7.1-JAVA8    主机名:Namenode    环境:      -cluster_name = Davidov    端口:       - " 8020:8020"       - " 50070:50070"    卷:       -  ./data/hdfs/namenode:/hadoop/dfs/name    env_file:       -  ./hadoop.env  HDFS-DATANODE1:    图片:BDE2020/HADOOP-DATANODE:1.1.0-HADOOP2.7.1-JAVA8    依赖于取决于:      -HDFS-Nemenode    链接:      -HDFS-NENENODE:NAMENODE    卷:       -  ./data/hdfs/datanode1:/hadoop/dfs/data    env_file:       -  ./hadoop.env

这将启动来自BigDataeurope的图像,这些图像已经正确配置了,包括:

-WebHDFS的激活(in/etc/hadoop/hdfs-site.xml(:  -dfs.webhdfs.已启用设置为true - 色相代理用户(in/etc/hadoop/core-site.xml(:  -hadoop.proxyuser.hue.host设置为 *  -hadoop.proxyuser.hue.groups设置为 *

,我按照他们的说明启动色调:

首先,我在Docker容器内启动bash提示:

Docker Run -IT -P 8888:8888 Gethue/hue:最新狂欢

然后,我修改桌面/conf/pseudo-distributed.ini指向正确的hadoop" node"(在我的情况下,一个带有地址172.30.0.2的docker容器

[Hadoop]  #HDFS Namenode的配置  #---------------------------------------------------------------------------------------------------------  [[HDFS_CLUSTERS]]    #通过使用HTTPFS支持HA支持    [[[默认]]]      #输入文件系统URI      fs_defaultfs = hdfs://172.30.0.2:8020      #名称逻辑名称。      ## logical_name =      #使用WebHDFS/HTTPFS作为通信机制。      #域应为Namenode或HTTPFS主机。      #HTTPFS的默认端口为14000。      ## webhdfs_url = http://172.30.0.2:50070/webhdfs/v1      #如果您的HDFS群集是Kerberos固定的,请更改此信息      ## Security_enabled = false      #在安全模式(HTTPS(中,如果来自纱线REST API的SSL证书      #必须针对证书授权进行验证      ## ssl_cert_ca_verify = true

然后我使用以下命令(仍在色调容器内(启动色调:

./build/env/bin/hue runserver_plus 0.0.0.0:8888
然后,我将浏览器指向Localhost:8888,创建新用户(在我的情况下为" HDFS"(,然后启动HDFS文件浏览器模块。然后,我收到以下错误消息:
无法访问:/user/hdfs/。httpconnectionpool(host ='localhost',port = 50070(:最大重试超过url:/webhdfs/v1/user/hdfs?op=getFilestatus&user.user.name = hue&doas = hue&doas = hdfs(由newConnectionNectionError('new Connection引起(:[ERRNO 99]无法分配请求的地址',((

有趣的一点是,它仍然试图连接到 localhost (当然无法正常工作(,即使我修改了其配置文件以指向172.30.0.2。

搜索问题,我找到了另一个配置文件:桌面/conf.dist/hue.ini。我尝试修改这个并再次启动色调,但结果相同。

有人知道我如何在情况下正确配置色调?

事先感谢您的帮助。

问:

laurent。

您的一次性docker run命令与Docker-Compose容器的网络不在同一网络上。

您需要这样的东西,用

中的docker-compose up替换[projectname]
docker run -ti -p 8888:8888 --network="[projectname]_default" gethue/hue bash

我建议在desktop/conf/下使用Docker为INI文件使用Docker撰写,您可以简单地指定

fs_defaultfs=hdfs://namenode:8020

(因为您将hostname: namenode放在撰写文件中(

您还需要删除WebHDFS线以进行更改以进行影响

所有INI文件均在conf文件夹中合并为

最新更新