我们希望在生产环境中部署HDP 3.1.5我们有3台服务器用于主节点,6台服务器用于工作节点我们已经在上面的9个节点上规划了组件布局,但我们想确保我们需要将服务客户端放置在下方的位置
- 纱线客户
首先,我们计划将其安装到9个节点,可以吗?还是只安装到3个主节点?因为据我们所知,所有节点都需要yarn,包括资源管理器和节点管理器
或者它只是用于启动纱线应用程序或其他任何
- mapreduce2客户端
与上述相同,我们计划将其安装到9个节点,因为它是mapreduce作业所必需的我们需要跨9个节点进行安装吗?
- 配置单元客户端
我们计划将其安装到3个主节点,还是只需要将其安装在一个主节点?是否只需要从beeline(cli(提交配置单元应用程序?
- infra solr客户端
我们只计划将其安装到9个节点,我们还不知道这个客户端是如何工作的
- kerberos客户端
是否所有节点都需要kerberos客户端,因为当我们在开发环境中部署时,它会自动安装在所有节点上
- oozie客户端
与infra solr客户端点相同,9个节点(计划(
- 清管器客户端
我们计划只在3个主节点上安装它,它与通过cli运行pig或提交pig应用程序有关吗?
- spark2客户端
我们计划将其安装到主节点,因为我们只想将其限制在只有一台服务器可以提交spark应用程序
但在开发环境中,它安装在所有节点中,如何卸载工作节点中的spark2客户端?
- sqoop客户端
与数字9相同的点,仅指向主节点
- Tez客户端
我们计划将其安装到9个节点,但我们没有任何信息表明这个客户端是如何工作的
任何服务的客户端都只是一些库/二进制文件,它们将允许您从安装服务的节点连接/访问服务。
您当然可以限制要安装客户端的节点。
某些客户端必须安装在所有节点上,例如kerberos client
。
客户端不会占用太多磁盘空间,但是客户端越多,启动该服务所需的时间就越多。
无论何时启动或重新启动服务,默认情况下ambari都会检查是否安装了客户端。(没有办法绕过这个。(
既然如此,让我们看看你的场景:-
-
yarn客户端:不需要在主主机上安装它,但在所有节点上安装它很好
-
mapreduce2客户端:不需要在主主机上安装它,但最好在所有节点上安装它
-
配置单元客户端:是的,只需要运行beeline和通过命令行运行配置单元查询。您可以选择要在哪些主机上安装它。
-
infra solr客户端:在2或3上安装它就足够了,因为需要客户端才能访问服务。除非你广泛使用infra solr。
-
kerberos客户端:需要在所有节点上,否则将出现kerberos问题
-
oozie客户端:在2或3上安装它就足够了
-
Pig客户端:它与两个有关
-
spark2客户端
curl-u admin:admin-H";X-请求人:ambari"-X删除http://AMBARI_SERVER_HOST:8080/api/v1/clusters/CLUSTERNAME/hosts/HOSTNAME/host_components/Client_name
-
sqoop客户端:在2或3上安装它就足够了
-
Tez客户端:在2或3上安装它就足够了
请记住,您可以用任何方式安装它。
我建议选择3-4个节点,并将所有客户端安装在所需的主机上。