关于使用Hadoop执行多个独立操作



我有几个独立的操作(例如将命令发送到外部设备),并认为操作计数可以> 400。问题:是否可以使用Java的Hadoop通过使用网络中的多个系统或节点并发执行这些独立的操作?

虽然它

不是通常使用hadoop,但在这里
你只使用hadoop作为分布式任务执行器。
这样做的方法之一是使用要执行的命令(或要执行的任务的任何其他描述)创建输入文件,然后使映射器执行它们。
如果您保留每行命令 - 您不需要任何特殊的输入格式 - 默认文本输入格式就可以了。

最新更新