目前，据我所知，数据将从关系数据库Sqoope到HDFS中。从那里，Pig或M/R可以运行ETL相关的任务，并将转换后的数据放入HDFS的另一部分。如有必要，可以删除原始数据。
有没有办法避免将原始数据导入HDFS，并在数据通过Sqoop输入时对其运行PIG和M/R？这是怎么做到的？
Sqoop/Pig/Hive/MR本质上是面向批处理的（长时间），不能实时处理数据。考虑使用Flume/Storm/Samza/S4-等框架
相关内容
- 没有找到相关文章
最新更新
- 在一个帐户上有多个Youtube频道.如何将提供的API密钥限制为仅1个通道?
- 如何根据输入列表中的项数更改URL ?
- scipy. integrated .quad给出ValueError:给出无效的可调用对象
- 将Pandas Datetime转换为Postgres Date
- 不能在caporal中使用prog模块
- 使用Powershell打开特定的Outlook配置文件
- 如何在WrapPanel中获得元素的坐标?
- 如何检查webpack.config.js中的监视模式?
- 如何创建动态正则表达式生成器?
- ActorReferences作为Akka中其他角色的成员变量
- 我不知道有什么区别
- 文字SQL工作：数组值必须以"{"或维度信息开头
- Go-使函数与外观相似的结构切片一起工作的惯用方法
- 在一个弹出窗口中管理多个输入的焦点
- r语言 - 进行单向方差分析
- 当应用程序保持打开状态时，标识会话超时
- 在cmake中使用PUBLIC/PRIVATE/INTERFACE的例子
- 不能将反射字段强制转换为映射
- return NULL for whois python3
- Sequelize如何将日期格式设置为YYYY-MM-DD HH:mm:ss并将列保持蛇形大小写 &
- 如何从给定字符串中删除字符?(python中的字符串操作)
- WMI wbemtest错误0x80070005访问被拒绝
- 如何从Android应用程序发送数据到Node.js
- 单元格列表与LazyVGrid有时消失
- flutter stripe付款错误尚未初始化付款单
- 在使用@ pip安装需求时，部署到heroku失败
- setTimeout结束后如何填充元素?
- 如何在pandas中插入和填充计算值的行?
- 你如何找到一台PC上的gpu数量?
- 使用client_states作为状态的自定义聚合器
热门标签：
javascript python java c# php android html jquery c++ css ios sql mysql arrays asp.net json python-3.x ruby-on-rails .net sql-server django objective-c excel regex ruby linux ajax iphone xml vba spring asp.net-mvc database wordpress string postgresql wpf windows xcode bash git oracle list vb.net multithreading eclipse algorithm macos powershell visual-studio image forms numpy scala function api selenium