我试图解析HL7值,我使用几个jar文件,那些jar文件解析HL7值从字符串,我执行了代码,它在scala中工作良好,但现在我想要同样的事情在scala中运行,我使用下面的代码与样本,但我得到下面的错误。因此,为了解决这个问题,我想将org.apache.spark.rdd.RDD[String]
转换为String
。
代码:
object ExampleUseTerser {
def main(args: Array[String]): Unit = {
val textfile = sc.textFile("/user/cloudera/xxxx/File")
val context : HapiContext = new DefaultHapiContext();
val p = context.getGenericParser();
val hapiMsg = p.parse(textfile);
val terser = new Terser(hapiMsg);
val secondAllergyType:String = terser.get("/PID-7");
println(secondAllergyType);
}
}
示例:
PID|1|5897450M|58974650M|58977650M|CSTO^TES||19320722|F|||745 - 81 ST^^IAMI BEH^FL^341|||||||332165520
ORC||5033220|503320||||||20150202|||1689659096^HAM^MISH^^^^PI
OBR|1||64564|DF DEFAULT|||20150202|2015002||||||||16096^^^^^I|||||||||
HHH|1|NM|6690-2^^LN^0^^L||7|XE/UL|3.4-18||||F|||20150202| ^^L
HHH|9|NM|777-3^LOINC^LN^015172^PLATELETS^L||185|X10E3/UL|150-379||||F|||201202|TA ^^L
HHH|10|NM|770-8^^LN^015107^^L||65|%|||||F|||20150202|TA ^^L
HHH|11|NM|736-9^LOINC^LN^015123^^L||26|%|||||F|||20150202|TA ^^L
HHH|12|NM|5905-5^LOINC^LN^015131^^L||8|%|||||F|||20150202|TA ^^L
HHH|13|NM|713-8^LOINC^LN^015149^^L||1|%|||||F|||20150202|TA ^^L
错误:error: type mismatch;
found : org.apache.spark.rdd.RDD[String]
required: String
val hapiMsg = p.parse(textfile);
当您使用RDD
时,您需要记住抽象是在值的集合上(它实际上有点复杂,但让我们暂时离开它),而不是单个值。
给定您的示例,我们需要映射集合中的所有元素并尝试提取它们的PID。我们可以使用mapPartitions
,这样我们就不必为每个值分配一个新的HapiContext
:
object ExampleUseTerser {
def main(args: Array[String]): Unit = {
val textfile = sc.textFile("/user/cloudera/xxxx/File")
val parsedData = textfile.mapPartitions { it =>
val context: HapiContext = new DefaultHapiContext()
val parser = context.getGenericParser()
it.map { file =>
val hapiMsg = parser.parse(file)
val terser = new Terser(hapiMsg)
terser.get("/PID-7")
}
}
}
}
如果您正在进行测试,并希望查看已解析的文件,可以使用我在前面的回答中提到的RDD.collect
(当然,在任何类型的生产环境中使用时,不要这样做)。