我正试图使用DataImportHandler从两个不同的数据源(xml和db)填充Solr索引。
第一次尝试:创建了两个data-config.xml文件,一个用于xml导入,另一个用于db导入。数据库配置将读取id
,比如字段A
。xml配置还有id
和字段B
。
这对两者都适用(我可以从两个数据源导入),但每次索引都会被覆盖(当然是clean=false
),所以我要么有id
和A
,要么有id
和B
等等第二次尝试:将两个文件合并为一个
<?xml version="1.0" encoding="UTF-8"?>
<dataConfig>
<dataSource
name="cr-db"
jndiName="xyz"
type="JdbcDataSource" />
<dataSource
name="cr-xml"
type="FileDataSource"
encoding="utf-8" />
<document name="doc">
<entity
dataSource="cr-xml"
name="f"
processor="FileListEntityProcessor"
baseDir="/path/to/xml"
filename="*.xml"
recursive="true"
rootEntity="false"
onError="skip">
<entity
name="xml-data"
dataSource="cr-xml"
processor="XPathEntityProcessor"
forEach="/root"
url="${f.fileAbsolutePath}"
transformer="DateFormatTransformer"
onError="skip">
<field column="id" xpath="/root/id" />
<field column="A" xpath="/root/a" />
</entity>
<entity
name="db-data"
dataSource="cr-db"
query="
SELECT
id, b
FROM
a_table
WHERE
id = '${f.file}'">
<field column="B" name="b" />
</entity>
</entity>
</document>
</dataConfig>
我想id = '${f.file}'
部分有点好笑,但这就是使用的id。select语句的格式是正确的,但在dataimport.jsp
中运行该文件时遇到异常。第一部分(xml)运行良好,但当他进入数据库部分时,它会引发:
java.lang.RuntimeException: java.io.FileNotFoundException:
Could not find file: SELECT id, b FROM a_table WHERE id = '12345678.xml'
at org.apache.solr.handler.dataimport.FileDataSource.getFile[..]
有什么建议吗?提前感谢
编辑我发现了FileNotFoundException的问题:在实体标记中,datasource
-属性需要基于camel-->dataSource
。。现在它运行通过,但结果与第一次尝试相同:只有字段B
进入索引。如果我取出数据库实体,那么文件内容将被索引(字段A
)
尝试:
<entity name="db-data" dataSource="cr-db"
属性是区分大小写的,因此会忽略大小写错误的属性名称,并返回到默认名称(不知何故是文件名称)。