solr:使用DIH从不同的数据源导入



我正试图使用DataImportHandler从两个不同的数据源(xml和db)填充Solr索引。

第一次尝试:创建了两个data-config.xml文件,一个用于xml导入,另一个用于db导入。数据库配置将读取id,比如字段A。xml配置还有id和字段B

这对两者都适用(我可以从两个数据源导入),但每次索引都会被覆盖(当然是clean=false),所以我要么有idA,要么有idB

等等第二次尝试:将两个文件合并为一个

<?xml version="1.0" encoding="UTF-8"?>
<dataConfig>
    <dataSource 
        name="cr-db"
        jndiName="xyz"
        type="JdbcDataSource" />
    <dataSource 
        name="cr-xml" 
        type="FileDataSource" 
        encoding="utf-8" />

    <document name="doc">
        <entity 
            dataSource="cr-xml" 
            name="f" 
            processor="FileListEntityProcessor" 
            baseDir="/path/to/xml" 
            filename="*.xml" 
            recursive="true" 
            rootEntity="false" 
            onError="skip">
            <entity
                name="xml-data" 
                dataSource="cr-xml" 
                processor="XPathEntityProcessor" 
                forEach="/root" 
                url="${f.fileAbsolutePath}" 
                transformer="DateFormatTransformer" 
                onError="skip">
                <field column="id" xpath="/root/id" /> 
                <field column="A" xpath="/root/a" />
            </entity>
            <entity 
                name="db-data" 
                dataSource="cr-db"
                query="
                    SELECT  
                        id, b
                    FROM 
                        a_table
                    WHERE 
                        id = '${f.file}'">
                <field column="B" name="b" />
            </entity>
        </entity>
    </document>
</dataConfig>

我想id = '${f.file}'部分有点好笑,但这就是使用的id。select语句的格式是正确的,但在dataimport.jsp中运行该文件时遇到异常。第一部分(xml)运行良好,但当他进入数据库部分时,它会引发:

java.lang.RuntimeException: java.io.FileNotFoundException: 
Could not find file: SELECT id, b FROM a_table WHERE id = '12345678.xml'
at org.apache.solr.handler.dataimport.FileDataSource.getFile[..]

有什么建议吗?提前感谢


编辑我发现了FileNotFoundException的问题:在实体标记中,datasource-属性需要基于camel-->dataSource。。现在它运行通过,但结果与第一次尝试相同:只有字段B进入索引。如果我取出数据库实体,那么文件内容将被索引(字段A

尝试:

<entity name="db-data" dataSource="cr-db"

属性是区分大小写的,因此会忽略大小写错误的属性名称,并返回到默认名称(不知何故是文件名称)。

最新更新