如何在 Solr 中使用 DIH 导入时从 rss 提要转换 pubDate

Question

我在solr中使用RSS DIH来索引各种RSS提要。我面临的问题是在日期字段中。RSS 中的 pubDate 返回不是 Solr 期望的格式，因此当我使用此 rss-data-config.xml 文件启动我的 Solr 时，我会收到异常。有人可以告诉我如何在 rss-data-config.xml 文件中将 rss 日期转换为 solr 预期日期格式吗？

在架构中.xml我将 pubDate 定义为日期。

以下是我的RSS-data-config.xml的外观：

<dataConfig>
    <dataSource type="URLDataSource" name="dsurl"/>
    <dataSource type="JdbcDataSource" name="dsdb" driver="com.mysql.jdbc.Driver" url="jdbc:mysql://localhost:3306/HCDACoreDB" user="root" password="CDA@318"/>
    <document>
        <entity name="rssimports"
                pk="link"
                url="${dataimporter.request.feedurl}"
                processor="XPathEntityProcessor"
                forEach="/rss | /rss/channel | /rss/channel/item"
                transformer="HTMLStripTransformer"
                dataSource="dsurl">
            <field column="source" xpath="/rss/channel/title" commonField="true" dataSource="dsurl"/>
            <field column="source-link" xpath="/rss/channel/link" commonField="true" dataSource="dsurl"/>
            <field column="Source-desc" xpath="/rss/channel/description" commonField="true" dataSource="dsurl"/>
            <field column="title" xpath="/rss/channel/item/title" dataSource="dsurl"/>
            <field column="link" xpath="/rss/channel/item/link" dataSource="dsurl"/>
            <field column="description" xpath="/rss/channel/item/description" stripHTML="true" dataSource="dsurl"/>
        <field column="pubDate" xpath="/rss/channel/item/pubDate" dataSource="dsurl"/>
            <field column='${dataimporter.functions.formatDate('${dataimporter.request.pubDate}', 'EEE, dd MMM YYYY HH:mm:ss z')}' name="pubDate"/>
            <field column="guid" xpath="/rss/channel/item/guid" dataSource="dsurl"/>
            <field column="content" xpath="/rss/channel/item/content" dataSource="dsurl"/>
            <field column="author" xpath="/rss/channel/item/creator" dataSource="dsurl"/>

        <entity name="feedcategory" 
                query="select category.CategoryName from feeds, category where feeds.FeedUrl = '${dataimporter.request.feedurl}' AND feeds.FeedCategory = category.CategoryId"
                processor="SqlEntityProcessor" 
                dataSource="dsdb">
            <field column="CategoryName" name="category" dataSource="dsdb"/>
        </entity>
        </entity>
    </document>
</dataConfig>

请帮忙。

Answer 1

你想要设置 DateFormatTransformer 来处理将日期获取到所需的格式 solr。

http://wiki.apache.org/solr/DataImportHandler#DateFormatTransformer