SOLR:从另一个Solr Core导入时避免重复记录

Question

我试图使用dih将单列从SOLR核心导入另一个核心。Solr版本为6.4.0

我的托管schema文件具有以下条目：

<uniqueKey>journal</uniqueKey>
<field name="journal" type="text_general" multiValued="false" indexed="true" stored="true" />
<field name="fjournal" type="string" indexed="true" stored="false"/>

以及一个CopyField设置如下：

<copyField source="journal" dest="fjournal" />

在solrconfig.xml中，我配置了以下元素：

<lib dir="${solr.install.dir:../../../..}/dist/" regex="solr-dataimporthandler-.*.jar" />
<requestHandler>
    <lst name="defaults">
       <str name="config">solr-data-config.xml</str>
    </lst>
 </requestHandler>
<updateRequestProcessorChain>
    <processor class="solr.UniqFieldsUpdateProcessorFactory">
        <str name="fieldName">journal</str>
    </processor>
    <processor class="solr.LogUpdateProcessorFactory" />
    <processor class="solr.RunUpdateProcessorFactory" />
</updateRequestProcessorChain>

和以下内容在" solr-data-config.xml"

中

<dataConfig>
  <document>
    <entity name="journalMaster" processor="SolrEntityProcessor"
            url="http://localhost:8983/solr/journalMaster "
            query="*:*"
            fl="journal"/>
  </document>
</dataConfig>

当我执行导入过程时，导入完成后的值仍保持重复的值。

 {    "journal":"Journal of Immunology",
        "_version_":1559554209274134528,
        "fjournal":"Journal of Immunology"},
      {
        "journal":"Journal of Immunology",
        "_version_":1559554209373749248,
        "fjournal":"Journal of Immunology"},
      {
        "journal":"Journal of Immunology",
        "_version_":1559554209375846400,
        "fjournal":"Journal of Immunology"},

如何避免这种情况发生？我正在将数据从本地核心导入到另一个核心。

任何帮助都将不胜感激。

Answer 1

定义唯一键时，您不需要分析内容。只需一个字符串即可唯一地识别文档。这种唯一的标识符将在许多不同的Lucene/Solr功能上使用，因此正确定义它很重要。

在您的示例中，我将使用" fjournal"作为唯一键。

那么，没有其他需要担心的是，每当您重新索引相同的fjournal时，Solr文档都会被覆盖，因此您最终将获得每个值的单个条目。

可能一个更好的好奇是知道为什么您需要索引一个单个的文档...