XRay和XUnit报告程序错误地解析了多个测试用例属性

Question

我正在尝试使用多个Tms属性和成员数据运行这些硒测试。目的是生成XUnit报告并将其导入XRay测试执行票证。

[Theory]
[Tms(4045)]
[Tms(4081)]
[Trait("Category", "happyPath")]
[MemberData(nameof(TestData.DataForTest_4045), MemberType = typeof(MileagePreferencesTestData))]
[MemberData(nameof(TestData.DataForTest_4081), MemberType = typeof(MileagePreferencesTestData))]
public void Test_Should_CheckFieldsForAdvancedSettings(string actionType, RoutingPreferencesDto routingPreferences, VehiclePreferencesDto vehiclePreferences)
{
... some code here ...
}

然而，xunit报告程序无法正确解释这些Tms属性，并生成如下报告：

<?xml version="1.0" encoding="utf-8"?>
<assemblies timestamp="10/02/2020 13:17:01">
<assembly name="some_path" run-date="2020-10-02" run-time="13:17:01" total="2" passed="1" failed="1" skipped="0" time="52.537" errors="0"><errors />
<collection total="2" passed="1" failed="1" skipped="0" name="Test collection for Project.SettingsManagement.SomeTestSuite" time="52.537">
<test name="Project.SettingsManagement.SomeTestSuite.Test_Should_CheckFieldsForAdvancedSettings" type="Project.SettingsManagement.SomeTestSuite" method="Test_Should_CheckFieldsForAdvancedSettings" time="27.3424342" result="Fail">
<output>[2020-10-02 13:17:03 INF] Start test execution </output>
<failure>
<message>OpenQA.Selenium.ElementNotInteractableException : element not interactable(Session info: chrome=85.0.4183.121)</message>
<stack-trace>
-some failure stack trace-
</stack-trace>
</failure>
<traits>
<trait name="Test" value="TEST-4045" />
<trait name="Test" value="TEST-4081" />
<trait name="Category" value="happyPath" />
</traits>
</test>
<test name="Project.SettingsManagement.SomeTestSuite.Test_Should_CheckFieldsForAdvancedSettings" type="Project.SettingsManagement.SomeTestSuite" method="Test_Should_CheckFieldsForAdvancedSettings" time="25.1940956" result="Pass">
<output>[2020-10-02 13:17:30 INF] Start test execution</output>
<traits>
<trait name="Test" value="TEST-4045" />
<trait name="Test" value="TEST-4081" />
<trait name="Category" value="happyPath" />
</traits>
</test>
</collection>
</assembly>
</assemblies>

，因此，首先，编译器运行TEST-4045，并为测试TEST-4045和TEST-4081生成一个XML报告块

<traits>
<trait name="Test" value="TEST-4045" /> // This test has been executed and has 'failed' status
<trait name="Test" value="TEST-4081" />
<trait name="Category" value="happyPath" />
</traits>

接下来，编译器选择TEST-4081，并运行它，但是它会生成另一个XML报告块

<traits>
<trait name="Test" value="TEST-4045" />
<trait name="Test" value="TEST-4081" /> // This test has been executed and has 'passed' status
<trait name="Category" value="happyPath" />
</traits>

XML报告准备好后，我将其导入XRay测试执行票证将XML XUnit报告导入XRay测试执行票证

因此，问题是wnen XRay解析XML文件，它选择与TEST-4045=-<trait name="Test" value="TEST-4045" />相关的第一个块，并将其标记为适当的状态，比如PASSED。

Wnen解析器移到与TEST-4081相关的下一个块，它还选择第一个<trait name="Test" value="TEST-4045" />，擦除与TEST-4045相关的先前测试结果(PASSED(，并设置与TEST-4081相关的新测试结果(FAILED(

这就是特征发现者和tmsatribution代码看起来像的样子

namespace Project
{
public class TmsDiscoverer : ITraitDiscoverer
{
private const string Key = "Test";
public IEnumerable<KeyValuePair<string, string>> GetTraits(IAttributeInfo traitAttribute)
{
var ctorArgs = traitAttribute.GetConstructorArguments().ToList();
string value = FormattableString.Invariant($"TEST-{ctorArgs[0]}");
yield return new KeyValuePair<string, string>(Key, value);
}
}
[TraitDiscoverer("Project.TmsDiscoverer", "Project")]
[AttributeUsage(AttributeTargets.Method, AllowMultiple = true)]
public sealed class TmsAttribute : Attribute, ITraitAttribute
{
public TmsAttribute(object value)
{
}
}
}

所以，请帮我弄清楚如何正确配置Tms属性或TraitDiscoverer结果导入，这样它就几乎像这个

<traits>
<trait name="Test" value="TEST-4045" />
<trait name="Category" value="happyPath" />
</traits>
<traits>
<trait name="Test" value="TEST-4081" />
<trait name="Category" value="happyPath" />
</traits>

Answer 1

Xray理解；测试"；以及"；"要求"；Trait，这样您就可以直接在代码中使用它们。所以你可以写这样的东西：

[Fact]
Trait("test","CALC-2")]
[Trait("labels","core UI")]
public void PassingTest()
{
Assert.Equal(4, Add(2, 2));
}
[Fact]
[Trait("requirement","CALC-1")]
public void FailingTest()
{
Assert.Equal(5, Add(2, 2));
}

其中CALC-2是测试的发布密钥，CALC-1是"测试"的发布密钥；"要求"/Jira的故事。这些特征是可选的，因为X射线自动提供测试实体，但"；测试"；如果您想强制某个测试方法映射到Jira中的某个测试问题，Trait可能很有用。在文档中，您可以看到一个用法示例。

这就是X射线处理xUnit XML报告的方式。

所以，如果可以的话，我建议你使用常规的特质，而不是你正在使用的Tms。