我正在编写一个Linux设备驱动程序，以允许FPGA（目前通过PCI express连接到PC）将DMA数据直接放入CPU RAM。这需要在没有任何交互的情况下发生，并且用户空间需要有权访问数据。一些细节：- 运行 64 位 Fedora 14- 系统有8GB的内存- FPGA（Cyclone IV）位于PCIe卡上
为了完成此操作，我执行以下操作：- 在 grub 中保留了上 2GB 的 RAM，内存映射为 6GB$2GB（我添加 mem=2GB 不会启动）。我可以看到上部 2GB 的 RAM 保留在/proc/meminfo 中- 映射的BAR0允许读取和写入FPGA寄存器（这完美地工作）- 使用 remap_pfn_range（） 在我的驱动程序中实现了 mmap 函数- 使用 ioremap 获取缓冲区的虚拟地址- 添加了 ioctl 调用（用于测试）以将数据写入缓冲区- 通过进行 ioctl 调用将数据写入缓冲区来测试 mmap，并验证数据是否在用户空间的缓冲区中
我面临的问题是当FPGA开始将DMA数据发送到我提供的缓冲区地址时。我经常收到 PTE 错误（来自 DMAR：）或者使用下面的代码，我得到以下错误：DMAR： [DMA 写入] 请求设备 [01：00.0] 故障地址 186dc5000
DMAR：[故障原因 01] 根条目中的存在位很清楚DRHD：处理故障状态规则 3
第一行中的地址每次都会根据 FPGA 的 DMA 递增0x1000
这是我的 init（） 代码：
#define IMG_BUF_OFFSET 0x180000000UL // Location in RAM (6GB)
#define IMG_BUF_SIZE 0x80000000UL // Size of the Buffer (2GB)
#define pci_dma_h(addr) ((addr >> 16) >> 16)
#define pci_dma_l(addr) (addr & 0xffffffffUL)
if((pdev = pci_get_device(FPGA_VEN_ID, FPGA_DEV_ID, NULL)))
{
printk("FPGA Found on the PCIe Busn");
// Enable the device
if(pci_enable_device(pdev))
{
printk("Failed to enable PCI devicen");
return(-1);
}
// Enable bus master
pci_set_master(pdev);
pci_read_config_word(pdev, PCI_VENDOR_ID, &id);
printk("Vendor id: %xn", id);
pci_read_config_word(pdev, PCI_DEVICE_ID, &id);
printk("Device id: %xn", id);
pci_read_config_word(pdev, PCI_STATUS, &id);
printk("Device Status: %xn", id);
pci_read_config_dword(pdev, PCI_COMMAND, &temp);
printk("Command Register : : %xn", temp);
printk("Resources Allocated :n");
pci_read_config_dword(pdev, PCI_BASE_ADDRESS_0, &temp);
printk("BAR0 : %xn", temp);
// Get the starting address of BAR0
bar0_ptr = (unsigned int*)pcim_iomap(pdev, 0, FPGA_CONFIG_SIZE);
if(!bar0_ptr)
{
printk("Error mapping Bar0n");
return -1;
}
printk("Remapped BAR0n");
// Set DMA Masking
if(!pci_set_dma_mask(pdev, DMA_BIT_MASK(64)))
{
pci_set_consistent_dma_mask(pdev, DMA_BIT_MASK(64));
printk("Device setup for 64bit DMAn");
}
else if(!pci_set_dma_mask(pdev, DMA_BIT_MASK(32)))
{
pci_set_consistent_dma_mask(pdev, DMA_BIT_MASK(32));
printk("Device setup for 32bit DMAn");
}
else
{
printk(KERN_WARNING"No suitable DMA available.n");
return -1;
}
// Get a pointer to reserved lower RAM in kernel address space (virtual address)
virt_addr = ioremap(IMG_BUF_OFFSET, IMG_BUF_SIZE);
kernel_image_buffer_ptr = (unsigned char*)virt_addr;
memset(kernel_image_buffer_ptr, 0, IMG_BUF_SIZE);
printk("Remapped image buffer: 0x%pn", (void*)virt_addr);
}
这是我的 mmap 代码：
unsigned long image_buffer;
unsigned int low;
unsigned int high;
if(remap_pfn_range(vma, vma->vm_start, vma->vm_pgoff,
vma->vm_end - vma->vm_start,
vma->vm_page_prot))
{
return(-EAGAIN);
}
image_buffer = (vma->vm_pgoff << PAGE_SHIFT);
if(0 > check_mem_region(IMG_BUF_OFFSET, IMG_BUF_SIZE))
{
printk("Failed to check region...memory in usen");
return -1;
}
request_mem_region(IMG_BUF_OFFSET, IMG_BUF_SIZE, DRV_NAME);
// Get the bus address from the virtual address above
//dma_page = virt_to_page(addr);
//dma_offset = ((unsigned long)addr & ~PAGE_MASK);
//dma_addr = pci_map_page(pdev, dma_page, dma_offset, IMG_BUF_SIZE, PCI_DMA_FROMDEVICE);
//dma_addr = pci_map_single(pdev, image_buffer, IMG_BUF_SIZE, PCI_DMA_FROMDEVICE);
//dma_addr = IMG_BUF_OFFSET;
//printk("DMA Address: 0x%pn", (void*)dma_addr);
// Write start or image buffer address to the FPGA
low = pci_dma_l(image_buffer);
low &= 0xfffffffc;
high = pci_dma_h(image_buffer);
if(high != 0)
low |= 0x00000001;
*(bar0_ptr + (17024/4)) = 0;
//printk("DMA Address LOW : 0x%xn", cpu_to_le32(low));
//printk("DMA Address HIGH: 0x%xn", cpu_to_le32(high));
*(bar0_ptr + (4096/4)) = cpu_to_le32(low); //2147483649;
*(bar0_ptr + (4100/4)) = cpu_to_le32(high);
*(bar0_ptr + (17052/4)) = cpu_to_le32(low & 0xfffffffe);//2147483648;
printk("Process Read Command: Addr:0x%x Ret:0x%xn", 4096, *(bar0_ptr + (4096/4)));
printk("Process Read Command: Addr:0x%x Ret:0x%xn", 4100, *(bar0_ptr + (4100/4)));
printk("Process Read Command: Addr:0x%x Ret:0x%xn", 17052, *(bar0_ptr + (17052/4)));
return(0);
感谢您提供的任何帮助。
您是自己控制写入 TLP 数据包的 RTL 代码，还是可以命名您正在使用的 DMA 引擎和 PCIe BFM（总线功能模型）？您的数据包在模拟器中是什么样子的？大多数体面的BFM应该捕获它，而不是让您在部署后使用PCIe硬件捕获系统找到它。
要针对上部 2GB 的 RAM，您需要从设备发送 2DW（64 位）地址。您的 Fmt/Type 中的位是否设置为执行此操作？错误地址看起来像一个屏蔽的 32 位总线地址，因此此级别的某些内容可能不正确。另请记住，由于 PCIe 是大端序，因此在将目标地址写入 PCIe 设备端点时要小心。如果 Fmt 不正确，您可能会将目标地址的较低字节放入有效负载中 - 同样，一个体面的 BFM 应该发现由此产生的数据包长度不匹配。
如果你有最新的主板/现代 CPU，PCIe 端点应该执行 PCIe AER（高级错误报告），所以如果运行最新的 Centos/RHEL 6.3，你应该得到一个dmesg的端点故障报告。这非常有用，因为报告将数据包的前几个DW捕获到特殊的捕获寄存器，因此您可以查看收到的TLP。
在您的内核驱动程序中，我看到您设置了 DMA 掩码，这还不够，因为您尚未对 mmu 进行编程以允许从设备写入页面。查看pci_alloc_consistent()的实现，看看您还应该调用什么来实现这一点。
如果你还在找理由，那么它是这样的：默认情况下，您的内核启用了DMA_REMAPPING标志，因此 IOMMU 会引发上述错误，因为 IOMMU 上下文/域条目未为您的设备编程。
您可以尝试在内核命令行中使用 intel_iommu=off，或将设备的 IOMMU 置于旁路模式。问候萨米尔