在单个文件上使用多个genfromttxt

Question

我是Python的新手，目前在处理输入文件读取时遇到了问题。基本上，我希望我的代码采用一个输入文件，其中的相关信息包含在4行的块中。出于我的特定目的，我只关心每个区块1-3行的信息。

我正在处理的输入的两个块示例如下：

#Header line 1
#Header line 2
'Mn 1',       5130.0059,  -2.765,  5.4052,  2.5,  7.8214,  1.5, 1.310, 2.390, 0.500, 8.530,-5.360,-7.630,
'  LS                                                                       3d6.(5D).4p z6F*'
'  LS                                                                       3d6.(5D).4d e6F'
'K07           A   Kurucz MnI 2007    1 K07       1 K07       1 K07       1 K07       1 K07       1 K07       1 K07       1 K07       1 K07     Mn            '
'Fe 2',       5130.0127,  -5.368,  7.7059,  2.5, 10.1221,  2.5, 1.030, 0.860, 0.940, 8.510,-6.540,-7.900,
'  LS                                                                     3d6.(3F2).4p y4F*'
'  LS                                                                           3d5.4s2 2F2'
'RU                Kurucz FeII 2013   4 K13       5 RU        4 K13       4 K13       4 K13       4 K13       4 K13       4 K13       4 K13     Fe+           '

我更愿意将这三行中的每一行的信息存储在单独的数组中。由于条目是字符串和浮点的混合，我使用Numpy.genfromttxt读取输入文件，如下所示：

import itertools
import numpy as np
with open(input_file) as f_in:
  #Opening file, reading every fourth line starting with line 2.
  data = np.genfromtxt(itertools.islice(f_in,2,None,4),dtype=None,delimiter=",")
  #Storing lower transition designation:
  low = np.genfromtxt(itertools.islice(f_in,3,None,4),dtype=str)
  #Storing upper transition designation:
  up = np.genfromtxt(itertools.islice(f_in,4,None,4),dtype=str)

执行代码后，genfromttxt第一次正确地从文件中读取信息。然而，对于genfromtxt的第二次和第三次调用，我得到了以下警告

UserWarning: genfromtxt: Empty input file: "<itertools.islice object at 0x102d7a1b0>"
warnings.warn('genfromtxt: Empty input file: "%s"' % fname)

尽管这只是一个警告，但genfromttxt的第二次和第三次调用返回的数组是空的，并且没有像预期的那样包含字符串。如果我注释掉genfromttxt的第二次和第三次调用，代码的行为与预期的一样。

据我所知，以上应该是有效的，我有点不知道为什么没有。想法？

Answer 1

在第一个genfromtext（实际上是islice）之后，文件迭代器已经到达文件的末尾。因此，警告和空数组：后两个islice调用使用了一个空迭代器。

您需要使用hpaulj的答案中的f_in.readlines()逐行将文件读取到内存中，或者在后续读取之前添加f_in.seek(0)，以将文件指针重置回输入的开头。这是一个对内存更友好的解决方案，如果这些文件真的很大，这可能很重要。

# Note: Untested code follows
with open(input_file) as f_in:
    np.genfromtxt(itertools.islice(f_in,2,None,4),dtype=None,delimiter=",")
    f_in.seek(0)  # Set the file pointer back to the beginning
    low = np.genfromtxt(itertools.islice(f_in,3,None,4),dtype=str)
    f_in.seek(0)  # Set the file pointer back to the beginning
    up = np.genfromtxt(itertools.islice(f_in,4,None,4),dtype=str)

Answer 2

试试这个：

with open(input_file) as f_in:
  #Opening file, reading every fourth line starting with line 2.
  lines = f_in.readlines()
  data = np.genfromtxt(lines[2::4],dtype=None,delimiter=",")
  #Storing lower transition designation:
  low = np.genfromtxt(lines[3::4],dtype=str)
  #Storing upper transition designation:
  up = np.genfromtxt(lines[4::4],dtype=str)

我不怎么使用islice，但itertools往往是生成器，它会迭代到最后。当你反复打电话给他们时，你必须小心。您可以使islice与tee或repeat一起工作。但最简单的，我认为是得到一个行的列表，并选择相关的普通索引。

tee:示例

with open('myfile.txt') as f:
    its = itertools.tee(f,2)
    print(list(itertools.islice(its[0],0,None,2)))
    print(list(itertools.islice(its[1],1,None,2)))

现在，该文件只读取一次，但可以迭代两次。