使用 numpy.savetxt 实现不同的列格式

Question

我想使用 numpy.savetxt 创建一个.csv文件。文件的每个row都指示某个事件。每一行都有多个columns指示事件的不同元素。存储在每个column中的信息是不同的。某些columns将包含单个float值，而其他应包含两个相互连接的floats。如果我在加载.csv时调用该列，我应该获得两个float值。

我有以下代码：

import numpy
rows = 5
columns = 2 
save_values = numpy.zeros((rows, columns))
for idx in xrange(rows):
  column_0 = float(idx)
  column_1 = [idx + 5., idx + 15.]
  save_values[idx, :] = column_0, column_1
numpy.savetxt("outfile.csv", save_values, delimiter = ",")

但是，这会导致以下错误消息：

  save_values[idx, :] = column_0, column_1
ValueError: setting an array element with a sequence.

这是可以理解的。然而，尽管知道为什么会出错，但我很难实现我的目标。

我

怎样才能实现我的目标？

Answer 1

你甚至没有达到savetxt一步。

save_values[idx, :] = column_0, column_1

目标是 2 个

值(2 列(。 源是idx和列表。

这就是为什么它给你"使用序列设置"错误的原因。 它不能将列表放在save_values[idx,1].

您可以定义一个具有 2 个字段的 save_values 数组，其中一个字段具有 2 个元素。 但是你会如何保存它呢？

文本文件应该如何显示 - 3 列由 , 分隔？ 或第二列内部有特殊结构的两列，例如

 1.2, 3.5, 4.2   # or
 1.2, [2.5, 4.2]

这反过来又提出了可以加载什么的问题。 genfromtxt可以处理 3 列;它不能轻易地处理嵌套列。 作为默认值，genfromtxt会将 3 列大小写读取为 3 列，但可以将其dtype 2 个字段

。

无论如何，为了保存，我认为生成 3 列是最简单的。 可以使用列或字段进行重新加载。

我可以使用以下命令生成一个复合 dtype 数组：

In [329]: dt = np.dtype('i,(2,)f')
In [330]: dt
Out[330]: dtype([('f0', '<i4'), ('f1', '<f4', (2,))])
In [331]: save_values = np.zeros((5,),dtype=dt)
In [332]: for i in range(5):
     ...:     save_values[i]=(i,(i+5., i+15.))
     ...:     
In [333]: save_values
Out[333]: 
array([(0, [5.0, 15.0]), (1, [6.0, 16.0]), (2, [7.0, 17.0]),
       (3, [8.0, 18.0]), (4, [9.0, 19.0])], 
      dtype=[('f0', '<i4'), ('f1', '<f4', (2,))])

但是如果我尝试保存它，则会出现错误

In [334]: np.savetxt('test.txt',save_values,delimiter=',')
...
TypeError: Mismatch between array dtype ('[('f0', '<i4'), ('f1', '<f4', (2,))]') and format specifier ('%.18e,%.18e')

我可以通过拼写出写入格式来保存它，fmt%tuple(save_values[0]) ，但这会使[]输入到输出中：

In [335]: np.savetxt('test.txt',save_values,fmt='%10d, %s')
In [336]: cat test.txt
         0, [  5.  15.]
         1, [  6.  16.]
         2, [  7.  17.]
         3, [  8.  18.]
         4, [  9.  19.]

我

可以用视图扁平化数组 dtype(这里我保留第一个字段整数只是为了让事情变得有趣(：

In [337]: dt1=np.dtype('i,f,f')
In [338]: save_values.view(dt1)
Out[338]: 
array([(0, 5.0, 15.0), (1, 6.0, 16.0), (2, 7.0, 17.0), (3, 8.0, 18.0),
       (4, 9.0, 19.0)], 
      dtype=[('f0', '<i4'), ('f1', '<f4'), ('f2', '<f4')])

现在我可以将其另存为 3 列：

In [340]: np.savetxt('test.txt',save_values.view(dt1),fmt='%10d, %10f, %10f')
In [341]: cat test.txt
         0,   5.000000,  15.000000
         1,   6.000000,  16.000000
         2,   7.000000,  17.000000
         3,   8.000000,  18.000000
         4,   9.000000,  19.000000

我可以使用任一 dtype 重新加载它：

In [342]: np.genfromtxt('test.txt',delimiter=',',dtype=dt)
Out[342]: 
array([(0, [5.0, 15.0]), (1, [6.0, 16.0]), (2, [7.0, 17.0]),
       (3, [8.0, 18.0]), (4, [9.0, 19.0])], 
      dtype=[('f0', '<i4'), ('f1', '<f4', (2,))])
In [343]: np.genfromtxt('test.txt',delimiter=',',dtype=dt1)
Out[343]: 
array([(0, 5.0, 15.0), (1, 6.0, 16.0), (2, 7.0, 17.0), (3, 8.0, 18.0),
       (4, 9.0, 19.0)], 
      dtype=[('f0', '<i4'), ('f1', '<f4'), ('f2', '<f4')])

我还可以使用 5x3 浮点数组创建text.txt。

savetxt的关键点是它遍历数组的行，设置它们的格式，并将该行写入文件。 因此，您的阵列必须使用：

for row in myarray:
   print(fmt % tuple(row))

fmt可以拼写出来，也可以从单个字段格式构建，例如。

fmt = ','.join(['%10f']*3)   # or
fmt = '%10d, %10f, %10f'

所以它归结为标准的Python字符串格式。