如何在数据文件上使用生成器将JSON和TSV行转换为数据框架?

Question

我有一个"。data"包含下面这两行示例的文件。第一行表示json，第二行表示tsv。我想将json转换为python字典，将tsv行转换为python字典，然后使用生成器将两者输出到数据框中。

###的示例行"文件# # #

{"Book": "American Horror", "Author": "Me", "date": "12/12/2012", publisher": "Fox"
Sports Law  Some Body   06/12/1999  Random House 1000

import json
def generator(file):

for row in open(file, encoding="ISO-8859-1"):
print(row)
if "{" in row:
yield json.loads(row)
else:
###I don't know where to begin with the tsv data
###tsv data must fit under column names of json data
for tsv in row:
yield tsv
file = ".data_file"        
with open(file,'r') a some_stuff:
df = pd.DataFrame(data=generator(some_stuff))
df
'''

Answer 1

By "TSV"我假设您的数据是制表分隔的，即字段由单个制表符分隔。如果是这种情况，您可以使用str.split('t')来分割字段，如下所示:

>>> line = 'Sports LawtSome Bodyt06/12/1999tRandom House 1000n'
>>> line.rstrip().split('t')
['Sports Law', 'Some Body', '06/12/1999', 'Random House 1000']

rstrip()用于删除您将从文件中读取的行末尾的新行。

然后创建一个字典并输出它:

book, author, date, publisher = line.rstrip().split('t')
yield dict(Book=book, Author=author, date=date, publisher=publisher)

或者如果您已经有一个列名列表:

columns = ['Book', 'Author', 'date', 'publisher']
yield dict(zip(columns, line.rstrip().split('t')))