我有一个从json字符串中读取的嵌套结构,看起来类似于下面。。。
[
{
"id": 1,
"type": "test",
"sub_types": [
{
"id": "a",
"type": "sub-test",
"name": "test1"
},
{
"id": "b",
"name": "test2",
"key_value_pairs": [
{
"key": 0,
"value": "Zero"
},
{
"key": 1,
"value": "One"
}
]
}
]
}
]
我需要提取和透视数据,准备插入数据库。。。
[
(1, "b", 0, "Zero"),
(1, "b", 1, "One")
]
我正在做以下事情。。。
data_list = [
(
type['id'],
sub_type['id'],
key_value_pair['key'],
key_value_pair['value']
)
for type in my_parsed_json_array
if 'sub_types' in type
for sub_type in type['sub_types']
if 'key_value_pairs' in sub_type
for key_value_pair in sub_type['key_value_pairs']
]
到目前为止,一切都很好。
然而,我下一步需要做的是强制执行一些约束。例如
if type['type'] == 'test': raise ValueError('[test] types can not contain key_value_pairs.')
但我无法理解。我不想使用循环。到目前为止,我最好的想法是…
def make_row(type, sub_type, key_value_pair):
if type['type'] == 'test': raise ValueError('sub-types of a [test] type can not contain key_value_pairs.')
return (
type['id'],
sub_type['id'],
key_value_pair['key'],
key_value_pair['value']
)
data_list = [
make_row(
type,
sub_type,
key_value_pair
)
for type in my_parsed_json_array
if 'sub_types' in type
for sub_type in type['sub_types']
if 'key_value_pairs' in sub_type
for key_value_pair in sub_type['key_value_pairs']
]
这是有效的,但它会对每个key_value_pair进行检查,这感觉是多余的(每组键值对可能有数千对,只需要检查一次就可以知道它们都很好。)
此外,还有其他类似的规则,适用于层次结构的不同级别。诸如"test"类型只能包含"sub_test"子类型。
除上述选项外,还有哪些选项?
- 更优雅
- 更具扩展性
- 更具表演性
- 更"Python">
您应该了解如何验证json
数据并使用JSON架构此库允许您设置所需的密钥、指定默认值、添加类型验证等。
这个库在这里有It’s python实现:jsonschema包
示例:
from jsonschema import Draft6Validator
schema = {
"$schema": "https://json-schema.org/schema#",
"type": "object",
"properties": {
"name": {"type": "string"},
"email": {"type": "string"},
},
"required": ["email"]
}
Draft6Validator.check_schema(schema)
我只想使用一个普通的循环,但如果您将语句放入一个函数中,则可以将其添加到第一个条件检查中:
def type_check(type):
if type['type'] == 'test':
raise ValueError('sub-types of a [test] type can not contain key_value_pairs.')
return True
data_list = [
(
type['id'],
sub_type['id'],
key_value_pair['key'],
key_value_pair['value']
)
for type in my_parsed_json_array
if 'sub_types' in type
for sub_type in type['sub_types']
if 'key_value_pairs' in sub_type and type_check(type)
for key_value_pair in sub_type['key_value_pairs']
]
您可以尝试类似的体系结构
def validate_top(obj):
if obj['type'] in BAD_TYPES:
raise ValueError("oof")
elif obj['type'] not in IRRELEVANT_TYPES: # actually need to include this
yield obj
def validate_middle(obj):
# similarly for the next nested level of data
# and so on
[
make_row(r)
for t in validate_top(my_json)
for m in validate_middle(t)
# etc...
for r in validate_last(whatever)
]
我这里的一般模式是使用生成器(函数,而不是表达式)来处理数据,然后综合收集。
在更简单的情况下,如果不值得分离多个处理级别(或者它们不自然存在),您仍然可以编写一个生成器,只需执行类似list(generator(source))
的操作。在我看来,这仍然比使用普通函数和手动构建列表更干净——它仍然区分了"处理"one_answers"收集"问题。