foursquare api data pull from databricks

Question

我正在使用以下命令从工作正常的四方形 api 中提取数据。如何将 json 输出写为数据砖中的表？我不能在数据输出上使用显示/显示功能。

import json, requests
url = 'https://api.foursquare.com/v2/venues/explore'
params = dict(
client_id='CLIENT_ID',
client_secret='CLIENT_SECRET',
v='20180323',
ll='40.7243,-74.0018',
query='coffee',
limit=1
)
resp = requests.get(url=url, params=params)
data = json.loads(resp.text)

Answer 1

您可以按如下方式读取和写入接收到的数据：

df = spark.read.json(resp.text)
location = 'dbfs:/tmp/test.json'
df.write.json(location)

然后使用创建的文件创建一个表：

spark.sql(f'''
CREATE TABLE IF NOT EXISTS foursquare
USING JSON 
LOCATION "{location}"
''')