从bigquery中获取数据，不重复

Question

使用Google的bigquery Python API，是否有可能从大查询表(GCP)中批量获取数据而不重复(即，以小批量下载大型数据集而不是一次全部)?

例如，如果我有一个有1000万行的表，我可以运行10次数据抓取迭代吗?在每次迭代中，100万唯一的和新的行被下载，而不重复(即，在所有10次迭代中，同一行只被获取一次)?

Answer 1

我用熊猫来做这些事情

import pandas as pd
import numpy as np
from google.oauth2 import service_account
import pandas_gbq
credentials = service_account.Credentials.from_service_account_file('yourkey.json')
10MrowsQuery = f'select * from 10MrowTable")'
dataframe = pd.read_gbq(10MrowsQuery, project_id="yourgcpprojectname", dialect='standard', credentials=credentials)