Python 网页抓取:尝试控制输出

Question

Team，

当我抓取此网页时，我很难获得所需的输出：

网页

这是我所拥有的：

import urllib2
from html2text import html2text
for line in  html2text(urllib2.urlopen("http://www.forexfactory.com/explorerapi.php?content=positions&do=positions_graph_data&limit=&interval=M5&&currency=AUDUSD").read()).split(','):
if "traders_short"in line:
    print "Traders Short AUDUSD: ", line.split(":")[1].strip(' " ')
if "traders_long" in line:
    print "Traders Long AUDUSD: ", line.split(":")[1].strip(' " ')

这是我的输出：

Traders Short AUDUSD:  
"114
Traders Long AUDUSD:  88
Traders Long AUDUSD:  88

这就是我想要的：

Traders Short AUDUSD: number
Traders Long AUDUSD: number 

所以问题是：

A） 输出是重复的，我只希望它告诉我有多少交易者做空或做多一次。

B） 我无法摆脱输出第二行中的 ' " '，我希望它像下一行一样位于 ' ： ' 旁边。

现在这里有一些更多信息，这是页面在用html2text整理后的样子：

{"total":"355468"
"positions":[{"timeframe":"M5"
"dateline":79500
"currency_co
de":"AUDUSD"
"short_lots":"22.405234"
"long_lots":"5.1432014"
"traders_short":
"113"
"traders_long":"88"
"weekend":false
"hidden":false
"pos":1
"datetime":{"
year":"1970"
"month":0
"date":"01"
"hour":"22"
"minute":"05"
"estOffset":5}
"l
ots_ratio":18.669667897002
"traders_ratio":43.781094527363
"dummy_lots":-81.33
0332102998
"dummy_traders":-56.218905472637}
{"timeframe":"M5"
"dateline":7980
0
"currency_code":"AUDUSD"
"short_lots":"22.405234"
"long_lots":"5.1432014"
"t
raders_short":"113"
"traders_long":"88"
"weekend":false
"hidden":true
"pos":2
"datetime":1
"lots_ratio":18.669667897002
"traders_ratio":43.781094527363
"dum
my_lots":-81.330332102998
"dummy_traders":-56.218905472637}]
"data_count":1
"h
as_more":true
"interval":"M5"
"currency":"AUDUSD"
"limit":0}

现在显然"交易者做空/多头"出现不止一次，这就是为什么它印两次的原因。但我只需要打印一次。

这个论坛上提供的专业知识的任何帮助都会很棒！

谢谢。

Answer 1

我会使用requests，因为它非常方便，例如它有一个内置的json()方法。您还可以轻松地将该长 URL 解压缩为更具可读性的查询字典，并将其与基本 URL 一起传递。

以下是我将如何做到这一点：

import requests
base_url = "http://www.forexfactory.com/explorerapi.php"
query = {'content': 'positions',
         'do': 'positions_graph_data',
         'limit': '',
         'interval': 'M5',
         'currency': 'AUDUSD'}
r = requests.get(base_url, query)
template = "Traders Short {currency_code}: {traders_short}n"
template += "Traders Long {currency_code}: {traders_long}n"
for position in r.json()['positions']:
    if not position['hidden']:
        print(template.format(**position))

重要的是，r.json()只是一本字典。我选择隐藏'hidden'结果，这些结果似乎是重复的，但当然，此时您可以进行任何您喜欢的处理。其结果是：

Traders Short AUDUSD: 116
Traders Long AUDUSD: 88

Answer 2

正如注释中正确建议的那样，数据是一个 JSON 对象。因此，与其抓取这个，不如尝试使用 json 模块和 urllib.request （python3）。

import urllib.request
import json
def get_json(url)
    response = urllib.request.urlopen(url)
    js = json.loads(response.read().decode('utf-8'))
    return js

返回的值是一个简单的python字典，您可以像通常使用dict一样调用键。