我有点拘泥于python逻辑
我想要一些关于如何解决python问题以及解析数据的方法的建议。
我花了一些时间阅读python参考文档并浏览了这个网站,我知道有几种方法可以实现我想要实现的目标,这就是我所走的道路
我正在用一些卫星硬件生成的数据重新格式化一些文本文件,以便上传到MySQL数据库中。
这是原始数据
TP N: 1
Frequency: 12288.635 Mhz
Symbol rate: 3000 KS
Polarization: Vertical
Spectrum: Inverted
Standard/Modulation: DVB-S2/QPSK
FEC: 1/2
RollOff: 0.20
Pilot: on
Coding mode: ACM/VCM
Short frame
Transport stream
Single input stream
RF-Level: -49 dBm
Signal/Noise: 6.3 dB
Carrier width: 3.600 Mhz
BitRate: 2.967 Mbit/s
对卫星上的每个转发器TP N
重复上述部分
我正在使用这个脚本提取我需要的数据
strings = ("Frequency", "Symbol", "Polar", "Mod", "FEC", "RF", "Signal", "Carrier", "BitRate")
sat_raw = open('/BLScan/reports/1520.txt', 'r')
sat_out = open('1520out.txt', 'w')
for line in sat_raw:
if any(s in line for s in strings):
for word in line.split():
if ':' in word:
sat_out.write(line.split(':')[-1])
sat_raw.close()
sat_out.close()
然后,在将输出数据发送到数据库之前,将其格式化为这样
12288.635 Mhz
3000 KS
Vertical
DVB-S2/QPSK
1/2
-49 dBm
6.3 dB
3.600 Mhz
2.967 Mbit/s
这个脚本运行得很好,但对于我想在MySQL上实现的一些功能,我需要进一步编辑它。
- 删除小数点及其后的3个数字和第一行"频率"上的MHz
- 删除所有尾随测量参考
KS
、dBm
、dB
、Mhz
、Mbit
- 将9个字段连接成逗号分隔的字符串,使每个转发器(每个文件约30个)都在自己的行上
我不确定是否要继续沿着这条路径添加到这个现有的脚本上(我在写输出文件的时候被卡住了)。或者重新思考我处理原始文件的方式。
我的解决方案很粗糙,在极端情况下可能不起作用,但这是一个良好的开端。
import re
import csv
strings = ("Frequency", "Symbol", "Polar", "Mod", "FEC", "RF", "Signal", "Carrier", "BitRate")
sat_raw = open('/BLScan/reports/1520.txt', 'r')
sat_out = open('1520out.txt', 'w')
csv_writer = csv.writer(sat_out)
csv_output = []
for line in sat_raw:
if any(s in line for s in strings):
try:
m = re.match(r'^.*:s+(S+)', line)
value = m.groups()[0]
# Attempt to convert to int, thus removing the decimal part
value = int(float(value))
except ValueError:
pass # Ignore conversion
except AttributeError:
pass # Ignore case when m is None (no match)
csv_output.append(value)
elif line.startswith('TP N'):
# Before we start a new set of values, write out the old set
if csv_output:
csv_writer.writerow(csv_output)
csv_output=[]
# If we reach the end of the file, don't miss the last set of values
if csv_output:
csv_writer.writerow(csv_output)
sat_raw.close()
sat_out.close()
讨论
- csv包有助于csv输出
- re(正则表达式)模块帮助解析该行并从该行提取值
- 在读取
value = int(...)
的行中,我们试图将字符串值转换为整数,从而删除点和后面的数字 - 当代码遇到以"TP N"开头的行时,这表示一组新的值。我们将旧的一组值写入CSV文件
import math
strings = ("Frequency", "Symbol", "Polar", "Mod", "FEC", "RF", "Signal", "Carrier", "BitRate")
files=['/BLScan/reports/1520.txt']
sat_out = open('1520out.txt', 'w')
combineOutput=[]
for myfile in files:
sat_raw = open(myfile, 'r')
singleOutput=[]
for line in sat_raw:
if any(s in line for s in strings):
marker=line.split(':')[1]
try:
data=str(int(math.floor(float(marker.split()[0]))))
except:
data=marker.split()[0]
singleOutput.append(data)
combineOutput.append(",".join(singleOutput))
for rec in combineOutput:
sat_out.write("%sn"%rec)
sat_raw.close()
sat_out.close()
在files
列表中添加所有要解析的文件。它将把每个文件的输出写为单独的一行,每个字段用逗号分隔。