Python解析文本文件和逻辑方法



我有点拘泥于python逻辑
我想要一些关于如何解决python问题以及解析数据的方法的建议。

我花了一些时间阅读python参考文档并浏览了这个网站,我知道有几种方法可以实现我想要实现的目标,这就是我所走的道路
我正在用一些卫星硬件生成的数据重新格式化一些文本文件,以便上传到MySQL数据库中。

这是原始数据

TP N: 1   
Frequency: 12288.635 Mhz   
Symbol rate: 3000 KS  
Polarization: Vertical  
Spectrum: Inverted  
Standard/Modulation: DVB-S2/QPSK  
FEC: 1/2  
RollOff: 0.20  
Pilot: on  
Coding mode: ACM/VCM  
Short frame  
Transport stream
Single input stream  
RF-Level: -49 dBm  
Signal/Noise: 6.3 dB  
Carrier width: 3.600 Mhz  
BitRate: 2.967 Mbit/s  

对卫星上的每个转发器TP N重复上述部分
我正在使用这个脚本提取我需要的数据

strings = ("Frequency", "Symbol", "Polar", "Mod", "FEC", "RF", "Signal", "Carrier", "BitRate")  
sat_raw = open('/BLScan/reports/1520.txt', 'r') 
sat_out = open('1520out.txt', 'w') 
for line in sat_raw: 
    if any(s in line for s in strings): 
        for word in line.split(): 
            if ':' in word:
                sat_out.write(line.split(':')[-1])
sat_raw.close()
sat_out.close()

然后,在将输出数据发送到数据库之前,将其格式化为这样

12288.635 Mhz
 3000 KS
 Vertical
 DVB-S2/QPSK
 1/2
 -49 dBm
 6.3 dB  
 3.600 Mhz
 2.967 Mbit/s

这个脚本运行得很好,但对于我想在MySQL上实现的一些功能,我需要进一步编辑它。

  1. 删除小数点及其后的3个数字和第一行"频率"上的MHz
  2. 删除所有尾随测量参考KSdBmdBMhzMbit
  3. 将9个字段连接成逗号分隔的字符串,使每个转发器(每个文件约30个)都在自己的行上

我不确定是否要继续沿着这条路径添加到这个现有的脚本上(我在写输出文件的时候被卡住了)。或者重新思考我处理原始文件的方式。

我的解决方案很粗糙,在极端情况下可能不起作用,但这是一个良好的开端。

import re
import csv
strings = ("Frequency", "Symbol", "Polar", "Mod", "FEC", "RF", "Signal", "Carrier", "BitRate")  
sat_raw = open('/BLScan/reports/1520.txt', 'r') 
sat_out = open('1520out.txt', 'w')
csv_writer = csv.writer(sat_out)
csv_output = []
for line in sat_raw:
    if any(s in line for s in strings): 
        try:
            m = re.match(r'^.*:s+(S+)', line)
            value = m.groups()[0]
            # Attempt to convert to int, thus removing the decimal part
            value = int(float(value))
        except ValueError:
            pass # Ignore conversion
        except AttributeError:
            pass # Ignore case when m is None (no match)
        csv_output.append(value)
    elif line.startswith('TP N'):
        # Before we start a new set of values, write out the old set
        if csv_output:
            csv_writer.writerow(csv_output)
            csv_output=[]
# If we reach the end of the file, don't miss the last set of values
if csv_output:
    csv_writer.writerow(csv_output)
sat_raw.close()
sat_out.close()

讨论

  • csv包有助于csv输出
  • re(正则表达式)模块帮助解析该行并从该行提取值
  • 在读取value = int(...)的行中,我们试图将字符串值转换为整数,从而删除点和后面的数字
  • 当代码遇到以"TP N"开头的行时,这表示一组新的值。我们将旧的一组值写入CSV文件
import math
strings = ("Frequency", "Symbol", "Polar", "Mod", "FEC", "RF", "Signal", "Carrier", "BitRate")  
files=['/BLScan/reports/1520.txt']
sat_out = open('1520out.txt', 'w') 
combineOutput=[]
for myfile in files:
    sat_raw = open(myfile, 'r') 
    singleOutput=[]
    for line in sat_raw: 
        if any(s in line for s in strings):
            marker=line.split(':')[1]
            try:
                data=str(int(math.floor(float(marker.split()[0]))))
            except:
                data=marker.split()[0]
            singleOutput.append(data)
    combineOutput.append(",".join(singleOutput))    
for rec in combineOutput:
    sat_out.write("%sn"%rec)
sat_raw.close()
sat_out.close()

files列表中添加所有要解析的文件。它将把每个文件的输出写为单独的一行,每个字段用逗号分隔。

相关内容

  • 没有找到相关文章

最新更新