所以我在从较大(>GB)的文本文件中提取文本时遇到问题。该文件的结构如下:
>header1
hereComesTextWithNewlineAtPosition_80
hereComesTextWithNewlineAtPosition_80
hereComesTextWithNewlineAtPosition_80
andEnds
>header2
hereComesTextWithNewlineAtPosition_80
hereComesTextWithNewlineAtPosAAAAAAAA
AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA
AAAAAAAAAAAAAAAAAAAAlineAtPosition_80
MaybeAnotherTargetBBBBBBBBBBBrestText
andEndsSomewhereHere
现在我有了信息,在header2
的条目中,我需要从位置X到位置Y(本例中为A)提取文本,从1开始,作为标题下一行的第一个字母。
但是:这些位置不考虑换行符。所以基本上,当它说从1到95时,它实际上意味着下一行的从1到80的字母和后面的15。
我的第一个解决方案是使用file.read(X-1)跳过前面不需要的部分,然后使用file.red(Y-X)获得我想要的部分,但当它延伸到换行符时,我提取的字符很少。
有没有办法用read()以外的另一个python函数来解决这个问题?我想用空字符串替换所有换行符,但文件可能相当大(数百万行)。
我还试图通过将extractLength // 80
作为添加的长度来解释换行符,但在像示例这样的情况下,这是有问题的,例如,在3行中有95个字符,它是2-80-3。我实际上需要2个额外的位置,但95 // 80
是1。
更新:
我修改了代码以使用Biopython:
for s in SeqIO.parse(sys.argv[2], "fasta"):
#foundClusters stores the information for substrings I want extracted
currentCluster = foundClusters.get(s.id)
if(currentCluster is not None):
for i in range(len(currentCluster)):
outputFile.write(">"+s.id+"|cluster"+str(i)+"n")
flanking = 25
start = currentCluster[i][0]
end = currentCluster[i][1]
left = currentCluster[i][2]
if(start - flanking < 0):
start = 0
else:
start = start - flanking
if(end + flanking > end + left):
end = end + left
else:
end = end + flanking
#for debugging only
print(currentCluster)
print(start)
print(end)
outputFile.write(s.seq[start, end+1])
但我得到以下错误:
[[1, 55, 2782]]
0
80
Traceback (most recent call last):
File "findClaClusters.py", line 92, in <module>
outputFile.write(s.seq[start, end+1])
File "/usr/local/lib/python3.4/dist-packages/Bio/Seq.py", line 236, in __getitem__
return Seq(self._data[index], self.alphabet)
TypeError: string indices must be integers
更新2:
将outputFile.write(s.seq[start, end+1])
更改为:
outRecord = SeqRecord(s.seq[start: end+1], id=s.id+"|cluster"+str(i), description="Repeat-Cluster")
SeqIO.write(outRecord, outputFile, "fasta")
及其工作:)
使用Biopython:
from Bio import SeqIO
X = 66
Y = 130
for s in in SeqIO.parse("test.fst", "fasta"):
if "header2" == s.id:
print s.seq[X: Y+1]
AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA
Biopython让您可以轻松解析fasta文件并访问其id、描述和序列。然后您就有了一个Seq
对象,您可以方便地操作它,而无需对所有内容进行重新编码(如反向补码等)。