程序将字符作为换行符读取

Question

我有这个简化版本的编译器代码，我一直在做，一个奇怪的事件让我感到困惑。下面是简化后的代码:

LETTER = ['a', 'b', 'c', 'd', 'e', 'f', 'g', 'h', 'i', 'j', 'k', 'l', 'm',
'n', 'o', 'p', 'q', 'r', 's', 't', 'u', 'v', 'w', 'x', 'y', 'z',
'A', 'B', 'C', 'D', 'E', 'F', 'G', 'H', 'I', 'J', 'K', 'L', 'M'
'N', 'O', 'P', 'Q', 'R', 'S', 'T', 'U', 'V', 'W',
'X', 'Y', 'Z']
WHITESPACE = [' ', 'n', 'r', 'v', 't', 'f']
SYMBOL = [';', ':', ',', '[', ']', '{', '}', '(', ')', '+', '-', '*', '=', '<']
input_file = open('input.txt', 'r')
line_num = 1
def get_token():
global line_num
value = ''
input_char = ''
value = input_file.read(1)
if value in WHITESPACE:
start = line_num
if value == 'n':
line_num += 1
return "whitespace", value, start

elif value in LETTER:
input_char = input_file.read(1)
while input_char != '':
if input_char in LETTER:
value += input_char
elif input_char in SYMBOL or input_char in WHITESPACE:
input_file.seek(input_file.tell() - 1)
return 'id', value, line_num
else:
value += input_char
return 'invalid', value, line_num
input_char = input_file.read(1)
return 'id', value, line_num
elif value in SYMBOL:
return 'symbol', value, line_num
elif value == '':
return None
else:
return 'invalid', value, line_num


while True:
token = get_token()
if token:
print(f"({token[2]}, {token[0]}, {token[1]})")
else:
break
input_file.close()

这是输入文件的内容:

prod;
}

，这是我想要达到的输出:

(1, id, prod)
(1, symbol, ;)
(1, whitespace, 
)
(2, whitespace, 
)
(3, symbol, })

但是，这是我得到的输出:

(1, id, prod)
(1, whitespace, 
)
(2, whitespace, 
)
(3, whitespace, 
)
(4, symbol, })

在每个阶段检查了变量和文件指针的值之后，我得出结论，程序确实将字符';'识别为换行符，并且我在其位置上放置的任何其他SYMBOL也是如此。更令人困惑的是如果我把第一个写成'prod; '或者'prod;;' of 'prod;，它会给出正确的输出。这是怎么发生的?

Answer 1

您似乎在未提及的约束下工作(即"事情是我不允许使用任何导入的库")。从评论)。

你的搜索不工作，因为你做它。而不是使用tell，自己跟踪位置:

pos = 0
# handle your own positioning    
def get_char_and_pos(f):
"""Reads one character from file, returns character and position"""
global pos
pos += 1
return f.read(1), pos-1

并通过调用您的位置跟踪函数来替换input_file.read(1)的所有实例:

# sets are faster for 'in' checks
LETTER = set("abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ")
WHITESPACE = set(" nrvtf")
SYMBOL = set(";:,[]{}()+-*=<")
# write demo file
with open("input.txt", "w") as f:
f.write("prod;nn}") 
input_file = open('input.txt', 'r+')
line_num = 1
def get_token():
global line_num
value = ''
input_char = ''
value, value_pos = get_char_and_pos(input_file)    # use function 
if value in WHITESPACE:
start = line_num
if value == 'n':
line_num += 1
return "whitespace", value, start

elif value in LETTER:
input_char, value_pos = get_char_and_pos(input_file)   # use function 
while input_char != '':
if input_char in LETTER:
value += input_char
elif input_char in SYMBOL or input_char in WHITESPACE:
input_file.seek(value_pos)      # jump to correct position
return 'id', value, line_num
else:
value += input_char
return 'invalid', value, line_num
input_char, value_pos = get_char_and_pos(input_file)  # use function 
return 'id', value, line_num
elif value in SYMBOL:
return 'symbol', value, line_num
elif value == '':
return None
else:
return 'invalid', value, line_num


while True:
token = get_token()
if token:
print(f"({token[2]}, {token[0]}, {token[1]})")
else:
break
input_file.close()

输出:

(1, id, prod)
(1, symbol, ;)  
(1, whitespace, 
)
(2, whitespace, 
)
(3, symbol, })