Parslet 替代品 不解析整个字符串

Question

我有以下规格

  it "parses a document with only an expression" do
    puts parser.document.should parse("[b]Hello World[/b]")
  end
  it "parses a document with only text" do
    puts parser.document.should parse(" Hello World")
  end
  it "parses a document with both an expression and text" do
    puts parser.document.should parse("[b]Hello World[/b] Yes hello")
  end

对于以下 Parslet 解析器

class Parser < Parslet::Parser
rule(:open_tag) do
  parslet = str('[')
  parslet = parslet >> (str(']').absent? >> match("[a-zA-Z]")).repeat(1).as(:open_tag_name)
  parslet = parslet >> str(']')
  parslet
end
rule(:close_tag) do
  parslet = str('[/')
  parslet = parslet >> (str(']').absent? >> match("[a-zA-Z]")).repeat(1).as(:close_tag_name)
  parslet = parslet >> str(']')
  parslet
end
rule(:text) { any.repeat(1).as(:text) }
rule(:expression) do
  # [b]Hello World[/b]
  # open tag, any text up until closing tag, closing tag
  open_tag.present?
  close_tag.present?
  parslet = open_tag >> match("[a-zA-Zs?]").repeat(1).as(:enclosed_text) >> close_tag
  parslet
end
rule(:document) do
  expression | text
end

前两个测试通过得很好，我可以通过将它们put到命令行来查看原子的类型是否正确。但是，当我尝试同时使用表达式和纯文本解析文档时，它无法解析纯文本，失败并出现以下错误

Parslet::UnconsumedInput: Don't know what to do with " Yes hello" at line 1 char 19.

我想我缺少一些关于定义:d闭孔规则的东西。我想要的是消耗任意数量的序列表达式和纯文本的东西，虽然我的规则将消耗每个原子个体，但在同一字符串中使用它们会导致失败。

Answer 1

你要找的是这样的东西...

require 'parslet'
class ExampleParser < Parslet::Parser
  rule(:open_tag) do
    str('[') >> 
      match["a-zA-Z"].repeat(1).as(:open_tag_name) >>
    str(']')
  end

open_tag规则不需要排除"]"字符，因为匹配项只允许使用字母。

  rule(:close_tag) do
    str('[/') >> 
      match["a-zA-Z"].repeat(1).as(:close_tag_name) >>
    str(']')
  end

这里也一样

  rule(:text) do 
    (open_tag.absent? >> 
      close_tag.absent? >> 
        any).repeat(1).as(:text) 
  end

如果你在这里排除打开和关闭标签......你知道你只处理文本。注意：我喜欢这种在排除了不想要的东西后使用"any"的技术，但如果你以后要重构，请记住这一点，因为你的排除列表可能需要增长。注意2：您可以进一步简化，如下所示。

  rule(:text) do 
    (str('[').absent? >> any).repeat(1).as(:text) 
  end

.. 如果您根本不想要文本中的任何方括号。

  rule(:expression) do
    # [b]Hello World[/b]
    open_tag >> text.as(:enclosed_text) >> close_tag
  end

这变得简单得多，因为文本不能包含close_tag

  rule(:document) do
    (expression | text).repeat
  end

我已经添加了您错过的重复（正如马特指出的那样）

end
require 'rspec'
require 'parslet/rig/rspec'
describe 'example' do
  let(:parser) { ExampleParser.new }
  context 'document' do
    it "parses a document with only an expression" do
      parser.document.should parse("[b]Hello World[/b]")
    end
    it "parses a document with only text" do
      parser.document.should parse(" Hello World")
    end
    it "parses a document with both an expression and text" do
      parser.document.should parse("[b]Hello World[/b] Yes hello")
    end
  end
end

RSpec::Core::Runner.run([])

希望这能给你一些使用Parslet的提示。 :)

Answer 2

对于要repeat使用document规则：

rule(:document) do
  (expression | text).repeat
end

您还需要更改text规则;目前，如果它开始匹配，它将消耗所有内容，包括应启动新expression的任何[。这样的事情应该有效：

rule(:text) { match['^['].repeat(1).as(:text) }