在消息反序列化期间，python中的Protobuf抱怨'Unexpected end-group tag.'

Question

我正在开发zmq/protobuf应用程序，我有一个从c++发送到python的反序列化消息的问题。我很容易处理从python到c++的消息，但在另一个方向我有一个问题。

python客户端程序中的Protobuf库报错检测到:
文件"C:Python27libsite-packagesgoogleprotobufinternalpython_message.py"，第844行，在MergeFromString提高message_mod。DecodeError(' end-group tag.')

我认为c++序列化和python反序列化之间存在问题。我想知道C/c++中null终止符是否有问题。

我使用RaspberryPi运行Raspian的c++代码和x64 CPU运行Windows 7的python代码。

这是我的c++序列化代码…

// Test Code.
// Try to send some 'demo' response back.
RPiProtocol::Message response;
std::string response_string;
response.set_type(RPiProtocol::Message::RESPONSE);
response.set_command(RPiProtocol::Message::GET_SYS_INFO);
response.set_version(0);
// Serialize ZMQ message to string.
if (response.SerializeToString(&response_string))
{
    //  Send response message back to the client.
    zmq::message_t reply(response_string.length());
    memcpy((void *)reply.data(), (void *)&response_string, response_string.length());
    socket.send(reply);
}

这是我的python反序列化代码…

#  Get the reply.
message = socket.recv()
response = rpi_protocol_pb2.Message()
# This line fails.
response.ParseFromString(str(message))

我在这个函数中调试了反序列化失败googleprotobufinternalpython_message.py

  def InternalParse(self, buffer, pos, end):
    self._Modified()
    field_dict = self._fields
    unknown_field_list = self._unknown_fields
    while pos != end:
      (tag_bytes, new_pos) = local_ReadTag(buffer, pos)
      field_decoder, field_desc = decoders_by_tag.get(tag_bytes, (None, None))
      if field_decoder is None:
        value_start_pos = new_pos
        new_pos = local_SkipField(buffer, new_pos, end, tag_bytes)
        if new_pos == -1: # HERE I HAVE -1 !!!
          return pos
        if not unknown_field_list:
          unknown_field_list = self._unknown_fields = []
        unknown_field_list.append((tag_bytes, buffer[value_start_pos:new_pos]))
        pos = new_pos
      else:
        pos = field_decoder(buffer, new_pos, end, self, field_dict)
        if field_desc:
          self._UpdateOneofState(field_desc)
    return pos
  cls._InternalParse = InternalParse

你能帮我启用我的应用程序吗?

Answer 1

我也遇到过用python反序列化protobuff数据的问题。使用'C' protobuff代码序列化了protobuff数据。

简单的答案是使用binascii.unhexlify()。

在python上序列化一个protobuff，然后发送给C代码，在那里它被反序列化工作得很好。但相反的情况是不正确的，直到我做了以下操作:binstring = binascii.unhexlify(hexstring)。然后protobuffs . parsefromstring (binstring)工作得很好

Answer 2

最后我找到了有bug的代码。我在c++服务器的这一行有一个错误:

memcpy((void *)reply.data(), (void *)&response_string, response_string.length());

应该是:

memcpy((void *)reply.data(), (void *)response_string.data(), response_string.length());

我了解如何将c++字符串转换为ZMQ字符串，因为我在网上找到了这个函数:

//  Convert string to 0MQ string and send to socket    
static bool s_send (zmq::socket_t & socket, const std::string & string) {
    zmq::message_t message(string.size());
    memcpy (message.data(), string.data(), string.size());
    bool rc = socket.send (message);
    return (rc);
}

下面是指向zhelpers.hpp头文件的链接，其中包含上面粘贴的函数和许多其他基于c++ ZMQ的应用程序的有用函数:https://github.com/imatix/zguide/blob/master/examples/C%2B%2B/zhelpers.hpp