将curl结果中的字节组解释为其他数据类型的方法

Question

我正试图编写一个程序，将使用curl查询URL并检索一串字节。返回的数据比需要被解释为各种数据类型;整型后接序列结构。

curl回写函数必须有一个原型:

size_t write_callback(char *ptr, size_t size, size_t nmemb, void *userdata);

我已经见过很多这样的例子:返回的数据要么作为字符直接存储在内存中，要么作为字符串对象存储在缓冲区中。

如果我有一个字符数组，那么我知道我可以用这样的代码将它的一部分解释为结构:

struct mystruct {
    //define struct
};
char *buffer;
//push some data into the buffer
char *read_position;
read_position = buffer + 5;
test = (mystruct *)buffer;

我有两个相关的问题。首先，是否有更好的方法使用curl检索二进制数据并将其压入结构，而不是将其作为字符直接读入内存。其次，如果读入内存作为字符缓冲区是要走的路，我的代码是一个明智的方式来解释内存块作为不同的数据类型?

Answer 1

解释原始结构时需要考虑的事项，特别是在网络上:

• 数据类型的大小;
• 数据类型的端序;
• 结构填充。

无论使用什么编译器，都应该只在结构体中使用大小正确的数据类型。这意味着对于整数，您应该使用中的类型。

至于端序，您需要知道数据到达时是大端序还是小端序。我喜欢明确一点:

template< class T >
const char * ReadLittleEndian32( const char *buf, T & val )
{
    static_assert( sizeof(T) == 4 );
    val = T(buf[0]) | T(buf[1]) << 8 | T(buf[2]) << 16 | T(buf[3]) << 24;
    return buf + sizeof(T);
}
template< class T >
const char * ReadBigEndian32( const char *buf, T & val )
{
    static_assert( sizeof(T) == 4 );
    val = T(buf[0]) << 24 | T(buf[1]) << 16 | T(buf[2]) << 8 | T(buf[3]);
    return buf + sizeof(T);
}
//etc...

最后，处理潜在的填充差异…我已经很自然地倾向于一种"反序列化"的方法，即每个值都被明确地读取和翻译。结构没有什么不同:

struct Foo
{
    uint16_t a;
    int16_t  b;
    int32_t  c;
    const char * Read( const char * buf );
};
const char * Foo::Read( const char * buf )
{
    buf = ReadLittleEndian16( buf, a );
    buf = ReadLittleEndian16( buf, b );
    buf = ReadLittleEndian32( buf, c );
    return buf;
}

注意模板处理数据类型中的符号和其他东西，所以我们最后关心的是大小。还要记住，像float和double这样的数据类型已经具有固有的端序，不应该被翻译——它们可以逐字读取:

const char * ReadDouble( const char * buf, double & val )
{
    val = *(double*)buf;
    return buf + sizeof(double);
}