OpenAI ChatGPT (GPT-3.5) API:为什么需要这么长时间才能完成?

Question

我试图在我的Flutter应用程序中使用GPT 3.5。我得到了答案，但需要30-60秒才能得到响应。代码如下:

Future<String> getResponse(String message) async {
OpenAI.apiKey = openApiKey;
try {
final chatCompletion = await OpenAI.instance.chat.create(
model: 'gpt-3.5-turbo',
messages: [
OpenAIChatCompletionChoiceMessageModel(
content: message,
role: OpenAIChatMessageRole.user,
),
],
);
print(chatCompletion);
return chatCompletion.choices.first.message.content;
} catch (e) {
return "Something went wrong. Please try again later.";
}
}

现在我有一个个人帐户，我没有OpenAI网站的付费订阅。是我的代码有问题，还是我应该选择付费计划，这将解决问题，将更快的响应?

Answer 1

这可能是由于OpenAI服务器过载。

正如@rob.wheatley在OpenAI官方论坛上解释的:

最近几天真的很糟糕。即使有流媒体，a响应可能需要很长时间才能开始。但昨晚，就像我一样在测试我的新流媒体界面时，我注意到一些奇怪但很有希望的东西，的行为。随机地，我会得到很快的回应。它们很罕见在第一位。／…/今天早上，到目前为止，所有的回复都很快。

所以，对我来说，整个事情看起来像是一个容量问题。不太好你正在构建一个商业应用程序。

来源:

• 可按1
• 可按2