长期运行的程序在谷歌应用程序引擎

Question

我用Java编写了一个servlet代码，用于从存储在Google Cloud Storage中的文件中读取一行。一旦我读取了每一行，我就把它传递给预测API。一旦我得到预测的文本通过。我将它附加到原始行，并将其存储在Google云存储中的其他文件中。

此源文件为csv格式，包含超过10,000条记录。由于我单独解析它，将其传递给预测API，然后存储回云存储。这样做要花很多时间。由于App Engine有30节的限制，任务队列也有限制。谁能给我一些建议吗?因为重新启动程序不是一个选项，因为我无法从我停止的地方启动预测。

下面是我的代码:

@SuppressWarnings("serial")
public class PredictionWebAppServlet extends HttpServlet {
    private static final String APPLICATION_NAME = "span-test-app";
    static final String MODEL_ID = "span-senti";
    static final String STORAGE_DATA_LOCATION = "/bigdata/training_set/";
    private static HttpTransport httpTransport;
    private static final JsonFactory JSON_FACTORY = JacksonFactory
            .getDefaultInstance();
    public static final String INPUT_BUCKETNAME = "bigdata";
    public static final String INPUT_FILENAME = "abc.csv";
    public static final String OUTPUT_BUCKETNAME = "bigdata";
    public static final String OUTPUT_FILENAME = "def.csv";
    private static Credential authorize() throws Exception {
        Credential cr = new GoogleCredential.Builder()
                .setTransport(httpTransport)
                .setJsonFactory(JSON_FACTORY)
                .setServiceAccountId(
                        "[e-mail]")
                .setServiceAccountScopes(
                        Collections.singleton(PredictionScopes.PREDICTION))
                .setServiceAccountPrivateKeyFromP12File(
                        new File(
                                "28617ba6faac0a51eb2208edba85d2e20e6081b4-privatekey.p12"))
                .build();
        return cr;
    }

    public void doGet(HttpServletRequest req, HttpServletResponse resp)
            throws IOException {
        try {
            httpTransport = GoogleNetHttpTransport.newTrustedTransport();
            Credential credential = authorize();
            Prediction prediction = new Prediction.Builder(httpTransport,
                    JSON_FACTORY, credential).setApplicationName(APPLICATION_NAME)
                    .build();

            GcsService gcsService = GcsServiceFactory.createGcsService();
            GcsFilename filename = new GcsFilename(INPUT_BUCKETNAME, INPUT_FILENAME);
            GcsFilename filename1 = new GcsFilename(OUTPUT_BUCKETNAME,
                    OUTPUT_FILENAME);
            GcsFileOptions options = new GcsFileOptions.Builder()
                    .mimeType("text/html").acl("public-read")
                    .addUserMetadata("myfield1", "my field value").build();

            GcsOutputChannel writeChannel = gcsService.createOrReplace(filename1, options);
            PrintWriter writer = new PrintWriter(Channels.newWriter(writeChannel,
                    "UTF8"));

            GcsInputChannel readChannel = null;
            BufferedReader reader = null;
            readChannel = gcsService.openReadChannel(filename, 0);
            reader = new BufferedReader(Channels.newReader(readChannel, "UTF8"));
            String line;
            String cvsSplitBy = ",";
            String temp_record = "";
            Input input = new Input();
            InputInput inputInput = new InputInput();

            while ((line = reader.readLine()) != null) {
                String[] post = line.split(cvsSplitBy);
                inputInput.setCsvInstance(Collections
                        .<Object> singletonList(post[1]));
                input.setInput(inputInput);
                Output output = prediction.trainedmodels()
                        .predict("878482284233", MODEL_ID, input).execute();
                for (int i = 0; i < 10; i++) {
                    temp_record = temp_record + post[i] + ",";
                }
                temp_record = temp_record + output.getOutputLabel();

                 writer.println(temp_record);
            }
            writer.flush();
            writer.close();
            //resp.getWriter().println(temp_record);
        } catch (Exception e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }
        finally{
        }
    }
}

Answer 1

你自己也在暗示。

如果你认为你的工作可以在10分钟内完成，你可以单独使用任务队列。

如果没有，您将需要使用任务队列和后端组合。您需要将其推送到后端实例中。看看Push队列和后端

UPDATE -使用模块代替后端

后端不推荐使用模块。在模块中这样做的一种方法是:

1. 将你的应用程序转换为模块结构
2. 定义一个手动缩放的模块
3. 处理该模块中的"/_ah/start" url
4. 执行"/_ah/start"处理程序中的所有作业

手动伸缩实例对它们可能运行的时间没有限制。如果实例具有手动缩放，则可以在"/_ah/start"请求中运行"永远"。嘿，你甚至可以开始线程，如果你喜欢的话。但这对这份工作来说不应该是必需的。

Answer 2

这正是MapReduce框架的作用。