使用AFNetworkingNSOperations连续下载许多文件...内存不足



注意:我正在使用 ARC。

我有一些代码可以向 http 服务器发出 1 个文件列表请求(通过 JSON)。然后,它将该列表解析为模型对象,用于将下载操作(用于下载该文件)添加到不同的 nsoperationqueue,然后在完成添加所有这些操作(队列开始时挂起)后,它将启动队列并等待所有操作完成,然后再继续。(注意:这一切都是在后台线程上完成的,以免阻塞主线程)。

以下是基本代码:

NSURLRequest* request = [NSURLRequest requestWithURL:parseServiceUrl];
AFHTTPRequestOperation *op = [[AFHTTPRequestOperation alloc] initWithRequest:request];
op.responseSerializer = [AFJSONResponseSerializer serializer];
[op setCompletionBlockWithSuccess:^(AFHTTPRequestOperation *operation, id responseObject) {
    //NSLog(@"JSON: %@", responseObject);
    // Parse JSON into model objects
    NSNumber* results = [responseObject objectForKey:@"results"];
    if ([results intValue] > 0)
    {
        dispatch_async(_processQueue, ^{
            _totalFiles = [results intValue];
            _timestamp = [responseObject objectForKey:@"timestamp"];
            NSArray* files = [responseObject objectForKey:@"files"];
            for (NSDictionary* fileDict in files)
            {
                DownloadableFile* file = [[DownloadableFile alloc] init];
                file.file_id = [fileDict objectForKey:@"file_id"];
                file.file_location = [fileDict objectForKey:@"file_location"];
                file.timestamp = [fileDict objectForKey:@"timestamp"];
                file.orderInQueue = [files indexOfObject:fileDict];
                NSNumber* action = [fileDict objectForKey:@"action"];
                if ([action intValue] >= 1)
                {
                    if ([file.file_location.lastPathComponent.pathExtension isEqualToString:@""])
                    {
                        continue;
                    }
                    [self downloadSingleFile:file];
                }
                else // action == 0 so DELETE file if it exists
                {
                    if ([[NSFileManager defaultManager] fileExistsAtPath:file.localPath])
                    {
                        NSError* error;
                        [[NSFileManager defaultManager] removeItemAtPath:file.localPath error:&error];
                        if (error)
                        {
                            NSLog(@"Error deleting file after given an Action of 0: %@: %@", file.file_location, error);
                        }
                    }
                }
                [self updateProgress:[files indexOfObject:fileDict] withTotal:[files count]];
            }
            dispatch_sync(dispatch_get_main_queue(), ^{
                [_label setText:@"Syncing Files..."];
            });
            [_dlQueue setSuspended:NO];
            [_dlQueue waitUntilAllOperationsAreFinished];
            [SettingsManager sharedInstance].timestamp = _timestamp;
            dispatch_async(dispatch_get_main_queue(), ^{
                callback(nil);
            });
        });
    }
    else
    {
        dispatch_async(dispatch_get_main_queue(), ^{
            callback(nil);
        });
    }

} failure:^(AFHTTPRequestOperation *operation, NSError *error) {
    NSLog(@"Error: %@", error);
    callback(error);
}];
[_parseQueue addOperation:op];

然后是下载单文件方法:

- (void)downloadSingleFile:(DownloadableFile*)dfile
{
NSURLRequest* req = [NSURLRequest requestWithURL:dfile.downloadUrl];
AFHTTPRequestOperation* reqOper = [[AFHTTPRequestOperation alloc] initWithRequest:req];
reqOper.responseSerializer = [AFHTTPResponseSerializer serializer];
[reqOper setCompletionBlockWithSuccess:^(AFHTTPRequestOperation* op, id response)
 {
         __weak NSData* fileData = response;
         NSError* error;
         __weak DownloadableFile* file = dfile;
         NSString* fullPath = [file.localPath substringToIndex:[file.localPath rangeOfString:file.localPath.lastPathComponent options:NSBackwardsSearch].location];
         [[NSFileManager defaultManager] createDirectoryAtPath:fullPath withIntermediateDirectories:YES attributes:Nil error:&error];
         if (error)
         {
             NSLog(@"Error creating directory path: %@: %@", fullPath, error);
         }
         else
         {
             error = nil;
             [fileData writeToFile:file.localPath options:NSDataWritingFileProtectionComplete error:&error];
             if (error)
             {
                 NSLog(@"Error writing fileData for file: %@: %@", file.file_location, error);
             }
         }
         [self updateProgress:file.orderInQueue withTotal:_totalFiles];
 }
                               failure:^(AFHTTPRequestOperation* op, NSError* error)
 {
     [self updateProgress:dfile.orderInQueue withTotal:_totalFiles];
     NSLog(@"Error downloading %@: %@", dfile.downloadUrl, error.localizedDescription);
 }];
[_dlQueue addOperation:reqOper];
}

我看到的是随着更多文件的下载,内存不断激增。这就像响应对象甚至整个完成块都没有被放弃一样。

我尝试将响应对象__weak以及文件数据。我尝试添加自动发布池,我也尝试使实际的文件域对象__weak,但内存仍然攀升和攀升。

我已经运行了 Instruments,没有看到任何泄漏,但它永远不会达到在内存耗尽并出现大胖"无法分配区域"错误之前下载所有文件的地步。查看分配,我看到一堆连接:didFinishLoad和connection:didReceiveData方法似乎永远不会被放弃。不过,我似乎无法进一步调试它。

我的问题:为什么内存不足?什么没有被释放,我怎样才能让它这样做?

这里有一些事情发生。最大的问题是您要下载整个文件,将其存储在内存中,然后在下载完成后将其写出到磁盘。即使只有一个 500 MB 的文件,您也会耗尽内存。

执行此操作的正确方法是将 NSOutputStream 与异步下载一起使用。关键是数据到达后立即写出数据。它应该看起来像这样:

- (void)connection:(NSURLConnection *)connection didReceiveData:(NSData *)data
{
    [self.outputStream write:[data bytes] maxLength:[data length]];
}

同样值得注意的是,您是在块内部而不是外部创建弱引用。因此,您仍在创建保留周期和泄漏内存。创建弱引用时,它应如下所示。

NSOperation *op = [[NSOperation alloc] init];
__weak NSOperation *weakOp = op;
op.completion = ^{
    // Use only weakOp within this block
};

最后,您的代码正在使用 @autoreleasepool .NSAutoreleasePool 和 ARC 等效@autoreleasepool仅在非常有限的情况下有用。作为一般规则,如果您不确定自己需要它,则不需要。

在朋友的帮助下,我找到了问题所在。

问题实际上出在第一个代码块上:

[_dlQueue waitUntilAllOperationsAreFinished];

显然,等待所有操作完成意味着这些操作都不会被释放。

取而代之的是,我最终向队列中添加了一个最终操作,该操作将执行最终处理和回调,并且内存现在更加稳定。

[_dlQueue addOperationWithBlock:^{
                    [SettingsManager sharedInstance].timestamp = _timestamp;
                    dispatch_async(dispatch_get_main_queue(), ^{
                        callback(nil);
                    });
                }];

您要下载哪种类型的文件?如果您正在使用图像或视频,则需要清除URLCache,因为当您完成加载图像时,它会在缓存中创建CFDATA和一些信息,并且不会清除。您需要在单个文件下载完成后明确清除它。它也永远不会被捕获为泄漏。

NSURLCache *sharedCache = [[NSURLCache alloc] initWithMemoryCapacity:0 diskCapacity:0 diskPath:nil];
    [NSURLCache setSharedURLCache:sharedCache];
    [sharedCache release];
If you are using ARC replace 
    [sharedCache release];
with
    sharedCache = nil;

希望它能帮助你。

最新更新