git svn 克隆 Windows 下的大存储库:内存不足 - 不是大文件问题



我正在尝试使用 git svn 克隆一个大型 svn 存储库。该存储库已获得 100000 次修订。大小约为9GB(原始文件夹)。存储库中最大的文件为 300 MB。

分支结构在存储库中完全混乱。很多错误和缺失的合并信息,没有标准布局。我尝试获取带有和不带分支的最新版本。没有分支的命令如下所示:

git svn clone url_to_trunk_in_repo -r100000:HEAD --username=svn_user

HEAD目前处于101037状态。该过程运行一段时间(数小时)并失败,如下所示:

请求 29040 字节时内存不足,总 sbrk() 为 254959616 字节!

我得到了最新的 git 修订版,适用于在具有 16 GB RAM 的 Windows 7 x64 上运行的 Windows (Git-1.9.4-preview20140929)。

我已经对这种失败进行了一些搜索。大多数帖子都提到了几年前大文件的问题,这个问题很可能已经修复(没有检查过)。无论如何,此问题是指大型分配,由"大型"请求期间的错误消息指示。但是,添加小尺寸的正常实现文件时,该过程会失败。因此,我认为这不是一个大文件问题。

我尝试修改 etc/gitconfig 中的包设置,这是一个常见的建议。然而,这并没有帮助。我完全没想到它会有所帮助,因为内存错误是在从 svn 服务器下载期间,而不是在处理包 AFAIK 的 git gc 期间。

进一步挖掘导致我发现 perl 内存限制为 256MB。这种情况很可能是这样,因为我总是收到几乎 256MB sbrk() 的错误。

对 perl 内存限制的进一步调查只会显示操作系统内存限制。这是win32上的2GB(带特殊开关的3GB)和64位窗口的RAM限制。我还找到了一些提高Cygwin内存限制的建议,但这不适用于这里。

256MB的限制在我眼中是荒谬的,我拼命寻找解决这个问题的方法。


编辑:这可能是一个 Perl 5.8.8 问题(git 使用该版本)。我还安装了草莓perl 5.16.3 x64。我编写了这个测试代码,它是对这个堆栈溢出问题中发布的代码的修改:

use strict;
use warnings;
my @s;
my $count = 200;
my $alloc = 30000000;
for (my $i = 0; $i < $count; $i++)
{   print "Trying allocation...";
    $s[$i] = "a" x $alloc;   # ok
    print "OKnn";
}

使用strawberray perl,这非常有效。在 git bash 中,我收到前面描述的错误。

在 33558528 字节的"大"请求期间内存不足,总计 sbrk() 是 2351800 第 9 行 mem.pl 32 字节。


编辑2:我试过草莓perl 5.8.8-1。它正确分配,但是,程序在执行后崩溃。因此,这通常不是perl 5.8.8中的错误,而是git附带的版本(msys perl 5.8.8)中的错误。草莓 perl 和 msys perl 的配置在许多条目中有所不同。对我来说最明显的区别是usemymalloc=n(草莓)和usemymalloc=y(msys perl)。

我还检查了 git bash 中的 ulimit,它没有显示任何异常:

$ ulimit -a
core file size          (blocks, -c) unlimited
data seg size           (kbytes, -d) unlimited
file size               (blocks, -f) unlimited
open files                      (-n) 256
pipe size            (512 bytes, -p) 8
stack size              (kbytes, -s) 2046
cpu time               (seconds, -t) unlimited
max user processes              (-u) 63
virtual memory          (kbytes, -v) 2097152

使用 Cygwin 和 Git 2.1.1,我可以在我的存储库上运行 git svn,而不会出现任何内存问题。我的测试程序也运行良好。我还没有在 Cygwin 上尝试过 1.x 版本的 Git,但我想它们会起作用,因为问题是 msysperl 的内存限制,它被 Cygwin 取代。

不会将此标记为答案,因为它不能解决我最初的问题。这是我目前使用 Git 进行测试的解决方法。

我想要一个 Git for Windows 发行版,并且能够正常工作的 Perl。这里有一个升级Perl的问题。然而,这似乎不是一件容易的事。同样适用于 Windows 上 git svn 使用的 SVN 版本:如何升级 SVN

最新更新