Powershell作业内存消耗问题

Question

我已经为此挣扎了一周，并且已经用尽了我在网上找到的所有方法和选项。我希望这里有人能帮我解决这个问题。

我使用powershell启动了8个作业，每个作业都运行FFmpeg，将一个7分钟的文件流式传输到远程RTMP服务器。这是从磁盘上的文件中提取，每个作业使用不同的文件。该命令处于do-while循环中，因此它不断地重新启动。

这导致我启动作业的shell积累了大量内存，消耗了它所能消耗的所有内存。在24小时内，它消耗了我32 GB服务器中的30 GB。

这是我的启动代码，如果有任何帮助，我们将不胜感激。

start-job -Name v6 -scriptblock {
do { $d = $true; $f = Invoke-Expression -Command "ffmpeg -re -i `"C:SharesMatthew180p_3000k.mp4`" -vcodec copy -acodec copy -f flv -y rtmp://<ip>/<appName>/<streamName>"; $f = $null }
while ($d = $true)

}

我试着接收作业并将其输出为null，我试着在开始do-wile循环之前将$f设置为$null，以及我在网上找到的其他一些东西，但都没有用。感谢大家抽出时间！

Answer 1

我想迟到总比不迟到好。在Powershell作业中运行ffmpeg时，我也遇到过同样的问题，内存消耗巨大。问题的核心是Powershell作业会将任何/所有输出存储到内存中，而ffmpeg非常乐意将输出记录到标准输出和标准error流中。

我的解决方案是在ffmpeg中添加参数"-loglevel-quiet"。或者，您可以将标准流和错误流重定向为null（仅重定向标准流是不够的）。有关如何重定向标准流的更多信息，请参阅以下问题：重定向附加到同一日志文件

Answer 2

有多种方法可以调用PowerShell脚本或表达式。

我最喜欢使用RunspacePool。在RunspacePool中，每个任务都以一个新的运行空间启动。当任务完成时，运行空间将被释放。这样可以保持内存消耗相当恒定。这不是最简单的方法，但这里有一个简单的例子，可能对你有用。

$Throttle = 10 # Maximum jobs that can run simultaneously in a runpool
$maxjobs = 8 # Maximum jobs that will run simultaneously
[System.Collections.ArrayList]$jobs = @()
$script:currentjobs = 0
$jobindex = 0
$jobaction = "ffmpeg -re -i `"C:SharesMatthew180p_3000k.mp4`" -vcodec copy -acodec copy -f flv -y rtmp://<ip>/<appName>/<streamName>"
$sessionstate = [system.management.automation.runspaces.initialsessionstate]::CreateDefault()
$runspace = [runspacefactory]::CreateRunspacePool(1, $Throttle, $sessionstate, $Host)
$runspace.Open()

function QueueJob{
    param($jobindex)
    $job = "" | Select-Object JobID,Script,Errors,PS,Runspace,Handle
    $job.JobID = $jobindex
    $job.Script = $jobaction
    $job.PS = [System.Management.Automation.PowerShell]::create()
    $job.PS.RunspacePool = $runspace
    [void]$job.PS.AddScript($job.Script)
    $job.Runspace = $job.PS.BeginInvoke()
    $job.Handle = $job.Runspace.AsyncWaitHandle
    Write-Host "----------------- Starting Job: $("{0:D4}" -f $job.JobID) --------------------" -ForegroundColor Blue
    $jobs.add($job)
    $script:currentjobs++
}
Function ServiceJobs{
    foreach($job in $Jobs){
        If ($job.Runspace.isCompleted) {
            $result = $job.PS.EndInvoke($job.Runspace)
            $job.PS.dispose()
            $job.Runspace = $null
            $job.PS = $null
            $script:currentjobs--
            Write-Host "----------------- Job Completed: $("{0:D4}" -f $job.JobID) --------------------" -ForegroundColor Yellow
            Write-Host $result
            $Jobs.Remove($job)
            return
        }
    }
}
while ($true) {
    While ($script:currentjobs -le $maxjobs){
        QueueJob $jobindex
        $jobindex++
    }
    ServiceJobs
    Start-Sleep 1
}
$runspace.Close()
[gc]::Collect() 

它使用了一个没有适当终止的无限循环，并且缺乏任何类型的错误检查，但希望它足以演示该技术。