使用C有效地迁移linux进程

我需要估计在同一台计算机的另一个核心上迁移linux进程的成本。为了迁移进程，我使用了sched_setafinity系统调用，但我注意到迁移并不总是即时发生，这是我的要求。

更深入地说，我正在创建一个C程序，它每次进行两次简单的计算，第一次不进行迁移，第二次进行迁移。计算两个时间戳之间的差异应该可以粗略估计迁移开销。然而，我需要弄清楚如何迁移当前进程并等待迁移发生

#define _GNU_SOURCE
#define _POSIX_C_SOURCE 199309L
#include <assert.h>
#include <sched.h>
#include <stdbool.h>
#include <stdio.h>
#include <stdlib.h>
#include <unistd.h>
#include <time.h>
#include <stdint.h>
//Migrates the process
int migrate(pid_t pid) {
const int totCPU = 8;
const int nextCPU = (sched_getcpu() +1) % totCPU;
cpu_set_t target;
CPU_SET(nextCPU, &target);
if(sched_setaffinity(pid, sizeof(target), &target) < 0)
perror("Setaffinity");
return nextCPU;
}
int main(void) {
long i =0;
const long iterations = 4;
uint64_t total_sequential_delays = 0;
uint64_t total_migration_delays = 0;
uint64_t delta_us;
for(int i=0; i < iterations; i++) {
struct timespec start, end;
//Migration benchmark only happens in odd iterations
bool do_migration = i % 2 == 1;
//Start timestamp
clock_gettime(CLOCK_MONOTONIC_RAW, &start);
//Target CPU to migrate
int target;
if(do_migration) {
target = migrate(0);
//if current CPU is not the target CPU
if(target != sched_getcpu()) {
do {
clock_gettime(CLOCK_MONOTONIC_RAW, &end);
}
while(target != sched_getcpu());
}
}
//Simple computation 
double k = 5;
for(int j = 1; j <= 9999; j++) {
k *= j / (k-3);
}
//End timestamp
clock_gettime(CLOCK_MONOTONIC_RAW, &end);
//Elapsed time
delta_us = (end.tv_sec - start.tv_sec) * 1000000 + (end.tv_nsec - start.tv_nsec) / 1000;
if(do_migration) total_migration_delays += delta_us;
else total_sequential_delays += delta_us;
}
//Compute the averages
double avg_migration = total_migration_delays / iterations;
double avg_sequential = total_sequential_delays / iterations;
//Print them
printf("navg_migration=%f, avg_sequential=%f",avg_migration,avg_sequential);
return EXIT_SUCCESS;
}

这里的问题是dowhile循环(第46-49行(有时会永远运行。

我需要估计在同一台计算机的另一个核心上迁移linux进程的成本。

好的，成本可以估计为：

设置新的CPU相关性并执行"yield"或"sleep(0)"以强制任务切换/重新调度所花费的时间(包括任务切换开销等(。
未来每次缓存未命中的成本"缓存在旧CPU上，但尚未缓存在新CPU中"内存访问
未来每次"虚拟到物理转换"的TLB未命中成本都缓存在旧CPU上，但尚未缓存在新CPU中"内存访问
NUMA处罚
负载平衡问题(例如，从"负载较轻"的CPU或核心迁移到"其他进程负载较重"CPU或内核可能会导致严重的性能问题，包括内核决定将其他进程迁移到不同的CPU以修复负载平衡的成本，其中其他进程支付的成本/开销可能应包含在迁移进程所造成的总成本中(。

注意：

a( 存在多个级别的高速缓存(跟踪高速缓存、指令高速缓存、L1数据高速缓存、L2数据高速缓存等(，并且一些高速缓存在一些CPU之间共享(例如，L1可能在同一核心内的逻辑CPU之间共享，L2可能由2个核心共享，L3可能由8个核心共享(。

b( TLB未命中成本取决于很多因素(例如，如果内核在没有PCID功能的情况下使用Meltdown缓解措施，并且在每次系统调用时都会泄露TLB信息(。

c( NUMA惩罚是延迟成本-在上一个CPU(对于上一个NUMA节点(上分配的对RAM的每次访问(例如缓存未命中(将比在新/当前CPU(正确的NUMA节点上(上分配对RAM的访问具有更高的延迟。

d( 所有的缓存未命中成本、TLB未命中成本和NUMA惩罚都取决于内存访问模式。没有内存访问的基准测试会产生误导。

e( 缓存未命中成本、TLB未命中成本和NUMA惩罚在很大程度上取决于所涉及的硬件——例如，一台"具有快速RAM且没有NUMA的慢速CPU"计算机上的基准测试与另一台"带有慢速RAM且有许多NUMA域的快速CPU"计算机完全无关。同样，它高度依赖于哪些CPU(例如，从CPU#0迁移到CPU#1可能成本很低，从CPU[0]迁移到CPU#15可能非常昂贵(。

为了迁移进程，我使用了sched_setafinity系统调用，但我注意到迁移并不总是即时发生，这是我的要求。

在"sched_setaffinity();"后面加一个"sleep(0);"。

您没有清除目标集：

cpu_set_t target;
CPU_ZERO(&target);  /* you need to add this line */
CPU_SET(nextCPU, &target);

所以你不知道你的亲和力是什么。另一个问题是，迁移的成本没有预先支付，因此简单地测量从set_affinity((到解决的时间并不是一个合适的测量方法。您最好运行一个包含在单个cpu中的工作负载，然后是两个、三个。此外，考虑您的工作负载是否应该包括遍历更大的数据结构，可能还包括更新，因为缓存投资的损失也是迁移的成本。

相关内容

最新更新

热门标签：