解析文件中的数据时大小不同的地图映射

Question

我正在为Nagios构建一个受这个项目启发的API。我已经开始重新创建读取status.dat文件并将数据存储在许多对象中的代码，然后用于创建主机，服务，信息字典，这些字典可在 core.py 文件中找到。

下面是我的 Python 代码的 Go 版本，它似乎按预期工作。它仍处于早期阶段，因此对于任何编码不良做法，我深表歉意。

var mu = &sync.RWMutex{}
func openStatusFile() *os.File {
file, err := os.Open("/usr/local/nagios/var/status.dat")
if err != nil {
}
return file
}
func nextStanza() <-chan map[string]string {
myChannel := make(chan map[string]string)
scanner := bufio.NewScanner(openStatusFile())
current := make(map[string]string)
go func() {
for scanner.Scan() {
mainline := scanner.Text()
line := strings.TrimSpace(mainline)
if strings.HasSuffix(line, "{") {
if len(current) != 0 {
myChannel <- current
}
result := strings.SplitN(line, " ", 2)
mu.Lock()
current["type"] = result[0]
mu.Unlock()
} else if strings.Contains(line, "=") {
result := strings.SplitN(line, "=", 2)
key := result[0]
val := result[1]
mu.Lock()
current[key] = val
mu.Unlock()
}
}
close(myChannel)
}()
return myChannel
}

在主函数中，我创建了嵌套映射以暂时仅保存主机数据，并且没有任何抱怨地完成了此操作。我遇到的问题是，当我检查此映射的长度时，我希望看到 104 个主机，但每次运行此测试文件时都会得到不同的结果。

func main() {
hoststatus := nextStanza()
hosts := make(map[string]map[string]string)
// services := make(map[string]map[string]map[string]string)
var host string
// var service string
for obj := range hoststatus {
var hostPlaceHolder string
var typePlaceHolder string
mu.Lock()
hostPlaceHolder = obj["host_name"]
mu.Unlock()
if hostPlaceHolder != "" {
host = hostPlaceHolder
}
mu.Lock()
typePlaceHolder = obj["type"]
mu.Unlock()
if typePlaceHolder == "hoststatus" {
mu.Lock()
hosts[host] = obj
mu.Unlock()
}
}
fmt.Println(len(hosts))
}

首次运行：

$ go run -race mytest.go
93

第二次运行：

$ go run -race mytest.go
95

第三轮：

$ go run -race mytest.go
63

你明白了。

我觉得问题与地图有关，因为如果我只是打印主机而不将它们放入地图中，我会看到我期待的所有主机。每次运行时地图大小不同的原因是什么？

Answer 1

我能够通过在将current地图发送到频道后清空它来解决我的问题。

myChannel <- current
current = make(map[string]string)

然后在for obj := range hoststatus循环之后的main()函数中，我将这些数据放入一个单独的映射中，然后从中工作。

hostStatusMap := make(map[string]string)
for k, v := range obj {
hostStatusMap[k] = v
}

我还能够删除分散在整个代码中的锁，现在它在每次运行时返回正确长度的主机。

Answer 2

您的代码具有以下争用条件

func nextStanza() <-chan map[string]string {
myChannel := make(chan map[string]string)
scanner := bufio.NewScanner(openStatusFile())
current := make(map[string]string)
go func() {
for scanner.Scan() {
mainline := scanner.Text()
line := strings.TrimSpace(mainline)
if strings.HasSuffix(line, "{") {
if len(current) != 0 {
myChannel <- current
}
result := strings.SplitN(line, " ", 2)
mu.Lock()
current["type"] = result[0]
mu.Unlock()
} else if strings.Contains(line, "=") {
result := strings.SplitN(line, "=", 2)
key := result[0]
val := result[1]
mu.Lock()
current[key] = val
mu.Unlock()
}
}
close(myChannel)
}()
return myChannel
}

当您在匿名函数上启动 goroutine 时，您不会为其创建 WaitGroup。这意味着函数nextStanza()将启动 goroutine，然后return，而无需等待匿名 goroutine 终止 - 从而在父函数关闭时结束 goroutine。

我建议使用waitgroup，这样您就可以保证匿名功能终止。

一个简单的例子来说明正在发生的情况：

具有竞争条件

import (
"fmt"
"time"
// "sync"
)
func main() {
go func() {
time.Sleep(3 * time.Second)
fmt.Println("hai")
}()
return
}

没有竞争条件

import (
"fmt"
"time"
"sync"
)
func main() {
var wg sync.WaitGroup
wg.Add(1)
go func() {
time.Sleep(3 * time.Second)
fmt.Println("hai")
wg.Done()
}()
wg.Wait()
return
}