容器下的 Go 应用程序优化

1. 内存对齐

结构体内字段，从大到小排列

减少内存占用

安装 fieldalignment 工具

1
go install golang.org/x/tools/go/analysis/passes/fieldalignment/cmd/fieldalignment@latest

分析并修复内存对齐

1
2
3
4
5
6
7
8
9
fieldalignment -fix  ./...

/Users/shaowenchen/Code/app/config/config.go:136:14: struct with 32 pointer bytes could be 24
/Users/shaowenchen/Code/app/config/config.go:150:11: struct of size 96 could be 88
/Users/shaowenchen/Code/app/config/config.go:166:14: struct of size 152 could be 144
/Users/shaowenchen/Code/app/config/config.go:194:12: struct with 80 pointer bytes could be 72
/Users/shaowenchen/Code/app/config/config.go:209:12: struct with 56 pointer bytes could be 40
/Users/shaowenchen/Code/app/dao/gormx/gorm.go:12:13: struct with 16 pointer bytes could be 8
/Users/shaowenchen/Code/app/dao/gormx/entity/cluster.go:5:14: struct with 128 pointer bytes could be 104

查看 fieldalignment 进行的优化

优化之前，struct of size 96

1
2
3
4
5
6
7
8
type CORS struct {
	Enable           bool
	AllowOrigins     []string
	AllowMethods     []string
	AllowHeaders     []string
	AllowCredentials bool
	MaxAge           int
}

优化之后，struct of size 88

1
2
3
4
5
6
7
8
type CORS struct {
	AllowOrigins     []string
	AllowMethods     []string
	AllowHeaders     []string
	MaxAge           int
	Enable           bool
	AllowCredentials bool
}

fieldalignment 会自动结构体中的字段进行排序，从大到小排列。

原因是 Go 编译器在编译阶段，出于对 CPU 访问效率的考虑，保证尽量一次原子读取就可以读取一个完整字段，采用了一定的内存对齐策略。但这一策略会导致内存中的结构体存在空洞，导致内存占用率增加。

2. 设置合理的 GOMAXPROCS

写一个程序，获取当前 CPU 核心数，查看当前 GOMAXPROCS 的值

1
2
3
4
5
6
func main() {
	cpu := runtime.NumCPU()
	fmt.Println("Current CPU COUNT =", cpu)
	maxProcs := runtime.GOMAXPROCS(-1)
	fmt.Println("Current GOMAXPROCS =", maxProcs)
}

Pod Request CPU 为 10，Limit CPU 为 20。

1
2
Current CPU COUNT = 32
Current GOMAXPROCS = 32

GOMAXPROCS 的值为物理机的 CPU 核心数，而不是容器的 CPU 核心数。过大的 GOMAXPROCS 会导致严重的上下文切换，浪费 CPU，在容器环境下，Go 程序不能最优设置 GOMAXPROCS，需要根据容器的 CPU 核心数来设置。

第一种方式是，设置环境变量 GOMAXPROCS 可以指定最大的 P 的数量

1
export GOMAXPROCS=8

1
2
Current CPU COUNT = 32
Current GOMAXPROCS = 8

程序会自动从环境变量中读取 GOMAXPROCS 的值进行设置。

第二种方式是，使用 automaxprocs 包自动设置 GOMAXPROCS。

1
2
3
4
import _ "go.uber.org/automaxprocs"
func main() {
  // ...
}

引入包之后，会自动执行 init 方法，获取 Pod 的 CPU Limit 值，设置 GOMAXPROCS。

1
2
3
4
 ./default
maxprocs: Updating GOMAXPROCS=20: determined from CPU quota
Current CPU COUNT = 32
Current GOMAXPROCS = 20

如果同时使用两种，环境变量的优先级高于 automaxprocs 包。

1
export GOMAXPROCS=8

1
2
3
maxprocs: Honoring GOMAXPROCS="8" as set in environment
Current CPU COUNT = 32
Current GOMAXPROCS = 8