Service Go của mình chạy trong container giới hạn 512MB. Dashboard báo heap tầm 300MB, vậy mà cứ vài tiếng Kubernetes lại ghi một dòng OOMKilled rồi khởi động lại pod. Heap còn dư gần 200MB mà vẫn chết, nghe vô lý đúng không?
Lý do: Go runtime không biết container của bạn bị giới hạn bao nhiêu RAM. Nó chỉ biết chạy GC theo một quy tắc cố định, và quy tắc đó không quan tâm tới trần bộ nhớ.
GOGC làm gì, và vì sao nó không biết trần
Mặc định GOGC=100: GC chạy lại khi heap sống tăng gấp đôi so với lần dọn trước. Nếu sau một lần GC còn 200MB dữ liệu sống, lần kế tiếp sẽ kích hoạt khi heap chạm khoảng 400MB. Thêm stack, bộ nhớ của runtime, buffer cgo... tổng RSS dễ vượt 512MB trước khi GC kịp phản ứng.
Ảnh: chú robot dọn rác đang quét trong khi kim đồng hồ bộ nhớ áp sát bức tường đỏ, tượng trưng cho GC chạy theo quy tắc "gấp đôi" mà không hề biết trần container ở đâu — ảnh minh hoạ do AI tạo (Grok Imagine)
Đây cũng là lý do mình hay thấy chuyện "heap trên dashboard đẹp mà pod vẫn chết": metric heap không phải RSS. Bạn có thể xem lại cách biến thoát lên heap ở bài escape analysis trong Go để hiểu heap phình từ đâu.
Cách cũ: hạ GOGC và cái giá phải trả
Phản xạ đầu tiên của nhiều người là đặt GOGC=50 cho GC chạy sớm hơn. Có đỡ, nhưng GC chạy dày hơn cả lúc rảnh, tốn CPU vô ích. Ngược lại, lúc tải đột biến heap sống tăng nhanh, GC vẫn không đủ kịp.
Cách còn lại là tăng RAM cho container. Tốn tiền mà không giải quyết gốc rễ.
GOMEMLIMIT: soft limit cho cả runtime
Từ Go 1.19 có GOMEMLIMIT (hoặc debug.SetMemoryLimit). Đây là giới hạn mềm cho tổng bộ nhớ runtime quản lý. Khi gần chạm trần, GC tự chạy dày hơn dù heap chưa "gấp đôi".
package main
import (
"log"
"runtime/debug"
)
func init() {
// 90% of the 512MiB container limit, leave room for stacks, cgo and the OS.
const limit = 460 << 20
prev := debug.SetMemoryLimit(limit)
log.Printf("memory limit set: %d MiB (prev %d)", limit>>20, prev)
}
Hoặc không cần sửa code, chỉ cần biến môi trường: GOMEMLIMIT=460MiB.
Chú ý: đây là soft limit. Nếu dữ liệu sống thật sự lớn hơn trần thì runtime vẫn phải cấp phát, và bạn vẫn bị OOMKilled. Nó giúp GC thông minh hơn, không phép lạ.
Đặt con số bao nhiêu cho đúng
Mình dùng quy tắc: 85-90% giới hạn container. Phần còn lại dành cho goroutine stack, bộ nhớ ngoài heap, thư viện cgo và page cache của file mmap.
Một combo khác cũng hay thấy: GOGC=off cộng GOMEMLIMIT. GC chỉ chạy khi chạm trần, rất nhanh cho service nhiều RAM. Nhưng mình không khuyên dùng nếu chưa đo, vì khi dữ liệu sống sát trần, runtime có thể rơi vào cảnh GC liên tục (death spiral). Go có cơ chế giới hạn GC ở khoảng 50% CPU để tránh, nhưng service lúc đó cũng đã chậm rõ.
Ảnh: mặt số điều chỉnh cùng đường trần phía trên đồ thị răng cưa mô tả heap dao động rồi bị GC kéo xuống mỗi khi tới gần trần — đúng cách GOMEMLIMIT hoạt động — ảnh minh hoạ do AI tạo (Grok Imagine)
Đo trước, chỉnh sau
Đừng đoán. Mình bật GODEBUG=gctrace=1 một lúc rồi đọc log, hoặc dùng runtime/metrics để xuất số liệu ra Prometheus:
import "runtime/metrics"
func readTotalMemory() uint64 {
s := []metrics.Sample{{Name: "/memory/classes/total:bytes"}}
metrics.Read(s)
return s[0].Value.Uint64()
}
Metric /memory/classes/total:bytes gần với RSS hơn nhiều so với HeapAlloc. Vẽ nó cạnh container_memory_working_set_bytes của cAdvisor là biết ngay chênh bao nhiêu. Nếu bạn đã có pprof, bài sync.Pool trong Go cho thấy một cách giảm áp lực cấp phát từ gốc, đỡ phải chỉnh GC.
Nếu service còn giữ nhiều kết nối, hãy xem thêm pool kết nối database/sql, vì buffer từng kết nối cũng ăn RAM đáng kể.
Checklist nhanh trước khi lên production
- Đặt
GOMEMLIMITkhoảng 85-90% giới hạn container, đặt trong manifest chứ đừng hardcode. - Giữ
GOGCmặc định trừ khi đã đo và có lý do. - Theo dõi RSS (working set), không chỉ heap.
- Cân nhắc
automemlimitnếu muốn tự đọc cgroup limit. Tài liệu chính thức của GC guide giải thích rất rõ phần này.
Ảnh: chồng hộp xếp gọn dưới đường trần với đồng hồ báo xanh tượng trưng cho service đã có GOMEMLIMIT hợp lý, heap dao động an toàn trong giới hạn container — ảnh minh hoạ do AI tạo (Grok Imagine)
Sau khi thêm một dòng GOMEMLIMIT=460MiB, pod của mình hết restart suốt cả tuần. Không sửa một dòng logic nào. Bạn đang đặt trần bộ nhớ cho service Go bằng cách nào, hay vẫn tăng RAM cho yên tâm?
📋 Phụ lục thuật ngữ
| Thuật ngữ | Giải thích ngắn |
|---|---|
| GOGC | Tỉ lệ phần trăm heap tăng thêm so với dữ liệu sống để kích hoạt GC, mặc định 100 |
| GOMEMLIMIT | Giới hạn mềm tổng bộ nhớ của Go runtime, GC chạy dày hơn khi gần chạm |
| OOMKilled | Container bị kernel giết vì vượt giới hạn bộ nhớ cgroup |
| RSS | Bộ nhớ vật lý process đang chiếm, gồm cả heap, stack và phần ngoài heap |
| Death spiral | Heap sống sát trần khiến GC chạy liên tục, service chậm dần |
