Hôm đó là một buổi chiều thứ Sáu, đúng giờ khuyến mãi. Dashboard báo CPU của service .NET chỉ 8%, RAM thong thả, vậy mà request nào cũng timeout. Không exception, không crash, chỉ có sự im lặng đáng sợ. Đây là câu chuyện về thread pool starvation, và vì sao .Result vô hại trên máy dev lại có thể làm sập cả production.

Timeline: từ "hơi chậm" đến "chết hẳn"

  • 15:02 — traffic tăng gấp 3, latency p95 từ 120ms lên 900ms.
  • 15:10 — p95 vượt 10 giây, load balancer bắt đầu trả 504.
  • 15:14 — restart pod, mọi thứ êm trở lại... đúng 6 phút rồi lại chết.

Triệu chứng kỳ lạ nhất: CPU thấp. App bị nghẽn mà không ai đang làm việc, tức là các thread đều đang đứng chờ một thứ gì đó.

Nhóm worker đứng chờ trước một cánh cửa Ảnh: một nhóm worker nhỏ cùng đứng đợi trước một cánh cửa, hàng việc chất dài phía sau — đúng hình ảnh thread pool cạn thread khi mọi thread đều bị chặn chờ kết quả.

Điều tra: nhìn vào thread, không nhìn vào CPU

Mình chạy dotnet-counters vào pod đang hấp hối:

dotnet-counters monitor -p <pid> System.Runtime

Hai con số làm mình giật mình: ThreadPool Thread Count tăng chậm rì (từ 8 lên 40 trong vài phút) và ThreadPool Queue Length vọt lên hàng nghìn. Pool có việc chất đống nhưng không có thread rảnh để chạy.

Dump stack bằng dotnet-stack report thì thấy gần như toàn bộ thread đang kẹt ở cùng một chỗ:

System.Threading.Tasks.Task.Wait()
System.Threading.Tasks.Task`1.get_Result()
OrderService.GetPrice(Int32 productId)

Root cause: sync-over-async

Thủ phạm là một hàm tưởng như vô hại, viết từ hồi có người chưa quen async:

// Đoạn code gây sự cố
public decimal GetPrice(int productId)
{
    // Chặn thread hiện tại cho tới khi HTTP call xong
    var dto = _pricingClient.FetchAsync(productId).Result;
    return dto.Price;
}

Mỗi request giữ một thread của pool, rồi .Result chặn thread đó để chờ HTTP call. Nhưng HTTP call cần một thread khác của pool để chạy phần tiếp theo (continuation). Khi tất cả thread đã bị giữ chờ, không còn ai chạy continuation, mà không có continuation thì không ai được nhả thread ra. Đó là deadlock dạng "đói" chứ không phải khoá chéo.

Thêm một cái bẫy: pool .NET chỉ tăng thêm thread khoảng 1-2 thread mỗi giây khi đã vượt mức tối thiểu. Traffic đến nhanh hơn tốc độ pool nở ra, nên không bao giờ theo kịp.

Kính lúp soi vào biểu đồ phẳng Ảnh: kính lúp soi biểu đồ CPU đi ngang trong khi hàng vé chờ cứ dài ra — cảm giác điều tra khi hệ thống nghẽn nhưng chẳng chỗ nào "nóng".

Cách sửa

Sửa gốc là async xuyên suốt, không bọc .Result/.Wait() ở bất kỳ chỗ nào trong request path:

public async Task<decimal> GetPriceAsync(int productId, CancellationToken ct)
{
    var dto = await _pricingClient.FetchAsync(productId, ct);
    return dto.Price;
}

Việc này kéo theo đổi chữ ký cả chuỗi gọi lên tới controller, nên mất gần một ngày. Trong lúc chờ, mình tạm tăng ThreadPool.SetMinThreads để câu giờ. Đây chỉ là băng cá nhân, không phải thuốc chữa:

ThreadPool.SetMinThreads(workerThreads: 200, completionPortThreads: 200);

Ngoài ra mình thêm timeout cho HttpClient. Cách dùng đúng client thì mình đã kể ở bài HttpClient trong .NET: đừng new mỗi lần — kết hợp hai chuyện này là hết sạch rủi ro nghẽn do I/O.

Bài học rút ra

  • CPU thấp mà app chậm = nghi ngay thread bị chặn. Đừng nhìn CPU, hãy nhìn queue length và thread count.
  • .Result và .Wait() là nợ kỹ thuật có lãi suất. Chạy ngon ở 10 request, nổ ở 1000.
  • Theo dõi ThreadPool Queue Length trong dashboard. Nó báo động sớm hơn p95 rất nhiều.
  • Tìm sớm bằng analyzer: bật rule của Microsoft.VisualStudio.Threading.Analyzers (VSTHRD002) cảnh báo mọi chỗ chặn đồng bộ lên Task.
  • Chỉ nên đổi sang async ở đầu vào (controller, background service) và chạy xuyên xuống I/O; trộn lẫn sync/async nửa vời là nguồn sự cố tiếp theo. Cũng như vụ N+1 của EF Core, lỗi này không lộ ra ở local mà chỉ lộ khi tải thật.
Đường ống nước chảy thông suốt Ảnh: dòng nước chảy êm qua những đường ống rộng, không chỗ nào tắc — hình ảnh một request path async hoàn toàn, thread được trả về pool ngay khi chờ I/O.

Nếu muốn giảm cấp phát và thêm tốc độ sau khi hết nghẽn, bạn có thể xem Span<T> trong .NET. Còn bạn thì sao, đã bao giờ gặp cảnh CPU rảnh mà service vẫn đứng hình chưa?

📋 Phụ lục thuật ngữ

Thuật ngữ Giải thích ngắn
Thread pool Tập thread dùng chung do runtime quản lý để chạy các việc ngắn
Thread pool starvation Mọi thread đều bị chặn, việc mới xếp hàng mà không ai chạy
Sync-over-async Gọi hàm async rồi chặn đồng bộ bằng .Result / .Wait()
Continuation Phần code chạy tiếp sau await khi tác vụ hoàn tất
dotnet-counters Công cụ CLI xem số liệu runtime theo thời gian thực

Xem các bài viết khác