Có một lần mình ngồi nhìn dashboard mà không hiểu nổi: CPU thấp, RAM bình thường, log không có lỗi nào, nhưng p99 của một endpoint cứ nhích lên mãi rồi đứng ở mức "treo". Hóa ra nguyên nhân là một lời gọi fetch sang dịch vụ đối tác chậm, và mình chưa từng đặt timeout cho nó.
fetch không có timeout "ngắn" như bạn nghĩ
Ảnh: chiếc máy bay giấy kẹt lơ lửng giữa những mặt đồng hồ, đại diện cho một request đang chờ phản hồi mà không ai bảo nó thôi chờ — đúng tình huống `fetch` không có timeout rõ ràng — ảnh minh hoạ do AI tạo (Grok Imagine)
fetch trong Node.js chạy trên thư viện undici. Mặc định undici có connectTimeout khoảng 10 giây, còn headersTimeout và bodyTimeout thì tới khoảng 300 giây, tức 5 phút. Nghe thì có vẻ "vẫn có giới hạn", nhưng 5 phút với một API người dùng đang chờ thì chẳng khác gì vô hạn.
Hệ quả: mỗi request kẹt giữ một socket, một closure, và cả handler phía trên. Traffic 200 req/s mà đối tác chậm 30 giây thì bạn đang giữ khoảng 6000 request đang bay. Event loop vẫn rảnh nên không có gì báo động, chỉ có độ trễ và bộ nhớ tăng dần. Cùng họ hàng với chuyện event loop bị chặn, nhưng lần này triệu chứng ngược lại: loop khỏe re mà hệ thống vẫn nghẽn.
AbortSignal.timeout — cách rẻ nhất để chữa
Từ Node 18 trở đi bạn có thể viết:
async function getUser(id) {
const res = await fetch(`https://partner.example.com/users/${id}`, {
signal: AbortSignal.timeout(2000), // tổng thời gian tối đa 2 giây
});
if (!res.ok) throw new Error(`partner trả ${res.status}`);
return res.json();
}
try {
await getUser(42);
} catch (err) {
if (err.name === 'TimeoutError') {
// quá hạn: trả lỗi nhanh hoặc dùng giá trị dự phòng
} else if (err.name === 'AbortError') {
// bị huỷ chủ động (client ngắt, shutdown...)
} else {
throw err;
}
}
Hai tên lỗi này hay bị lẫn. TimeoutError là hết giờ, AbortError là có người gọi abort(). Phân biệt được thì log mới đọc nổi. Một điểm mình hay quên: signal này tính cả quá trình, kể cả lúc đọc body, nên res.json() chậm cũng bị cắt.
Ghép timeout với tín hiệu huỷ từ phía người dùng
Ảnh: bàn tay bấm nút đỏ cắt đứt sợi dây giữa hai máy chủ, minh hoạ việc huỷ chủ động một request khi đã hết giờ hoặc khi người dùng bỏ đi — ảnh minh hoạ do AI tạo (Grok Imagine)
Thực tế bạn cần hai nguồn huỷ: hết giờ và client đã ngắt kết nối. AbortSignal.any (Node 20.3+) gộp chúng lại:
function withDeadline(parent, ms) {
return AbortSignal.any([parent, AbortSignal.timeout(ms)]);
}
app.get('/profile/:id', async (req, reply) => {
const ac = new AbortController();
req.raw.on('close', () => ac.abort());
const res = await fetch(url, { signal: withDeadline(ac.signal, 2000) });
return res.json();
});
Với chuỗi nhiều service, đừng đặt 2 giây cho mỗi bước mà hãy truyền một hạn chót chung xuống dưới, như mình bàn ở bài deadline lan truyền. Nếu app đã có context theo request, cất signal vào đó luôn, xem AsyncLocalStorage để khỏi truyền tham số qua từng hàm.
Connection pool và cái bẫy body không đọc
Ảnh: một bể các ống dẫn phát sáng được tái sử dụng để nối máy chủ với nhiều dịch vụ ngoài, minh hoạ connection pool keep-alive của undici — ảnh minh hoạ do AI tạo (Grok Imagine)
Undici giữ pool kết nối keep-alive theo từng origin. Muốn chỉnh thì dùng Agent của gói undici:
import { Agent, setGlobalDispatcher } from 'undici';
setGlobalDispatcher(new Agent({
connections: 50, // tối đa socket mỗi origin
connectTimeout: 3_000,
headersTimeout: 5_000,
bodyTimeout: 10_000,
keepAliveTimeout: 30_000,
}));
Một bẫy nữa: nếu bạn chỉ kiểm tra res.status rồi bỏ đó mà không đọc hay huỷ body, socket đó không được trả về pool cho tới khi GC dọn. Hãy dùng await res.body?.cancel() khi không cần nội dung, ví dụ lúc status 4xx/5xx mà bạn chỉ cần mã lỗi.
Thêm một chuyện nữa mình rút ra từ việc đẩy xử lý nặng sang worker_threads: chỉnh pool và timeout chỉ giúp phần I/O. Nếu res.json() cho payload vài chục MB thì thời gian parse vẫn chặn main thread, và timeout không cứu được chuyện đó.
Checklist mình dán vào mọi dự án
- Mọi
fetchra ngoài đều cósignalvới timeout rõ ràng, không có ngoại lệ. - Timeout nhỏ hơn timeout của chính endpoint mình, nếu không client bỏ đi trước khi mình kịp trả lỗi.
- Phân biệt
TimeoutErrorvàAbortErrortrong log. - Luôn đọc hoặc
cancel()body. - Giới hạn
connectionscho từng origin để một đối tác chậm không ngốn hết socket.
Đọc thêm: tài liệu AbortSignal.timeout trên MDN và repo undici để xem đủ các tuỳ chọn Agent.
Còn bạn thì sao, trong code của bạn hiện có bao nhiêu lời gọi fetch chưa có timeout? Thử grep một lượt, mình đoán kết quả sẽ làm bạn hơi chột dạ.
📋 Phụ lục thuật ngữ
| Thuật ngữ | Giải thích ngắn |
|---|---|
| undici | Thư viện HTTP client nằm sau fetch của Node.js |
| AbortSignal | Đối tượng báo hiệu "huỷ" truyền vào fetch hoặc API async khác |
| TimeoutError | Lỗi khi AbortSignal.timeout hết giờ |
| AbortError | Lỗi khi ai đó gọi abort() chủ động |
| headersTimeout | Thời gian tối đa chờ header phản hồi đầu tiên |
| bodyTimeout | Thời gian tối đa giữa hai lần nhận dữ liệu body |
| keep-alive | Giữ socket mở để tái sử dụng cho request sau |
| connection pool | Tập socket dùng chung theo từng origin |
