3 giờ sáng thứ Ba, pager reo. Service gửi thông báo đơn hàng của team mình tự chết, rồi tự khởi động lại, rồi chết tiếp. Vòng lặp đó diễn ra gần 40 phút, khách không nhận được tin xác nhận đơn nào. Log cuối cùng trước mỗi lần chết chỉ có đúng một dòng khó hiểu.

Timeline và triệu chứng

Mọi thứ bắt đầu sau lần deploy chiều thứ Hai, nâng Node từ 14 lên 20. Không đổi dòng code nào của service.

  • 02:51: pod đầu tiên restart, exit code 1
  • 02:55: 4/6 pod đang CrashLoopBackOff
  • 03:00: pager reo, mình mở laptop
  • 03:40: rollback image cũ, service sống lại

Log báo thế này:

node:internal/process/promises:288
  triggerUncaughtException(err, true /* fromPromise */);
[UnhandledPromiseRejection: This error originated either by throwing inside
of an async function without a catch block...]
Băng chuyền promise có một cái rơi xuống khe tối Ảnh: một promise bị lỗi rơi khỏi băng chuyền mà không ai bắt — đúng cảnh process Node chết vì rejection không có chỗ xử lý, như mình kể ở phần timeline — ảnh minh hoạ do AI tạo (Grok Imagine)

Điều tra: lỗi nằm ở chỗ không ai nhìn

Stack trace không chỉ về dòng code của mình, chỉ về nội bộ Node. Đó là dấu hiệu kinh điển của promise "mồ côi": ai đó gọi hàm async mà không await, không .catch.

Mình grep những chỗ gọi hàm gửi thông báo và thấy đoạn này:

app.post('/orders', async (req, res) => {
  const order = await saveOrder(req.body);
  notifyCustomer(order); // quên await, "fire and forget" cho nhanh
  res.status(201).json(order);
});

async function notifyCustomer(order) {
  const res = await fetch(SMS_URL, { method: 'POST', body: JSON.stringify(order) });
  if (!res.ok) throw new Error(`SMS failed: ${res.status}`);
}

Bình thường nhà cung cấp SMS luôn trả 200. Tối thứ Hai họ bảo trì, trả 503 liên tục. notifyCustomer throw, promise bị reject, không ai nghe.

Root cause: Node 15 đổi luật chơi

Đây là điểm mình tưởng mình biết mà hóa ra không nhớ kỹ. Từ Node 15, flag --unhandled-rejections mặc định là throw: rejection không được xử lý sẽ bị biến thành uncaught exception, và process thoát. Ở Node 14 trở xuống, nó chỉ in một warning rồi sống tiếp. Mấy năm qua code của mình đã rớt promise vô số lần mà không ai hay.

Vậy là hai lỗi chồng nhau: code fire-and-forget không bắt lỗi, cộng với bên thứ ba sập đúng lúc ta nâng runtime. Mỗi request tạo đơn là thêm một cú giết process, và Kubernetes thì cứ nhiệt tình restart.

Kính lúp soi dòng thời gian rối Ảnh: kính lúp lần theo một sợi chỉ đỏ trong dòng thời gian rối — chính là bước truy từ log chết process ngược về một lời gọi quên await trong route tạo đơn — ảnh minh hoạ do AI tạo (Grok Imagine)

Fix: bắt ở chỗ gọi, chốt chặn ở process

Sửa ngay tại chỗ gây lỗi, đừng chỉ dựa vào chốt chặn toàn cục:

function fireAndForget(promise, label) {
  promise.catch((err) => {
    logger.error({ err, label }, 'background task failed');
    metrics.increment('background_task_failed', { label });
  });
}

fireAndForget(notifyCustomer(order), 'notify-customer');

Việc gửi thông báo thực ra nên đi qua hàng đợi có retry, nhưng hotfix 3 giờ sáng thì cái trên là đủ. Thêm chốt chặn cuối cùng để lỗi không bị nuốt im lặng:

process.on('unhandledRejection', (reason) => {
  logger.fatal({ reason }, 'unhandledRejection');
  // đừng nuốt: để graceful shutdown rồi thoát, orchestrator sẽ dựng pod mới
  shutdown(1);
});

Điểm quan trọng là chọn có chủ đích. Nếu bạn nuốt rejection thì process sống trong trạng thái không rõ ràng. Nếu để chết thì phải chết gọn, có log, có flush.

Bài học

  • Hàm async không await là một lời hứa bỏ rơi. Bật rule ESLint @typescript-eslint/no-floating-promises để bắt từ lúc viết code.
  • Nâng major version runtime phải đọc breaking changes thật kỹ, nhất là phần hành vi mặc định khi lỗi.
  • Phụ thuộc bên thứ ba sập không được phép kéo sập service mình. Lỗi gửi SMS đáng lẽ chỉ làm chậm thông báo, không phải làm chết API.
  • Chạy canary 1 pod trước khi rollout cả đàn. Lần này nếu có canary, mình đã thấy crash từ chiều.
Lưới đỡ các promise rơi Ảnh: tấm lưới phía dưới băng chuyền đỡ lấy những promise rơi, tượng trưng cho fireAndForget và handler unhandledRejection ở phần fix — ảnh minh hoạ do AI tạo (Grok Imagine)

Bạn đã bật rule no-floating-promises ở project nào chưa, hay vẫn đang để mấy promise mồ côi chạy tự do?

📋 Phụ lục thuật ngữ

Thuật ngữ Giải thích ngắn
Unhandled rejection Promise bị reject mà không có .catch hay try/catch nào xử lý
Fire-and-forget Gọi tác vụ async rồi bỏ đó, không chờ kết quả
CrashLoopBackOff Trạng thái pod Kubernetes cứ khởi động rồi chết liên tục
Canary Triển khai thử trên một phần nhỏ trước khi rollout toàn bộ
Graceful shutdown Tắt process sau khi xử lý xong request đang chạy

Xem các bài viết khác