Nguồn: OpenAI Blog
Tóm tắt
OpenAI đã thêm hỗ trợ WebSockets vào Responses API, giải quyết một bottleneck quan trọng trong các agentic workflows. Trước đây, mỗi bước trong pipeline của agent phải thiết lập kết nối HTTP mới, gây ra latency tích lũy đáng kể khi agent thực hiện nhiều tool calls liên tiếp.
Với WebSockets, client duy trì một persistent connection xuyên suốt toàn bộ vòng đời của agent session. Điều này loại bỏ overhead của TCP handshake và TLS negotiation cho mỗi lần gọi API, đặc biệt có lợi cho các workflows có nhiều bước với thời gian xử lý ngắn giữa các bước.
API được thiết kế để tương thích ngược — các client hiện tại không cần thay đổi code, trong khi các client muốn tối ưu latency có thể opt-in vào WebSocket transport. Tính quen thuộc của API được giữ nguyên trong khi stack kết nối trở nên incremental hơn.
Cải tiến này phản ánh xu hướng ngày càng quan trọng khi AI agents trở nên phức tạp hơn: performance của lớp transport protocol có tác động trực tiếp đến trải nghiệm người dùng cuối, đặc biệt trong các real-time applications.