Nguồn: Hacker News
Tóm tắt
Prompt API là một API mới trong Chrome cho phép các trang web chạy các mô hình ngôn ngữ lớn (LLM) trực tiếp trên thiết bị của người dùng, không cần gọi đến server bên ngoài. API này sử dụng Gemini Nano — mô hình AI được tích hợp sẵn trong Chrome — để xử lý các yêu cầu ngôn ngữ tự nhiên.
Một số trường hợp sử dụng điển hình bao gồm: tìm kiếm thông minh dựa trên nội dung trang, tóm tắt bài viết, hỗ trợ đa ngôn ngữ, và phân tích review của người dùng. API hỗ trợ session management, streaming output, và structured output thông qua JSON schema — cho phép nhà phát triển nhận kết quả có cấu trúc thay vì plain text.
Điểm khác biệt quan trọng của Prompt API là khả năng hoạt động offline sau khi mô hình đã được tải về, đồng thời bảo vệ quyền riêng tư của người dùng vì dữ liệu không rời khỏi thiết bị. Tuy nhiên, API hiện vẫn trong giai đoạn origin trial và chưa được tích hợp rộng rãi trong tất cả phiên bản Chrome.