Tin AI mới

Google ra mắt Gemini Decisions API cho quyết định AI đa phương thức nhanh

Google ra mắt Gemini Decisions API cho quyết định AI đa phương thức nhanh

TL;DR: Google đã giới thiệu Gemini Decisions API, endpoint dùng Gemini Decision 1 để đánh giá tới 1.000 quyết định đóng-khuôn trên dữ liệu đa phương thức trong một lần xử lý, với mục tiêu thay thế các luồng gọi mô hình tạo sinh chậm hơn cho những tác vụ như routing, kiểm tra chính sách và chấm điểm.

Gemini Decisions API hiện có qua Gemini API trong Google AI Studio. Theo Google, đây là công cụ dành cho các tình huống mà hệ thống không cần viết câu trả lời tự do, mà phải chọn trong một tập đáp án xác định trước, chẳng hạn quyết định có gọi một công cụ hay không, chuyển yêu cầu đến mô hình nào, hoặc kiểm tra nội dung có đạt một quy tắc hay không.

Điểm khác biệt là API có thể dùng chung một đầu vào cho nhiều câu hỏi độc lập. Đầu vào hỗ trợ văn bản, hình ảnh, âm thanh, video và PDF, với ngữ cảnh tối đa 256K token. Thay vì sinh từng token như chatbot, Gemini Decision 1 chấm điểm các lựa chọn trong một lượt xử lý và trả về xác suất cùng mức độ tin cậy cho từng kết quả.

Ba dạng quyết định trong một request

Google chia các tác vụ thành ba loại. Loại noul dùng cho câu hỏi có hoặc không, với tiêu chí mô tả tùy chọn cho cả hai phía. Loại choice chọn một phương án trong 2 đến 255 lựa chọn, đồng thời trả về xác suất đã chuẩn hóa của mọi phương án. Loại score chấm theo rubric có thứ tự, bắt đầu từ 0, và trả về điểm có trọng số liên tục cùng xác suất ở từng mức.

Cách tổ chức này phù hợp với các quy trình có luật ra quyết định rõ ràng. Ví dụ do Google đưa ra kết hợp một ảnh quầy nghỉ với ghi chú văn bản, rồi đồng thời hỏi liệu có vết chất lỏng chưa được dọn, hành động làm sạch nào phù hợp và mức độ nghiêm trọng của tình trạng đó.

Việc nhận được điểm tin cậy từ 0 đến 1 là phần quan trọng trong thiết kế này. Nhà phát triển có thể đặt ngưỡng để chuyển những ca mơ hồ sang một phương án dự phòng hoặc cho người kiểm duyệt xử lý, thay vì tự động hóa toàn bộ chỉ dựa trên một câu trả lời duy nhất của AI.

Tốc độ và chi phí được Google nhấn mạnh

Theo Google, độ trễ end-to-end của Decisions API vào khoảng 150 đến 250 mili giây. Phần tính toán trên mô hình có độ trễ trung vị 50 đến 100 mili giây, và gần như không thay đổi đáng kể khi số câu hỏi trong một request tăng từ 1 lên 100, với ngữ cảnh lên tới 16K token trong phép đo này.

Giá được công bố là 0,10 USD cho mỗi 1 triệu input token và không tính phí output token. Đầu vào dùng chung chỉ bị tính một lần cho mỗi request, còn mỗi câu hỏi chỉ bổ sung token từ phần hướng dẫn và tiêu chí. Google cũng cho biết không có phí riêng cho token suy luận biến đổi, chuyển giọng nói thành văn bản hay OCR trong luồng này.

Google nói Gemini Decision 1 có hiệu năng và khả năng hiệu chỉnh xác suất tốt trên các benchmark về routing cho tác nhân, suy luận, xếp hạng và hiểu đa phương thức. Công ty cho biết API này rẻ gần gấp 5 lần Gemini 3.5 Flash-Lite dùng Interactions API trên bộ benchmark được chia sẻ, nhưng đây là so sánh do Google công bố.

Các trường hợp sử dụng nội bộ tại Google

Một số đội ngũ Google đã dùng Decisions API như một lớp điều phối thời gian thực. Trong Gemini Notebook, API được dùng để phân loại ý định và chọn tầng mô hình cũng như mức suy luận phù hợp cho từng yêu cầu. Google cho biết cách này có thể giúp các truy vấn thông thường có độ trễ thấp hơn tới 40%, trong khi các tác vụ phức tạp vẫn được chuyển đến mô hình suy luận sâu.

Stitch, công cụ thiết kế của Google, dùng API trong thử nghiệm Rapid Canvas để tạo wireframe có thể tương tác và áp dụng chỉnh sửa bằng giọng nói hoặc thao tác chạm nhanh hơn. CC từ Google Labs dùng nó để chọn emoji phù hợp trong hơn 200 lựa chọn. Google Search cũng sử dụng API làm lớp an toàn cho các công cụ MCP, nhằm phát hiện hành vi và nội dung đối kháng trong giới hạn độ trễ yêu cầu.

Gemini Decisions API
Image credit: Google 

Khả năng tiếp cận và ý nghĩa với đội ngũ xây sản phẩm

Google cho biết nhà phát triển có thể bắt đầu qua Google AI Studio, nơi có API key, gói miễn phí để thử nghiệm, tài liệu cho Python, JavaScript và REST, cùng một số ứng dụng demo. Các tích hợp hệ sinh thái đang được mở rộng sang nhiều công cụ, trong khi hỗ trợ cho Gemini trong Google Cloud được nêu là sẽ có sau.

Đáng chú ý, sản phẩm này tách bài toán “ra quyết định” khỏi bài toán “tạo nội dung”. Với doanh nghiệp xây quy trình làm việc với AI, các bước như phân luồng yêu cầu, đối chiếu chính sách, chọn công cụ hay phân loại mức độ có thể cần kết quả nhanh, nhất quán và có thể đặt ngưỡng kiểm soát hơn là một đoạn văn giải thích dài. Tuy vậy, độ chính xác thực tế vẫn sẽ phụ thuộc vào tiêu chí được đặt ra, chất lượng dữ liệu đầu vào và cách đội ngũ xử lý các trường hợp có độ tin cậy thấp.

Skills Bridge tổng hợp