Mục lục
TL;DR: Qua các thử nghiệm do Ethan Mollick thực hiện, mô hình Claude Fable 5.2 thể hiện năng lực rất rộng nhưng vẫn cần con người nhận ra khi kết quả trở nên dài dòng, lặp lại hoặc lệch khỏi mục tiêu.
Ethan Mollick cho biết ông đã có quyền truy cập sớm vào Claude Fable 5.2, một tên gọi xuất hiện trong bài thử nghiệm của ông, và đánh giá đây là bước tiến tiếp theo sau Opus 5.5. Thay vì khẳng định AI đã đạt AGI, ông dùng khái niệm “Jagged AGI”, tức AI gần chạm năng lực tổng quát nhưng chất lượng làm việc còn gập ghềnh, không ổn định giữa các tình huống.
Đây là điểm đáng chú ý hơn cả các màn trình diễn đơn lẻ. AI có thể làm việc như lập trình viên, nhà nghiên cứu, người thiết kế hay người lập kế hoạch kinh doanh, nhưng chưa đáng tin cậy trong việc tự nhận ra sản phẩm của mình đang kém hấp dẫn, quá cồng kềnh hoặc bị mắc kẹt trong quy trình do chính nó tạo ra.
Mollick dùng một định nghĩa hẹp về AGI: AI giỏi như phần lớn chuyên gia con người trong hầu hết tác vụ trí tuệ có thể làm trên máy tính. Định nghĩa này không bao gồm tương tác vật lý, quan hệ với con người hay toàn bộ thực tế vận hành của một công việc.
Khả năng trải rộng từ code đến sáng tạo
Trong thử nghiệm đầu tiên, AI được yêu cầu tạo một nội dung có thể nhúng vào bài viết và gây ấn tượng nhanh. Theo Mollick, chỉ từ một chỉ dẫn dành cho AI, mô hình đã làm ra video bằng code với chơi chữ, phán đoán sáng tạo và cú chuyển hướng ở cuối. Ông cho rằng kết quả tiệm cận trình độ một người làm phim có chuyên môn khi chỉ được dùng code.
Ở một bài kiểm tra phần cứng, mô hình đọc mã của hai ứng dụng điều khiển bàn phím USB nhỏ để hiểu cách đổi màu phím và nhận dữ liệu từ núm xoay, joystick. Sau đó, nó viết sáu trò chơi cho thiết bị, gồm Simon và trò mở két bằng núm xoay. Điều Mollick đánh giá cao là AI không chỉ viết code, mà còn thiết kế trò chơi phù hợp với giới hạn phần cứng ngay từ lần thử đầu.
Một thử nghiệm khác yêu cầu tái dựng lớp học văn chương nổi tiếng khắc nghiệt của nhà thơ W. H. Auden. AI tạo website bao quát 35 tác phẩm chính, kèm ghi chép trên bảng, bản thu âm, bài tập và chú giải dựa trên các công trình đã xuất bản của Auden. Mollick cho biết khi đối chiếu bằng các AI khác, ông không thấy lỗi lớn; dù vậy, phiên bản đầu quá chính xác nhưng thiếu sức sống, và phải qua phản hồi của ông mới cải thiện được trải nghiệm học.
Lập kế hoạch kinh doanh tốt, nhưng chưa thể tự chịu trách nhiệm
Khi nhận mục tiêu xây một doanh nghiệp mang về ít nhất 20.000 USD mỗi năm, trong khi chủ sở hữu chỉ dành tối đa 20 phút mỗi tháng, AI sàng lọc 22 ý tưởng và đề xuất dịch vụ Prebid Brief. Dịch vụ này sẽ quét nghị trình công khai của 201 chính quyền địa phương để tìm sớm các dự án công viên và nước chuẩn bị đấu thầu, rồi bán thông tin cho nhân viên kinh doanh thiết bị.
Mô hình còn chuẩn bị kế hoạch tiếp thị, mức giá và các tác vụ định kỳ, gồm cả ý định gửi yêu cầu hồ sơ công khai. Tuy nhiên, Mollick dừng thử nghiệm trước khi dịch vụ được vận hành thật vì lo về chi phí, hạ tầng và chất lượng cung cấp cho khách hàng. Theo ông, đây là một kế hoạch hợp lý, có thể so với bài làm tốt của nhóm MBA cuối kỳ, nhưng không phải một mô hình kinh doanh chắc chắn thành công. AI tự ước tính xác suất thành công ở mức 20% đến 40%.
Khoảng trống nằm ở khâu vận hành thực tế, nơi phải xử lý bán hàng, tiếp thị, khách hàng và nhiều biến số phát sinh. Mollick cho rằng dự án có thể đáng thử nếu được con người dành vài giờ mỗi tuần để bổ sung phần AI chưa làm tốt, nhưng chưa nên được giao tự vận hành độc lập.
Nghiên cứu nhanh hơn khả năng kiểm chứng
Trong một dự án về doanh nhân, AI tự chọn câu hỏi, tìm dữ liệu công, thiết kế phương pháp và viết bài phân tích về tác động của phí thành lập LLC, một dạng công ty trách nhiệm hữu hạn, đến số đăng ký doanh nghiệp. Bản thảo ước tính Colorado giảm phí từ 50 USD xuống 1 USD đi cùng mức tăng khoảng 17% số đăng ký; trong khi Anh tăng phí từ 12 bảng lên 50 bảng đi cùng mức giảm khoảng 17%.
Tuy nhiên, các thay đổi này không đi cùng biến động tương đương ở một số chỉ dấu hoạt động doanh nghiệp về sau. Vì thế, kết quả chưa cho thấy các doanh nghiệp đăng ký thêm có chất lượng cao hơn. Mollick cũng lưu ý nghiên cứu không được đăng ký trước giả thuyết và phương pháp theo đúng nghĩa, bởi kế hoạch vẫn nằm trong dự án và một phần được viết sau khi đã có kết quả ban đầu.
Bản thảo dài 182 trang vì mỗi góp ý lại dẫn đến thêm phân tích, thay vì cắt bớt phần cũ. Một mô hình khác khi đóng vai trò phản biện cũng tìm ra vấn đề cần xử lý. Theo Mollick, đây là rủi ro ngày càng rõ: AI có thể tạo ra nghiên cứu nhanh hơn tốc độ con người đọc, kiểm tra và chịu trách nhiệm cho kết luận.
Khi tác nhân AI tự tạo ra bộ máy quan liêu
Ở dự án Portal, Mollick yêu cầu AI tạo hành trình qua các thế giới 3D liên kết bằng cổng dịch chuyển. Sau 20 giờ, hệ thống đã làm ra 204 thế giới; về sau con số vượt 450. Các thế giới này được dựng trực tiếp bằng code, không dùng sẵn mô hình 3D hoặc tệp ảnh. Theo ước tính của AI, dự án sử dụng khoảng 25.000 lượt chạy tác nhân, phần lớn là những việc nhỏ như chấm ảnh.
Kết quả có nhiều ý tưởng sáng tạo, nhưng cũng lộ ra xu hướng lặp mô-típ giữa các nhóm tác nhân. Khi Mollick yêu cầu “đánh bóng” các thế giới hiện có, hệ thống tự thiết lập quy trình để mỗi phiên bản phải vượt phiên bản cũ trong một cuộc chấm điểm mù dựa trên ảnh chụp màn hình.
Quy trình đó dần phình thành bộ luật nội bộ. Sau 12 ngày, tài liệu đã có 204 mục và 87.500 từ; một thế giới mới cần ý tưởng được duyệt, ba AI chấm điểm và kiểm tra code đầy đủ, khiến thời gian ra mắt kéo gần một ngày. Chỉ sau khi Mollick yêu cầu một nhóm tác nhân khác rà soát, tốc độ mới tăng trở lại trên 30 thế giới mỗi ngày mà vẫn giữ phần lớn cơ chế kiểm soát chất lượng.
Vì sao đáng chú ý?
“Jagged AGI” không nói về kiểu lỗi dễ thấy như bịa dữ kiện hay tính toán sai cơ bản. Nó mô tả những thất bại tinh vi hơn: làm khóa học chính xác nhưng nhàm chán, viết nghiên cứu quá dài, lặp lại ý tưởng quen thuộc, hoặc tối ưu quy trình đến mức chính quy trình làm tê liệt công việc.
Các thử nghiệm cho thấy AI đã có thể đảm nhận một phần lớn lao động trí óc trên máy tính. Nhưng việc biết lúc nào cần dừng, cắt bớt, đổi hướng hay đặt câu hỏi liệu sản phẩm có thực sự hữu ích vẫn là điểm yếu. Trong những dự án này, các tác nhân kiểm tra thường phát hiện lỗi cụ thể, nhưng không tự nhận ra sản phẩm quá dài, quá lặp hoặc mất tính hấp dẫn. Vai trò định hướng và phán đoán cuối cùng vẫn thuộc về con người.
Skills Bridge tổng hợp
