Một người không biết viết một chữ nào như Jev, tại sao lại trở thành mô hình hot nhất sau ChatGPT?

Trong hai ngày qua, Jev đã trở thành một mô hình hoàn toàn mới không biết trò chuyện, không biết viết mã, nhưng có thể giảm chi phí quyết định AI xuống 400 lần.

Tuy nhiên, nhiều người vẫn còn mơ hồ về Jev,

Tôi đã nghiên cứu chi tiết và hy vọng bài viết này có thể giúp bạn hiểu rõ về Jev, đúng lúc hôm nay Jev đã được mở cho tất cả mọi người sử dụng, bạn có thể thực hành thử.

Nếu không muốn xem phiên bản văn bản, tôi đã làm một video giải thích 5 phút bằng GLM-5.3 flash, hiệu quả khá tốt, bạn chỉ cần xem video là đủ.

Không nói nhiều nữa, bắt đầu vào nội dung chính.

Jev không có khả năng sinh văn bản.

Nhưng kể từ khi ra mắt, độ nóng của cuộc thảo luận mà nó gây ra gần như là cao nhất kể từ ChatGPT.

Trong hai năm qua, mọi người đã quen với việc giao tất cả các yêu cầu cho các mô hình lớn tổng quát.

Nhưng trong thực tế kinh doanh, hệ thống phần mềm hàng ngày phải đối mặt với một lượng lớn yêu cầu, hoàn toàn không cần phải viết một bài văn dài dòng.

Những gì hệ thống thực sự cần thường chỉ là những phán đoán rất nhỏ và chắc chắn:

Công việc này có khẩn cấp không?

Lệnh này nên được phân phối cho mô hình hạ nguồn nào?

Lệnh đầu cuối mà người dùng nhập có rủi ro xóa dữ liệu không?

Đoạn kiến thức vừa được tìm kiếm này có thể trả lời câu hỏi của người dùng không?

Trước đây, để thực hiện những phán đoán này, các nhà phát triển phải để mô hình lớn sinh ra câu trả lời từng từ một, sau đó dùng mã để phân tích JSON, gặp lỗi định dạng còn phải thử lại.

Điều này không chỉ chậm mà còn tốn kém.

Jev do TypeSafe AI phát triển, được thiết kế đặc biệt để giải quyết những nhu cầu quyết định này.

Họ gọi Jev là "mô hình hệ thống một (System One model)": nhập vào một đoạn dữ liệu phi cấu trúc, trực tiếp xuất ra các tùy chọn kiểu mạnh và xác suất tin cậy chính xác.

Tại sao mô hình lớn truyền thống lại quá nặng nề trong việc ra quyết định?

Trong vòng lặp điển hình của Agent (thông minh), hệ thống phải ra quyết định mỗi bước đi:
python

while not done:
    action = llm(context)
    result = run_tool(action)
    context += result

Trong vòng lặp này, mô hình phải chọn công cụ, kiểm tra kết quả thực hiện, đánh giá có rủi ro hay không, và quyết định xem nhiệm vụ đã hoàn thành hay chưa.

Ngay cả khi quyết định cuối cùng chỉ là một từ, chẳng hạn như "tài chính", mô hình sinh truyền thống cũng sẽ phát ra từng Token một.

Bạn vừa phải trả tiền cho đầu vào, vừa phải chờ đợi cho đầu ra.

Logic cốt lõi của Jev rất đơn giản:

Khi mã đã biết tất cả các câu trả lời có thể xảy ra, việc sử dụng sinh văn bản từng từ một là một sự lãng phí tài nguyên khổng lồ.

Jev thực sự hoạt động như thế nào?

Bản chất của Jev là một động cơ quyết định ngữ nghĩa.

Khi gọi Jev, bạn chỉ cần cung cấp cho nó hai thứ:

1. State (trạng thái): văn bản hoặc JSON mô tả tình huống hiện tại.

2. Questions (câu hỏi): những quyết định bạn muốn nó đưa ra dựa trên trạng thái này.

Mỗi câu hỏi phải có kiểu đầu ra cố định trước khi gửi. Jev hỗ trợ ba loại dữ liệu cơ bản:

• Choice: chọn một tùy chọn từ danh sách bạn định nghĩa và trả về phân phối xác suất của tất cả các tùy chọn.

• Score: ánh xạ đầu vào vào các cấp độ có thứ tự mà bạn định nghĩa, chẳng hạn như thấp, trung bình, cao.

• Noul: phán đoán boolean, trả về xác suất của tuyên bố này là đúng (số thập phân giữa 0 và 1).

Một yêu cầu điển hình trông như thế này:
json

{
  "model": "jev-latest",
  "state": "Đã thất bại trong việc triển khai hai lần, phía người dùng bắt đầu xuất hiện nhiều lỗi 500.",
  "questions": {
    "urgent": {
      "type": "noul",
      "instructions": "Vấn đề này có cần xử lý ngay không?"
    },
    "owner": {
      "type": "choice",
      "instructions": "Vấn đề này nên được phân công cho đội nào?",
      "criteria": {
        "engineering": "Sự cố sản phẩm và ngừng dịch vụ",
        "billing": "Vấn đề thanh toán, hóa đơn và hoàn tiền",
        "sales": "Tư vấn giá cả và mở tài khoản cho khách hàng mới"
      }
    }
  }
}

Jev trả về không phải một đoạn giải thích, mà là một giá trị xác suất chắc chắn và một phân phối xác suất của đội ngũ.

Không có bất kỳ lời nói thừa nào, nó cũng sẽ không tự dưng tạo ra một đội ngũ thứ tư không tồn tại.

Mã nghiệp vụ trực tiếp tiếp quản kiểm soát logic:
python

if urgent > 0.9 and owner == "engineering":
    page_on_call()
elif confidence < 0.6:
    send_to_human_review()
else:
    add_to_queue(owner)

Nhiều kỹ sư mô tả nó như một "câu lệnh switch có khả năng hiểu ngữ nghĩa".

Nhánh nghiệp vụ vẫn được nắm giữ chặt chẽ trong tay mã truyền thống, Jev chỉ chịu trách nhiệm cung cấp những phán đoán ngữ nghĩa mà mã không thể tính toán được.

Chỉ số cốt lõi: nhanh gấp 200 lần, rẻ gấp 400 lần

Jev hỗ trợ đánh giá song song tất cả các câu hỏi trong một yêu cầu đơn.

Điều này có nghĩa là bạn không cần phải hỏi tuần tự, có thể gửi tất cả các phán đoán độc lập cho cùng một nội dung một lần.

Dữ liệu thực nghiệm được công bố chính thức:

• Độ trễ từ đầu đến cuối: 70 đến 500 mili giây.

• Giá: chỉ 0.042 đô la cho mỗi triệu Token đầu vào, Token đầu ra hoàn toàn miễn phí.

Trong nhiều so sánh thực nghiệm về quy trình làm việc mà chính thức công bố, tốc độ thực hiện tổng thể của nó khoảng 200 lần so với quy trình làm việc của mô hình lớn truyền thống, chi phí tổng thể giảm gần 400 lần.

Ngay cả trong môi trường kinh doanh phức tạp, nếu xem những dữ liệu này như giới hạn lý thuyết, hiệu suất mà nó mang lại cũng là một cấp độ lớn.

Xác suất và độ tin cậy, mới là thiết kế quan trọng

Chỉ đưa ra một nhãn phân loại thường không đủ an toàn.

Giả sử Jev xác định một công việc thuộc về "đội tài chính", trả về kết quả như sau:
json

{
  "choice": "billing",
  "probabilities": {
    "billing": 0.52,
    "technical": 0.46,
    "sales": 0.02
  },
  "confidence": 0.18
}

Tài chính nhận được phiếu cao nhất, nhưng hỗ trợ kỹ thuật lại có xác suất 46%, tổng độ tin cậy chỉ là 0.18.

Nếu hệ thống tự động phân bổ, rất dễ xảy ra sai sót.

Với phân phối xác suất này, các nhà phát triển có thể vạch rõ ranh giới trong mã:

• Độ tin cậy cao: tự động thực hiện logic rủi ro nhỏ.

• Độ tin cậy trung bình: gọi mô hình lớn mạnh hơn để kiểm tra lại, hoặc yêu cầu người dùng xác nhận lần hai.

• Độ tin cậy thấp: trực tiếp chuyển vào hàng đợi kiểm tra thủ công.

Jev sử dụng phương pháp huấn luyện "học tăng cường dựa trên quyết định được hiệu chỉnh (RLCD)". Khi mô hình đưa ra phán đoán xác suất 90%, độ chính xác thực tế của nó cũng có thể hội tụ cao ở khoảng 90%.

Cần làm rõ một thực tế: Jev thực sự không bị ảo giác sao?

Trong quảng cáo chính thức có đề cập "Jev không tạo ra ảo giác". Câu nói này chỉ đúng trong những điều kiện rất nghiêm ngặt.

Jev tuyệt đối không trả về nội dung vượt ra ngoài định dạng Schema mà bạn đã cung cấp. Nếu bạn định nghĩa ba tùy chọn A, B, C, nó chắc chắn sẽ không trả về D, càng không phát ra JSON bị lỗi.

Nhưng điều này không có nghĩa là phán đoán của nó luôn đúng.

Bảo đảm an toàn kiểu chỉ đảm bảo cấu trúc đầu ra không bị sụp đổ, không đảm bảo rằng phán đoán nghiệp vụ không sai.

Một phán đoán sai nhưng phù hợp với định nghĩa kiểu vẫn có thể dẫn đến hoàn tiền sai, phân phối công việc lỗi sai.

Hiểu chính xác nên là: Jev đảm bảo không phá vỡ hợp đồng mã, nhưng nó vẫn có xác suất chọn sai tùy chọn.

Jev phù hợp nhất để đặt ở đâu trong hệ thống?

Vị trí của Jev rất rõ ràng: nó được thiết kế để phối hợp với mô hình lớn, không có ý định thay thế mô hình lớn.

Mô hình lớn chịu trách nhiệm viết mã, viết kế hoạch, thực hiện suy luận văn bản dài và giao tiếp.

Jev chịu trách nhiệm xung quanh nó, thực hiện kiểm soát biên tần suất cao và nhanh chóng.

Hiện tại, có ba kịch bản triển khai trưởng thành nhất:

1. Định tuyến mô hình (Model Routing)

   Đối mặt với yêu cầu của người dùng, trước tiên Jev sẽ đánh giá độ khó của nhiệm vụ. Các truy vấn và chỉnh sửa đơn giản sẽ được phân công cho mô hình nhỏ giá rẻ, trong khi thiết kế kiến trúc khó sẽ được định tuyến đến mô hình suy luận đắt tiền.

2. Thực thi công cụ và kiểm soát rủi ro (Tool Risk Gating)

   Trước khi Agent gọi lệnh đầu cuối, sử dụng Jev để xác định lệnh đó là chỉ đọc, có thể đảo ngược hay có tính phá hủy. Các thao tác phá hủy sẽ tự động tạm dừng, chờ phê duyệt của con người.

3. Kiểm tra và giám sát kết quả (Verification)

   Trước khi nhiệm vụ kết thúc, để Jev nhanh chóng kiểm tra: Các trường hợp thử nghiệm có chạy thành công không? Agent có bị mắc kẹt trong vòng lặp gọi lại không? Đầu ra có vi phạm các quy tắc đã thiết lập không?

Khi nào tuyệt đối không nên sử dụng Jev?

Bất kỳ nơi nào không cần nó, đừng cố gắng đưa vào:

• Khi không chắc chắn về không gian câu trả lời: Nếu bạn muốn viết bài, làm tóm tắt, tạo mã, phải sử dụng mô hình lớn truyền thống.

• Phép toán logic xác định: Tính toán toán học, đếm ký tự, so sánh ngày tháng, hãy thực hiện trực tiếp bằng mã thuần, mã thuần luôn rẻ hơn, nhanh hơn và đáng tin cậy hơn mô hình.

• Khi cần suy luận chuỗi dài phức tạp: Suy diễn logic nhiều bước nên được giao cho mô hình suy luận có khả năng chuỗi tư duy, hoặc chia nhỏ vấn đề lớn thành nhiều vấn đề nhỏ riêng biệt rồi giao cho Jev.

Làm thế nào để bắt đầu?

Đừng bắt đầu bằng cách tái cấu trúc các hoạt động cốt lõi.

Cách tiếp cận an toàn nhất là:

1. Chọn một quy tắc chính quy có chi phí bảo trì cao nhất hiện tại, dễ mắc lỗi, hoặc một nút gọi mô hình lớn chỉ để lấy quyết định đúng sai.

2. Rõ ràng viết ra tất cả các định nghĩa tùy chọn có thể của nút này.

3. Bật chế độ Shadow (chế độ bóng), cho phép Jev và logic hiện tại chạy song song, thu thập dữ liệu và hiệu chỉnh ngưỡng độ tin cậy.

4. Xác nhận tỷ lệ chính xác đạt yêu cầu, sau đó chính thức chuyển đổi lưu lượng.

Hiện tại TypeSafe đã hoàn toàn mở quyền truy cập, không cần chờ danh sách. Đăng ký tặng 5 đô la, tương đương với việc có thể thử nghiệm khoảng 120 triệu Token đầu vào.

Toàn bộ ngành công nghiệp trong vài năm qua đã quen với việc sử dụng văn bản sinh ra để giải quyết mọi vấn đề.

Nhưng trong nhiều hệ thống kỹ thuật, mã thường không cần nhiều văn bản đẹp hơn, mà là một phán đoán chính xác với phản hồi cấp mili giây, không làm hỏng định dạng, chi phí cực thấp.

Đây cũng là lý do cơ bản khiến Jev có thể nhanh chóng bùng nổ trong cộng đồng phát triển.