llm

Theo thông tin từ Slow Fog, LiteLLM lại một lần nữa gặp phải cuộc tấn công chuỗi cung ứng, phiên bản độc hại litellm@1.107.0 đã ảnh hưởng đến gói PyPI và hình ảnh Docker, bao gồm các nhãn nổi như latest, main-stable.Mã độc được chèn vào sẽ tự động thực thi khi Python khởi động, đánh cắp thông tin nhạy cảm như chứng chỉ đám mây, khóa API AI, khóa SSH, và hỗ trợ thực thi mã từ xa. Các phiên bản bị ảnh hưởng đã được gỡ bỏ hoặc thay thế. Slow Fog khuyên người dùng tránh sử dụng phiên bản 1.107.0, tái tạo môi trường bị ảnh hưởng từ hình ảnh sạch, thay đổi các chứng chỉ có thể bị rò rỉ, và cố định phiên bản về 1.106.2.

Người đồng sáng lập Ethereum Vitalik Buterin đã đăng bài trên nền tảng X, ông đã tích hợp zkAPI, Tor, lưu lượng bảo vệ bổ sung và gợi ý LLM địa phương thành một tiến trình tương thích với giao diện OpenAI, và đã thực hiện một gói "chế độ hoang tưởng" cho công cụ đại diện AI của mình là pi. Mã liên quan đã được mã nguồn mở trên GitHub.Cơ chế chính của giải pháp này như sau: mỗi cuộc trò chuyện sử dụng các đường Tor riêng biệt, yêu cầu được phát ra trong lưu lượng bảo vệ ngẫu nhiên; zkAPI được sử dụng để ngăn chặn việc rò rỉ danh tính qua các bước thanh toán; tất cả các từ gợi ý trước tiên được viết lại bởi mô hình địa phương, mô hình do người dùng tự chọn, Vitalik tự sử dụng là qwen3.8-flash-next. Công cụ đại diện được bao bọc bên ngoài bởi một lớp sandbox bwrap, sau đó là một lớp torsocks, để tất cả các hoạt động mạng đều đi qua Tor.Vitalik cho biết, giải pháp này đã khá hữu ích, nhưng độ trễ rõ rệt tăng lên, đặc biệt là khi bắt đầu cuộc trò chuyện mới thì rất chậm. Ông chỉ ra rằng, Tor trong bối cảnh này không phải là giải pháp bảo mật tốt nhất: lưu lượng bảo vệ có thể ngăn chặn việc nghe lén thụ động, nhưng nếu nhà cung cấp dịch vụ LLM thông đồng với các nút vào Tor và chủ động thao túng thời gian, hiệu quả bảo vệ sẽ giảm mạnh.

Nhà nghiên cứu trí tuệ nhân tạo, đồng sáng lập OpenAI, và cựu giám đốc trí tuệ nhân tạo của Tesla, Andrej Karpathy, đã đăng trên X rằng khoảng cách nhận thức chung của công chúng về khả năng của các mô hình ngôn ngữ lớn đang ngày càng mở rộng, từ việc hai nhóm người nói chuyện riêng lẻ đã chuyển thành một cái phễu dốc hơn. Ông đã nhắc lại bài viết liên quan vào tháng 4 và đưa ra ước lượng phân tầng theo mức độ tiếp xúc.Karpathy cho biết, khoảng 6 tỷ người (khoảng 75% dân số toàn cầu) hầu như chưa tiếp xúc với các mô hình ngôn ngữ lớn; khoảng 1 đến 2 tỷ người (khoảng 20%) chỉ thỉnh thoảng sử dụng các sản phẩm tương tự ChatGPT miễn phí, nhiều người coi chúng như một công cụ tìm kiếm hoặc hỗ trợ viết tốt hơn, không ít người không chuyên về công nghệ cũng như các chuyên gia ngoài lĩnh vực toán học và lập trình cho rằng công dụng của chúng là hạn chế. Khoảng 20 triệu người (0.2%) chuyên sử dụng các mô hình tiên tiến trong lĩnh vực toán học và lập trình, thấy rằng những dự án phức tạp trước đây cần hàng tuần hoặc hàng tháng có thể được hoàn thành bởi các tác nhân dưới sự hướng dẫn, bao gồm xây dựng, sao chép, dịch ứng dụng, cũng như giải mã ứng dụng từ nhị phân. Ông cho biết, chưa đầy một năm trước, ông vẫn đang viết mã từng chữ một một cách thủ công.Karpathy cũng cho biết, khoảng 5,000 người (khoảng 0.00006%) có thể tiếp xúc với các hệ thống cấp tiên tiến bên trong. Những gì bên ngoài thấy được là hàng nghìn tác nhân hợp tác trong nhiều tuần để xử lý các dự án phần mềm lớn, tấn công và phòng thủ mạng, khám phá khoa học và toán học tiên tiến, việc xem xét của con người bắt đầu tụt lại phía sau, chẳng hạn như các sự kiện liên quan đến OpenAI và Hugging Face vẫn đang được sắp xếp nhiều tháng sau đó, các nhà toán học có thể sẽ nghiên cứu lâu dài 722 tài liệu toán học tiên tiến. Ông cho rằng, cái phễu này được thúc đẩy bởi quy mô vấn đề và khoảng thời gian, khả năng nổi bật hơn trong các lĩnh vực có thể số hóa và xác minh, cũng như sự khác biệt giữa truy cập miễn phí, trả phí và nội bộ.

Tin tức từ ChainCatcher, FundaAI đã phát hành báo cáo nghiên cứu ứng dụng AI doanh nghiệp chỉ ra rằng ngân sách AI doanh nghiệp vẫn đang mở rộng, nhưng vào nửa cuối năm 2026 và năm 2027 sẽ xuất hiện sự phân hóa. Hướng dẫn chi tiêu AI của nhà cung cấp viễn thông lớn của Mỹ A cho thấy, từ mức cơ sở 100 vào tháng 1 tăng lên khoảng 190 vào tháng 12, và dự kiến sẽ tăng thêm 40%--50% so với năm trước vào năm 2027; trong khi đó, nhà sản xuất ô tô lớn của châu Âu A chỉ tăng 10%--15% tính đến nay, và hướng dẫn cho năm sau dự kiến sẽ giữ nguyên.Chi tiêu gia tăng đang chuyển từ các vị trí trả phí sang tiêu thụ API/Token và quy trình sản xuất. Tỷ lệ đăng ký và API của nhà cung cấp viễn thông trên đã thay đổi từ khoảng 50%/50% thành 40%/60%, và có thể tiến tới 35%/65%; công ty dược phẩm sinh học vừa và lớn A đã điều chỉnh từ 80%/20% xuống khoảng 70%/30%. Việc áp dụng mã nguồn mở không đồng đều, tỷ lệ sử dụng trong các tình huống hoạt động có thể đạt 30%--40%, do giá đơn vị thấp hơn, tỷ lệ chi tiêu cũng nhỏ hơn; các chuyên gia ước tính rằng suy luận mã nguồn mở có thể rẻ hơn khoảng 40%--70% so với các mô hình tiên tiến mã nguồn đóng, và chênh lệch về chi phí toàn bộ đã thu hẹp xuống còn 20%--40%, trong khi định tuyến mô hình, bộ nhớ đệm và nén ngữ cảnh vẫn có thể giảm thêm khoảng 20%--30% chi tiêu API.Ngân sách AI ở phía sản xuất ngày càng được xây dựng từ dưới lên theo ROI quy trình làm việc, với ROI sản xuất điển hình của nhà cung cấp viễn thông này khoảng 1.5--2 lần, thời gian hoàn vốn từ 6--18 tháng, các trường hợp sử dụng trưởng thành có thể đạt 3--5 lần. Đợt chi tiêu tiếp theo liên quan đến các tác nhân thông minh, hiện đại hóa phần mềm, vận hành mạng, quy trình hàng hóa và quy trình kinh doanh dài hạn hơn, nhưng năng lực kỹ thuật, tái cấu trúc quy trình, quản trị và sự sẵn sàng của dữ liệu đang trở thành những ràng buộc chặt chẽ hơn cả về tài chính.

Tin tức từ ChainCatcher, mạng lưới cơ sở hạ tầng AI phi tập trung DGrid AI hôm nay đã công bố nghiên cứu mới nhất "PoQ-Judge", đề xuất một bộ khung đánh giá chất lượng đa kiến trúc không cần tham chiếu câu trả lời. Điều này có nghĩa là trong môi trường triển khai thực tế, thường không có câu trả lời tiêu chuẩn để so sánh, giao thức vẫn có thể đưa ra đánh giá đáng tin cậy về chất lượng câu trả lời của mô hình và dựa vào đó phân bổ động lực. Đây là một mảnh ghép quan trọng lâu nay thiếu trong hệ thống đánh giá chất lượng suy diễn LLM phi tập trung của DGrid.PoQ (Proof of Quality, Chứng minh Chất lượng) là cơ chế đồng thuận tự phát triển của DGrid, được sử dụng để ngăn chặn các nhà cung cấp mô hình cung cấp mô hình kém chất lượng, làm giả dữ liệu hoặc ẩn phí tính toán, từ đó đảm bảo chất lượng dịch vụ và tính minh bạch trong định giá. Nhóm DGrid đã liên tục nghiên cứu sâu về PoQ, đã lần lượt công bố bốn bài nghiên cứu. PoQ-Judge được phát hành lần này đã đào tạo ba mô hình đánh giá bao phủ các tình huống chất lượng và chi phí khác nhau, với độ tương quan cao nhất đạt 0.747 trên tập kiểm tra giữ lại, vượt trội hơn tất cả các bộ đánh giá dựa trên câu trả lời tham chiếu trước đó, đồng thời thông qua đánh giá chuỗi và hiệu chỉnh trọng số trực tuyến đã giảm chi phí đánh giá hơn 72%.Với việc PoQ-Judge được triển khai, toàn bộ quy trình từ đánh giá chất lượng → chấm điểm → phân bổ động lực đã hoàn toàn thoát khỏi sự phụ thuộc vào câu trả lời tham chiếu, khép kín vòng chất lượng của suy diễn LLM phi tập trung.DGrid AI là một mạng lưới AI thông minh phi tập trung, cam kết xây dựng cơ sở hạ tầng AI mở, minh bạch và do cộng đồng điều hành. Xung quanh việc gọi và trải nghiệm ứng dụng mô hình, DGrid đã ra mắt nhiều sản phẩm cốt lõi: AI Gateway tổng hợp các mô hình lớn chính trên toàn cầu, nền tảng triển khai mô hình thông minh một chạm DClaw, nền tảng thi đấu mô hình ẩn danh AI Arena, và trợ lý gợi ý mô hình thông minh Dori, cung cấp dịch vụ một cửa cho các nhà phát triển và người dùng. Được biết, doanh thu của DGrid AI trong nửa năm đã vượt qua 20 triệu đô la Mỹ.

Vitalik Buterin updated on several CROPS AI related developments and pointed out that there is a clear intersection between the "CROPS Ethereum access layer" and "CROPS AI." He stated that if remote large language models could be called for payment through zero-knowledge proofs, it could also be used to solve the Ethereum private RPC reading issue.Meanwhile, Deepseek v4 has been released, and the 2-bit quantization version can run within 90 GB, but currently runs faster on Apple hardware; the messaging app messa has supported Telegram Alpha features; the model running tool luceb has shown higher efficiency when running intensive models; the local AI recording tool VoxTerm is still under continuous development. Vitalik Buterin also mentioned that large language models fine-tuned for specific applications will help improve secure code writing capabilities, and corresponding fine-tuned models should be available for Ethereum-related scenarios.

Ondo Finance announced that its founder and CEO Nathan Allman has passed away unexpectedly. Ondo stated, "Nate's talent, humility, and execution shaped Ondo as it is today. He always believed that technology could create a more open and accessible financial system, and this philosophy will continue to be reflected in everything we build in the future."The announcement stated that Ondo has established an experienced management team, and Ondo Finance's long-time president Ian De Bode will take over as CEO. Ondo noted that Ian has led the company's strategy, products, and daily operations for over two years and has the full support of the management team.

BNB Chain today announced the launch of the Agent Survival Toolkit, in collaboration with six major AI infrastructure partners, empowering autonomous AI Agents with on-chain payment capabilities. All transactions are settled on BSC using BNB or BEP-20 tokens.The projects involved cover two levels: LLM access and financial infrastructure, including Alt AI, Pieverse, Bankr, WorldClaw, B.AI, and AEON, fully connecting the complete loop from AI Agent computing power invocation to on-chain settlement. Each participating project will also launch an on-chain incentive program without the need for additional registration.The Agent Survival Toolkit follows the release of the BNBAgent SDK, further enhancing BNB Chain's infrastructure layout in the AI Agent field. For more information, please visit www.bnbchain.org.Disclaimer: BNB Chain has no subordinate or operational relationship with any of the projects mentioned in this article. The Agent Survival Toolkit is an ecological plan showcasing independently built projects on BNB Chain. This content is for reference only and does not constitute any financial or investment advice. Please conduct independent research and assess potential risks before interacting with any related projects.

The founder of the AI agency platform Bankr, deployer, tweeted that he has raised about $100,000 to provide free LLM inference services for Bankr ecosystem projects. Projects currently being built in the Bankr ecosystem will soon be able to access free inference credits. However, before officially starting the distribution, the team will first launch a new feature that "the entire industry will love," with specific details to be announced later.

WORLD3 officially released the AI Strategic White Paper today, fully disclosing the latest progress of its decentralized AI infrastructure platform RouterLink and the managed AI agent platform TapClaw, and announced that it has reached official cooperation with AWS, Microsoft Azure, and Google Cloud.According to the white paper, WORLD3 has currently processed over 100 billion LLM Tokens, supporting 52 models from 20 providers including OpenAI, Anthropic, and DeepSeek, attracting over 10,000 active developers using its API, with the network consuming over 150 million $WAI in total. Additionally, since its launch in March 2026, its TapClaw platform has deployed over 1,200 AI agents.In terms of future planning, WORLD3 stated that it will promote the construction of the RouterLink mainnet and GPU computing power market, plan to expand TapClaw to the global multilingual market, and launch an Agent skill market and enterprise-level computing power guarantee services.

According to official news, the AI infrastructure platform B.AI LLM Services today announced that its user base has officially surpassed 1 million. This milestone not only signifies that its "privacy-first" routing architecture can handle large-scale and sustained high throughput, but B.AI has also gone beyond a single chat interface development, focusing on deploying the key underlying infrastructure that supports the "autonomous agent economy." Through deep optimization of the technology stack, it lays a robust track for the future highly automated AI collaborative network.

According to official news, the user count of the B.AI LLM service platform has officially surpassed 750,000, continuing to lead the intelligent access track.The platform relies on intelligent routing technology, a wallet-driven anonymous privacy protection mechanism, and a unified multi-model management interface, gradually becoming the default gateway connecting mainstream AI models worldwide. With three core advantages of efficient scheduling, privacy-first, and frictionless access, B.AI is redefining the new standards for efficient, secure, and barrier-free intelligent access, promoting the capabilities of large models to a broader group of developers and users.

According to CoinDesk, researchers from the University of California, Santa Barbara, the University of California, San Diego, blockchain security company Fuzzland, and World Liberty Financial have jointly published a paper warning that "LLM routers"—intermediary services located between users and AI models—have become a significant security risk for crypto assets.The researchers found that 26 LLM routers are secretly injecting malicious tool calls and stealing user credentials, with one incident leading to the emptying of a customer's crypto wallet worth $500,000.Additionally, the researchers were able to control about 400 downstream hosts within hours by "polluting" the router ecosystem. Since sensitive data such as private keys and API credentials are often transmitted in plaintext through these routers, users are effectively exposing their assets to risk without their knowledge.The researchers pointed out that as McKinsey predicts AI agents will mediate $30 trillion to $50 trillion in global consumer spending by 2030, Binance founder Changpeng Zhao also predicts that the payment volume of AI agents will be a million times that of humans. The current infrastructure security is severely lagging behind the pace of industry development, and the risk of the "weakest link" could trigger a systemic chain crisis.

Vitalik Buterin shared a post outlining his localization and privatization LLM deployment plan as of April 2026. The core goal is to prioritize privacy, security, and autonomy, minimizing the opportunities for remote models and external services to access personal data. This is achieved through local inference, local file storage, and sandbox isolation to reduce the risks of data leakage, model jailbreaks, and malicious content exploitation.In terms of hardware, he tested solutions including a laptop equipped with an NVIDIA 5090 GPU, an AMD Ryzen AI Max Pro 128 GB unified memory device, and DGX Spark, using the Qwen3.5 35B and 122B models for local inference.Among these, the 5090 laptop achieved approximately 90 tokens/s with the 35B model, the AMD solution around 51 tokens/s, and DGX Spark about 60 tokens/s. Vitalik indicated that he prefers to build a local AI environment based on high-performance laptops while using tools like llama-server, llama-swap, and NixOS to establish the overall workflow.