ChainCatcher 消息,騰訊混元團隊開放原生多模態旗艦模型 Hy4 的模型權重。Hy4 採用混合專家(MoE)架構,總參數量為 7700 億,每個 Token 啟動 490 億參數,上下文長度為 100 萬 Token。
騰訊混元團隊同時發布 Hy4 系統卡,其中包含安全評估報告,並計劃於太平洋時間週五上午 8 點至 10 點在 Reddit 的 r/LocalLLaMA 社區舉行線上問答,回應有關 Hy 系列模型的問題。