llama-3

ChainCatcher のメッセージ、分散型全チェーンデータネットワーク Chainbase は、暗号通貨を中心とした大規模言語モデル Theia-Llama-3.1-8B をオープンソース化したことを発表しました。そのトレーニングデータは CoinMarketCap とプロジェクトの詳細な研究報告から得られています。Chainbase は、このモデルが他の主流モデルに比べてより低い困惑度とより高い BERT スコアを持ち、LORA を使用してモデルを効率的に微調整し、大規模な事前トレーニングモデルを計算能力が低い特定のタスクに適応させ、モデルのメモリ使用量を大幅に削減し、推論速度を向上させながら、受け入れ可能な精度を維持していると述べています。以前の情報によると、Chainbase は今年の 7 月に 1500 万ドルの A ラウンドの資金調達を完了し、テンセント投資（Tencent Investment Group）と経緯中国（Matrix Partners China）が主導しました。

ChainCatcher のメッセージ、全チェーンデータネットワーク Chainbase は、HuggingFace で暗号分野向けに開発された大規模言語モデル Theia-Llama-3.1-8B をオープンソースとして発表しました。Chainbase チームは、CoinMarketCap の上位 2000 プロジェクトに関するさまざまな資料を収集した初の専門的な Web3 データセットを独自に構築しました。データセットは手動およびアルゴリズムによるフィルタリングを経て、トレーニングデータの正確性、多様性、専門性が確保されています。このデータセットに基づき、チームは LoRA 技術を用いてモデルを効率的に微調整し、DeepSpeed などのツールを利用してトレーニングプロセスを加速しました。モデルは Q8 GGUF 形式に量子化され、メモリ使用量が大幅に削減され、推論速度が向上しました。報告によると、Theia-Llama-3.1-8B は Chainbase における暗号分野の大規模モデルの初期の試みであり、このモデルは Chainbase DEMO インタラクティブアプリケーション TheiaChat に成功裏に適用されており、現在のデイリーアクティブユーザーは 30 万人を超えています。