ABEJA Tech Blog

中の人の興味のある情報を発信していきます

2025-05-19から1日間の記事一覧

小型LLM「ABEJA Qwen2.5-7B Model」学習のための蒸留のパイプライン並列化

はじめに こんにちは、Labsチームの藤本です。 弊社は、経済産業省とNEDOが実施する、国内の生成AIの開発力強化を目的としたプロジェクト「GENIAC(Generative AI Accelerator Challenge)」の1期に続き、2期にも採択され、そこで大規模言語モデルの開発を進…