ABEJA Tech Blog

中の人の興味のある情報を発信していきます

ローカルLLM

Differential Transformer V2が発表されたので、今更ではあるがV1論文を読んだうえで差分を確認してみた

こんにちは!ABEJAでデータサイエンティストをしている大田です。 先日Hugging FaceでDifferential Transformer V2の発表があり、そこでは昨年発表されたDifferential Transformer (V1)と比べてもさらに実用的な改変があったとのことです。去年にV1の論文が…