ABEJA Tech Blog

中の人の興味のある情報を発信していきます

LLM

エッジ環境でのLocal によるセキュアOCR:Grammar制約で構造化出力を行う

こんにちは、ABEJAでデータサイエンティストをしている伊藤祐希です。 今回は、セキュリティ・リソース制約下でVision Language Model (VLM) を使用する方法と検証を行いました。 サマリ 本記事の主張は以下の3点です。 エッジ(閉域/オフライン)環境でも…

GENIAC3期のLLM開発で使用したロングコンテキスト評価のベンチマーク公開

LLM

ABEJAでデータサイエンティストをしている藤原です。 弊社は、経済産業省とNEDOが実施する、国内の生成AIの開発力強化を目的としたプロジェクト「GENIAC(Generative AI Accelerator Challenge)」の1期、2期に続き、3期にも採択され、そこで大規模言語…

なぜSSHでは一文字送信するのに100パケットも必要なのか? Claude Code を使って調査してみた

LLM

こんにちは、ABEJA Platform に搭載しているアプリケーション、「ABEJA Insight for Retail」の開発と運用を担当している森永です。 みなさんは普段 SSH を使っていますか? 私は元々 Vimmer だったこともあり (最近は機能面で楽なので VSCode を使用してお…

Differential Transformer V2が発表されたので、今更ではあるがV1論文を読んだうえで差分を確認してみた

こんにちは!ABEJAでデータサイエンティストをしている大田です。 先日Hugging FaceでDifferential Transformer V2の発表があり、そこでは昨年発表されたDifferential Transformer (V1)と比べてもさらに実用的な改変があったとのことです。去年にV1の論文が…

ヤドンでやぁ〜んと学ぶLLMのロングコンテキストを支える技術YaRN

やぁ〜ん こんにちは、データサイエンティストをしている服部です。 ABEJAアドベントカレンダー2025の10日目の記事です。 LLMといえばロングコンテキスト大事ですよね(唐突) そんなLLMのロングコンテキストを支える重要技術である「YaRN」を紹介したいと思…

「コンテキスト」はAIの信念を変える?

こんにちは!ABEJAでデータサイエンティストをしている原田です。こちらはABEJAアドベントカレンダー2025の6日目の記事となります。 今回は、LLMの「人格」や「信念」といった少し抽象的な概念を、最新の論文と実験を通して掘り下げてみたいと思います。 先…

様々なコンテキスト長における LLM の Self-Attention の Query と Key の分析

LLM

ABEJAでデータサイエンティストをしている藤原です。 今回は LLM のロングコンテキスト言語処理(Long-context language modeling; LCLM)に関連するブログになります。近年の LLM ではオープン・クローズド問わずより長大なコンテキストを正確に扱えるモデ…

位置インデックス情報を操作して LLM に長文と錯覚させたらどうなるか?

LLM

ABEJAでデータサイエンティストをしている藤原です。 今回も LLM のロングコンテキスト言語処理(Long-context language modeling; LCLM)に関連するブログになります。前回のブログはこちらです。 様々なコンテキスト長における LLM の Self-Attention の Q…

NVIDIA H200 × 8でどれくらいの規模の事前学習を実施できるか

LLM

ABEJAでデータサイエンティストをしている岩城です。 NVIDIA H200 GPUはハイパフォーマンスコンピューティング (HPC) ワークロード向けに設計されたもので、LLMの推論を高速に行うことができます。 現在では様々なクラウドコンピューティングサービスがH200…

Common Crawlから作る大規模日本語コーパスとその前処理(Mixtral 8x7Bを語彙拡張継続事前学習 Part2)

ABEJAでデータサイエンティストをしている服部です。 ABEJAは国立研究開発法人新エネルギー・産業技術総合開発機構(以下「NEDO」)が公募した「ポスト5G情報通信システム基盤強化研究開発事業/ポスト5G情報通信システムの開発」に当社提案の「LLMの社会実…

社内用語集を気軽に質問できるSlackBotを作ってみた (RAGの応用アプリ)

こんにちは!株式会社 ABEJA で ABEJA Platform 開発を行っている坂井(GitHub : @Yagami360)です。 LangChain を使用すれば、RAG [Retrieval Augment Generation] を使用した LLM アプリケーションを簡単に作成できるので便利ですよね。 今回 LangChain で…

LangChain社LLMOpsツール「LangSmith」を触ってみた(詳細解説つき)

こんにちは!株式会社 ABEJA で ABEJA Platform 開発を行っている坂井(GitHub : @Yagami360)です。LangChain 使えば、RAG [Retrieval Augment Generation] などを活用した LLM アプリケーションも簡単に作成できるので大変便利ですよね。そんな LangChain …

色々な生成AIモデルをColabで動かして今年を振り返る

こんにちは、ラボで研究開発をしたりプロトタイプを作っている藤本(X(Twitter))です。ABEJAアドベントカレンダー2023の21日目の記事です。ここ近年、生成AIの勢いが凄いです。最近は一夜明けたら世界が変わっているみたいなことがしょっちゅう起きています。…

プロンプトの推定をDALL·E 3とGPT-4Vにまかせた!

目次 はじめに DALL·E 3とGPT-4Vにまかせる 実装 実験結果 定量評価 その他 さいごに はじめに この記事はABEJAアドベントカレンダー2023の2日目の記事です。 こんにちは。データサイエンティストの小林です。12月に入り、クリスマスももうすぐですね。 私は…

忘れっぽい人にオススメ!AIが応援してくれるテンションの上がるリマインダーボットを作る (GAS+Notion+OpenAI)

初めに 全体の構成 APIの準備 notionの準備 integrationの作成 connectionの設定 Slackの準備 Appの作成 Scopesの設定 ワークスペースへのインストール GASにおけるAPI keyの扱い GASでモチベーターボットを作る トリガーの設定 NotionのAPIを叩く 応援コメ…