ABEJA Tech Blog

中の人の興味のある情報を発信していきます

LLM

Common Crawlから作る大規模日本語コーパスとその前処理(Mixtral 8x7Bを語彙拡張継続事前学習 Part2)

ABEJAでデータサイエンティストをしている服部です。 ABEJAは国立研究開発法人新エネルギー・産業技術総合開発機構(以下「NEDO」)が公募した「ポスト5G情報通信システム基盤強化研究開発事業/ポスト5G情報通信システムの開発」に当社提案の「LLMの社会実…

社内用語集を気軽に質問できるSlackBotを作ってみた (RAGの応用アプリ)

こんにちは!株式会社 ABEJA で ABEJA Platform 開発を行っている坂井(GitHub : @Yagami360)です。 LangChain を使用すれば、RAG [Retrieval Augment Generation] を使用した LLM アプリケーションを簡単に作成できるので便利ですよね。 今回 LangChain で…

LangChain社LLMOpsツール「LangSmith」を触ってみた(詳細解説つき)

こんにちは!株式会社 ABEJA で ABEJA Platform 開発を行っている坂井(GitHub : @Yagami360)です。LangChain 使えば、RAG [Retrieval Augment Generation] などを活用した LLM アプリケーションも簡単に作成できるので大変便利ですよね。そんな LangChain …

色々な生成AIモデルをColabで動かして今年を振り返る

こんにちは、ラボで研究開発をしたりプロトタイプを作っている藤本(X(Twitter))です。ABEJAアドベントカレンダー2023の21日目の記事です。ここ近年、生成AIの勢いが凄いです。最近は一夜明けたら世界が変わっているみたいなことがしょっちゅう起きています。…

プロンプトの推定をDALL·E 3とGPT-4Vにまかせた!

目次 はじめに DALL·E 3とGPT-4Vにまかせる 実装 実験結果 定量評価 その他 さいごに はじめに この記事はABEJAアドベントカレンダー2023の2日目の記事です。 こんにちは。データサイエンティストの小林です。12月に入り、クリスマスももうすぐですね。 私は…

忘れっぽい人にオススメ!AIが応援してくれるテンションの上がるリマインダーボットを作る (GAS+Notion+OpenAI)

初めに 全体の構成 APIの準備 notionの準備 integrationの作成 connectionの設定 Slackの準備 Appの作成 Scopesの設定 ワークスペースへのインストール GASにおけるAPI keyの扱い GASでモチベーターボットを作る トリガーの設定 NotionのAPIを叩く 応援コメ…