ABEJA Tech Blog

中の人の興味のある情報を発信していきます

国内最大規模で商用利用な日本語コーパス ABEJA-CC-JAの公開と使い方

ABEJAから商用利用可能な大規模日本語コーパスを公開。

OpenAI Chat Completion、Gemini、ClaudeのSDKインターフェースを揃えようとしてハマった

TL; DR 以下のAPIを全部同じインターフェースで使えるように挑戦した時にハマったポイントについて書いた Chat Completion API (OpenAI、Azure OpenAI) Gemini API (Google AI、VertexAI) Claude API (Anthropic、Amazon Bedrock) みんなちょっとずつ違って…

スイカゲームを強化学習で攻略したい(環境構築編)

はじめに ハードウェアの準備 Arduino の準備 Switch -> PC 環境の実装 stepメソッド 状態の遷移 報酬 を計算する 終了判定 reset メソッド ゲームのリトライ 自動プレイのテスト はじめに ABEJAでデータサイエンティストをしている清田です。今回は強化学習…

ABEJA Platform を支える技術: Elixir Language

はじめに こんにちは!ABEJA でプロダクト開発を行っている森永です。 本日は、 ABEJA Platform のゲートウェイにて利用されている言語、 Elixir Language (以下、Elixir と表記) を紹介できればと思います。 利便性の高い言語である一方、日本語での情報が…

Eraser AIのポテンシャルを引き出すためにClaudeと組み合わせて使ってみる

こんにちは!ABEJA でエンジニアとして活動している飯嶌です。今年の4月に新卒で入社しました!今回は技術設計やドキュメント作成を支援するAIツールである「Eraser AI」に関して、今まで個人利用で使ってきてその感想とその使い方に関してお話しできればと…

欠損, 非同期, 不規則な時系列データのモデリング - Neural CDEs の理論の導入部と実装

こんにちは!ABEJAでデータサイエンティストをしている藤原です。今年の4月に新卒で入社しました! 個人的な趣味で、少し前から「Neural Differential Equations」という分野の勉強を少しずつしているのですが、その中で「Neural Controlled Differential Eq…

【ABEJAアジャイル活動記録】チームの潜在力を解放!アジャイルチームのためのSECIモデル活用術

はじめに こんにちは!ABEJA でスクラムマスター/アジャイルコーチをしている小川です! アジャイルのコラボレーションは、効果的な意思決定と迅速な問題解決を可能にします。 また、その中で行われるチームメンバー間の継続的な意見交換やアイデア共有は、…

【ABEJAアジャイル活動記録】なぜアジャイルを採用するのか?

こんにちは!ABEJA でスクラムマスターをしている小川です! 最近、新規加入メンバーやステークホルダー向けにアジャイルとは?について説明/解説をする機会が増えたので、そこでよく話している内容をまとめてみました。 アジャイルについてギュッと短くまと…

インターン生が最高の成果を上げる為にメンターとして意識していること

はじめに 過去のインターン実績 TIPS集 インターン成果の最大化に向けて メンターとの単純接触回数を増やす 困った時にメンターを気軽に呼べるようにする 誰に相談できるのかを明らかにする インターン生を「ただの作業者」にしない チーム内外のメンバーと…

技術発信をするモチベーション迷子になった時に見る記事

はじめに 技術発信Why エンジニア視点 アウトプットを前提としたインプットは強い 将来の自分やチームの為になる 社外からもフィードバッグを得られる 自己紹介になる 自分の市場価値を上げる 事業・会社視点 顧客企業への技術(力)ブランディング 採用候補者…

【技術的TIPS】Looker Studio + Cloud Identityで安全にレポートを社外共有するTIPS

はじめに Looker Studioについて (参考) Cloud Identityについて(参考) アーキテクチャ 最後に はじめに ABEJA大田黒です。皆様、Looker Studioはお使いでしょうか?無料で使えて便利ですよね!私もよく使っています。ちなみに、 Looker Studioで作成したレ…

Common Crawlから作る大規模日本語コーパスとその前処理(Mixtral 8x7Bを語彙拡張継続事前学習 Part2)

ABEJAでデータサイエンティストをしている服部です。 ABEJAは国立研究開発法人新エネルギー・産業技術総合開発機構(以下「NEDO」)が公募した「ポスト5G情報通信システム基盤強化研究開発事業/ポスト5G情報通信システムの開発」に当社提案の「LLMの社会実…

【ABEJAアジャイル活動記録】ユーザーストーリーマッピングでチーム開発の理解共通化を爆上げする!

こんにちは!ABEJA でスクラムマスターをしている小川です。 私たちの開発チームでは、新機能開発に先立ってマイルストーンを明確にするために、みんなでユーザーストーリーマッピングを作ってます。 今回は、ユーザーストーリーマッピングで得られる様々な…

Megatron-LMとGKEで作るMixtral 8x7Bを語彙拡張継続事前学習 Part1 ~学習コードとモデルの先行公開~

こんにちは!ABEJAでデータサイエンティストをしている大谷です。 ABEJAは国立研究開発法人新エネルギー・産業技術総合開発機構(以下「NEDO」)が公募した「ポスト5G情報通信システム基盤強化研究開発事業/ポスト5G情報通信システムの開発」に当社提案の「…

【ABEJAアジャイル活動記録】忙しいプロダクトオーナーに送る「チームの一員としての振る舞い」

こんにちは!ABEJA でスクラムマスターをしている小川です! 言わずもがなですが、スクラムチームにおけるプロダクトオーナー(以降PO と略します)の役割は重要です。 しかし、「PO 忙しい問題」(ググったらたくさん出てきます)が示す通り、世の中のPO は…

社内用語集を気軽に質問できるSlackBotを作ってみた (RAGの応用アプリ)

こんにちは!株式会社 ABEJA で ABEJA Platform 開発を行っている坂井(GitHub : @Yagami360)です。 LangChain を使用すれば、RAG [Retrieval Augment Generation] を使用した LLM アプリケーションを簡単に作成できるので便利ですよね。 今回 LangChain で…

よく使うRDBMSのUDF・ストアドプロシージャのまとめ

はじめに まとめ ちょっと試してみる MySQL PostgreSQL SQLite さいごに はじめに こんにちは。株式会社ABEJAの@Takayoshi_maです。InfoQを見ているとこのようなニュースが掲載されていました。 www.infoq.com どうやらMySQLでストアドファンクション・スト…

【Python 3.12】型ヒント機能がいつの間にか進化していたので、慌ててキャッチアップする

ABEJA でプロダクト開発を行っている平原です。 先日、バックエンドで使っているGo言語のお勉強しようと「go言語 100Tips ありがちなミスを把握し、実装を最適化する」を読んでいました。その中でinterfaceは(パッケージを公開する側ではなく)受け側で定義…

LangChain社LLMOpsツール「LangSmith」を触ってみた(詳細解説つき)

こんにちは!株式会社 ABEJA で ABEJA Platform 開発を行っている坂井(GitHub : @Yagami360)です。LangChain 使えば、RAG [Retrieval Augment Generation] などを活用した LLM アプリケーションも簡単に作成できるので大変便利ですよね。そんな LangChain …

機械学習におけるEDAって結局何するの?

ABEJAでデータサイエンティストをしている服部です。 「EDAって結局何したらいいの?」っていう声をよく聞く気がするので、無謀にも今回はEDAについて記事を書いてみました。 本記事はABEJAアドベントカレンダー2023 25日目の記事です。 EDAとは EDAは「Expl…

【ABEJAアジャイル活動記録】チームの振り返り、進め方(初級~中級編)

ABEJA のアジャイル開発チームでスクラムマスターをしている小川です。 今回は、アジャイルやスクラムチームに限らず、チームの雰囲気をもっとよくしたい!とか、継続的なチーム成長の実現方法を探している!などを考えている方にはご参考にしていただける内…

ドローンにiPhoneを載せて建築物をLiDARスキャンしてみた

はじめに こんにちは、ABEJAでプロジェクトマネジメントをしている服部です。ABEJAアドベントカレンダー2023の24日目の記事です。皆さん日々の思い出はどういった形で残されていますか?写真?動画?それとも3Dスキャン?今回はドローンにiPhoneを載せること…

議事メモでドライブするプロジェクトの難局 ~議事メモは何のためにある?~

こんにちは!ABEJAでプロジェクトマネージャーをしている中島です。ABEJAアドベントカレンダー2023の23日目の記事です。みなさん、日々いろいろなMTGがあると思いますが、議事メモ(議事録)取ってますか?手元の自分用メモで終わっていませんか?本日は、明…

低レイヤー探訪記 - ソフトウェア エンジニアがFPGAでLチカするまで

ABEJA でプロダクト開発を行っている森永です。ABEJAアドベントカレンダー2023の22日目の記事です。普段の業務ではフロントエンドからバックエンドやインフラまで幅広く扱っています。今回は、一般的な Web 開発のスタックを飛び越えてより低レイヤーの領域…

色々な生成AIモデルをColabで動かして今年を振り返る

こんにちは、ラボで研究開発をしたりプロトタイプを作っている藤本(X(Twitter))です。ABEJAアドベントカレンダー2023の21日目の記事です。ここ近年、生成AIの勢いが凄いです。最近は一夜明けたら世界が変わっているみたいなことがしょっちゅう起きています。…

AWS Config が高いと感じたら。AWS Config のコストを15分の1に下げた話

切っ掛けと問題の認識 AWS Config のカウント数の監視 対象外にしたいリソースが見つかったら AWS Config 側で除外する 実際のコスト削減効果 なぜもともとコストが高かったのか まとめ こんにちは、ABEJAの村主です。ABEJAアドベントカレンダー2023の18日目…

Function callingはどれくらい正しくレストラン予約できるのか?

はじめに こんにちは、ABEJAでデータサイエンスグループに所属している今井です。ABEJAアドベントカレンダー2023の20日目の記事です。 OpenAIのAPIには、チャットアプリケーションを作る際に役立つfunction callingという機能がありますが、かねてから「どれ…

【AI×競馬】馬の記事を書いたら講演依頼がきた話

本記事はABEJAアドベントカレンダー2023 19日目の記事です。 こんにちは!データサイエンティストの安倍(あんばい)です。 最近の趣味は競馬布教です。 社内のNotionページに毎週予想を記載し、それを信じて馬券を購入する同僚が徐々に増えてきています。残…

GitHub Copilot はどのようにして空気を読むか?

"Everything is true," he said. "Everything anybody has ever thought." —Philip K. Dick, Do Androids Dream of Electric Sheep? この記事は ABEJAアドベントカレンダー2023 の 17 日目の記事です。 こんにちは。システム開発部の石川 (@ishikawa) です。…

ChatGPTを使って音声指示でロボットを動かしてみた(GPTsのActions、MQTT、ATOM Matrix、toio、UIFlow)

TL; DR GPTsに音声入力で指示すると、それに従ってATOM Matrix経由でtoioが動いてくれるようなものを作ってみました。 GPTsのActionsから何秒動きたいかを判断して、BeebotteというMQTTブローカーを使ってATOM Matrix経由でtoioにその秒数を指示します。 Cha…