ABEJA Tech Blog

中の人の興味のある情報を発信していきます

ABEJA GPTモデルにおけるアーキテクチャの工夫

1. はじめに 2. 先行研究からの学び 3. 前提 4. アーキテクチャ変更候補 活性化関数の変更 (SwishGLU) Transformer layerの並列化 biasパラメータ除去 Input-Output Embeddingの共有 (Weight tying) 5. 小規模モデルでの実験 実験設定 Transformer layerの並…

GPT-neoxの学習用にマルチノード並列学習環境を整えた with DeepSpeed

1. はじめに 2. 並列学習環境を調べる 並列学習方法を調べる ネットワーク、コンピューティング周りを調べる 3. インフラ環境を構築する コンパクトプレースメントポリシーの作成 Compute Engine を起動する (Fast Socket と gVNIC を利用する) 4. まずはシ…

ABEJAで作った大規模GPTモデルとその道のり

1. はじめに 2. そもそもGPTとは?? 3. ABEJAで作ったGPTモデルについて 3.1 モデルサイズ 3.2 データセット Wikipedia CC100 OSCAR mC4 3.3 参考にしたコード 3.4 モデルの学習 せっかくここまで育てたモデルが・・・ 4. 技術的な工夫点 4.1 データセットの…

カルマンフィルタを実装してみる!ドローンに使用される姿勢推定システムの作り方

Raspberry Pi zeroを用いた、ドローン用の簡易な姿勢角推定装置を実装する方法をまとめています

Amazon Managed BlockChainを使って分散台帳プラットフォームを構築する

はじめに こんにちは。ABEJAのシステム開発グループでソフトウェアエンジニアをしている吉田です。 現在(2022年5月)仮想通貨が暴落中で、Blockchain技術自体も幻滅期にあると思われますが、 ABEJAでは最近、BlockchainやWeb3.0に関するSlackチャンネルがで…

Firebase Realtime Databaseの利用料増加問題をFirestore移行で解決した話 (年間数百万削減)

はじめに ある日、このようなIssueが起票されました。 背景を話すと、Insight for Retail の顧客管理システムは5年ほど前にFirebaseで作成されております。 事業を切り開いていった先人たちには足を向けて寝られないのですが、サービスの成長に伴いマイクロ…

Deepでポン!Deep Learningによるホモグラフィ推定技術の調査(コード有り)

はじめに はじめに ホモグラフィ推定とは 特徴量ベースの手法 特徴点の抽出・特徴量の計算 LIFT: Learned Invariant Feature Transform [1] SuperPoint: Self-Supervised Interest Point Detection and Description [2] LoFTR: Detector-Free Local Feature …

実務で必須!2変数の関連性を正しく評価できるよう関連知識をまとめてみた

こんにちは、ABEJAの真壁孝嘉(@Takayoshi_ma)です。変数Aと変数Bにどれくらいの関連性があるの?このデータから何が言える?みたいなニーズって至る所にあるかと思います。その時に活用される様々な数学的指標たち、(自分含め)名前を知ってるだけだと危…

Grad-CAMだけじゃない画像認識におけるCAM手法を徹底解説

長期インターン生の木村です。 今回、以前から興味を持っていた画像認識モデルにおける説明可能なAIのクラス活性化マッピング手法を調査してみました。 説明可能なAIとは 近年、深層学習ベースの画像認識モデルは製造業、医療、自動運転など至る場面で社会実…

長期インターンで凄腕エンジニアと動画解析プラットフォームをスタートアップした話

こんにちは、長期インターンの木村(@takuk_ultimater)です。ABEJAで働くのも気が付けば1年間が経ち、入社当初はフルスタックエンジニアを目指し専門領域を決めていなかったものの、今ではML大好きマンになりました。 私は2021年の3月から1年間機械学習やエン…