ABEJA Tech Blog

中の人の興味のある情報を発信していきます

Kaggle Days World Championshipで優勝した話

ABEJAでデータサイエンティストをしている服部です。 2022年10月28, 29日にバルセロナにてKaggle Days World Championship Finalというデータサイエンスに関するイベント兼コンペティションが開催され、そこに参加しました。そして幸いなことに私の所属する…

小型かつ安価なセンサーを使って人の行動推定を行ってみる

はじめに こんにちは!ABEJAでプロダクトマネージャーをしている栗林です! ABEJAでは小売店舗での顧客行動を分析するInsight for Retailというプロダクトや、オフィスDX事業をはじめとして、物理世界の現象を機械学習などが適用可能なデジタルに変換する部…

目指せ脱属人化!社内ツールの開発と保守運用が楽になるTIPS紹介

はじめに 記事を書いた経緯 社内向けツール開発時の課題 ABEJAでの取り組みについて 作成した社内向けツールの例 社員の工数を管理するためのツール NotionとSalesforceを連携するためのツール Googleスライドのフォントを変換するためのツール 開発・運用時…

ABEJA GPTモデルにおけるアーキテクチャの工夫

1. はじめに 2. 先行研究からの学び 3. 前提 4. アーキテクチャ変更候補 活性化関数の変更 (SwishGLU) Transformer layerの並列化 biasパラメータ除去 Input-Output Embeddingの共有 (Weight tying) 5. 小規模モデルでの実験 実験設定 Transformer layerの並…

GPT-neoxの学習用にマルチノード並列学習環境を整えた with DeepSpeed

1. はじめに 2. 並列学習環境を調べる 並列学習方法を調べる ネットワーク、コンピューティング周りを調べる 3. インフラ環境を構築する コンパクトプレースメントポリシーの作成 Compute Engine を起動する (Fast Socket と gVNIC を利用する) 4. まずはシ…

ABEJAで作った大規模GPTモデルとその道のり

1. はじめに 2. そもそもGPTとは?? 3. ABEJAで作ったGPTモデルについて 3.1 モデルサイズ 3.2 データセット Wikipedia CC100 OSCAR mC4 3.3 参考にしたコード 3.4 モデルの学習 せっかくここまで育てたモデルが・・・ 4. 技術的な工夫点 4.1 データセットの…

カルマンフィルタを実装してみる!ドローンに使用される姿勢推定システムの作り方

Raspberry Pi zeroを用いた、ドローン用の簡易な姿勢角推定装置を実装する方法をまとめています

Amazon Managed BlockChainを使って分散台帳プラットフォームを構築する

はじめに こんにちは。ABEJAのシステム開発グループでソフトウェアエンジニアをしている吉田です。 現在(2022年5月)仮想通貨が暴落中で、Blockchain技術自体も幻滅期にあると思われますが、 ABEJAでは最近、BlockchainやWeb3.0に関するSlackチャンネルがで…

Firebase Realtime Databaseの利用料増加問題をFirestore移行で解決した話 (年間数百万削減)

はじめに ある日、このようなIssueが起票されました。 背景を話すと、Insight for Retail の顧客管理システムは5年ほど前にFirebaseで作成されております。 事業を切り開いていった先人たちには足を向けて寝られないのですが、サービスの成長に伴いマイクロ…

Deepでポン!Deep Learningによるホモグラフィ推定技術の調査(コード有り)

はじめに はじめに ホモグラフィ推定とは 特徴量ベースの手法 特徴点の抽出・特徴量の計算 LIFT: Learned Invariant Feature Transform [1] SuperPoint: Self-Supervised Interest Point Detection and Description [2] LoFTR: Detector-Free Local Feature …