ABEJA Tech Blog

中の人の興味のある情報を発信していきます

小型かつ安価なセンサーを使って人の行動推定を行ってみる

はじめに こんにちは!ABEJAでプロダクトマネージャーをしている栗林です! ABEJAでは小売店舗での顧客行動を分析するInsight for Retailというプロダクトや、オフィスDX事業をはじめとして、物理世界の現象を機械学習などが適用可能なデジタルに変換する部…

目指せ脱属人化!社内ツールの開発と保守運用が楽になるTIPS紹介

はじめに 記事を書いた経緯 社内向けツール開発時の課題 ABEJAでの取り組みについて 作成した社内向けツールの例 社員の工数を管理するためのツール NotionとSalesforceを連携するためのツール Googleスライドのフォントを変換するためのツール 開発・運用時…

ABEJA GPTモデルにおけるアーキテクチャの工夫

1. はじめに 2. 先行研究からの学び 3. 前提 4. アーキテクチャ変更候補 活性化関数の変更 (SwishGLU) Transformer layerの並列化 biasパラメータ除去 Input-Output Embeddingの共有 (Weight tying) 5. 小規模モデルでの実験 実験設定 Transformer layerの並…

GPT-neoxの学習用にマルチノード並列学習環境を整えた with DeepSpeed

1. はじめに 2. 並列学習環境を調べる 並列学習方法を調べる ネットワーク、コンピューティング周りを調べる 3. インフラ環境を構築する コンパクトプレースメントポリシーの作成 Compute Engine を起動する (Fast Socket と gVNIC を利用する) 4. まずはシ…

ABEJAで作った大規模GPTモデルとその道のり

1. はじめに 2. そもそもGPTとは?? 3. ABEJAで作ったGPTモデルについて 3.1 モデルサイズ 3.2 データセット Wikipedia CC100 OSCAR mC4 3.3 参考にしたコード 3.4 モデルの学習 せっかくここまで育てたモデルが・・・ 4. 技術的な工夫点 4.1 データセットの…

カルマンフィルタを実装してみる!ドローンに使用される姿勢推定システムの作り方

Raspberry Pi zeroを用いた、ドローン用の簡易な姿勢角推定装置を実装する方法をまとめています

Amazon Managed BlockChainを使って分散台帳プラットフォームを構築する

はじめに こんにちは。ABEJAのシステム開発グループでソフトウェアエンジニアをしている吉田です。 現在(2022年5月)仮想通貨が暴落中で、Blockchain技術自体も幻滅期にあると思われますが、 ABEJAでは最近、BlockchainやWeb3.0に関するSlackチャンネルがで…

Firebase Realtime Databaseの利用料増加問題をFirestore移行で解決した話 (年間数百万削減)

はじめに ある日、このようなIssueが起票されました。 背景を話すと、Insight for Retail の顧客管理システムは5年ほど前にFirebaseで作成されております。 事業を切り開いていった先人たちには足を向けて寝られないのですが、サービスの成長に伴いマイクロ…

Deepでポン!Deep Learningによるホモグラフィ推定技術の調査(コード有り)

はじめに はじめに ホモグラフィ推定とは 特徴量ベースの手法 特徴点の抽出・特徴量の計算 LIFT: Learned Invariant Feature Transform [1] SuperPoint: Self-Supervised Interest Point Detection and Description [2] LoFTR: Detector-Free Local Feature …

実務で必須!2変数の関連性を正しく評価できるよう関連知識をまとめてみた

こんにちは、ABEJAの真壁孝嘉(@Takayoshi_ma)です。変数Aと変数Bにどれくらいの関連性があるの?このデータから何が言える?みたいなニーズって至る所にあるかと思います。その時に活用される様々な数学的指標たち、(自分含め)名前を知ってるだけだと危…

Grad-CAMだけじゃない画像認識におけるCAM手法を徹底解説

長期インターン生の木村です。 今回、以前から興味を持っていた画像認識モデルにおける説明可能なAIのクラス活性化マッピング手法を調査してみました。 説明可能なAIとは 近年、深層学習ベースの画像認識モデルは製造業、医療、自動運転など至る場面で社会実…

長期インターンで凄腕エンジニアと動画解析プラットフォームをスタートアップした話

こんにちは、長期インターンの木村(@takuk_ultimater)です。ABEJAで働くのも気が付けば1年間が経ち、入社当初はフルスタックエンジニアを目指し専門領域を決めていなかったものの、今ではML大好きマンになりました。 私は2021年の3月から1年間機械学習やエン…

オフィスDXを支える技術(バックエンド編)

ABEJA Advent Calendar 2021 23日目の記事です。21日目のオフィスDXを支える技術(フロントエンド編)のバックエンド編の記事となります。 はじめに こんにちは、エンジニアの @toshitanian です。 ABEJAは2021年11月にヒューリック株式会社と資本業務提携を…

オフィスDXを支える技術(フロントエンド編)

こちらは ABEJA アドベントカレンダー2021の 21 日目の記事です。 はじめに こんにちは。CS 統括部システム開発グループ 1 の石川 (@ishikawa) です。緊急事態宣言の解除を受け、ABEJA でも各自任意での出社が可能となりました 2。今回は ABEJA のサテライト…

ABEJA システム開発グループと取り組みのご紹介

はじめに ABEJA におけるシステム開発グループの仕事 どんな仕事? どんな人たち? 業務の進め方 アセスメントフェーズ インテグレーションフェーズ システム開発グループの特徴 フルスタック 日々の取り組みや制度 朝会 エンジニアレビュー プリセールス 社…

ABEJA Data Scienceチームと取り組みのご紹介

はじめに ABEJAにおけるDSのお仕事 どんな仕事? どんな人達? 業務の進め方 アセスメントフェーズ PoCフェーズ インテグレーションフェーズ ABEJA DSの特徴 ①運用を意識したモデル開発 ②要件定義フェーズの早い段階からの連携 ③技術・情報共有の仕組み 日々…

ABEJA Insight for Retailの技術スタックを公開します (2021年10月版)

初めに 会社・事業紹介 ABEJA Insight for Retailについて 技術スタック 全体アーキテクチャ図 ① 映像録画・解析システム ②データ基盤部分 ③ Webダッシュボード その他 (全体共通部分) 一緒に働く仲間を募集中! 最後に 初めに こんにちわ。大田黒(おおたぐ…

セキュアなIoTデバイス導入・運用の為の取り組み紹介

はじめに ご無沙汰しております。ABEJAの大田黒(おおたぐろ)です。前回は弊社TechBlogにて、数千人規模のイベント向けに顔認証技術を利活用したお遊びプロダクトの設計・開発・デリバリーについての裏側を執筆させて頂きました。 tech-blog.abeja.asia 今…

Pants で決める python monorepo

ABEJA で Research Engineer をやっている中川です.普段は論文読んだり,機械学習モデルを実装したり,インフラを構築したりしています.今回のブログでは3,4ヶ月の間遊び9割仕事1割で取り組んできた Python で実装された機械学習マイクロサービスたちの mo…

ABEJAのスピードあるコロナ(COVID-19)対応

ABEJAでAdminの業務(一般的には管理部?)をしている森田潤也です。コロナの影響による働き方の対策に関して、緊急事態宣言が終わったこともありこれまでにやったことを振り返りとして整理しました。いろんな仕組みをスピード持って意志決定して作れたなぁ…

画像データに対するActive learningの現状と今後の展望 ~最新の教師なし学習を添えて~

今回の記事では, 画像データに対する Active Learningの現状と展望を, いま注目の教師なし学習手法の解説を添えて, お届けします.

Go vs Rust : 特徴量DBに適するのはどっち!? (2020-04-14 実験追記)

ABEJA で Research Engineer をやっている中川です.普段は論文読んだり,機械学習モデルを実装したり,インフラを構築したりしています.今回のブログでは,Insight for Retail の一機能として提供しているリピータ分析に用いる特徴量DBの改善に向けた言語…

Atomic Design思考でVue.js×Plotly.jsでのグラフComponentを実装した結果

こんにちは。はじめまして。 ABEJAでフルスタック(?)エンジニアをしている齋藤です。今回は`ABEJAってUI/UXガッチリやってるイメージない。`というイメージを払拭すべく、`ABEJA Insight for Retailの提供しているDashboardで、どのようにUI/UXに力を入れて…

AWSのAZ障害でもサービスを継続させる技術

こんにちは。ABEJAのインフラ管理してる村主 @rwle1221 です。 本ブログは ABEJA Advent Calendar 2019 の11日目です。 今日は、みなさん記憶に新しい2019年8月末に発生した AWS の東京リージョンの AZ 障害について、どのようにしていればサービス影響を与…

なぜPrometheusを辞めてDatadogを採用したのか

こんにちは。ABEJAのインフラ管理してる村主 @rwle1221 です。 本ブログは Datadog Advent Calendar 2019 の8日目です。 今日は ABEJA Platform というプロダクトで、なぜ Prometheus から Datadog に変えたのか。というお話したいと思います。 一人の方でも…

EKSの運用を楽に安くするためにSpotinst Oceanを使って工夫してる話

こんにちは。ABEJAのインフラ管理してる村主 @rwle1221 です。 この記事は Amazon EKS Advent Calendar 2019 2日目の記事です。 1日目は AWSの中の方が re:Invent 直前のアツい想いを書く ということで、ハードルが上がってそうですがそんなことは気にせずに…

ICCV2019 に参加してきました

ABEJA で Research Engineer をやっている中川です.普段は論文読んだり,機械学習モデルを実装したり,インフラを構築したりしています. 10/27-11/2 に韓国で開催された ICCV2019 に Researcher の白川と参加してきたので簡単に報告します. Summary 過去…

ABEJAの技術スタックを公開します (2019年11月版)

よくエンジニアの方にご質問いただく `ABEJAってよく聞くけど、実際どんなことやってるのかよくわからない` という点をクリアにするために、事業内容と技術視点でのABEJAの取り組みを紹介したいと思います。ABEJAに興味のある方や、未来の一緒に働くメンバー…

数千人規模の自社イベントで顔認証活用サービスを作ってデリバリーした話 (ABECOIN)

はじめに こんにちは、ABEJAの大田黒(おおたぐろ)です。最近は、一ヶ月100kmを目標にランニングしたり、POとユカイな仲間たちと一緒に小売店舗向けのIoTxAI活用サービスの開発を進めているエンジニアです。前回の記事からだいぶ間が空いてしまいましたが、久…

機械学習の研究開発が捗る個人的BGM10選

どうも、緒方(@conta_)です。 機械学習プロジェクト捗っていますか? 多くの人がPoCで疲弊しているという噂をよく耳にします。 機械学習の研究開発プロジェクトのうち10%がアルゴリズム検討、40%はデータ整形と探索、25%が実験で25%はレポーティングだと言わ…