ABEJA Tech Blog

中の人の興味のある情報を発信していきます

実験を高速化する機械学習パイプライン開発の挑戦

はじめに こんにちは、ティアキンで寄り道し過ぎて永遠にストーリークリア出来ない坂元です。データサイエンスチームに所属しています。LLMの一大ブームの中でLLMの記事を書かないのは若干憚られますが、高速に実験を回す用途で気軽に使える機械学習パイプラ…

外部データをRetrievalしてLLM活用する上での課題と対策案

はじめに ABEJAでデータサイエンティストをしている服部です。 今回はLLMで外部データを使うケースについてのお話をしたいと思います。 はじめに LLMと外部データの利用 RetrievalとLLM 0. (事前準備)参照したいテキストデータをDBに格納 1. ユーザの入力文…

リモートでも働ける?Data Scienceチームのコミュニケーションを考える

DSチームの構成 DSチームの特徴 オンラインコミュニケーションの課題 ABEJAのDSチームとしてのアプローチ DS Dayとは? その他チームビルディング施策 さいごに こんにちは。データサイエンス (DS) チームの真鍋と申します。 アドベントカレンダーでは限界野…

慣れてきたらチャレンジしてみよう!BigQueryのパフォーマンス最適化

自己紹介 I/Oや通信的観点 分割されたクエリを取り除く 過剰なワイルドカード テーブルを避ける テーブルを日付別にシャーディングすることを避ける & テーブルの過度な分割を回避する JOIN を使用する前にデータを削減する コンピューティング的観点 結合パ…

Starlinkが会社に来たのでエンジニアのみんなで触ってみた

はじめに こんにちは。プラットフォームグループでマネージャーをしております大田黒です。ABEJAには技術が大好きなが多く、面白い技術が発表されるとエンジニア・ビジネスメンバー問わず飛びついていきます。最近、社内有志メンバー数人でStarlinkを試して…

暗号の歴史と現代暗号の基礎理論(RSA, 楕円曲線)-後半-

はじめに このブログに書かれていること 自己紹介 注意 Part3 現代の暗号 共通鍵暗号方式と鍵配送問題 鍵配送問題とは? 共通鍵暗号方式と公開鍵暗号方式の違いとメリット・デメリット RSA暗号 RSAで使われる鍵 処理手順 暗号化の手順 復号の手順 RSA暗号の…

暗号の歴史と現代暗号の基礎理論(RSA, 楕円曲線)-前半-

はじめに このブログに書かれていること 自己紹介 注意 Part1 古典暗号 2つの暗号方式 スキュタレー暗号 アルゴリズムと鍵 シーザー暗号 原理 頻度分析 アルベルティ暗号 ヴィジュネル暗号 如何にしてヴィジュネル暗号は破られたか Part2 近代暗号 エニグマ …

100行で作る2D空間ボイチャツール&入ったら誰も居ない悲しみの解決!

こんにちは、メリークリスマス。株式会社ABEJAのラボチームで日々もがいてる藤本(@peisuke)です。本記事はABEJAアドベントカレンダー2022の25日目の記事です。 仕事では機械学習をやっていますが、機械学習で何かの問題を解いているだけでは中々インパクト…

社内フリーアドレス席の予約状況を電子ペーパーで可視化する ~オフィスDXアプリ x M5Paper連携~

こんにちは。2022/09にABEJAに入社したシステムエンジニアの中島です。本記事はABEJAアドベントカレンダー2022の24日目の記事です! 本記事ではBizflexシステムを使用しながら自分が欲しいと思った機能をIoTデバイスのM5Paperで実装してみるという内容ですBi…

Data Scienceチームの成果を最大化するための取り組み(2022年版)

はじめに 新規施策・取り組み Technical Document 分析の工夫やDSの思考の蓄積・活用 ドキュメントのテンプレート化 ドキュメンテーションの習慣付け Reviewer System 中間レビューの廃止と代替施策の導入 レビュアーの役割 QA channel (Slack) 質問すること…