ABEJA Tech Blog

中の人の興味のある情報を発信していきます

慣れてきたらチャレンジしてみよう!BigQueryのパフォーマンス最適化

自己紹介 I/Oや通信的観点 分割されたクエリを取り除く 過剰なワイルドカード テーブルを避ける テーブルを日付別にシャーディングすることを避ける & テーブルの過度な分割を回避する JOIN を使用する前にデータを削減する コンピューティング的観点 結合パ…

Starlinkが会社に来たのでエンジニアのみんなで触ってみた

はじめに こんにちは。プラットフォームグループでマネージャーをしております大田黒です。ABEJAには技術が大好きなが多く、面白い技術が発表されるとエンジニア・ビジネスメンバー問わず飛びついていきます。最近、社内有志メンバー数人でStarlinkを試して…

暗号の歴史と現代暗号の基礎理論(RSA, 楕円曲線)-後半-

はじめに このブログに書かれていること 自己紹介 注意 Part3 現代の暗号 共通鍵暗号方式と鍵配送問題 鍵配送問題とは? 共通鍵暗号方式と公開鍵暗号方式の違いとメリット・デメリット RSA暗号 RSAで使われる鍵 処理手順 暗号化の手順 復号の手順 RSA暗号の…

暗号の歴史と現代暗号の基礎理論(RSA, 楕円曲線)-前半-

はじめに このブログに書かれていること 自己紹介 注意 Part1 古典暗号 2つの暗号方式 スキュタレー暗号 アルゴリズムと鍵 シーザー暗号 原理 頻度分析 アルベルティ暗号 ヴィジュネル暗号 如何にしてヴィジュネル暗号は破られたか Part2 近代暗号 エニグマ …

100行で作る2D空間ボイチャツール&入ったら誰も居ない悲しみの解決!

こんにちは、メリークリスマス。株式会社ABEJAのラボチームで日々もがいてる藤本(@peisuke)です。本記事はABEJAアドベントカレンダー2022の25日目の記事です。 仕事では機械学習をやっていますが、機械学習で何かの問題を解いているだけでは中々インパクト…

社内フリーアドレス席の予約状況を電子ペーパーで可視化する ~オフィスDXアプリ x M5Paper連携~

こんにちは。2022/09にABEJAに入社したシステムエンジニアの中島です。本記事はABEJAアドベントカレンダー2022の24日目の記事です! 本記事ではBizflexシステムを使用しながら自分が欲しいと思った機能をIoTデバイスのM5Paperで実装してみるという内容ですBi…

Data Scienceチームの成果を最大化するための取り組み(2022年版)

はじめに 新規施策・取り組み Technical Document 分析の工夫やDSの思考の蓄積・活用 ドキュメントのテンプレート化 ドキュメンテーションの習慣付け Reviewer System 中間レビューの廃止と代替施策の導入 レビュアーの役割 QA channel (Slack) 質問すること…

つよつよ自作PC作成日記 ~RTX4090で最強の推論環境を作る~

こんにちは。 2022/09にABEJAに入社したシステムエンジニアの中島です。 本記事はABEJAアドベントカレンダー2022の22日目の記事です! 目次 目次 初めに 動機 0日目 機材購入 1日目 構成 機材確認 マザーボードへのCPU取り付け ケースへのクーラー取り付け …

Googleの画像品質評価MUSIQの話

こんにちは。株式会社ABEJAでデータサイエンティストをしている大谷です。本記事はABEJAアドベントカレンダー2022の21日目の記事です。 去年はNormalizing Flowと呼ばれるマイナー(?)技術とそれを使ったSRFlowという超解像技術の紹介をしました。 qiita.com …

GA → Airbyte → Snowflake(Snowpark for Python) のELT(EL)パイプラインを作ってみた

この記事はABEJA Advent Calender20日目、及びSnowflake Advent Calender23日目の記事になります。 はじめに 各々の技術について大雑把に紹介 Snowflake Snowpark Airbyte 環境構築 Airbyte Google Analytics Google Search Console Snowflake Connection Sn…

Stable Diffusion の仕組みを理解する

この記事は、ABEJAアドベントカレンダー2022 の 19 日目の記事です。 こんにちは!株式会社 ABEJA で ABEJA Platform 開発を行っている坂井です。 世間では Diffusion Model 使った AI による画像生成が流行っているみたいですね。 自分は元々 Computer Visi…

競走馬骨格推定 ウマ娘から競馬にドハマリしたデータサイエンティストが競馬×AIの可能性を考える

本記事はABEJA Advent Calendar 2022 18日目の記事です。 こんにちは! 今年10月からデータサイエンティストとして働いている安倍(あんばい)と申します。 ウマ娘から競馬を知り、気がつけば週末は必ず競馬場にいる筆者が、競馬予想に留まらず、競馬xAIの可…

AI生成物と著作権とAI倫理

本記事はABEJAアドベントカレンダー2022の17日目の記事です!昨日に引き続き担当の古川です! 昨日の予告通り生成AIによるAI生成物の著作権と倫理の話です。 生成AIと言っても主に念頭に置いているのは画像生成AIです(議論の発端自体はmimicやMidjourneyで…

2022年AI倫理ニュースベスト10

本記事はABEJAアドベントカレンダー2022の16日目の記事です! 本日の担当は、法務・AI倫理関係を担当している古川です。12年ほど弁護士をしていまして、途中で機械学習をやってみたくなり数学から統計から機械学習の勉強をして(PRMLとかカステラ本とか読み…

非エンジニアがNotion+Wraptasをつかって、一ヵ月で採用サイトをつくった話

はじめまして!コーポレートデザイン統括部人事グループの本坊といいます。ABEJAアドベントカレンダー2022の15日目の記事を担当させていただきます。 ABEJAでは、エンジニアやデータサイエンティストだけでなく、ビジネス職含め、様々なポジションで仲間を募…

AzureADの条件付きアクセスポリシーをTerraformで作る 〜情シス業務の効率化トライ〜

はじめに なぜやるのか 環境準備 今回の実装想定 実装 参考 採用メッセージ はじめに こんにちは! 株式会社ABEJAで情シスをしている世古です。本記事はABEJAアドベントカレンダー2022の14日目の記事です! 今回は「AzureADの条件付きアクセスをポリシーをTe…

GPTでKey作品の名言から文章を生成してみた

目次 目次 はじめに そもそもGPTとは 日本語データセットで学習されたGPT 入力文章 GPTによる生成コード 出力結果 ChatGPTで生成 まとめ ABEJAについて はじめに 本記事はABEJAアドベントカレンダー2022の13日目の記事です。 こんにちは!カスタマーサクセス…

trufflehog x pre-commit & GitHub Actions で GitHubのセキュリティを強化したってばよ

こちらは ABEJA アドベントカレンダー 12日目の記事です。 こんにちは。CTO室の村主です。セキュリティ強化も自組織の役割であるため、ABEJAのセキュリティ対策に関する内容を共有したいと思います。 はじめに trufflehog(トリュフホッグ) クレデンシャル…

オフィスDXを支える技術2022年版(チャットツール連携編)

ABEJA Advent Calendar 2022 11日目の記事です。昨日は服部さんの夫婦で納得の土地探しをするためにLINE Bot作ったりデータサイエンスした話でした。 はじめに こんにちは、こんばんは、おはようございます、エンジニアの小笠原(@seiro-ogasawara)です。 去…

夫婦で納得の土地探しをするためにLINE Bot作ったりデータサイエンスした話

皆さんこんにちは! ABEJAでデータサイエンティストをしている服部といいます。 本記事はABEJA Advent Calendar2022の10日目の記事になります。 背景 引っ越しから2年.... データサイエンティストとしてのリベンジ 前回の反省を踏まえて.... 1. お得そうに見…

ChatGPTでフランクな翻訳、コード譜付きの作詞、アイディア発想法の応用を試してみたら想像以上に使えそうだった話

こんにちは。株式会社ABEJA でPM兼DS兼プリセールスと色々な仕事をさせてもらってます道辻です。本記事はABEJAアドベントカレンダー2022の9日目の記事です! 私にとって2022年はテキストから画像生成のstable diffusion、音声認識のWhisper等、遊びがいのあ…

文系大学院(人類学)にいくつもりが、いつのまにかAIベンチャーに転職してた【入社エントリ】

はじめまして!今年、ABEJAに入社しました高崎です!こちらは、ABEJAアドベントカレンダー2022の8日目の記事になります。 今回は、箸休め的に、ABEJAへの入社エントリ(ビジネス職)をお届けします! この記事で伝えたいこと いわゆる文系でもAIの世界で活躍…

【スクラム初心者必見】スクラム導入で大事なこと7選 〜開発力を6.2 倍にした話〜

こんにちは。株式会社ABEJA でスクラムマスターをしている小川です。本記事はABEJAアドベントカレンダー2022の7日目の記事です! 私は前職も含めると5年ほどスクラムでの開発を開発者として経験してきました。今のチームでは2ヶ月前にスクラムマスターとし…

GPSで高精度なNTPサーバーを作ってみた ~ミスってMTG遅刻常習犯にもなった話~

はじめに NTPとは? 今回作るもの・レシピ 構築手順 (HW) 構築手順 (SW) シリアルポート・カーネル関連設定 gpsdのインストールと設定 ntpのインストールと設定 動作確認 PPS信号の取り込み 家庭内PCと同期テスト 性能評価(結果) 後日談 採用メッセージ は…

今年書いたネイティブコードが全部 Objective-C だった件 ~転生したら Swift 書く~

こちらは ABEJA アドベントカレンダー2022 の 5 日目の記事です。 はじめに こんにちは。CS 統括部システム開発グループ 1 の石川 (@ishikawa) です。 9 月に ABEJA は、本社オフィスを「Bizflex 麻布十番」に移転しました2。本社移転を受けて、Bizflex オフ…

転生したらデータサイエンスの国でクッキーの型職人になっていた件

こんにちは。システム開発グループでエンジニアをやっている鈴木です。 本記事はABEJAアドベントカレンダー2022の4日目の記事です! タイトルだけ見ると、なんのこっちゃって感じですが、本記事は真面目な書き方をするとデータサイエンティストとの協業がテ…

Notion DB をイイ感じに活用する Tips 3選 〜巷で人気の音ゲーの楽曲リストを例に〜

はじめに 皆さんこんにちは。 毎年の Advent Calendarで Notion やら Google AppSheet やら業務効率系の記事を書いている齋藤です。 本記事は ABEJA Advent Calendar 2022 の3日目の記事になります。 今回は、私が今年の元日(2022/01/01)公開した「プロセカN…

野球の投球の「危険度」を予測してみた ~「あ、この球、打たれるわ」をAIで判断~

目次 目次 はじめに アイデア 検証方法 データ準備 分析アプローチ データ取得 前処理・特徴量エンジニアリング 学習 結果 考察 まとめ ABEJAについて はじめに はじめまして!今年2月にABEJAにデータサイエンティストとして入社しました真鍋と申します。 こ…

掃除ロボットをかゆいところまで手の届く仕様に改造する

本日ご紹介するのは相棒を涙ながらに分解し再度構築した男の汗と涙の物語です

Kaggle Days World Championshipで優勝した話

ABEJAでデータサイエンティストをしている服部です。 2022年10月28, 29日にバルセロナにてKaggle Days World Championship Finalというデータサイエンスに関するイベント兼コンペティションが開催され、そこに参加しました。そして幸いなことに私の所属する…