コンペで使える！？LightGBMで実装する３つの弱教師あり学習

ABEJAでデータサイエンティストをしている小林です。今回は、もしかしたらいつか業務や機械学習コンペに役立つかもしれない情報、LightGBMで弱教師あり学習を行う方法についてお話します。コードはこちらで公開しております。目次はじめに弱教師あり学…

2023-08-22

【LLM × レコメンド】パーソナライズLLMレコメンドシステムの実装と学びについて

こんにちは！競馬愛が止まらず、昨年テックブログで競争馬に関する記事を公開してしまった、データサイエンティストの安倍（あんばい）と申します。社内では馬ニキと呼ばれています。 tech-blog.abeja.asia 世はまさに大LLM時代。このウェーブに少し乗り遅れ…

2023-08-21

大規模言語モデルはデータサイエンティストを駆逐するか

ABEJAでデータサイエンティストをしている大谷です。ちょうど1年ほど前にGPTを事前学習し、HuggingfaceにGPT NeoX Japaneseとして登録していたりしていた者です。さて、ChatGPTの登場から、Copilot Chat、GPT4のAPIの解禁、code interpreterのリリースと続…

2023-07-27

ChatGPT の仕組みを理解する（後編）

Deep Learning

こちらは「ChatGPT の仕組みを理解する」の後編記事になります。前編は以下の記事をご参照ください。 tech-blog.abeja.asia 前半記事では、自然言語の基礎的な部分から GPT-3.5 まで説明していきました。GPT-3.5 の次としては、ChatGPT の元になっている In…

2023-07-27

ChatGPT の仕組みを理解する（前編）

Deep Learning

こんにちは！株式会社 ABEJA で ABEJA Platform 開発を行っている坂井（@Yagami360）です。世間では ChatGPT などの大規模言語モデル（LLM）による対話型 AI が盛り上がってますね。クオリティーも凄いし AI 業界以外でも盛り上がってると嬉しいですよね。こ…

2023-07-26

実験を高速化する機械学習パイプライン開発の挑戦

はじめにこんにちは、ティアキンで寄り道し過ぎて永遠にストーリークリア出来ない坂元です。データサイエンスチームに所属しています。LLMの一大ブームの中でLLMの記事を書かないのは若干憚られますが、高速に実験を回す用途で気軽に使える機械学習パイプラ…

2023-07-03

外部データをRetrievalしてLLM活用する上での課題と対策案

はじめに ABEJAでデータサイエンティストをしている服部です。今回はLLMで外部データを使うケースについてのお話をしたいと思います。はじめに LLMと外部データの利用 RetrievalとLLM 0. (事前準備)参照したいテキストデータをDBに格納 1. ユーザの入力文…

2023-06-26

リモートでも働ける？Data Scienceチームのコミュニケーションを考える

ABEJAチーム紹介 Data Science

DSチームの構成 DSチームの特徴オンラインコミュニケーションの課題 ABEJAのDSチームとしてのアプローチ DS Dayとは？その他チームビルディング施策さいごにこんにちは。データサイエンス (DS) チームの真鍋と申します。アドベントカレンダーでは限界野…

2023-05-12

慣れてきたらチャレンジしてみよう！BigQueryのパフォーマンス最適化

自己紹介 I/Oや通信的観点分割されたクエリを取り除く過剰なワイルドカードテーブルを避けるテーブルを日付別にシャーディングすることを避ける & テーブルの過度な分割を回避する JOIN を使用する前にデータを削減するコンピューティング的観点結合パ…

BigQuery SQL 最適化

2023-04-12

Starlinkが会社に来たのでエンジニアのみんなで触ってみた

はじめにこんにちは。プラットフォームグループでマネージャーをしております大田黒です。ABEJAには技術が大好きなが多く、面白い技術が発表されるとエンジニア・ビジネスメンバー問わず飛びついていきます。最近、社内有志メンバー数人でStarlinkを試して…

2023-04-11

暗号の歴史と現代暗号の基礎理論（RSA, 楕円曲線）-後半-

はじめにこのブログに書かれていること自己紹介注意 Part3 現代の暗号共通鍵暗号方式と鍵配送問題鍵配送問題とは？共通鍵暗号方式と公開鍵暗号方式の違いとメリット・デメリット RSA暗号 RSAで使われる鍵処理手順暗号化の手順復号の手順 RSA暗号の…

暗号 RSA エニグマ楕円曲線暗号ビットコインイーサリアム

2023-04-11

暗号の歴史と現代暗号の基礎理論（RSA, 楕円曲線）-前半-

はじめにこのブログに書かれていること自己紹介注意 Part1 古典暗号 2つの暗号方式スキュタレー暗号アルゴリズムと鍵シーザー暗号原理頻度分析アルベルティ暗号ヴィジュネル暗号如何にしてヴィジュネル暗号は破られたか Part2 近代暗号エニグマ …

暗号 RSA エニグマ楕円曲線暗号ビットコインイーサリアム

2022-12-25

100行で作る2D空間ボイチャツール＆入ったら誰も居ない悲しみの解決！

javascript firebase

こんにちは、メリークリスマス。株式会社ABEJAのラボチームで日々もがいてる藤本（@peisuke）です。本記事はABEJAアドベントカレンダー2022の25日目の記事です。仕事では機械学習をやっていますが、機械学習で何かの問題を解いているだけでは中々インパクト…

2022-12-24

社内フリーアドレス席の予約状況を電子ペーパーで可視化する ~オフィスDXアプリ x M5Paper連携~

こんにちは。2022/09にABEJAに入社したシステムエンジニアの中島です。本記事はABEJAアドベントカレンダー2022の24日目の記事です！本記事ではBizflexシステムを使用しながら自分が欲しいと思った機能をIoTデバイスのM5Paperで実装してみるという内容ですBi…

2022-12-23

Data Scienceチームの成果を最大化するための取り組み（2022年版）

はじめに新規施策・取り組み Technical Document 分析の工夫やDSの思考の蓄積・活用ドキュメントのテンプレート化ドキュメンテーションの習慣付け Reviewer System 中間レビューの廃止と代替施策の導入レビュアーの役割 QA channel (Slack) 質問すること…

2022-12-22

つよつよ自作PC作成日記 ~RTX4090で最強の推論環境を作る~

こんにちは。 2022/09にABEJAに入社したシステムエンジニアの中島です。本記事はABEJAアドベントカレンダー2022の22日目の記事です！目次目次初めに動機 0日目機材購入 1日目構成機材確認マザーボードへのCPU取り付けケースへのクーラー取り付け …

2022-12-21

Googleの画像品質評価MUSIQの話

こんにちは。株式会社ABEJAでデータサイエンティストをしている大谷です。本記事はABEJAアドベントカレンダー2022の21日目の記事です。去年はNormalizing Flowと呼ばれるマイナー(?)技術とそれを使ったSRFlowという超解像技術の紹介をしました。 qiita.com …

2022-12-20

GA → Airbyte → Snowflake(Snowpark for Python) のELT(EL)パイプラインを作ってみた

この記事はABEJA Advent Calender20日目、及びSnowflake Advent Calender23日目の記事になります。はじめに各々の技術について大雑把に紹介 Snowflake Snowpark Airbyte 環境構築 Airbyte Google Analytics Google Search Console Snowflake Connection Sn…

Snowpark Snowflake Airbyte Google Analytics

2022-12-19

Stable Diffusion の仕組みを理解する

Deep Learning

この記事は、ABEJAアドベントカレンダー2022 の 19 日目の記事です。こんにちは！株式会社 ABEJA で ABEJA Platform 開発を行っている坂井です。世間では Diffusion Model 使った AI による画像生成が流行っているみたいですね。自分は元々 Computer Visi…