このイベントについて

ブレインパッドは分析の会社という印象が強いのでしょうか。実はシステムインテグレーションを行うデータエンジニアリングユニットと呼ばれる部署があり、データに関わるシステム開発をしています。 本勉強会では、そんなデータエンジニアリングユニットの現場のエンジニアが実際に取り組んでいるプロジェクトや技術的チャレンジをリアルにお伝えします。

対象参加者 ※申し込み前に必ずお読みください

・データエンジニアリング、機械学習エンジニアリングにまつわる話題に関心があるデータ系職種の方 ・データエンジニアリング、機械学習エンジニアリングに関心がある学生

当日のタイムライン

スピーカー＆発表内容

柴内 一宏 / BrainPad, Product Architect

プロフィール

2019年にブレインパッドへ新卒入社。入社後は、自社サービス(Rtoaster)のアプリケーション開発や、データ基盤の設計・開発を行う。現在は、生成AIによるレコメンド・検索プロダクトであるRtoaster GenAIを発案し、その設計や研究開発を行う。

発表①：BigQuery による生成AIのバッチ処理(Batch Prediction)とデータエンジニアリング

生成AIの活用において、大量データに対する推論コストとパイプライン構築の複雑さは大きな課題です。 この発表では、この課題を解決する強力なアプローチとして、GeminiのBatch Predictionを紹介します。 この機能は、API利用料を50%に抑えつつ、大量の生成処理を効率的に実行可能です。特に、データの準備から結果の格納までをBigQueryエコシステム内で完結できるため、データエンジニアにとって非常に親和性が高いのが特徴です。

Cloud Workflowsを活用し、データの前処理から推論、後処理までをフルマネージドかつローコードで実現するデータパイプラインのアーキテクチャを解説します。さらに、このパイプラインを用いた実践的なユースケースとして、LLM+RAGによるレコメンドシステムの実装例をご紹介します。

枝崎 健翔 / BrainPad, Platform Engineer

プロフィール

2024年にブレインパッドへ新卒入社。入社後は、クラウド上のデータ基盤や分析レポートの出力自動化ツールの開発を行う。現在はIoTデータ活用プロジェクトに従事し、IoT機器によるデータ収集や分析基盤の設計・開発、機械学習を用いた分析までを、一気通貫して担当。

発表②：クラウド×オンプレ連携で実現するデータ収集基盤の構築事例 〜 IoTデータをつなぐ知見 〜

データ活用が進む中、オンプレミスで生まれるIoTデータを効率的に収集・分析するためのデータ基盤構築が求められています。 本発表では、カメラ映像やセンサーデータをクラウドへ集約する仕組みを、どのように実現したかをご紹介します。 Azureの各種サービス（VM、Functions、Storage）やOSS（Nginx、FFmpeg）を組み合わせ、ストリーミングとバッチ処理の両立を可能にした構成を解説します。 また、遠隔制御・トンネリングの工夫や、ネットワーク制約を乗り越えるための実践的なアプローチなど、データエンジニアリングの現場で得られた知見を共有します。

個人情報の取り扱いについて

当イベントを通じて取得した個人情報等の取り扱いは、 株式会社ブレインパッドのプライバシーポリシー に従って取り扱います。 ご同意の上、ご参加ください。