こんにちは、リブセンスでデータサイエンティストをしている北原です。今回も前回に引き続きアウトカムが2値のHeterogeneous Treatment Effects(HTE)に関する簡単な検証実験を扱います。ベイズを利用してT-Learnerに事前知識を組み込むことで推定が改善されるのかを調べたものです。コードはRとStanです。前回の記事は以下。 analytics.livesense.co.jp データ データは前回の記事で利...| LIVESENSE Data Analytics Blog
こんにちは、リブセンスでデータサイエンティストをしている北原です。今回はアウトカムが2値のHeterogeneous Treatment Effects(HTE)に関する簡単な検証実験を扱います。コードはRです。やりたいことはパラメトリックなモデルのみを使ってHTEを推定することですが、比較用に非線形モデルを使った方法についても調べました。 Heterogeneous Treatment Effects(HTE) HTEは、属性等で条件...| LIVESENSE Data Analytics Blog
こんにちは、リブセンスでデータサイエンティストをしている北原です。今回はStanを使ったレコメンデーション用FM(Factorization Machines)を扱います。 FMはシンプルなモデルなのでStanで簡単に実装することができます。しかし、レコメンデーションで使う場合はスパースデータに対応したものにしないと無駄な計算が多く計算に非常に時間がかかってしまったりメモリを大...| LIVESENSE Data Analytics Blog
前回に続きコンテキストを扱えるFactorization Machines(FM)をモデルとした、Bayesian Personalized Ranking(BPR)(以下ではBPR-FMと略)を紹介します。今回はBPR-FMのモデルパラメータ推定の実装の話をします。実装にはJuliaを使います。モデルやアルゴリズムの詳細については下記の記事をご参照ください。| LIVESENSE Data Analytics Blog
今回から３回にわたって暗黙的評価データを使ったコンテキスト対応レコメンデーションの紹介をしようと思います。具体的には、コンテキストを扱えるFactorization Machines(FM)をモデルとした、Bayesian Personalized Ranking(BPR)を紹介します。今回はアルゴリズムとモデル、次回は実装、最後は実務での応用の話をします。| LIVESENSE Data Analytics Blog
こんにちは、リブセンスで分析や機械学習関係の仕事をしている北原です。 今回は求職者に向けたリブセンスの機械学習業務の紹介です。 求職者に業務内容を理解してもらうのが目的の記事になっています。 各事業部で進められている機械学習プロジェクトなどもあるのですが、本記事ではテクノロジカルマーケティング部という横断組織での機械学習専門職の業務...| LIVESENSE Data Analytics Blog
はじめに 皆さんこんにちは! ソーシャル経済メディア「NewsPicks」プロダクトエンジニアの森田 (@moritama7431) です:) 私は2024年4月に株式会社ユーザベースに新卒入社し、現在は主にNewsPicksにおける推薦機能の開発改善に携わっています。 本記事では、NewsPicksにおける推薦システムの継続的改善を加速させるために、機械学習パイプラインの新規追加の学習コストと開発工数...| Uzabase for Engineers
「追加したキャンペーンの広告配信を開始したので、機械学習が進むまで待ちます」 「学習期間が終われば、きっと成果…| Yuwai株式会社
この記事はIPFactory Advent Calendar 24日目の記事です。 qiita.com こんにちは、futabatoです。 先日の記事で言及していたCSRF脆弱性検出アプローチに機械学習を取り入れている論文を見つけていたので、論文メモとしてBlogに残しておきます。 まだまだWebセキュリティの用語をきちんと理解できていない部分があるので、ところどころ論文に書いてあることを直訳したが故に変な...| 今日をどう過ごそうか
aptpod Advent Calendar 2024 12月19日の記事を担当します、intdashグループの野本です。 普段からエッジデバイスでのコンテナ化やAIモデルの利用に携わっており、その調査を兼ねてIntel® Deep Learning Streamer（以下、DL Streamer）を試してみました。 特に、最近Dockerでのインストールがサポートされたとのことで、手軽に始められるようになった点にも注目しています。*1 本記事では...| aptpod Tech Blog
この記事は IPFactory OB Advent Calendar 2023 25日目の記事です。 qiita.com はじめに こんにちは、ふたばとです。 つぶグミは言わずと知れたウマスギ物質の一つです。最近値上げしてしまったり内容量が減ったりしまっていますが、それでも１袋 130 円程度で 80 gも入っているのでとても満足できる商品となっています。個人的に弾力も完璧で、味・量・食感・価格などの観点か...| アルゴリズム弱太郎
こんにちは、futabatoです。 今回は、Deep metric learning using Triplet network ( Hoffer, Elad, and Nir Ailon., 2015 )の論文に目を通したので、論文メモとしてBlogに残しておきます。 arxiv.org Deep metric learning using Triplet network 論文の概要 著者: Hoffer, Elad, and Nir Ailon. 年度: 2015 論文URL: https://arxiv.org/abs/1412.6622 被引用数: 1591 タグ: face reco…| アルゴリズム弱太郎
こんにちは、futabatoです。 今回は、Explaining and Harnessing Adversarial Examples (Goodfellow, Ian J., Jonathon Shlens, and Christian Szegedy., 2015)の論文に目を通したので、論文メモとしてBlogに残しておきます。 https://arxiv.org/abs/1412.6572arxiv.org Explaining and Harnessing Adversarial Examples 論文の概要 著者: Goodfellow, Ian J., Jonathon Shle…| アルゴリズム弱太郎
この記事はIPFactory Advent Calendar 2021の8日目の記事です。 こんにちは、futabatoです。 今まで触れてこなかった半教師あり学習について学ぶ機会があったので、勉強したことをBlogに残しておきます。 Semi-Supervised Learning Overview Motivation Consistency Regularization Entropy Minimization Pseudo-Labeling Methods of Semi-Supervised Learning Classifier-based methods Self-Trainin…| アルゴリズム弱太郎
こんにちは、futabatoです。 y0d3nとl7elVliと『WAffle』というWAF(Web Application Firewall)を実装をしたので、成果物の開発記を書きました。 リポジトリはこちらになります。 github.com WAffleのコンセプトとしては、正規表現によるパターンマッチングと機械学習で防御するWAFです。 denylistで定義済みのシグネチャを参照したパターンマッチングで弾けるものを弾いて、パターンマッ...| アルゴリズム弱太郎
秋の風物詩であるキンモクセイ（金木犀）は、オレンジ色のフルーティで甘い香りが特徴で、英名はまさしく「フレラント・オリーブ（Fragrant olive）」。香りを楽しむには朝がおすすめで、酵素が活発になるため香りが強くなるそう。ぜひ通勤・通学時に香ってほしい。 キンモクセイはすべて国から持ち込まれた雄株のみで増やしたクローンなので、通常の植物と違っ...| SAS Japan
こんにちは！| キーワードマーケティング公式 インハウス支援室
こんにちは、リブセンスで統計や機械学習関係の仕事をしている北原です。今回はレコメンデーションで使う評価推定値計算の効率化に関する小ネタです。機械学習を実務で使うときのちょっとした工夫に関するお話です。実装にはJuliaを使います。 FM(Factorization Machines)をレコメンデーションで使う場合、各ユーザーに対してレコメンド可能なアイテムの評価推定値計算...| LIVESENSE Data Analytics Blog
こんにちは、リブセンスで統計や機械学習関係の仕事をしている北原です。今回はレコメンデーションにも使えるFactorization Machines(FM)の効率的な学習アルゴリズムの紹介です。実装にはJuliaを使います。 実務で必要な要件を満たす機械学習ライブラリがなくて、機械学習モデルをカスタマイズすることってありますよね。最近はTensorFlowのような機械学習フレームワーク...| LIVESENSE Data Analytics Blog
こんにちは、リブセンスでデータサイエンティストをしている北原です。今回はアウトカムが2値のHeterogeneous Treatment Effects(HTE)に関する簡単な検証実験を扱います。コードはRです。やりたいことはパラメトリックなモデルのみを使ってHTEを推定することですが、比較用に非線形モデルを使った方法についても調べました。 Heterogeneous Treatment Effects(HTE) HTEは、属性等で条件...| LIVESENSE Data Analytics Blog
ベクトルデータベース ベクトルデータベースとは、データ (文書、音声、画像など) をベクトルとして保存・検索するデータベースです。 ベクトル埋め込み ベクトル埋め込みとは、データ (文書、音声、画像など) の意味や関係性をベクトルに変換する...| ほげほげテクノロジー - IT 技術学習サイト
アンドパッドのデータ部でデータ基盤や機械学習基盤の開発・運用をしている須貝です。冷やし中華が美味しい季節になりましたね。 先日、アンドパッドで初めて機械学習をプロダクトに組み込むことができました。プレスリリース も出すことができましたので、この記事ではこちらについて紹介します。 豆図AIキャプチャーとは 工事の際に、証拠資料としての工事...| ANDPAD Tech Blog
RAG (Retrieval-Augmented Generation) RAG とは、データベースの検索結果を元に、LLM (生成 AI) が回答を生成する技術です。※生成 AI はテキスト/画像/音声などを生成、LLM は| ほげほげテクノロジー
はじめに きっかけ 何を開発しているか 機械学習の門外漢 機械学習とは ニューラルネットワークとは パーセプトロン 活性化関数 ニューラルネットワークの推論 配列の内積 numpy 推論 ニューラルネットワークの訓練 ロス関数 微分 誤差逆伝播法 全体的な処理イメージ まとめ はじめに みなさん、こんにちは！SaaS事業 Product Team の成です。 本日はSWEの経験しかない私が...| Uzabase for Engineers
こんにちは，ふたばとです． 今回は最近開発している自作の連合学習フレームワーク『FutabatedLearning』を紹介をしてみようと思います． 最低限人に見せられるよう整えたので LICENSE を MIT にしてリポジトリを公開しました． github.com 連合学習とは，機械学習におけるプライバシーの保護に重点を置いた学習手法です． 一般的な機械学習を１つの中央のサーバにデータを...| アルゴリズム弱太郎
こんにちは、リブセンスで機械学習関係の仕事をしている北原です。 弊社の転職ナビアプリには求人をレコメンドする機能が実装されていて、求人の好みを回答すると各ユーザーに合った求人がレコメンドされるようになっています。このサービスではいくつかのレコメンドアルゴリズムが使われているのですが、その中にBPMF(Bayesian Probabilistic Matrix Factorization)というア...| LIVESENSE Data Analytics Blog
この記事は IPFactory OB Advent Calendar 2023 23日目の記事です。 qiita.com こんにちは、ふたばとです。 今日は CMU から出されている LEAF という連合学習用のベンチマーキングフレームワークを使ってみます。 英語でも使ってみた系のテックブログがすぐに見つけられなかったので、参考になれば幸いです。 github.com LEAF -A Benchmark for Federated Settings- LEAF について LEAF は、連合学習...| 今日をどう過ごそうか
こんにちは、futabatoです。 今回は、ArcFace: Additive Angular Margin Loss for Deep Face RecognitionrcFace ( Deng, Jiankang, et al. , 2019 )の論文に目を通したので、論文メモとしてBlogに残しておきます。 openaccess.thecvf.com ArcFace: Additive Angular Margin Loss for Deep Face RecognitionrcFace 論文の概要 著者: Deng, Jiankang, et al. 年度: 2019 論文URL: h…| アルゴリズム弱太郎
こんにちは、futabatoです。 今回は、Dimensionality Reduction by Learning an Invariant Mapping ( Hadsell, Raia, Sumit Chopra, and Yann LeCun. , 2006 )の論文に目を通したので、論文メモとしてBlogに残しておきます。 ieeexplore.ieee.org Dimensionality Reduction by Learning an Invariant Mapping 論文の概要 著者: Hadsell, Raia, Sumit Chopra, and Yann LeCun.…| アルゴリズム弱太郎
こんにちは、futabatoです。 今回は、Robust Detection of Adversarial Attacks by Modeling the Intrinsic Properties of Deep Neural Networks( Zheng, Zhihao, and Pengyu Hong., 2018)の論文に目を通したので、論文メモとしてBlogに残しておきます。 proceedings.neurips.cc Robust Detection of Adversarial Attacks by Modeling the Intrinsic Properties of De…| アルゴリズム弱太郎
こんにちは、futabatoです。 今回は、One pixel attack for fooling deep neural networks ( Su, Jiawei, Danilo Vasconcellos Vargas, and Kouichi Sakurai., 2017 )の論文に目を通したので、論文メモとしてBlogに残しておきます。 arxiv.org One pixel attack for fooling deep neural networks 論文の概要 著者: Su, Jiawei, Danilo Vasconcellos Vargas, and Kouichi Sak…| アルゴリズム弱太郎
こんにちは、futabatoです。 今回は、Feature Squeezing: Detecting Adversarial Examples in Deep Neural Networks (Xu, Weilin, David Evans, and Yanjun Qi., 2017)の論文に目を通したので、論文メモとしてBlogに残しておきます。 arxiv.org Feature Squeezing: Detecting Adversarial Examples in Deep Neural Networks 論文の概要 著者: Xu, Weilin, David Evans, and Y…| アルゴリズム弱太郎
こんにちは、futabatoです。 今回は、Adversarial T-shirt! Evading Person Detectors in A Physical World (Xu, Kaidi, et al., 2020)の論文に目を通したので、論文メモとしてBlogに残しておきます。 arxiv.org Adversarial T-shirt! Evading Person Detectors in A Physical World 論文の概要 著者: Xu, Kaidi, et al. 年度: 2020 論文URL: https://arxiv.org/abs/1910.11099 被…| アルゴリズム弱太郎
こんにちは、futabatoです。 今回は、Physical Adversarial Examples for Object Detectors (Song, Dawn, et al., 2018 )の論文に目を通したので、論文メモとしてBlogに残しておきます。 arxiv.org Physical Adversarial Examples for Object Detectors 論文の概要 著者: Song, Dawn, et al. 年度: 2018 論文URL: https://arxiv.org/abs/1807.07769 被引用数: 261 タグ: Physical, Obje…| アルゴリズム弱太郎
こんにちは、futabatoです。 今回は、The Limitations of Deep Learning in Adversarial Settings(Papernot, Nicolas, et al., 2016)の論文に目を通したので、論文メモとしてBlogに残しておきます。 arxiv.org The Limitations of Deep Learning in Adversarial Settings 論文の概要 著者: Papernot, Nicolas, et al. 年度: 2016 論文URL: https://arxiv.org/abs/1511.07528 被引用数…| アルゴリズム弱太郎
社会に大きな影響を持ちうるこれらの技術が、アートやデザインはもちろん、ビジネスにおいてどのような変化を引き起こ…| Data