はじめに こんにちは！ 株式会社ユーザベース スピーダ事業の飯田です。 普段はベクトル検索用の埋め込みモデルの学習及びデプロイを行っています。 大きなモデルを低リソースで学習する手法としてQLoRAとFSDPが広く用いられています。 この記事では、SentenceTransformersにおいてFSDP+QLoRAを行うときの注意点をご紹介します！ 特に、開発データをつかって、学習過程をモ...| Uzabase for Engineers
ユーザベースは、「エンジニアリングを起点に、誰もがビジネスを楽しめる世界の実現」を目指し、テクノロジー・カンパニーであり続けたいと考えています。 2022年4月からスタートした「Play Engineering」というプロジェクトでは、エンジニアではない職種の社員も、楽しくエンジニアリングを学べる研修の実施や、保有するエンジニアリングスキルのレベルによって手...| Uzabase for Engineers
経済ニュースプラットフォーム「NewsPicks」で NewsPicks Stage. （以降Stage.）プロダクトを開発している西です。昨年11月より Stage. の開発チームに携わっておりまして、振り返りの意味もこめて簡単にですが開発基盤と開発手法の紹介をしようと思います。 Stage. について NewsPicks Stage. （https://newspicks-stage.com） は経済・ビジネス情報に特化した動画配信サービスです。スポン...| Uzabase for Engineers
株式会社ユーザベースでUB Researchを担当している高山です。 ユーザベースでは2023年7月からStudio Ousia社と業務提携して、自然言語処理の研究開発に取り組んでいます。今回はその取り組みの一つとして作った言語モデルについて書いていきます。 概要 経済情報を扱う製品群を開発するユーザベースでは、「企業」という情報を扱うことが非常に多くあります。 今回は、...| Uzabase for Engineers