はじめに こんにちは！ 株式会社ユーザベース スピーダ事業の飯田です。 普段はベクトル検索用の埋め込みモデルの学習及びデプロイを行っています。 大きなモデルを低リソースで学習する手法としてQLoRAとFSDPが広く用いられています。 この記事では、SentenceTransformersにおいてFSDP+QLoRAを行うときの注意点をご紹介します！ 特に、開発データをつかって、学習過程をモ...| Uzabase for Engineers
株式会社ユーザベースでUB Researchを担当している高山です。 ユーザベースでは2023年7月からStudio Ousia社と業務提携して、自然言語処理の研究開発に取り組んでいます。今回はその取り組みの一つとして作った言語モデルについて書いていきます。 概要 経済情報を扱う製品群を開発するユーザベースでは、「企業」という情報を扱うことが非常に多くあります。 今回は、...| Uzabase for Engineers
Fully Connected Tokyo 2024に登壇したSakana AIのCTO、Llion Jonesの語る未来 - 抽象的には「システム1とシステム2の融合」と捉えられるエージェント型AIシステムの開発方法論は現在進行形で大きく発展していて、今後、個別具体の課題に対応するためには基盤モデルやファインチューニイングなどのモデル開発以上に付加価値を生み出しやすい領域になっていくと考えられます。| Data
