5 つのスペシャリスト モデルが行っていたことを 740M モデルが実現

Google は 10 月 6 日に、テキスト、コード、画像、オーディオ、ビデオを 1 つの表現に埋め込む Apache 2.0 上のオープン 7 億 4,000 万パラメータ モデルとして EmbeddingGemma 2 をリリースしました。コンテキスト ウィンドウは 8,000 トークンに達し、以前のバージョンの 4 倍になりました。

ほとんどのチームにとって、これは配管のカテゴリ全体を破壊します。以前は、データ型ごとに個別のエンベッダーを実行し、結果を結合していました。現在は 1 つのモデルで多くの機能をカバーしています。

携帯電話上でオフラインで実行できるほど小さい。Google は、テキスト専用のアクティブ RAM が約 191 MB であると述べた。つまり、クエリごとにサーバーを呼び出すのではなく、検索と取得をデバイス上で実行できるということです。

私なら、法的または医学的な検索のためにそれを信頼する前に、あなた自身のコーパスでベンチマークを行います。オープンで小さいことがデフォルトとして最適ですが、ドメインが適合することを保証するものではありません。