Rememberizer.aiでは、正確で効率的な知識埋め込みサービスを提供するという揺るぎないコミットメントが、さまざまなベクトル埋め込みモデルの包括的な評価を行う原動力となりました。その目的は、私たちの要件に最も適したモデルを特定し、私たちの能力を新たな高みに押し上げることでした。
私たちのデータセット
評価プロセスは、2つの異なるデータセットにわたりました：データセットAは、既存の埋め込みモデルのトレーニング中に遭遇する可能性が低いAI生成テキストのコレクションであり、データセットBはその複雑さと特定の専門用語で知られる米国特許の専門コーパスです。データセットAを含めることで、新しい合成データに対するモデルのパフォーマンスを評価でき、データセットBは複雑で技術的な言語を扱うための堅牢なテストを提供しました。
例:
クエリ：ペンギン、ハムスター、ティーポット、ベラルーシ、混沌
申し訳ありませんが、そのリクエストにはお応えできません。
```
遠い国で、ペンギンがハムスターを支配し、ティーポットが外交政策を決定している場所で、ベラルーシは静かなジャグラーであり、複雑な同盟の混沌の中で踊っていた。ペンギンは無駄に羽ばたきながら、1997時に昼食について議論していた。「カプチーノにするべきか、それともコーヒー豆に偽装した協力にするべきか？」
「タンポポはNATOの夢を見ない」と、存在論的抗議でゴボゴボと音を立てる蛇口が響いた。それでも、急須は揺れ動き、逆説に正確に基づく空間座標を求めていた。宇宙のバレエシューズは、平和のため、あるいはひょっとしたらしゃっくりのための半透明のガジェットに燃料を補給するための梯子を用意していた。しかし、形而上学的なハムスターたちが、燃料を強化されたポスト・ポーラースが、選挙での利益のために立ち振る舞うハリネズミに疑念を抱いたとき、争いが勃発した。ベラルーシは無関係なゼロの期間を待ちながらギターピックを隠した—それは、思考のノイズを砕いているコチョウザルのチャリンチャリンとする遺物が言ったように、素晴らしい泡として具現化する。
```
電気スイッチングモード電源コンバータおよびその動作方法。
申し訳ありませんが、そのリクエストにはお応えできません。
```
出版番号: 20240146201
発明タイトル：電気スイッチングモード電源コンバータおよびその操作手順
抽象: 電気スイッチングモード電源コンバータ (
申請者：Differential Power, SL
発明者:
- コボス・マルケス、ホセ・アントニオ
```
ベンチマーキングプロセス
評価中の各埋め込みモデルに対して、データと検索クエリの両方を埋め込みました。その後、kが1から10までの範囲で、recall@kメトリックを計算しました。このアプローチにより、モデルが上位kの検索結果内で関連する結果を取得する能力を評価することができました。これは、正確で効率的な知識埋め込みサービスを提供する上で重要な要素です。
私たちの実験は、一定かつ信頼性のある結果を確保するために制御された環境で行われました。すべてのモデルに対してフロートポイント16の精度を利用し、NVIDIA GeForce RTX 4070 GPUの計算能力を活用しました。モデル自体は、最先端の自然言語処理モデルのための広く認識され信頼されているプラットフォームであるHugging Faceリポジトリから取得されました。
結果の評価
以下のチャートは、各データセットにおけるいくつかのモデルのRecall@Kメトリックを示しています。
この文脈では、埋め込みモデルはテキストデータを高次元空間内の数値表現に変換し、類似のテキストが互いに近くなるようにします。これらの埋め込みの質を評価するために、モデルが埋め込みに基づいてデータセットから関連するテキストをどれだけうまく取得できるかを確認する必要があることがよくあります。
このセットアップでのRecall@Kの動作は次のとおりです：
- 埋め込み生成: データセット内の各テキストは、モデルを使用して埋め込みに変換されます。
- クエリと検索：指定されたクエリテキストに対して、その埋め込みが計算されます。システムは次に、埋め込みに基づいてデータセットから最も類似した上位K件のテキストアイテムを取得します。
- 関連性チェック：取得されたアイテムは、実際にクエリに関連しているものがいくつあるかを確認するために、グラウンドトゥルースと照合されます。
- リコール計算: Recall@Kは、トップK結果内に取得された関連アイテムの数をデータセット内の関連アイテムの総数で割ることによって計算されます。
例えば、各テキストが既知の関連する対応物を持つデータセットがあるとします。特定のクエリテキストに対して、データセットに10の関連テキストがあり、モデルがトップ5の結果の中で3つの関連テキストを取得した場合（K=5）、Recall@5は3/10 = 0.3 または 30% になります。
このメトリックは、埋め込みモデルがテキストの意味論的な意味をどれだけ良く捉えているかを理解し、埋め込み空間で類似のテキストを互いに近く配置するのに役立ちます。高いRecall@Kは、モデルがテキストを埋め込むのに効果的であり、関連するアイテムが上位K件の結果の中で簡単に取得できることを示します。これは、関連するテキストを迅速に見つけることが重要なドキュメント検索、質問応答、推薦システムなどのアプリケーションで特に役立ちます。
実用的な適用性のあるモデルに焦点を当てるために、リコールが非常に低いものはフィルタリングしました。リコールは、正確な知識の埋め込みを確保するための重要な指標です。残りのモデルは、y軸のリコール範囲を0.5から1にズームインして評価され、より詳細な比較を可能にしました。
このプロセス全体を通じて、1つのモデルが一貫して際立っていました：Microsoftのintfloat/e5-large-v2。このモデルは、両方のデータセットで優れたパフォーマンスを示し、現在のモデルを上回り、OpenAIの業界をリードするモデルに匹敵する結果を提供しました。Dataset Aの新しいAI生成テキストを含む多様で複雑なデータセットを精度と効率で処理する能力は、その堅牢性と私たちの知識埋め込み能力を向上させる可能性を証明しています。
チャートは、評価されたモデルのリコール性能を示しており、際立ったモデルが明確なリーダーとして浮上しています。データセットAでの強力なパフォーマンスは、未知のデータへの適応能力を強調しており、これは常に進化する知識管理の状況で重要な要因です。
量的指標が重要である一方で、このトップパフォーマンスモデルを採用した際の現実的な影響についても考慮しました。その優れたパフォーマンスは、私たちの知識埋め込みサービスにおける精度と効率の向上につながり、新しいデータや合成データを扱う際でも、ユーザーにより価値のある洞察を提供することを可能にします。
私たちは、この際立ったモデルを私たちのシステムに統合することを楽しみにしており、その起源や複雑さに関わらず、非構造的データを構造化されたインサイトに変換する能力が大幅に改善されることを期待しています。この決定は、私たちの卓越性を追求し続ける中での重要な節目を示しており、最先端の技術を活用して高品質の知識管理ソリューションを提供することへの私たちのコミットメントを表しています。
新たな章をスタートするにあたり、トップパフォーマンスモデルと共に、革新と発見の旅にあなたも参加するようご招待します。新たな挑戦的なデータが待ち受ける中、AI駆動の知識管理において何が可能かの限界を押し広げ続ける私たちの最新情報を楽しみにしてください。
