+
+
+### クラスターへの接続
+
+外部 IP アドレスによって、クラスターへの接続方法が異なる場合があります。
+
+2 つのサービスいずれも外部 IP が `127.0.0.1` の場合、Weaviate へは次のように接続します。
+
++ gRPC サービスへのアクセス確認のもう一つの方法 +
+ +`netcat` がインストールされている場合、次のコマンドも試せます。 + +```bash +nc -zv 127.0.0.1 50051 +``` + +出力例: + +```bash +Connection to 127.0.0.1 port 50051 [tcp/*] succeeded! +``` + +多くのシステムでは `nc` がデフォルトでインストールされていません。インストールされていなくても問題ありません。`kubectl get svc` の出力で gRPC サービスへのアクセスを十分確認できます。 +
+
+## Node.js のインストール
+
+### Node.js インストール確認
+
+ターミナルウィンドウ（例: bash、zsh、Windows PowerShell、Windows Terminal）を開き、次を実行します。
+
+```shell
+node --version # or node -v
+```
+
+Node.js がインストールされている場合、`v22.3.0` のような応答が表示されます。Weaviate TypeScript / JavaScript ライブラリがサポートする Node.js の最小バージョンは `v18` です。
+
+
+### Node.js のインストール
+
+インストールするには、[nodejs.org](https://nodejs.org/en/download/package-manager) にあるシステム別の手順に従ってください。
+
+Node.js のインストール後、再度バージョンを確認し、推奨バージョンが入っていることを確かめましょう。
+
+:::tip Advanced option: `nvm`
+Python をインストールするもう一つの良い方法は `nvm` をインストールすることです。これにより、システム上で複数バージョンの Node.js を管理できます。`nvm` のインストール方法は [こちら](https://github.com/nvm-sh/nvm?tab=readme-ov-file#installing-and-updating) を参照してください。
+:::
+
+
+### (任意) TypeScript のセットアップ
+
+インストール方法は [typescriptlang.org](https://www.typescriptlang.org/download/) にあるシステム別ガイドをご覧ください。インストール後、Weaviate クライアントで TypeScript を利用するための設定方法は [こちら](../../weaviate/client-libraries/typescript/index.mdx) に記載されています。
+
+これで TypeScript を Weaviate クライアントと一緒に使用する準備ができました。
+
+## Weaviate クライアントのインストール
+
+次に、[Weaviate クライアントライブラリ](../../weaviate/client-libraries/index.mdx) をインストールします。これにより、TypeScript で Weaviate とやり取りするのが格段に簡単になります。
+
+プロジェクト用の新しいフォルダーで、次を実行して Weaviate クライアントをインストールします。
+
+```shell
+npm install weaviate-client
+```
+
+### インストール確認
+
+Weaviate クライアントがインストールされているか確認するには、ターミナルで次を実行してください。
+
+```shell
+npm view weaviate-client
+```
+
+以下のような出力が得られます。
+
+```text
+3.1.4.
+```
+
+これで Weaviate TypeScript / JavaScript クライアントライブラリを使用するための準備が完了しました。おめでとうございます！
+
+## 質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+
+
+本セクションでは、Weaviate Typescript v3 クライアントである [weaviate-client](https://www.npmjs.com/package/weaviate-client) を使用してアプリケーションを構築する方法を解説します。
+
+
+
+### クライアントサーバーアプリケーションでの weaviate-client の使用
+
+v3 クライアントは gRPC を使用してお客様の Weaviate インスタンスに接続します。クライアントは Node.js を用いたサーバーサイド開発をサポートしており、ブラウザベースの Web クライアント開発には対応していません。
+
+クライアントのインストール手順は [こちら](../../../../weaviate/client-libraries/typescript/index.mdx#installation) をご覧ください。新しい v3 クライアントを使用する大きな利点は、gRPC プロトコルの導入です。gRPC は大規模なデータベース操作を高速かつ信頼性高く処理できます。ただし、gRPC はブラウザベースのクライアント開発をサポートしていません。
+
+[weaviate-client](../../../../weaviate/client-libraries/typescript/index.mdx) を実行するための要件に加え、クライアントサーバーアーキテクチャはクライアントから直接やり取りする場合よりも安全性が高いというメリットがあります。
+
+クライアントサーバー方式を採用することで、ロードバランシング、ユーザーおよびセッション管理、ミドルウェアの導入など、さまざまな最適化を行いながら Weaviate を活用できます。
+
+次のセクションでは、クライアントサーバーアプリケーションの構築方法を紹介します。
+- [バックエンド Web フレームワークの使用](./20_building-client-server.mdx)
+- [フルスタック Web フレームワークの使用](./30_fullstack.mdx)
\ No newline at end of file
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/academy/js/standalone/client-server/20_building-client-server.mdx b/i18n/ja/docusaurus-plugin-content-docs/current/academy/js/standalone/client-server/20_building-client-server.mdx
new file mode 100644
index 000000000..87ee7e0f5
--- /dev/null
+++ b/i18n/ja/docusaurus-plugin-content-docs/current/academy/js/standalone/client-server/20_building-client-server.mdx
@@ -0,0 +1,130 @@
+---
+title: バックエンド Web フレームワークの利用
+---
+
+import Tabs from '@theme/Tabs';
+import TabItem from '@theme/TabItem';
+import FilteredTextBlock from '@site/src/components/Documentation/FilteredTextBlock';
+import TSCode from '!!raw-loader!./_snippets/20_backend.js';
+import ClientCode from '!!raw-loader!./_snippets/index.html';
+import WeaviateTypescriptImgUrl from '/docs/academy/js/standalone/client-server/_img/backend.jpg';
+
+
+
+このアプローチでは、ツールを 2 つに分けます。1 つはサーバーアプリケーションを構築するためのバックエンドフレームワーク、もう 1 つはクライアントアプリケーションを構築するためのツールです。ここではバックエンドサーバーを構築するために Express.js を、クライアントとして Thunder Client を使用してバックエンドサーバーへ API コールを行います。
+
+
+
+
+## サーバーの構築
+
+このサーバーには、`searchTerm` をクエリパラメーターとして受け取る 1 つのルートを用意します。
+
+### 1. Node.js アプリケーションの初期化
+
+新しいディレクトリで次のコマンドを実行し、 Node.js プロジェクトを初期化して Express を使ったサーバーを構築します。
+
+```bash
+npm init
+```
+### 2. プロジェクト依存関係のインストール
+
+プロジェクトを初期化したら、環境変数を管理するための `dotenv`、サーバーを構築するための `express`、そして Weaviate データベースとの通信を行う `weaviate-client` をインストールします。
+
+```bash
+npm install express dotenv weaviate-client
+```
+
+
+### 3. Weaviate データベースのセットアップ
+
+まず [Weaviate Cloud](https://console.weaviate.cloud/) で無料のサンドボックスアカウントを作成します。サンドボックスプロジェクトのセットアップで問題がある場合は、[こちらのガイド](/cloud/manage-clusters/connect) を参照してください。
+
+Weaviate クラスターの URL と API キーが必要です。まだお持ちでない場合は、Cohere の [API キー](https://dashboard.cohere.com/api-keys) を新規作成してください。Cohere を私たちの埋め込みモデルとして使用します。準備ができたら、これら 3 つを `.env` ファイルに追加します。
+
+
+
+
+## Next.js での開発
+
+### 1. Next.js アプリケーションの作成
+
+Next.js で新しいアプリケーションを作成するには、ターミナルで次のコマンドを実行します。
+
+```bash
+create-next-app + { data } +
+ + + ) + +} + +``` +#### 6. フルスタックアプリの実行 + +ターミナルで次のコマンドを実行してアプリケーションを起動します。 + +```bash +npm run dev +``` + +アプリケーションは `localhost:3000` で実行されているはずです。 + +## その他のフレームワーク + +本ガイドでは Next.js のみを詳しく説明しましたが、Nuxt、Solid、Angular など、さまざまなフルスタックフレームワークを使用して Weaviate と連携した開発が可能です。 + +試していただける[スターター](https://github.com/topics/weaviate-starter)アプリケーションの一覧も用意しています。 + diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/academy/js/standalone/client-server/_img/architecture.jpg b/i18n/ja/docusaurus-plugin-content-docs/current/academy/js/standalone/client-server/_img/architecture.jpg new file mode 100644 index 000000000..9a8ddb7cf Binary files /dev/null and b/i18n/ja/docusaurus-plugin-content-docs/current/academy/js/standalone/client-server/_img/architecture.jpg differ diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/academy/js/standalone/client-server/_img/backend.jpg b/i18n/ja/docusaurus-plugin-content-docs/current/academy/js/standalone/client-server/_img/backend.jpg new file mode 100644 index 000000000..c5fe962ce Binary files /dev/null and b/i18n/ja/docusaurus-plugin-content-docs/current/academy/js/standalone/client-server/_img/backend.jpg differ diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/academy/js/standalone/client-server/_img/fullstack.jpg b/i18n/ja/docusaurus-plugin-content-docs/current/academy/js/standalone/client-server/_img/fullstack.jpg new file mode 100644 index 000000000..417f0d518 Binary files /dev/null and b/i18n/ja/docusaurus-plugin-content-docs/current/academy/js/standalone/client-server/_img/fullstack.jpg differ diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/academy/js/standalone/client-server/_snippets/20_backend.js b/i18n/ja/docusaurus-plugin-content-docs/current/academy/js/standalone/client-server/_snippets/20_backend.js new file mode 100644 index 000000000..fdac27ebb --- /dev/null +++ b/i18n/ja/docusaurus-plugin-content-docs/current/academy/js/standalone/client-server/_snippets/20_backend.js @@ -0,0 +1,62 @@ +// START weaviate.js +import weaviate from 'weaviate-client' +import 'dotenv/config'; + +export const connectToDB = async () => { + try { + const client = await weaviate.connectToWeaviateCloud(process.env.WEAVIATE_URL,{ + authCredentials: new weaviate.ApiKey(process.env.WEAVIATE_API_KEY), + headers: { + 'X-Cohere-Api-Key': process.env.COHERE_API_KEY || '', + } + } + ) + console.log(`We are connected! ${await client.isReady()}`); + return client + } catch (error) { + console.error(`Error: ${error.message}`); + process.exit(1); + } +}; + +// END weaviate.js +const dotEnv = ``` +// START .env +COHERE_API_KEY= +WEAVIATE_URL= +WEAVIATE_API_KEY= +// END .env +``` + +// START app.js +import express from 'express'; +import { connectToDB } from './config/weaviate.js'; + +const app = express(); +const port = 3005 + +const client = await connectToDB(); + +app.get('/', async function(req, res, next) { + var searchTerm = req.query.searchTerm; + + const wikipedia = client.collections.use("Wikipedia") + + try { + const response = await wikipedia.query.nearText(searchTerm, { + limit: 3 + }) + + res.send(response.objects) + } catch (error) { + console.error(`Error: ${error.message}`); + } + }) + +app.listen(port, () => { + console.log(`App listening on port ${port}`) +}) + + + +// END app.js diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/academy/js/standalone/client-server/_snippets/30_fullstack.js b/i18n/ja/docusaurus-plugin-content-docs/current/academy/js/standalone/client-server/_snippets/30_fullstack.js new file mode 100644 index 000000000..2458d472a --- /dev/null +++ b/i18n/ja/docusaurus-plugin-content-docs/current/academy/js/standalone/client-server/_snippets/30_fullstack.js @@ -0,0 +1,67 @@ +// START weaviate.js + +import weaviate from 'weaviate-client' +import 'dotenv/config'; + +export const connectToDB = async () => { + try { + const client = await weaviate.connectToWeaviateCloud(process.env.WEAVIATE_URL,{ + authCredentials: new weaviate.ApiKey(process.env.WEAVIATE_API_KEY), + headers: { + 'X-Cohere-Api-Key': process.env.COHERE_API_KEY || '', + } + } + ) + console.log(`We are connected! ${await client.isReady()}`); + return client + } catch (error) { + console.error(`Error: ${error.message}`); + process.exit(1); + } +}; + +// END weaviate.js + +// .env +` +COHERE_API_KEY= +WEAVIATE_URL= +WEAVIATE_API_KEY= +` +// END .env + + +// START app.js +import express from 'express'; +import { connectToDB } from './config/weaviate.js'; + +const app = express(); +const port = 3005 + +const client = await connectToDB(); + + + +app.get('/', async function(req, res, next) { + var searchTerm = req.query.searchTerm; + + const wikipedia = client.collections.use("Wikipedia") + + try { + const response = await wikipedia.query.nearText(searchTerm, { + limit: 5 + }) + + res.send(response.objects) + } catch (error) { + console.error(`Error: ${error.message}`); + } + }) + +app.listen(port, () => { + console.log(`App listening on port ${port}`) +}) + + + +// END app.js diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/academy/js/standalone/client-server/_snippets/index.html b/i18n/ja/docusaurus-plugin-content-docs/current/academy/js/standalone/client-server/_snippets/index.html new file mode 100644 index 000000000..0819a2dfe --- /dev/null +++ b/i18n/ja/docusaurus-plugin-content-docs/current/academy/js/standalone/client-server/_snippets/index.html @@ -0,0 +1,83 @@ + + + + +
+
+
+
+
+
+
\ No newline at end of file
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/academy/js/standalone/client-server/index.md b/i18n/ja/docusaurus-plugin-content-docs/current/academy/js/standalone/client-server/index.md
new file mode 100644
index 000000000..fb3c257c1
--- /dev/null
+++ b/i18n/ja/docusaurus-plugin-content-docs/current/academy/js/standalone/client-server/index.md
@@ -0,0 +1,44 @@
+---
+title: クライアント-サーバー アプリケーションの構築
+---
+
+import Tabs from '@theme/Tabs';
+import TabItem from '@theme/TabItem';
+import FilteredTextBlock from '@site/src/components/Documentation/FilteredTextBlock';
+
+
+## 概要
+
+JavaScript で Weaviate を使用し、[weaviate-client](https://www.npmjs.com/package/weaviate-client) を利用して Web アプリケーションを構築する場合は、クライアント-サーバー アーキテクチャを採用することを推奨します。
+
+使用する開発ツールによって、この推奨事項は変わる場合があります。
+
+Next.js のようなフルスタック フレームワークは、サーバーサイド開発や Weaviate と通信するための API 作成をサポートしています。これは REST 呼び出し、または Next.js では Server 関数を通じて実現されます。このアプローチではクライアント アプリケーションとサーバー アプリケーションが密に結合されます。
+
+Express などのバックエンド Web フレームワークを使用すると、Weaviate と通信するための API を作成できます。クライアント アプリケーションはこの API を REST 呼び出しで利用します。この方法ではクライアント アプリケーションとサーバー アプリケーションを完全に分離できます。
+
+
+### 前提条件
+
+- `weaviate-client` がインストールされた Node.js 環境
+- Weaviate の検索機能に関する知識
+- JavaScript でモダンな Web アプリケーションを構築した経験
+- 中級程度のコーディングスキル (例: JavaScript)
+
+## 学習目標
+
+import LearningGoalsExp from '/src/components/Academy/learningGoalsExp.mdx';
+
+Semantic Search Results
+ +Loading...
+
+
+
+
+生成モデルにはさまざまなタイプがありますが、ここでは特に大規模言語モデル (LLM) に焦点を当てます。
+
+## 生成モデルを使うタイミング
+
+生成モデルは、検索拡張生成 (RAG) や エージェント 指向のワークフローで脚光を浴びています。主な用途は以下のとおりです。
+
+- **翻訳:** モデルはゼロショットで高精度に異なる言語へ翻訳できます。
+- **コード生成:** 高レベルな instructions を受け取り、機能するカスタム コードへ変換できます。
+- **画像生成:** プロンプトに含まれるテキスト指示から、高品質な画像を安定して生成できます。
+
+
+## 生成モデルの応用
+
+Anthropic の [Claude](https://www.anthropic.com/claude) ファミリーや Google の [Gemini](https://cloud.google.com/vertex-ai/generative-ai/docs/model-reference/inference) などの LLM は、テキスト データに特化した生成モデルです。ほとんどの機械学習モデルと同様に、これらのモデルも 1 種類以上のモダリティに限定されます。
+
+モダリティとは、モデルが処理・入出力できるデータの種類を指します。生成モデルは一般的に以下の 2 つに分類されます。
+
+- **ユニモーダル生成:** LLM の文脈で言えば、入力も出力も 1 つのモダリティ (通常はテキスト) に限定される生成能力です。
+
+
+
+
+### 接続の終了
+
+Weaviate クライアントの使用が終わったら、接続を終了する必要があります。これによりリソースが解放され、接続が正しくクローズされます。
+
+ベストプラクティスとして、 `try`-`finally` ブロックの使用を推奨します。簡潔にするため、以降のコードスニペットでは `try`-`finally` ブロックを省略します。
+
+`getMeta()` の出力例
+ +
+
+
+次に、対応するオブジェクトコレクションを作成し、データをインポートします。
+
+## 質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+サンプルテキストデータを見る
+ +| | backdrop_path | genre_ids | id | original_language | original_title | overview | popularity | poster_path | release_date | title | video | vote_average | vote_count | +|---:|:---------------------------------|:----------------|-----:|:--------------------|:----------------------------|:--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|-------------:|:---------------------------------|:---------------|:----------------------------|:--------|---------------:|-------------:| +| 0 | /3Nn5BOM1EVw1IYrv6MsbOS6N1Ol.jpg | [14, 18, 10749] | 162 | en | Edward Scissorhands | A small suburban town receives a visit from a castaway unfinished science experiment named Edward. | 45.694 | /1RFIbuW9Z3eN9Oxw2KaQG5DfLmD.jpg | 1990-12-07 | Edward Scissorhands | False | 7.7 | 12305 | +| 1 | /sw7mordbZxgITU877yTpZCud90M.jpg | [18, 80] | 769 | en | GoodFellas | The true story of Henry Hill, a half-Irish, half-Sicilian Brooklyn kid who is adopted by neighbourhood gangsters at an early age and climbs the ranks of a Mafia family under the guidance of Jimmy Conway. | 57.228 | /aKuFiU82s5ISJpGZp7YkIr3kCUd.jpg | 1990-09-12 | GoodFellas | False | 8.5 | 12106 | +| 2 | /6uLhSLXzB1ooJ3522ydrBZ2Hh0W.jpg | [35, 10751] | 771 | en | Home Alone | Eight-year-old Kevin McCallister makes the most of the situation after his family unwittingly leaves him behind when they go on Christmas vacation. But when a pair of bungling burglars set their sights on Kevin's house, the plucky kid stands ready to defend his territory. By planting booby traps galore, adorably mischievous Kevin stands his ground as his frantic mother attempts to race home before Christmas Day. | 3.538 | /onTSipZ8R3bliBdKfPtsDuHTdlL.jpg | 1990-11-16 | Home Alone | False | 7.4 | 10599 | +| 3 | /vKp3NvqBkcjHkCHSGi6EbcP7g4J.jpg | [12, 35, 878] | 196 | en | Back to the Future Part III | The final installment of the Back to the Future trilogy finds Marty digging the trusty DeLorean out of a mineshaft and looking for Doc in the Wild West of 1885. But when their time machine breaks down, the travelers are stranded in a land of spurs. More problems arise when Doc falls for pretty schoolteacher Clara Clayton, and Marty tangles with Buford Tannen. | 28.896 | /crzoVQnMzIrRfHtQw0tLBirNfVg.jpg | 1990-05-25 | Back to the Future Part III | False | 7.5 | 9918 | +| 4 | /3tuWpnCTe14zZZPt6sI1W9ByOXx.jpg | [35, 10749] | 114 | en | Pretty Woman | When a millionaire wheeler-dealer enters a business contract with a Hollywood hooker Vivian Ward, he loses his heart in the bargain. | 97.953 | /hVHUfT801LQATGd26VPzhorIYza.jpg | 1990-03-23 | Pretty Woman | False | 7.5 | 7671 | + +
+
+
+クエリ画像
+ + + +
+ 
+
+
+
+
+
+Weaviate の出力:
+
+```text
+Interstellar 2014 157336
+Distance to query: 0.354
+
+Gravity 2013 49047
+Distance to query: 0.384
+
+Arrival 2016 329865
+Distance to query: 0.386
+
+Armageddon 1998 95
+Distance to query: 0.400
+
+Godzilla 1998 929
+Distance to query: 0.441
+```
+
+
+
+### レスポンスオブジェクト
+
+返されるオブジェクトはカスタムクラスのインスタンスです。その `objects` 属性は検索結果のリストで、各オブジェクトも別のカスタムクラスのインスタンスです。
+
+各オブジェクトは次のとおりです:
+- BLOB データ型を除くすべてのプロパティと UUID がデフォルトで含まれます。
+ - `poster` プロパティは BLOB のため、デフォルトでは含まれません。
+ - `poster` を含めるには、他の取得したいプロパティとともに `returnProperties` パラメーターで指定する必要があります。
+- 参照、メタデータ、 ベクトル など、その他の情報はデフォルトでは含まれません。
+
+
+## テキスト検索
+
+### コード
+
+この例では、「Movie」からクエリ「red」との類似度に基づいてエントリを検索し、上位 5 件のタイトルと公開年を出力します。
+
+結果例
+ +上位 5 件のポスター: +
+
+
+
+
+
+Weaviate の出力:
+
+```text
+Interstellar 2014 157336
+Distance to query: 0.354
+
+Gravity 2013 49047
+Distance to query: 0.384
+
+Arrival 2016 329865
+Distance to query: 0.386
+
+Armageddon 1998 95
+Distance to query: 0.400
+
+Godzilla 1998 929
+Distance to query: 0.441
+```
+
+
+ 
+
+
+
+
+
+Weaviate の出力:
+
+```text
+Deadpool 2 2018 383498
+Distance to query: 0.670
+
+Bloodshot 2020 338762
+Distance to query: 0.677
+
+Deadpool 2016 293660
+Distance to query: 0.678
+
+300 2007 1271
+Distance to query: 0.682
+
+The Hunt for Red October 1990 1669
+Distance to query: 0.683
+```
+
+
+
+### レスポンスオブジェクト
+
+返されるオブジェクトの形式は前の例と同じです。
+
+
+## 質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+結果例
+ +上位 5 件のポスター: +
+
+
+
+
+
+Weaviate の出力:
+
+```text
+Deadpool 2 2018 383498
+Distance to query: 0.670
+
+Bloodshot 2020 338762
+Distance to query: 0.677
+
+Deadpool 2016 293660
+Distance to query: 0.678
+
+300 2007 1271
+Distance to query: 0.682
+
+The Hunt for Red October 1990 1669
+Distance to query: 0.683
+```
+
+
+
+
+
+## ハイブリッド検索
+
+### コード
+
+この例では、「Movie」クラス内で「history」という語に対してハイブリッド検索スコアが最も高いエントリを取得し、上位 5 件のタイトルと公開年を出力します。
+
+結果例
+ +```text +American History X 1998 +BM25 score: 2.707 + +A Beautiful Mind 2001 +BM25 score: 1.896 + +Legends of the Fall 1994 +BM25 score: 1.663 + +Hacksaw Ridge 2016 +BM25 score: 1.554 + +Night at the Museum 2006 +BM25 score: 1.529 +``` + +
+
+
+
+## ご質問・フィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+結果例
+ +```text +Legends of the Fall 1994 +Hybrid score: 0.016 + +Hacksaw Ridge 2016 +Hybrid score: 0.016 + +A Beautiful Mind 2001 +Hybrid score: 0.015 + +The Butterfly Effect 2004 +Hybrid score: 0.015 + +Night at the Museum 2006 +Hybrid score: 0.012 +``` + +
+
+
+
+## 質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+結果例
+ +```text +Dune 2021 +Distance to query: 0.199 + +Tenet 2020 +Distance to query: 0.200 + +Mission: Impossible - Dead Reckoning Part One 2023 +Distance to query: 0.207 + +Onward 2020 +Distance to query: 0.214 + +Jurassic World Dominion 2022 +Distance to query: 0.216 +``` + +
+
+
+### レスポンスオブジェクト
+
+各レスポンスオブジェクトは通常の検索クエリの結果と似ていますが、追加で `generated` 属性が含まれます。この属性には、各オブジェクトに対して生成された出力が格納されます。
+
+
+## 質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+例の結果
+ +```text +Interstellar +Interstellaire +Gravity +Gravité +Arrival +Arrivée +Armageddon +Armageddon +Godzilla +Godzilla +``` + +
+
+
+### オプションパラメーター
+
+使用するプロパティのリストを `groupedProperties` パラメーターとして渡すこともできます。これにより、大規模言語モデルに渡すデータ量を減らし、不要なプロパティを省くことができます。
+
+### レスポンスオブジェクト
+
+`groupedTask` パラメーター付きの RAG クエリは、追加の `generated` 属性を持つレスポンスを返します。この属性には、オブジェクト集合に対して生成された出力が格納されます。
+
+## 質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+結果例
+ +```text +Interstellar +Gravity +Arrival +Armageddon +Godzilla +These movies all involve space exploration, extraterrestrial beings, or catastrophic events threatening Earth. They all deal with themes of survival, human ingenuity, and the unknown mysteries of the universe. +``` + +
+ 例
+
+
+
+### 接続の終了
+
+Weaviate クライアントの使用が終わったら、接続を終了する必要があります。これによりリソースが解放され、接続が正常にクローズされます。
+
+ベスト プラクティスとして `try`-`finally` ブロックの使用を推奨します。簡潔さを保つため、以降のコード スニペットでは `try`-`finally` ブロックを省略します。
+
+例 getMeta() の出力
+
+
+
+
+次に、対応するオブジェクトコレクションを作成し、データをインポートします。
+
+## 質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+サンプルデータを表示
+ +| | backdrop_path | genre_ids | id | original_language | original_title | overview | popularity | poster_path | release_date | title | video | vote_average | vote_count | +|---:|:---------------------------------|:----------------|-----:|:--------------------|:----------------------------|:--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|-------------:|:---------------------------------|:---------------|:----------------------------|:--------|---------------:|-------------:| +| 0 | /3Nn5BOM1EVw1IYrv6MsbOS6N1Ol.jpg | [14, 18, 10749] | 162 | en | Edward Scissorhands | A small suburban town receives a visit from a castaway unfinished science experiment named Edward. | 45.694 | /1RFIbuW9Z3eN9Oxw2KaQG5DfLmD.jpg | 1990-12-07 | Edward Scissorhands | False | 7.7 | 12305 | +| 1 | /sw7mordbZxgITU877yTpZCud90M.jpg | [18, 80] | 769 | en | GoodFellas | The true story of Henry Hill, a half-Irish, half-Sicilian Brooklyn kid who is adopted by neighbourhood gangsters at an early age and climbs the ranks of a Mafia family under the guidance of Jimmy Conway. | 57.228 | /aKuFiU82s5ISJpGZp7YkIr3kCUd.jpg | 1990-09-12 | GoodFellas | False | 8.5 | 12106 | +| 2 | /6uLhSLXzB1ooJ3522ydrBZ2Hh0W.jpg | [35, 10751] | 771 | en | Home Alone | Eight-year-old Kevin McCallister makes the most of the situation after his family unwittingly leaves him behind when they go on Christmas vacation. But when a pair of bungling burglars set their sights on Kevin's house, the plucky kid stands ready to defend his territory. By planting booby traps galore, adorably mischievous Kevin stands his ground as his frantic mother attempts to race home before Christmas Day. | 3.538 | /onTSipZ8R3bliBdKfPtsDuHTdlL.jpg | 1990-11-16 | Home Alone | False | 7.4 | 10599 | +| 3 | /vKp3NvqBkcjHkCHSGi6EbcP7g4J.jpg | [12, 35, 878] | 196 | en | Back to the Future Part III | The final installment of the Back to the Future trilogy finds Marty digging the trusty DeLorean out of a mineshaft and looking for Doc in the Wild West of 1885. But when their time machine breaks down, the travelers are stranded in a land of spurs. More problems arise when Doc falls for pretty schoolteacher Clara Clayton, and Marty tangles with Buford Tannen. | 28.896 | /crzoVQnMzIrRfHtQw0tLBirNfVg.jpg | 1990-05-25 | Back to the Future Part III | False | 7.5 | 9918 | +| 4 | /3tuWpnCTe14zZZPt6sI1W9ByOXx.jpg | [35, 10749] | 114 | en | Pretty Woman | When a millionaire wheeler-dealer enters a business contract with a Hollywood hooker Vivian Ward, he loses his heart in the bargain. | 97.953 | /hVHUfT801LQATGd26VPzhorIYza.jpg | 1990-03-23 | Pretty Woman | False | 7.5 | 7671 | + +
+
+
+### レスポンスオブジェクト
+
+返されるオブジェクトはカスタムクラスのインスタンスです。その `objects` 属性は検索結果のリストで、各オブジェクトは別のカスタムクラスのインスタンスです。
+
+各オブジェクトには次の特性があります:
+- BLOB データ型を除き、すべてのプロパティと UUID がデフォルトで含まれます。
+- 参照、メタデータ、ベクトルなど、その他の情報はデフォルトでは含まれません。
+
+
+## 質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+例: 結果
+ +```text +In Time 2011 +Distance to query: 0.179 + +Gattaca 1997 +Distance to query: 0.180 + +I, Robot 2004 +Distance to query: 0.182 + +Mad Max: Fury Road 2015 +Distance to query: 0.190 + +The Maze Runner 2014 +Distance to query: 0.193 +``` + +
+
+
+
+## ハイブリッド検索
+
+### コード
+
+この例では、"Movie" クラス内で「history」という語に対して最も高いハイブリッド検索スコアを持つエントリを取得し、上位 5 件のタイトルと公開年を表示します。
+
+例の結果
+ +```text +American History X 1998 +BM25 score: 2.707 + +A Beautiful Mind 2001 +BM25 score: 1.896 + +Legends of the Fall 1994 +BM25 score: 1.663 + +Hacksaw Ridge 2016 +BM25 score: 1.554 + +Night at the Museum 2006 +BM25 score: 1.529 +``` + +
+
+
+
+## 質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+例の結果
+ +```text +Legends of the Fall 1994 +Hybrid score: 0.016 + +Hacksaw Ridge 2016 +Hybrid score: 0.016 + +A Beautiful Mind 2001 +Hybrid score: 0.015 + +The Butterfly Effect 2004 +Hybrid score: 0.015 + +Night at the Museum 2006 +Hybrid score: 0.012 +``` + +
+
+
+
+## 質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+例: 取得結果
+ +```text +Dune 2021 +Distance to query: 0.199 + +Tenet 2020 +Distance to query: 0.200 + +Mission: Impossible - Dead Reckoning Part One 2023 +Distance to query: 0.207 + +Onward 2020 +Distance to query: 0.214 + +Jurassic World Dominion 2022 +Distance to query: 0.216 +``` + +
+
+
+### レスポンスオブジェクト
+
+各レスポンスオブジェクトは通常の検索クエリとほぼ同じですが、追加で `generated` 属性が含まれます。この属性には、各オブジェクトに対して生成された出力が格納されます。
+
+
+## 質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+例: 結果
+ +```text +In Time +À temps +Looper +Boucleur +I, Robot +Je, Robot +The Matrix +La Matrice +Children of Men +Les enfants des hommes +``` + +
+
+
+### 追加パラメーター（任意）
+
+`groupedProperties` パラメーターとして使用するプロパティのリストを渡すこともできます。これにより、大規模言語モデルに渡すデータ量を削減し、不必要なプロパティを省くことができます。
+
+### レスポンスオブジェクト
+
+`groupedTask` パラメーターを含む RAG クエリは、追加の `generated` 属性を持つレスポンスを返します。この属性には、オブジェクト集合に対して生成された出力が含まれます。
+
+## 質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+例の結果
+ +```text +In Time +Looper +I, Robot +The Matrix +Children of Men +These movies all involve futuristic settings and explore themes related to the manipulation of time, technology, and the potential consequences of advancements in society. They also touch on issues such as inequality, control, and the impact of human actions on the future of humanity. +``` + +
+
+## Python のインストール
+
+### Python はインストールされていますか？
+
+ターミナル ウィンドウ（例: bash、 zsh、 Windows PowerShell、 Windows Terminal）を開き、次を実行します:
+
+```shell
+python --version
+```
+
+うまくいかない場合は、 `python` の代わりに `python3` を使用してください:
+
+```shell
+python3 --version
+```
+
+Python がインストールされている場合、 `Python 3.11.8` のような出力が表示されます。 Python 3.8 以上がインストールされている場合は、このセクションの残りをスキップできます。
+
+### Python のインストール
+
+インストールするには、 [Python.org](https://www.python.org/downloads/) にあるお使いのシステム向け手順に従ってください。
+
+Python をインストールしたら、もう一度バージョンを確認し、推奨バージョンが入っていることを確認してください。
+
+:::tip Advanced option: `pyenv`
+別の方法として `pyenv` を使用して Python をインストールすることもできます。 `pyenv` を使うと、システム上で複数バージョンの Python を管理できます。 `pyenv` のインストール方法は [こちら](https://github.com/pyenv/pyenv?tab=readme-ov-file#installation) を参照してください。
+:::
+
+## 仮想環境のセットアップ
+
+仮想環境を使うと、複数の Python プロジェクトを互いに分離できます。各プロジェクトごとに依存関係をインストールしても、他のプロジェクトには影響しません。
+
+### 仮想環境の作成
+
+仮想環境の作成には `venv` を使用することを推奨します。プロジェクト ディレクトリへ移動（例: `cd PATH/TO/PROJECT`）し、次を実行します:
+
+```shell
+python -m venv .venv
+```
+
+`python3` が Python コマンドの場合は、次を実行してください:
+
+```shell
+python3 -m venv .venv
+```
+
+これにより、プロジェクト ディレクトリに `.venv` というディレクトリが作成され、その中に仮想環境が構築されます。
+
+### 仮想環境のアクティブ化
+
+各仮想環境は「アクティブ化」と「非アクティブ化」ができます。アクティブ化されている間、実行する Python コマンドはその仮想環境内の Python バージョンとライブラリを使用します。
+
+仮想環境をアクティブ化するには、プロジェクト ディレクトリで次を実行します:
+
+```shell
+source .venv/bin/activate
+```
+
+Windows を使用している場合は以下を実行してください:
+
++ +さらに、 `conda`、 `pipenv`、 `poetry` など他にも多くの環境管理ツールがあります。すでにこれらのツールを使用している場合は、 `venv` の代わりにそれらを使っても構いません。 +::: + +## Weaviate クライアントのインストール + +これで、 Weaviate と Python でのやり取りを簡単にしてくれる [Weaviate クライアント ライブラリ](../../weaviate/client-libraries/index.mdx) をインストールできます。 + +[仮想環境をアクティブ化](#-activate-the-virtual-environment) したら、次のコマンドで Weaviate クライアントをインストールします: + +```shell +pip install weaviate-client +``` + +### インストールの確認 + +Weaviate クライアントがインストールされているか確認するには、次の Python コードを実行してください: + +
+ +より古いバージョンの Weaviate を使用している、または非同期インデックス作成を無効にしている場合は、別の設定方法が必要です。詳しくは [PQ 設定ドキュメント](/weaviate/configuration/compression/pq-compression.md#manually-configure-pq) をご覧ください。 +::: + +## PQ のカスタマイズ + +多くの PQ パラメータは変更可能です。デフォルト設定は多くのユースケースで適していますが、要件に合わせて PQ 設定を調整したい場合もあるでしょう。 + +以下の例では、トレーニングセットのサイズを小さくする、セントロイド数を変更するなど、カスタム設定を行う方法を示しています。 + +
+
+
+## マルチテナンシー使用の理由
+
+典型的なユースケースとして、SaaS (software-as-a-service) アプリケーションがあります。多くの SaaS アプリケーションでは、各エンドユーザーやアカウントが持つプライベート データは他者からアクセスできない必要があります。
+
+### ケーススタディの例
+
+このコースでは、`MyPrivateJournal` というアプリを開発する立場になり、マルチテナンシーについて学んでいきます。
+
+`MyPrivateJournal` は SaaS アプリケーションで、*Steve*、*Alice* などのユーザーが日記を作成・保存できます。各ユーザーの日記はプライベートで、他者が閲覧できてはいけません。
+
+単一テナント コレクションでこれを実装すると、次のいずれかになります。
+
+1. **モノリシック コレクション**: すべてのデータセットをエンドユーザー識別子プロパティ付きで 1 つのコレクションに保存
+1. **ユーザーごとのコレクション**: 各エンドユーザーのデータを個別のコレクションに保存
+
+しかし、どちらにも大きな制限があります。
+
+- モノリシック コレクションの場合:
+ - 開発者のミスで *Steve* の日記が *Alice* に漏れるなど、重大なプライバシー侵害が起こり得ます。
+ - `MyPrivateJournal` が成長すると、*Steve* のクエリはコレクション全体を検索するため遅くなります。
+ - *Steve* が `MyPrivateJournal` にデータ削除を依頼した場合、処理が複雑でエラーが起きやすくなります。
+- ユーザーごとのコレクションの場合:
+ - `MyPrivateJournal` は大量のコレクションを支えるため、より多くのハードウェアコストがかかります。
+ - 設定変更 (例: 新しいプロパティの追加) を行う際、各コレクションごとに個別対応が必要です。
+
+Weaviate のマルチテナンシーは、同一設定を共有しながらユーザーデータを分離することで、これらの問題を解決します。
+
+### マルチテナンシーの利点
+
+マルチテナント コレクションでは、各「テナント」が相互に分離されつつ、同じ設定を共有します。この構成により、多数の単一テナント コレクションを作るよりもはるかにリソース効率が高くなります。
+
+1 つの Weaviate ノードは、単一テナント コレクションよりも多くのテナントをホストできます。また、設定が 1 つで済むため開発者の負担も軽減され、テナント間のデータ漏えいリスクがなく、各テナントやデータの管理が容易になります。
+
+#### `MyPrivateJournal` とマルチテナンシー
+
+`MyPrivateJournal` はマルチテナンシーを利用し、各ユーザーの日記を個別のテナントに保存できます。これにより *Steve* と *Alice* のデータが互いに分離され、管理も安全になります。
+
+さらに、`MyPrivateJournal` はアクティブでないユーザーのデータをコールド ストレージへ移動し、Weaviate ノードのホット (メモリ) およびウォーム (ディスク) リソース使用量を低減できます。
+
+## テナントとコレクションの比較
+
+マルチテナント コレクションには、任意の数のテナントを作成できます。
+
+| 対象 | テナント | 単一テナント コレクション |
+| ----- | ----- | ----- |
+| オブジェクト | テナントに属する | コレクションに属する |
+| ベクトルインデックス | テナントに属する | コレクションに属する |
+| 転置インデックス | テナントに属する | コレクションに属する |
+| 削除 | テナントを削除するとそのテナントのデータが削除される | コレクションを削除するとそのコレクションのデータが削除される |
+| クエリ | 1 度に 1 つのテナントを検索できる | 1 度に 1 つのコレクションを検索できる |
+
+もちろん、違いもあります。次のセクションでは、`MyPrivateJournal` が Weaviate でマルチテナンシーを実装する流れに沿って、これらの違いを確認していきます。
+
+## 質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+他の文脈における「マルチテナンシー」
+ +一般に「マルチテナンシー」とは、単一のソフトウェア インスタンスが複数の「テナント」を提供するソフトウェア アーキテクチャを指します。この場合、各テナントは共通アクセス権を持つユーザーグループであることが多いです。 + +これは Weaviate におけるマルチテナンシーの概念と似ており、各テナントは他のテナントから分離されたデータグループとして扱われます。 + +
+
+ +しかし、サービスを追加することで簡単にマルチノード構成へ拡張できます。これにより、水平方向のスケーリングやレプリケーションによるフォールトトレランスが可能になります。 +
+ +例として、3 ノード構成は次のとおりです。 + +```yaml +--- +services: + weaviate-node-1: # Founding member service name + command: + - --host + - 0.0.0.0 + - --port + - '8080' + - --scheme + - http + image: cr.weaviate.io/semitechnologies/weaviate:||site.weaviate_version|| + restart: on-failure:0 + ports: + - "8180:8080" + - 50151:50051 + environment: + AUTOSCHEMA_ENABLED: 'false' + QUERY_DEFAULTS_LIMIT: 25 + QUERY_MAXIMUM_RESULTS: 10000 + AUTHENTICATION_ANONYMOUS_ACCESS_ENABLED: 'true' + PERSISTENCE_DATA_PATH: '/var/lib/weaviate' + ASYNC_INDEXING: 'true' + ENABLE_MODULES: 'text2vec-ollama,generative-ollama,backup-filesystem,offload-s3' + ENABLE_API_BASED_MODULES: 'true' + AWS_ACCESS_KEY_ID: ${AWS_ACCESS_KEY:-} + AWS_SECRET_ACCESS_KEY: ${AWS_SECRET_KEY:-} + OFFLOAD_S3_BUCKET_AUTO_CREATE: 'true' + BACKUP_FILESYSTEM_PATH: '/var/lib/weaviate/backups' + CLUSTER_HOSTNAME: 'node1' + CLUSTER_GOSSIP_BIND_PORT: '7100' + CLUSTER_DATA_BIND_PORT: '7101' + weaviate-node-2: # Founding member service name + command: + - --host + - 0.0.0.0 + - --port + - '8080' + - --scheme + - http + image: cr.weaviate.io/semitechnologies/weaviate:||site.weaviate_version|| + restart: on-failure:0 + ports: + - "8181:8080" + - 50152:50051 + environment: + AUTOSCHEMA_ENABLED: 'false' + QUERY_DEFAULTS_LIMIT: 25 + QUERY_MAXIMUM_RESULTS: 10000 + AUTHENTICATION_ANONYMOUS_ACCESS_ENABLED: 'true' + PERSISTENCE_DATA_PATH: '/var/lib/weaviate' + ASYNC_INDEXING: 'true' + ENABLE_MODULES: 'text2vec-ollama,generative-ollama,backup-filesystem,offload-s3' + ENABLE_API_BASED_MODULES: 'true' + AWS_ACCESS_KEY_ID: ${AWS_ACCESS_KEY:-} + AWS_SECRET_ACCESS_KEY: ${AWS_SECRET_KEY:-} + OFFLOAD_S3_BUCKET_AUTO_CREATE: 'true' + BACKUP_FILESYSTEM_PATH: '/var/lib/weaviate/backups' + CLUSTER_HOSTNAME: 'node2' + CLUSTER_GOSSIP_BIND_PORT: '7102' + CLUSTER_DATA_BIND_PORT: '7103' + CLUSTER_JOIN: 'weaviate-node-1:7100' + weaviate-node-3: # Founding member service name + command: + - --host + - 0.0.0.0 + - --port + - '8080' + - --scheme + - http + image: cr.weaviate.io/semitechnologies/weaviate:||site.weaviate_version|| + restart: on-failure:0 + ports: + - "8182:8080" + - 50153:50051 + environment: + AUTOSCHEMA_ENABLED: 'false' + QUERY_DEFAULTS_LIMIT: 25 + QUERY_MAXIMUM_RESULTS: 10000 + AUTHENTICATION_ANONYMOUS_ACCESS_ENABLED: 'true' + PERSISTENCE_DATA_PATH: '/var/lib/weaviate' + ASYNC_INDEXING: 'true' + image: cr.weaviate.io/semitechnologies/weaviate:||site.weaviate_version|| + ENABLE_API_BASED_MODULES: 'true' + AWS_ACCESS_KEY_ID: ${AWS_ACCESS_KEY:-} + AWS_SECRET_ACCESS_KEY: ${AWS_SECRET_KEY:-} + OFFLOAD_S3_BUCKET_AUTO_CREATE: 'true' + BACKUP_FILESYSTEM_PATH: '/var/lib/weaviate/backups' + CLUSTER_HOSTNAME: 'node3' + CLUSTER_GOSSIP_BIND_PORT: '7104' + CLUSTER_DATA_BIND_PORT: '7105' + CLUSTER_JOIN: 'weaviate-node-1:7100' +... +``` + +
+
+### 設定のハイライト
+
+他の Docker 設定 ([例: Docs](/deploy/installation-guides/docker-installation.md), [Academy](../starter_text_data/101_setup_weaviate/20_create_instance/20_create_docker.mdx)) に見覚えがあるかもしれませんが、以下の設定は新しいかもしれません。
+
+- `ASYNC_INDEXING`: 非同期インデックス作成を有効にします。大量データ挿入に便利で、後ほど学ぶ `dynamic` インデックスタイプを使用できます。
+- `ENABLE_MODULES`: 今回は `offload-s3` を有効にし、後でテナントオフロードを実演します。オフロードは非アクティブユーザーのデータ管理に役立ちます。
+- `AWS_ACCESS_KEY_ID` と `AWS_SECRET_ACCESS_KEY`: Weaviate が S3 バケットへアクセスするための AWS 資格情報です。
+- `OFFLOAD_S3_BUCKET_AUTO_CREATE`: 該当バケットが存在しない場合に自動で作成します。
+
+ファイルを `docker-compose.yaml` として保存し、次のコマンドで Weaviate を起動します。
+
+```bash
+docker compose up
+```
+
+import OffloadingLimitation from '/_includes/offloading-limitation.mdx';
+
+マルチノード構成の場合は？
+ +良い質問です！ご覧のとおり、簡潔さのためにここではシングルノード構成を使用しています。 ++ +しかし、サービスを追加することで簡単にマルチノード構成へ拡張できます。これにより、水平方向のスケーリングやレプリケーションによるフォールトトレランスが可能になります。 +
+ +例として、3 ノード構成は次のとおりです。 + +```yaml +--- +services: + weaviate-node-1: # Founding member service name + command: + - --host + - 0.0.0.0 + - --port + - '8080' + - --scheme + - http + image: cr.weaviate.io/semitechnologies/weaviate:||site.weaviate_version|| + restart: on-failure:0 + ports: + - "8180:8080" + - 50151:50051 + environment: + AUTOSCHEMA_ENABLED: 'false' + QUERY_DEFAULTS_LIMIT: 25 + QUERY_MAXIMUM_RESULTS: 10000 + AUTHENTICATION_ANONYMOUS_ACCESS_ENABLED: 'true' + PERSISTENCE_DATA_PATH: '/var/lib/weaviate' + ASYNC_INDEXING: 'true' + ENABLE_MODULES: 'text2vec-ollama,generative-ollama,backup-filesystem,offload-s3' + ENABLE_API_BASED_MODULES: 'true' + AWS_ACCESS_KEY_ID: ${AWS_ACCESS_KEY:-} + AWS_SECRET_ACCESS_KEY: ${AWS_SECRET_KEY:-} + OFFLOAD_S3_BUCKET_AUTO_CREATE: 'true' + BACKUP_FILESYSTEM_PATH: '/var/lib/weaviate/backups' + CLUSTER_HOSTNAME: 'node1' + CLUSTER_GOSSIP_BIND_PORT: '7100' + CLUSTER_DATA_BIND_PORT: '7101' + weaviate-node-2: # Founding member service name + command: + - --host + - 0.0.0.0 + - --port + - '8080' + - --scheme + - http + image: cr.weaviate.io/semitechnologies/weaviate:||site.weaviate_version|| + restart: on-failure:0 + ports: + - "8181:8080" + - 50152:50051 + environment: + AUTOSCHEMA_ENABLED: 'false' + QUERY_DEFAULTS_LIMIT: 25 + QUERY_MAXIMUM_RESULTS: 10000 + AUTHENTICATION_ANONYMOUS_ACCESS_ENABLED: 'true' + PERSISTENCE_DATA_PATH: '/var/lib/weaviate' + ASYNC_INDEXING: 'true' + ENABLE_MODULES: 'text2vec-ollama,generative-ollama,backup-filesystem,offload-s3' + ENABLE_API_BASED_MODULES: 'true' + AWS_ACCESS_KEY_ID: ${AWS_ACCESS_KEY:-} + AWS_SECRET_ACCESS_KEY: ${AWS_SECRET_KEY:-} + OFFLOAD_S3_BUCKET_AUTO_CREATE: 'true' + BACKUP_FILESYSTEM_PATH: '/var/lib/weaviate/backups' + CLUSTER_HOSTNAME: 'node2' + CLUSTER_GOSSIP_BIND_PORT: '7102' + CLUSTER_DATA_BIND_PORT: '7103' + CLUSTER_JOIN: 'weaviate-node-1:7100' + weaviate-node-3: # Founding member service name + command: + - --host + - 0.0.0.0 + - --port + - '8080' + - --scheme + - http + image: cr.weaviate.io/semitechnologies/weaviate:||site.weaviate_version|| + restart: on-failure:0 + ports: + - "8182:8080" + - 50153:50051 + environment: + AUTOSCHEMA_ENABLED: 'false' + QUERY_DEFAULTS_LIMIT: 25 + QUERY_MAXIMUM_RESULTS: 10000 + AUTHENTICATION_ANONYMOUS_ACCESS_ENABLED: 'true' + PERSISTENCE_DATA_PATH: '/var/lib/weaviate' + ASYNC_INDEXING: 'true' + image: cr.weaviate.io/semitechnologies/weaviate:||site.weaviate_version|| + ENABLE_API_BASED_MODULES: 'true' + AWS_ACCESS_KEY_ID: ${AWS_ACCESS_KEY:-} + AWS_SECRET_ACCESS_KEY: ${AWS_SECRET_KEY:-} + OFFLOAD_S3_BUCKET_AUTO_CREATE: 'true' + BACKUP_FILESYSTEM_PATH: '/var/lib/weaviate/backups' + CLUSTER_HOSTNAME: 'node3' + CLUSTER_GOSSIP_BIND_PORT: '7104' + CLUSTER_DATA_BIND_PORT: '7105' + CLUSTER_JOIN: 'weaviate-node-1:7100' +... +``` + +
+
+
+:::info `v1.25` で追加
+auto tenant creation 機能は、バッチインポートでは `v1.25.0`、単一オブジェクト挿入では `v1.25.2` から利用できます。
+:::
+
+`auto_tenant_creation` を有効にすると、存在しないテナントに対してオブジェクトが挿入された際に Weaviate が自動でテナントを作成します。
+
+ +大量データ取り込み時に便利で、事前にテナントを作成する手間が省けます。`auto_tenant_creation` により、インポート処理を中断せずに続行できます。 +
+ +ただし、ソースデータの誤りがインポート中に検知されないリスクがあります。例えば、誤って `"TenntOn"` とスペルされたオブジェクトが `"TenantOne"` ではなく `"TenntOne"` という新しいテナントを作成してしまいます。 +
+ +サーバー側のデフォルト値は `false` です。 +
+
+auto_tenant_creation について詳しく
+
+:::info `v1.25` で追加
+auto tenant creation 機能は、バッチインポートでは `v1.25.0`、単一オブジェクト挿入では `v1.25.2` から利用できます。
+:::
+
+`auto_tenant_creation` を有効にすると、存在しないテナントに対してオブジェクトが挿入された際に Weaviate が自動でテナントを作成します。
++ +大量データ取り込み時に便利で、事前にテナントを作成する手間が省けます。`auto_tenant_creation` により、インポート処理を中断せずに続行できます。 +
+ +ただし、ソースデータの誤りがインポート中に検知されないリスクがあります。例えば、誤って `"TenntOn"` とスペルされたオブジェクトが `"TenantOne"` ではなく `"TenntOne"` という新しいテナントを作成してしまいます。 +
+ +サーバー側のデフォルト値は `false` です。 +
+
+
+:::info `v1.25.2` で追加
+auto tenant activation 機能は `v1.25.2` から利用できます。
+:::
+
+`auto_tenant_activation` を有効にすると、非アクティブ (`INACTIVE` または `OFFLOADED`) なテナントがアクセスされた際に自動でアクティブ化されます。
+
+ +多数のテナントが存在し、そのうち常に一部のみがアクティブというシナリオに最適です。例えば、SaaS アプリでタイムゾーンや最近のアクティビティによりアクセスが少ないテナントがある場合などです。 +
+ +`auto_tenant_activation` を有効にすることで、これらのテナントを安心して非アクティブにでき、リクエスト時にメモリへロードされます。 +
+ +これにより、Weaviate インスタンスのメモリ使用量を削減できます。アクティブなテナントのみがメモリに読み込まれるためです。 +
+ +サーバー側のデフォルト値は `false` です。 + +
+### ベクトルインデックスの設定
+
+他のジャーナルのユースケースから分かっていることとして、大多数のユーザーはエントリー数が少ない一方で、少数のユーザーは大量のエントリーを持つ場合があります。
+
+これはバランスを取るのが難しい状況です。`hnsw` インデックスを使用すると、多くのエントリーを持つユーザーに対して高速ですが、メモリを多く消費します。`flat` インデックスを使用するとメモリ消費は抑えられますが、多くのエントリーを持つユーザーに対しては速度が遅くなる可能性があります。
+
+そこで選択できるのが `dynamic` インデックスです。`dynamic` インデックスは、エントリー数がしきい値を超えると自動的に `flat` から `hnsw` へ切り替わります。これにより、メモリ使用量と速度のバランスを取ることができます。
+
+以下は、`dynamic` インデックスを使用して "note" という名前のベクトルを設定する例です。
+
+auto_tenant_activation について詳しく
+
+:::info `v1.25.2` で追加
+auto tenant activation 機能は `v1.25.2` から利用できます。
+:::
+
+`auto_tenant_activation` を有効にすると、非アクティブ (`INACTIVE` または `OFFLOADED`) なテナントがアクセスされた際に自動でアクティブ化されます。
++ +多数のテナントが存在し、そのうち常に一部のみがアクティブというシナリオに最適です。例えば、SaaS アプリでタイムゾーンや最近のアクティビティによりアクセスが少ないテナントがある場合などです。 +
+ +`auto_tenant_activation` を有効にすることで、これらのテナントを安心して非アクティブにでき、リクエスト時にメモリへロードされます。 +
+ +これにより、Weaviate インスタンスのメモリ使用量を削減できます。アクティブなテナントのみがメモリに読み込まれるためです。 +
+ +サーバー側のデフォルト値は `false` です。 + +
+
+
+挿入されるデータ
+ +追加するオブジェクトは、ここに示すように辞書のリストとして指定できます。 `DATE` 型プロパティには、タイムゾーン付きの `datetime` オブジェクトを使用している点にご注意ください。 + +
+
+### エントリーの検索
+
+さらに、 Steve はエントリーを検索したいことがあるかもしれません。例えば、彼が体験した食べ物に関連するエントリーを探したい場合などです。
+
+`MyPrivateJournal` は Weaviate の `hybrid` 検索を活用して、 Steve が最も関連性の高いエントリーを見つけられるようにできます。
+
+例: レスポンス
+ +このクエリは次のようなレスポンスを返します: + +
+
+
+検索構文は基本的に single-tenant コレクションの場合と同一であることがわかります。そのため、 single-tenant コレクションで利用できるすべての検索方法は multi-tenant コレクションにも適用できます。
+
+### 要約
+
+このセクションでは、マルチテナントコレクションにおいてテナントとそのデータを操作する方法を学びました。テナントの作成、データオブジェクトの追加、およびテナントデータのクエリ方法を確認しました。
+
+次のセクションでは、 `MyPrivateJournal` がテナントを管理することで、アプリケーションをスムーズかつ効率的に動作させ続ける方法を学びます。
+
+## 質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+レスポンス例
+ +
+
+ +Weaviate でテナントオフロードを利用するには、対応するオフロード [module](../../../weaviate/configuration/modules.md) を有効にする必要があります。デプロイ方法が Docker か Kubernetes かに応じて、以下のように `offload-s3` モジュールを有効化できます。 + +
+
+
+```yaml
+services:
+ weaviate:
+ environment:
+ # highlight-start
+ ENABLE_MODULES: 'offload-s3' # plus other modules you may need
+ OFFLOAD_S3_BUCKET: 'weaviate-offload' # the name of the S3 bucket
+ OFFLOAD_S3_BUCKET_AUTO_CREATE: 'true' # create the bucket if it does not exist
+ # highlight-end
+```
+
+
+
+
+```yaml
+offload:
+ s3:
+ enabled: true # Set this value to true to enable the offload-s3 module
+ envconfig:
+ OFFLOAD_S3_BUCKET: weaviate-offload # the name of the S3 bucket
+ OFFLOAD_S3_BUCKET_AUTO_CREATE: true # create the bucket if it does not exist
+```
+
+
+
+
+対象の S3 バケットが存在しない場合、`OFFLOAD_S3_BUCKET_AUTO_CREATE` 変数を `true` に設定すると、Weaviate がバケットを自動作成します。
+
+ +#### AWS パーミッション + +Weaviate には AWS 認証情報を提供する必要があります。アクセスキー方式と ARN 方式のいずれかを選択できます。 +
+ +:::tip Requirements +Weaviate インスタンスには [S3 バケットへアクセスするための必要なパーミッション](https://docs.aws.amazon.com/AmazonS3/latest/userguide/access-policy-language-overview.html) が必要です。 +- 指定した AWS アイデンティティにはバケットへの書き込み権限が必要です。 +- `OFFLOAD_S3_BUCKET_AUTO_CREATE` を `true` にする場合、バケット作成権限も必要です。 +::: + +**Option 1: With IAM and ARN roles** +
+ +バックアップモジュールはまず AWS IAM での認証を試みます。失敗した場合は `Option 2` の方法で認証を試みます。 +
+ +**Option 2: With access key and secret access key** +
+ +| 環境変数 | 説明 | +| --- | --- | +| `AWS_ACCESS_KEY_ID` | 対象アカウントの AWS アクセスキー ID。 | +| `AWS_SECRET_ACCESS_KEY` | 対象アカウントの AWS シークレットアクセスキー。 | +| `AWS_REGION` | (任意) AWS リージョン。設定しない場合、モジュールは `AWS_DEFAULT_REGION` を参照します。 | + +`offload-s3` モジュールを有効化した後は、テナントのアクティビティステータスを `OFFLOADED` に設定して S3 バケットへオフロードしたり、`ACTIVE` または `INACTIVE` に設定してローカルストレージへ戻したりできます。 + +
+#### ユーザーのアクティベーション
+
+そして、 `MyPrivateJournal` は必要に応じてテナントをアクティベートできます。たとえば、ユーザーがログインしたときや、非アクティベーションとは逆のパターンでユーザーのローカル時間に基づいてテナントをアクティベートすることが可能です。
+
+オフロードの設定方法
+ +import OffloadingLimitation from '/_includes/offloading-limitation.mdx'; + ++ +Weaviate でテナントオフロードを利用するには、対応するオフロード [module](../../../weaviate/configuration/modules.md) を有効にする必要があります。デプロイ方法が Docker か Kubernetes かに応じて、以下のように `offload-s3` モジュールを有効化できます。 + +
+ +#### AWS パーミッション + +Weaviate には AWS 認証情報を提供する必要があります。アクセスキー方式と ARN 方式のいずれかを選択できます。 +
+ +:::tip Requirements +Weaviate インスタンスには [S3 バケットへアクセスするための必要なパーミッション](https://docs.aws.amazon.com/AmazonS3/latest/userguide/access-policy-language-overview.html) が必要です。 +- 指定した AWS アイデンティティにはバケットへの書き込み権限が必要です。 +- `OFFLOAD_S3_BUCKET_AUTO_CREATE` を `true` にする場合、バケット作成権限も必要です。 +::: + +**Option 1: With IAM and ARN roles** +
+ +バックアップモジュールはまず AWS IAM での認証を試みます。失敗した場合は `Option 2` の方法で認証を試みます。 +
+ +**Option 2: With access key and secret access key** +
+ +| 環境変数 | 説明 | +| --- | --- | +| `AWS_ACCESS_KEY_ID` | 対象アカウントの AWS アクセスキー ID。 | +| `AWS_SECRET_ACCESS_KEY` | 対象アカウントの AWS シークレットアクセスキー。 | +| `AWS_REGION` | (任意) AWS リージョン。設定しない場合、モジュールは `AWS_DEFAULT_REGION` を参照します。 | + +`offload-s3` モジュールを有効化した後は、テナントのアクティビティステータスを `OFFLOADED` に設定して S3 バケットへオフロードしたり、`ACTIVE` または `INACTIVE` に設定してローカルストレージへ戻したりできます。 + +
+ 例
+
+CLIP モデルに関する追加情報が含まれるため、出力は少し長くなります。
+
+
+
+### 接続を閉じる
+
+Weaviate クライアントの使用が終わったら、接続を閉じてください。これによりリソースが解放され、接続が適切に終了します。
+
+ベストプラクティスとして、`try`-`finally` ブロックを使用することを推奨します。簡潔さのため、以降のコード スニペットでは `try`-`finally` ブロックを省略します。
+
+例 get_meta 出力
+
+CLIP モデルに関する追加情報が含まれるため、出力は少し長くなります。
+
+
+
+## 質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+サンプル テキスト データを見る
+ +| | backdrop_path | genre_ids | id | original_language | original_title | overview | popularity | poster_path | release_date | title | video | vote_average | vote_count | +|---:|:---------------------------------|:----------------|-----:|:--------------------|:----------------------------|:--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|-------------:|:---------------------------------|:---------------|:----------------------------|:--------|---------------:|-------------:| +| 0 | /3Nn5BOM1EVw1IYrv6MsbOS6N1Ol.jpg | [14, 18, 10749] | 162 | en | Edward Scissorhands | A small suburban town receives a visit from a castaway unfinished science experiment named Edward. | 45.694 | /1RFIbuW9Z3eN9Oxw2KaQG5DfLmD.jpg | 1990-12-07 | Edward Scissorhands | False | 7.7 | 12305 | +| 1 | /sw7mordbZxgITU877yTpZCud90M.jpg | [18, 80] | 769 | en | GoodFellas | The true story of Henry Hill, a half-Irish, half-Sicilian Brooklyn kid who is adopted by neighbourhood gangsters at an early age and climbs the ranks of a Mafia family under the guidance of Jimmy Conway. | 57.228 | /aKuFiU82s5ISJpGZp7YkIr3kCUd.jpg | 1990-09-12 | GoodFellas | False | 8.5 | 12106 | +| 2 | /6uLhSLXzB1ooJ3522ydrBZ2Hh0W.jpg | [35, 10751] | 771 | en | Home Alone | Eight-year-old Kevin McCallister makes the most of the situation after his family unwittingly leaves him behind when they go on Christmas vacation. But when a pair of bungling burglars set their sights on Kevin's house, the plucky kid stands ready to defend his territory. By planting booby traps galore, adorably mischievous Kevin stands his ground as his frantic mother attempts to race home before Christmas Day. | 3.538 | /onTSipZ8R3bliBdKfPtsDuHTdlL.jpg | 1990-11-16 | Home Alone | False | 7.4 | 10599 | +| 3 | /vKp3NvqBkcjHkCHSGi6EbcP7g4J.jpg | [12, 35, 878] | 196 | en | Back to the Future Part III | The final installment of the Back to the Future trilogy finds Marty digging the trusty DeLorean out of a mineshaft and looking for Doc in the Wild West of 1885. But when their time machine breaks down, the travelers are stranded in a land of spurs. More problems arise when Doc falls for pretty schoolteacher Clara Clayton, and Marty tangles with Buford Tannen. | 28.896 | /crzoVQnMzIrRfHtQw0tLBirNfVg.jpg | 1990-05-25 | Back to the Future Part III | False | 7.5 | 9918 | +| 4 | /3tuWpnCTe14zZZPt6sI1W9ByOXx.jpg | [35, 10749] | 114 | en | Pretty Woman | When a millionaire wheeler-dealer enters a business contract with a Hollywood hooker Vivian Ward, he loses his heart in the bargain. | 97.953 | /hVHUfT801LQATGd26VPzhorIYza.jpg | 1990-03-23 | Pretty Woman | False | 7.5 | 7671 | + +
+
+
+
+
+
+```text
+Life Is Beautiful 1997 637
+Distance to query: 0.621
+
+Groundhog Day 1993 137
+Distance to query: 0.623
+
+Jingle All the Way 1996 9279
+Distance to query: 0.625
+
+Training Day 2001 2034
+Distance to query: 0.627
+
+Misery 1990 1700
+Distance to query: 0.632
+```
+
+ 
+
+幸運なことに、`MovieNVDemo` コレクションにはポスターデザインに基づく `poster_title` 名前付き ベクトル が用意されています。そのため Aesthetico のデザイナーは `poster_title` 名前付き ベクトル に対して検索を行い、自分たちのポスターに似た映画を探し出せます。そのうえで RAG を実行し、見つかった映画の概要を要約できます。
+
+### コード
+
+次のクエリは、入力画像に似た映画を見つけ、その結果に対して RAG を使って洞察を提供します。
+
+
+
+Inception
+Mission: Impossible
+The Dark Knight
+Lost in Translation
+Independence Day
+Godzilla vs. Kong
+Fargo
+The Amazing Spider-Man
+Godzilla
+ +
+
+## 映画脚本家：アイデアの評価
+
+別のプロジェクトでは、*ScriptManiacs* の脚本家チームが サイエンスフィクション 映画の脚本に取り組んでいます。彼らはいくつかの映画タイトル案を検討しており、それぞれのタイトルにどのようなイメージやテーマが結び付くかを知りたいと考えています。
+
+同じコレクションを使って、彼らの目的も達成できます。実際には、同一のコレクションに対して、`target_vector` パラメーターを変えながら複数回クエリを実行できます。
+
+ScriptManiacs の脚本家は次のような検索が可能です。
+- `title` 名前付き ベクトル で検索し、*似たタイトル* の映画を見つける
+- `overview` 名前付き ベクトル で検索し、*プロットが似ている* 映画を見つける
+
+では、タイトル案「Chrono Tides: The Anomaly Rift」を例に見てみましょう。
+
+### コード
+
+次の例では、「Chrono Tides: The Anomaly Rift」との類似度に基づいて "MovieNVDemo" のエントリを検索し、さらに大規模言語モデルに共通点を抽出させています。
+
+`for tgt_vector` ループに注目してください。これにより、同じクエリを異なる 名前付き ベクトル に対して実行できます。
+
+検索結果
+ +Predator 2+Inception
+Mission: Impossible
+The Dark Knight
+Lost in Translation
+Independence Day
+Godzilla vs. Kong
+Fargo
+The Amazing Spider-Man
+Godzilla
+ +
+
+Lara Croft: Tomb Raider
+The Croods: A New Age
+The Twilight Saga: Breaking Dawn - Part 1
+Meg 2: The Trench
+ +
+
+#### 類似概要
+
+「Chrono Tides: The Anomaly Rift」と最も類似した概要を持つ映画には次の共通点があります。
+
+> これらの映画は ** サイエンスフィクション およびアドベンチャー作品** に分類できます。宇宙探査、古代文明、恐竜、自然災害、神話的冒険をテーマとしており、アクションとビジュアルの豊かな映画を好む観客に向けられています。ファンタジー要素とサスペンスを兼ね備えた作品を楽しむ層に最適です。
+
+検索結果
+ +Pirates of the Caribbean: On Stranger Tides+Lara Croft: Tomb Raider
+The Croods: A New Age
+The Twilight Saga: Breaking Dawn - Part 1
+Meg 2: The Trench
+ +
+
+Interstellar
+Jurassic Park III
+2012
+Moana
+ +
+## 質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+検索結果
+ +Stargate+Interstellar
+Jurassic Park III
+2012
+Moana
+ +
+
+
+スキーマは各クラスについて、その名前や説明などのメタデータ、各クラスのプロパティの名前や説明を指定します。さらに、クラス間のクロスリファレンスや、オブジェクトインデックスと ベクトル インデックスを含むインデックス設定も定義します。
+
+また、スキーマはベクトル化プロセスに関する情報、使用するベクトル化モデル、含める／除外するプロパティ、プロパティ見出しを含めるかどうかなどを保持します。
+
+:::info Auto-schema
+スキーマ定義に必要で不足している情報は、Weaviate がデフォルト値とインポートデータに基づき自動推論します。
+:::
+
+#### データ型
+
+各 `class` 定義には 1 つ以上のプロパティが含まれ、それぞれにデータ型を指定します。現在、Weaviate がサポートするデータ型は以下のとおりです。
+
+import DataTypes from '/_includes/datatypes.mdx';
+
+Example schema
+ TODO: Add actual example schema +
+
+
+ほとんどのデータ型では、`string` または `string[]` のように単一値またはリスト値を指定できます。
+
+スキーマ定義とデータ型については、別のユニットで詳しく取り上げます。
+
+Available data types in Weaviate
+
+
+
+### チャンク化
+
+次のチャンク化手法を各セクションに適用します。
+
+- 固定長チャンク（重複 20 %）
+ - 1 チャンクあたり 25 単語
+ - 1 チャンクあたり 100 単語
+- 段落マーカーを使った可変長チャンク
+- 段落マーカーを使用し、最小チャンク長を 25 単語にした混合戦略チャンク
+
+さらに、ファイル名・章名・チャンク番号などのメタデータもチャンクに追加します。
+
+実装例を以下に示します。
+
+サンプルセクションを確認する
+ +``` +{ + "body": "=== About Version Control\n\n(((version control)))\nWhat is \"`version control`\", and why should you care?\nVersion control is a system that records changes to a file or set of files over time so that you can recall specific versions later.\nFor the examples in this book, you will use software source code as the files being version controlled, though in reality you can do this with nearly any type of file on a computer.\n\nIf you are a graphic or web designer and want to keep every version of an image or layout (which you would most certainly want to), a Version Control System (VCS) is a very wise thing to use.\nIt allows you to revert selected files back to a previous state, revert the entire project back to a previous state, compare changes over time, see who last modified something that might be causing a problem, who introduced an issue and when, and more.\nUsing a VCS also generally means that if you screw things up or lose files, you can easily recover.\nIn addition, you get all this for very little overhead.\n\n==== Local Version Control Systems\n\n(((version control,local)))\nMany people's version-control method of choice is to copy files into another directory (perhaps a time-stamped directory, if they're clever).\nThis approach is very common because it is so simple, but it is also incredibly error prone.\nIt is easy to forget which directory you're in and accidentally write to the wrong file or copy over files you don't mean to.\n\nTo deal with this issue, programmers long ago developed local VCSs that had a simple database that kept all the changes to files under revision control.\n\n.Local version control diagram\nimage::images/local.png[Local version control diagram]\n\nOne of the most popular VCS tools was a system called RCS, which is still distributed with many computers today.\nhttps://www.gnu.org/software/rcs/[RCS^] works by keeping patch sets (that is, the differences between files) in a special format on disk; it can then re-create what any file looked like at any point in time by adding up all the patches.\n\n==== Centralized Version Control Systems\n\n(((version control,centralized)))\nThe next major issue that people encounter is that they need to collaborate with developers on other systems.\nTo deal with this problem, Centralized Version Control Systems (CVCSs) were developed.\nThese systems (such as CVS, Subversion, and Perforce) have a single server that contains all the versioned files, and a number of clients that check out files from that central place.(((CVS)))(((Subversion)))(((Perforce)))\nFor many years, this has been the standard for version control.\n\n.Centralized version control diagram\nimage::images/centralized.png[Centralized version control diagram]\n\nThis setup offers many advantages, especially over local VCSs.\nFor example, everyone knows to a certain degree what everyone else on the project is doing.\nAdministrators have fine-grained control over who can do what, and it's far easier to administer a CVCS than it is to deal with local databases on every client.\n\nHowever, this setup also has some serious downsides.\nThe most obvious is the single point of failure that the centralized server represents.\nIf that server goes down for an hour, then during that hour nobody can collaborate at all or save versioned changes to anything they're working on.\nIf the hard disk the central database is on becomes corrupted, and proper backups haven't been kept, you lose absolutely everything -- the entire history of the project except whatever single snapshots people happen to have on their local machines.\nLocal VCSs suffer from this same problem -- whenever you have the entire history of the project in a single place, you risk losing everything.\n\n==== Distributed Version Control Systems\n\n(((version control,distributed)))\nThis is where Distributed Version Control Systems (DVCSs) step in.\nIn a DVCS (such as Git, Mercurial, Bazaar or Darcs), clients don't just check out the latest snapshot of the files; rather, they fully mirror the repository, including its full history.\nThus, if any server dies, and these systems were collaborating via that server, any of the client repositories can be copied back up to the server to restore it.\nEvery clone is really a full backup of all the data.\n\n.Distributed version control diagram\nimage::images/distributed.png[Distributed version control diagram]\n\nFurthermore, many of these systems deal pretty well with having several remote repositories they can work with, so you can collaborate with different groups of people in different ways simultaneously within the same project.\nThis allows you to set up several types of workflows that aren't possible in centralized systems, such as hierarchical models.\n", + "chapter_title": "01-introduction", + "filename": "about-version-control.asc" +} +``` + +
+
+
+
+
+
+
+
+ヘルパー関数
+ ++ + + + + +チャンク化は、ベクトル データベースと大型言語モデルの世界において重要な概念です。これまでのユニットでは比較的短いテキストを扱ってきましたが、実際のテキスト データはもっと長い場合が多いです。 + +記事や書き起こし、さらには書籍の長さを考えてみてください。数語どころか、数千語、数万語、場合によってはそれ以上になることもあります。たとえば *The Lord of the Rings* は 500,000 語以上にもなります。 + +チャンク化とは、このようなテキストをより小さなテキスト片、すなわち「チャンク」に分割してからベクトル データベースに保存したり、言語モデルへ渡したりすることです。 + +一見すると、文や段落をどこで分割するか程度の些細な判断に思えるかもしれません。しかし、チャンク化の方法によってベクトル データベースの検索性能・挙動や、言語モデルの出力が大きく変わる可能性があります。本ユニットでは、ユーザーの視点からこの一見シンプルでありながら繊細なトピックを扱います。 + +まず、チャンク化とは何か、なぜ使用するのかを説明します。その後、さまざまなチャンク化手法を紹介し、チャンク化戦略を決める際の重要な検討事項と、推奨される出発点について議論します。 + +このユニットを終える頃には、チャンク化の基本を十分に理解し、実際のニーズに基づいて堅実なチャンク化戦略を実装できるようになります。 + +### 前提条件 + +- (**Required**) `weaviate-client` がインストールされた Python (3) 環境 +- (**Required**) [101A Weaviate Academy Preparation](../../zero_to_mvp/setup.mdx) を完了していること +- (*Recommended*) [Hello, Weaviate](../../zero_to_mvp/101_hello_weaviate/index.mdx) を完了していること +- (*Recommended*) [Queries 1](../../zero_to_mvp/102_queries_1/index.mdx) を完了していること +- (*Recommended*) [Schema and Imports](../../zero_to_mvp/103_schema_and_imports/index.mdx) を完了していること + +## 学習目標 + +import LearningGoalsExp from '/src/components/Academy/learningGoalsExp.mdx'; + +
+ 例
+
+
+
+### 接続の終了
+
+Weaviate クライアントの使用が終わったら、接続を閉じる必要があります。これによりリソースが解放され、接続が適切に終了します。
+
+ベストプラクティスとして `try`-`finally` ブロックの使用を推奨します。簡潔さのため、残りのコード スニペットには `try`-`finally` ブロックを含めません。
+
+例 get_meta 出力
+
+
+
+
+次に、対応するオブジェクトコレクションを作成し、データをインポートします。
+
+## 質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+サンプルデータを見る
+ +| | backdrop_path | genre_ids | id | original_language | original_title | overview | popularity | poster_path | release_date | title | video | vote_average | vote_count | +|---:|:---------------------------------|:----------------|-----:|:--------------------|:----------------------------|:--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|-------------:|:---------------------------------|:---------------|:----------------------------|:--------|---------------:|-------------:| +| 0 | /3Nn5BOM1EVw1IYrv6MsbOS6N1Ol.jpg | [14, 18, 10749] | 162 | en | Edward Scissorhands | A small suburban town receives a visit from a castaway unfinished science experiment named Edward. | 45.694 | /1RFIbuW9Z3eN9Oxw2KaQG5DfLmD.jpg | 1990-12-07 | Edward Scissorhands | False | 7.7 | 12305 | +| 1 | /sw7mordbZxgITU877yTpZCud90M.jpg | [18, 80] | 769 | en | GoodFellas | The true story of Henry Hill, a half-Irish, half-Sicilian Brooklyn kid who is adopted by neighbourhood gangsters at an early age and climbs the ranks of a Mafia family under the guidance of Jimmy Conway. | 57.228 | /aKuFiU82s5ISJpGZp7YkIr3kCUd.jpg | 1990-09-12 | GoodFellas | False | 8.5 | 12106 | +| 2 | /6uLhSLXzB1ooJ3522ydrBZ2Hh0W.jpg | [35, 10751] | 771 | en | Home Alone | Eight-year-old Kevin McCallister makes the most of the situation after his family unwittingly leaves him behind when they go on Christmas vacation. But when a pair of bungling burglars set their sights on Kevin's house, the plucky kid stands ready to defend his territory. By planting booby traps galore, adorably mischievous Kevin stands his ground as his frantic mother attempts to race home before Christmas Day. | 3.538 | /onTSipZ8R3bliBdKfPtsDuHTdlL.jpg | 1990-11-16 | Home Alone | False | 7.4 | 10599 | +| 3 | /vKp3NvqBkcjHkCHSGi6EbcP7g4J.jpg | [12, 35, 878] | 196 | en | Back to the Future Part III | The final installment of the Back to the Future trilogy finds Marty digging the trusty DeLorean out of a mineshaft and looking for Doc in the Wild West of 1885. But when their time machine breaks down, the travelers are stranded in a land of spurs. More problems arise when Doc falls for pretty schoolteacher Clara Clayton, and Marty tangles with Buford Tannen. | 28.896 | /crzoVQnMzIrRfHtQw0tLBirNfVg.jpg | 1990-05-25 | Back to the Future Part III | False | 7.5 | 9918 | +| 4 | /3tuWpnCTe14zZZPt6sI1W9ByOXx.jpg | [35, 10749] | 114 | en | Pretty Woman | When a millionaire wheeler-dealer enters a business contract with a Hollywood hooker Vivian Ward, he loses his heart in the bargain. | 97.953 | /hVHUfT801LQATGd26VPzhorIYza.jpg | 1990-03-23 | Pretty Woman | False | 7.5 | 7671 | + +
+
+
+### レスポンスオブジェクト
+
+返されるオブジェクトはカスタムクラスのインスタンスです。その `objects` 属性は検索結果のリストで、各要素は別のカスタムクラスのインスタンスです。
+
+各オブジェクトは以下を満たします。
+- Blob データ型を除き、すべてのプロパティと UUID をデフォルトで含みます。
+- 参照、メタデータ、ベクトル など、それ以外の情報はデフォルトでは含みません。
+
+### クエリ ベクトルの取得方法
+
+この例のクエリ ベクトル は、[データ取り込み](../102_object_collections/25_generate_vectors.mdx) で取得した方法と同様に得られます。唯一の違いは、ベクトル をデータベースに保存せず、クエリで直接使用する点です。
+
+例: 実行結果
+ +```text +In Time 2011 +Distance to query: 0.179 + +Gattaca 1997 +Distance to query: 0.180 + +I, Robot 2004 +Distance to query: 0.182 + +Mad Max: Fury Road 2015 +Distance to query: 0.190 + +The Maze Runner 2014 +Distance to query: 0.193 +``` + +
+
+
+
+## ハイブリッド検索
+
+### コード
+
+この例では、"Movie" コレクション内から "history" という用語に対して最も高いハイブリッド検索スコアを持つエントリーを取得し、上位 5 件のタイトルと公開年を出力します。
+
+例: 結果
+ +```text +American History X 1998 +BM25 score: 2.707 + +A Beautiful Mind 2001 +BM25 score: 1.896 + +Legends of the Fall 1994 +BM25 score: 1.663 + +Hacksaw Ridge 2016 +BM25 score: 1.554 + +Night at the Museum 2006 +BM25 score: 1.529 +``` + +
+
+
+
+## 質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+例: 結果
+ +```text +Night at the Museum 2006 +Hybrid score: 0.016 + +The Butterfly Effect 2004 +Hybrid score: 0.014 + +Legends of the Fall 1994 +Hybrid score: 0.014 + +Hidden Figures 2016 +Hybrid score: 0.012 + +A Beautiful Mind 2001 +Hybrid score: 0.012 +``` + +
+
+
+
+## ご質問・フィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+結果例
+ +```text +Oppenheimer 2023 +Distance to query: 0.754 + +Everything Everywhere All at Once 2022 +Distance to query: 0.778 + +Meg 2: The Trench 2023 +Distance to query: 0.779 + +Eternals 2021 +Distance to query: 0.787 + +John Wick: Chapter 4 2023 +Distance to query: 0.790 +``` + +
+
+
+### レスポンス オブジェクト
+
+各レスポンス オブジェクトは通常の検索クエリの応答とほぼ同じですが、`generated` 属性が追加されています。この属性には、各オブジェクトに対して生成された結果が格納されます。
+
+
+## ご質問・フィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+結果例
+ +```text +In Time +À temps +Gattaca +Gattaca +I, Robot +Je, Robot +Mad Max: Fury Road +Mad Max: Fury Road +The Maze Runner +Le Labyrinthe +``` + +
+
+
+### オプションパラメーター
+
+使用するプロパティのリストを `grouped_properties` パラメーターとして渡すこともできます。これにより、大規模言語モデルに渡すデータ量を削減し、不要なプロパティを省くのに役立ちます。
+
+### レスポンスオブジェクト
+
+`grouped_task` パラメーター付きの RAG クエリは、`generated` という追加属性を持つレスポンスを返します。この属性にはオブジェクト集合に対して生成された出力が含まれます。
+
+## 質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+Example results
+ +```text +In Time +Gattaca +I, Robot +Mad Max: Fury Road +The Maze Runner +These movies all take place in a futuristic or dystopian society where the characters must navigate complex systems and face challenges related to technology, society, and survival. They all explore themes of control, power, and the consequences of scientific advancements on humanity. +``` + +
+ 例
+
+CLIP モデルの追加情報により、出力が少し長くなっています。
+
+
+
+### 接続のクローズ
+
+Weaviate クライアントの使用が終わったら、接続をクローズしてください。これによりリソースが解放され、接続が適切に閉じられます。
+
+ベストプラクティスとして `try`-`finally` ブロックの使用を推奨します。簡潔にするため、以降のコードスニペットでは `try`-`finally` ブロックは省略します。
+
+例 get_meta 出力
+
+CLIP モデルの追加情報により、出力が少し長くなっています。
+
+
+
+
+次に、対応するオブジェクトコレクションを作成し、データをインポートします。
+
+## 質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+サンプルテキストデータを表示
+ +| | backdrop_path | genre_ids | id | original_language | original_title | overview | popularity | poster_path | release_date | title | video | vote_average | vote_count | +|---:|:---------------------------------|:----------------|-----:|:--------------------|:----------------------------|:--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|-------------:|:---------------------------------|:---------------|:----------------------------|:--------|---------------:|-------------:| +| 0 | /3Nn5BOM1EVw1IYrv6MsbOS6N1Ol.jpg | [14, 18, 10749] | 162 | en | Edward Scissorhands | A small suburban town receives a visit from a castaway unfinished science experiment named Edward. | 45.694 | /1RFIbuW9Z3eN9Oxw2KaQG5DfLmD.jpg | 1990-12-07 | Edward Scissorhands | False | 7.7 | 12305 | +| 1 | /sw7mordbZxgITU877yTpZCud90M.jpg | [18, 80] | 769 | en | GoodFellas | The true story of Henry Hill, a half-Irish, half-Sicilian Brooklyn kid who is adopted by neighbourhood gangsters at an early age and climbs the ranks of a Mafia family under the guidance of Jimmy Conway. | 57.228 | /aKuFiU82s5ISJpGZp7YkIr3kCUd.jpg | 1990-09-12 | GoodFellas | False | 8.5 | 12106 | +| 2 | /6uLhSLXzB1ooJ3522ydrBZ2Hh0W.jpg | [35, 10751] | 771 | en | Home Alone | Eight-year-old Kevin McCallister makes the most of the situation after his family unwittingly leaves him behind when they go on Christmas vacation. But when a pair of bungling burglars set their sights on Kevin's house, the plucky kid stands ready to defend his territory. By planting booby traps galore, adorably mischievous Kevin stands his ground as his frantic mother attempts to race home before Christmas Day. | 3.538 | /onTSipZ8R3bliBdKfPtsDuHTdlL.jpg | 1990-11-16 | Home Alone | False | 7.4 | 10599 | +| 3 | /vKp3NvqBkcjHkCHSGi6EbcP7g4J.jpg | [12, 35, 878] | 196 | en | Back to the Future Part III | The final installment of the Back to the Future trilogy finds Marty digging the trusty DeLorean out of a mineshaft and looking for Doc in the Wild West of 1885. But when their time machine breaks down, the travelers are stranded in a land of spurs. More problems arise when Doc falls for pretty schoolteacher Clara Clayton, and Marty tangles with Buford Tannen. | 28.896 | /crzoVQnMzIrRfHtQw0tLBirNfVg.jpg | 1990-05-25 | Back to the Future Part III | False | 7.5 | 9918 | +| 4 | /3tuWpnCTe14zZZPt6sI1W9ByOXx.jpg | [35, 10749] | 114 | en | Pretty Woman | When a millionaire wheeler-dealer enters a business contract with a Hollywood hooker Vivian Ward, he loses his heart in the bargain. | 97.953 | /hVHUfT801LQATGd26VPzhorIYza.jpg | 1990-03-23 | Pretty Woman | False | 7.5 | 7671 | + +
+
+
+クエリ画像
+ + + +
+
+
+
+
+
+
+Weaviate output:
+
+```text
+Interstellar 2014 157336
+Distance to query: 0.354
+
+Gravity 2013 49047
+Distance to query: 0.384
+
+Arrival 2016 329865
+Distance to query: 0.386
+
+Armageddon 1998 95
+Distance to query: 0.400
+
+Godzilla 1998 929
+Distance to query: 0.441
+```
+
+
+
+### レスポンスオブジェクト
+
+返されるオブジェクトはカスタムクラスのインスタンスです。`objects` 属性は検索結果のリストで、それぞれが別のカスタムクラスのインスタンスになります。
+
+各オブジェクトには、以下が適用されます:
+- 既定では、すべてのプロパティとその UUID が含まれますが、 blob データ型のプロパティは除外されます。
+ - `poster` プロパティは blob なので、既定では含まれません。
+ - `poster` プロパティを含める場合は、`return_properties` パラメーターで取得したい他のプロパティとともに指定してください。
+- 参照、メタデータ、ベクトルなど、その他の情報は既定では含まれません。
+
+
+## テキスト検索
+
+### コード
+
+この例では、「MovieMM」のエントリをクエリ「red」との類似度に基づいて検索し、上位 5 件の一致のタイトルと公開年を出力します。
+
+結果例
+ +上位 5 件のポスター: +
+
+
+
+
+
+Weaviate output:
+
+```text
+Interstellar 2014 157336
+Distance to query: 0.354
+
+Gravity 2013 49047
+Distance to query: 0.384
+
+Arrival 2016 329865
+Distance to query: 0.386
+
+Armageddon 1998 95
+Distance to query: 0.400
+
+Godzilla 1998 929
+Distance to query: 0.441
+```
+
+
+
+
+
+
+
+
+Weaviate output:
+
+```text
+Deadpool 2 2018 383498
+Distance to query: 0.670
+
+Bloodshot 2020 338762
+Distance to query: 0.677
+
+Deadpool 2016 293660
+Distance to query: 0.678
+
+300 2007 1271
+Distance to query: 0.682
+
+The Hunt for Red October 1990 1669
+Distance to query: 0.683
+```
+
+
+
+### レスポンスオブジェクト
+
+返されるオブジェクトの形式は前の例と同じです。
+
+
+## ご質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+結果例
+ +上位 5 件のポスター: +
+
+
+
+
+
+Weaviate output:
+
+```text
+Deadpool 2 2018 383498
+Distance to query: 0.670
+
+Bloodshot 2020 338762
+Distance to query: 0.677
+
+Deadpool 2016 293660
+Distance to query: 0.678
+
+300 2007 1271
+Distance to query: 0.682
+
+The Hunt for Red October 1990 1669
+Distance to query: 0.683
+```
+
+
+
+
+
+## ハイブリッド検索
+
+### コード
+
+この例では、"MovieMM" 内で "history" という語に対して最も高いハイブリッド検索スコアを持つエントリーを検索し、上位 5 件のタイトルと公開年を出力します。
+
+例: 結果
+ +```text +American History X 1998 +BM25 score: 2.707 + +A Beautiful Mind 2001 +BM25 score: 1.896 + +Legends of the Fall 1994 +BM25 score: 1.663 + +Hacksaw Ridge 2016 +BM25 score: 1.554 + +Night at the Museum 2006 +BM25 score: 1.529 +``` + +
+
+
+
+## 質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+例: 結果
+ +```text +Legends of the Fall 1994 +Hybrid score: 0.016 + +Hacksaw Ridge 2016 +Hybrid score: 0.016 + +A Beautiful Mind 2001 +Hybrid score: 0.015 + +The Butterfly Effect 2004 +Hybrid score: 0.015 + +Night at the Museum 2006 +Hybrid score: 0.012 +``` + +
+
+
+
+## ご質問やフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+例の結果
+ +```text +Dune 2021 +Distance to query: 0.199 + +Tenet 2020 +Distance to query: 0.200 + +Mission: Impossible - Dead Reckoning Part One 2023 +Distance to query: 0.207 + +Onward 2020 +Distance to query: 0.214 + +Jurassic World Dominion 2022 +Distance to query: 0.216 +``` + +
+
+
+### レスポンス オブジェクト
+
+レスポンス オブジェクトは通常の検索クエリのものとほぼ同じですが、`generated` 属性が追加されています。この属性には、各オブジェクトに対して生成された出力が格納されます。
+
+
+## 質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+結果例
+ +```text +Interstellar +Interstellaire +Gravity +Gravité +Arrival +Arrivée +Armageddon +Armageddon +Godzilla +Godzilla +``` + +
+
+
+### 追加パラメーター
+
+使用するプロパティのリストを `grouped_properties` パラメーターとして渡すこともできます。大規模言語モデルに渡すデータ量を減らし、不要なプロパティを省く際に便利です。
+
+### レスポンスオブジェクト
+
+`grouped_task` パラメーターを使った RAG クエリは、追加で `generated` 属性を含むレスポンスを返します。この属性には、オブジェクト集合に対して生成された出力が格納されます。
+
+## 質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+結果例
+ +```text +Interstellar +Gravity +Arrival +Armageddon +Godzilla +These movies all involve space exploration, extraterrestrial beings, or catastrophic events threatening Earth. They all deal with themes of survival, human ingenuity, and the unknown mysteries of the universe. +``` + +
+ 例
+
+
+
+### 接続の終了
+
+Weaviateクライアントの使用が終わったら、接続を終了するようにしてください。これによりリソースが解放され、接続が適切にクローズされます。
+
+ベストプラクティスとしては `try`-`finally` ブロックを使用することを推奨します。簡潔にするため、以降のコードスニペットでは `try`-`finally` ブロックは省略します。
+
+例 get_meta 出力
+
+
+
+
+次に、対応するオブジェクトコレクションを作成し、データをインポートします。
+
+## 質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+サンプルデータを表示
+ +| | backdrop_path | genre_ids | id | original_language | original_title | overview | popularity | poster_path | release_date | title | video | vote_average | vote_count | +|---:|:---------------------------------|:----------------|-----:|:--------------------|:----------------------------|:--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|-------------:|:---------------------------------|:---------------|:----------------------------|:--------|---------------:|-------------:| +| 0 | /3Nn5BOM1EVw1IYrv6MsbOS6N1Ol.jpg | [14, 18, 10749] | 162 | en | Edward Scissorhands | A small suburban town receives a visit from a castaway unfinished science experiment named Edward. | 45.694 | /1RFIbuW9Z3eN9Oxw2KaQG5DfLmD.jpg | 1990-12-07 | Edward Scissorhands | False | 7.7 | 12305 | +| 1 | /sw7mordbZxgITU877yTpZCud90M.jpg | [18, 80] | 769 | en | GoodFellas | The true story of Henry Hill, a half-Irish, half-Sicilian Brooklyn kid who is adopted by neighbourhood gangsters at an early age and climbs the ranks of a Mafia family under the guidance of Jimmy Conway. | 57.228 | /aKuFiU82s5ISJpGZp7YkIr3kCUd.jpg | 1990-09-12 | GoodFellas | False | 8.5 | 12106 | +| 2 | /6uLhSLXzB1ooJ3522ydrBZ2Hh0W.jpg | [35, 10751] | 771 | en | Home Alone | Eight-year-old Kevin McCallister makes the most of the situation after his family unwittingly leaves him behind when they go on Christmas vacation. But when a pair of bungling burglars set their sights on Kevin's house, the plucky kid stands ready to defend his territory. By planting booby traps galore, adorably mischievous Kevin stands his ground as his frantic mother attempts to race home before Christmas Day. | 3.538 | /onTSipZ8R3bliBdKfPtsDuHTdlL.jpg | 1990-11-16 | Home Alone | False | 7.4 | 10599 | +| 3 | /vKp3NvqBkcjHkCHSGi6EbcP7g4J.jpg | [12, 35, 878] | 196 | en | Back to the Future Part III | The final installment of the Back to the Future trilogy finds Marty digging the trusty DeLorean out of a mineshaft and looking for Doc in the Wild West of 1885. But when their time machine breaks down, the travelers are stranded in a land of spurs. More problems arise when Doc falls for pretty schoolteacher Clara Clayton, and Marty tangles with Buford Tannen. | 28.896 | /crzoVQnMzIrRfHtQw0tLBirNfVg.jpg | 1990-05-25 | Back to the Future Part III | False | 7.5 | 9918 | +| 4 | /3tuWpnCTe14zZZPt6sI1W9ByOXx.jpg | [35, 10749] | 114 | en | Pretty Woman | When a millionaire wheeler-dealer enters a business contract with a Hollywood hooker Vivian Ward, he loses his heart in the bargain. | 97.953 | /hVHUfT801LQATGd26VPzhorIYza.jpg | 1990-03-23 | Pretty Woman | False | 7.5 | 7671 | + +
+
+
+### レスポンスオブジェクト
+
+返されるオブジェクトはカスタムクラスのインスタンスです。その `objects` 属性は検索結果のリストで、各要素も別のカスタムクラスのインスタンスです。
+
+各オブジェクトは次のようになります。
+- デフォルトでは、blob データ型を持つものを除き、すべてのプロパティとその UUID を含みます。
+- デフォルトでは、それ以外の情報 (例: references、metadata、vectors) は含みません。
+
+
+## 質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+Example results
+ +```text +In Time 2011 +Distance to query: 0.179 + +Gattaca 1997 +Distance to query: 0.180 + +I, Robot 2004 +Distance to query: 0.182 + +Mad Max: Fury Road 2015 +Distance to query: 0.190 + +The Maze Runner 2014 +Distance to query: 0.193 +``` + +
+
+
+
+## ハイブリッド検索
+
+### コード
+
+この例では、用語「history」に対してハイブリッド検索スコアが最も高い「Movie」のエントリを取得し、上位 5 件のタイトルと公開年を表示します。
+
+結果例
+ +```text +American History X 1998 +BM25 score: 2.707 + +A Beautiful Mind 2001 +BM25 score: 1.896 + +Legends of the Fall 1994 +BM25 score: 1.663 + +Hacksaw Ridge 2016 +BM25 score: 1.554 + +Night at the Museum 2006 +BM25 score: 1.529 +``` + +
+
+
+
+## 質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+結果例
+ +```text +Legends of the Fall 1994 +Hybrid score: 0.016 + +Hacksaw Ridge 2016 +Hybrid score: 0.016 + +A Beautiful Mind 2001 +Hybrid score: 0.015 + +The Butterfly Effect 2004 +Hybrid score: 0.015 + +Night at the Museum 2006 +Hybrid score: 0.012 +``` + +
+
+
+
+## ご質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+例: 結果
+ +```text +Dune 2021 +Distance to query: 0.199 + +Tenet 2020 +Distance to query: 0.200 + +Mission: Impossible - Dead Reckoning Part One 2023 +Distance to query: 0.207 + +Onward 2020 +Distance to query: 0.214 + +Jurassic World Dominion 2022 +Distance to query: 0.216 +``` + +
+
+
+### レスポンスオブジェクト
+
+各レスポンスオブジェクトは通常の検索クエリの結果とほぼ同じですが、追加で `generated` 属性が含まれます。この属性には、各オブジェクトの生成結果が入ります。
+
+
+## 質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+結果例
+ +```text +In Time +À temps +Looper +Boucleur +I, Robot +Je, Robot +The Matrix +La Matrice +Children of Men +Les enfants des hommes +``` + +
+
+
+### 追加パラメーター
+
+`grouped_properties` パラメーターとして使用するプロパティのリストを渡すこともできます。これにより、大規模言語モデルへ渡すデータ量を削減し、不要なプロパティを省くことが可能です。
+
+### レスポンス オブジェクト
+
+`grouped_task` パラメーターを含む RAG クエリは、追加の `generated` 属性を持つレスポンスを返します。この属性には、オブジェクト集合に対して生成された出力が含まれます。
+
+## 質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+結果例
+ +```text +In Time +Looper +I, Robot +The Matrix +Children of Men +These movies all involve futuristic settings and explore themes related to the manipulation of time, technology, and the potential consequences of advancements in society. They also touch on issues such as inequality, control, and the impact of human actions on the future of humanity. +``` + +
+
+
+コレクション作成手順
+ +複数のプロパティを持つシンプルなオブジェクトコレクションを作成します。各プロパティには同じテキストを格納しますが、トークナイゼーション方式を変えます。 + +
+
+
+
+## フィルターへの影響
+
+オブジェクトを Weaviate に追加したので、異なるトークナイゼーション方式がフィルタリングされた取得にどのような影響を与えるかを見てみましょう。
+
+各フィルタークエリは次のようになります。オブジェクトを一連のクエリ文字列でフィルタリングします。
+
+再利用可能な関数を用意し、クエリ文字列のセットに基づいてオブジェクトをフィルタリングします。フィルターはバイナリであり、マッチするかしないかのいずれかです。
+
+関数はマッチしたオブジェクトのリストを返し、さらに結果を表示します。
+
+オブジェクト追加手順
+ +次に、テキストオブジェクトをプロパティとして繰り返し追加します。 + +
+
+
+コロン (`:`) を含めない限り、`word` トークナイゼーションのみが一貫してタイトルにマッチしている点に注目してください。これは `word` トークナイゼーションがコロンをセパレーターとして扱うためです。
+
+ユーザーはクエリに句読点や正確な大文字小文字を含めるとは限りません。そのため、一般的なテキストフィルター用途では `word` トークナイゼーション方式が良い出発点になります。
+
+### 「**A mouse**」と「**mouse**」の比較 - ストップワード
+
+ここでは、「computer mouse」というフレーズのバリエーションをフィルタリングし、いくつかのクエリには余分な単語を含めます。
+
+結果を確認しましょう。
+
+**`"computer mouse"` のマッチ結果**
+
+| | `word` | `lowercase` | `whitespace` | `field` |
+|------------------------------|-----------|-------------|--------------|---------|
+| `"computer mouse"` | ✅ | ✅ | ✅ | ✅ |
+| `"a computer mouse"` | ✅ | ✅ | ✅ | ❌ |
+| `"the computer mouse:" ` | ✅ | ✅ | ✅ | ❌ |
+| `"blue computer mouse" ` | ❌ | ❌ | ❌ | ❌ |
+
+**`"a computer mouse"` のマッチ結果**
+
+| | `word` | `lowercase` | `whitespace` | `field` |
+|------------------------------|-----------|-------------|--------------|---------|
+| `"computer mouse"` | ✅ | ✅ | ✅ | ❌ |
+| `"a computer mouse"` | ✅ | ✅ | ✅ | ✅ |
+| `"the computer mouse:" ` | ✅ | ✅ | ✅ | ❌ |
+| `"blue computer mouse" ` | ❌ | ❌ | ❌ | ❌ |
+
+Python クエリ & 出力
+ +
+
+
+結果からわかるように、クエリに "a" や "the" を追加しても、`field` 方式以外ではフィルター結果に影響しません。これは、各トークナイゼーション方式において "a" や "the" がストップワードとして無視されるためです。
+
+`field` 方式では、"a" や "the" のようなストップワードのトークン自体が生成されません。入力 `"a computer mouse"` は `["a computer mouse"]` という 1 つのトークンにトークナイズされます。
+
+ストップワードでない "blue" のような単語を追加すると、クエリはどのオブジェクトにもマッチしなくなります。
+### "**variable_name**" と "**variable name**" - 記号
+
+`word` トークン化はデフォルトとしては優れています。ただし、常に最適とは限りません。ここでは `"variable_name"` のさまざまな表記でフィルターを行い、完全一致 (`"variable_name"`) のオブジェクトにマッチするかどうかを確認する例を見てみましょう。
+
+| | `word` | `lowercase` | `whitespace` | `field` |
+|------------------------------|-----------|-------------|--------------|---------|
+| `"variable_name"` | ✅ | ✅ | ✅ | ✅ |
+| `"Variable_Name:" ` | ✅ | ✅ | ❌ | ❌ |
+| `"Variable Name:" ` | ✅ | ❌ | ❌ | ❌ |
+| `"a_variable_name"` | ✅ | ❌ | ❌ | ❌ |
+| `"the_variable_name"` | ✅ | ❌ | ❌ | ❌ |
+| `"variable_new_name" ` | ✅ | ❌ | ❌ | ❌ |
+
+Python クエリ & 出力
+ +
+
+
+ここで期待される挙動は何でしょうか。`"variable name"` でフィルターしたとき、プロパティが `"variable_name"` であるオブジェクトにマッチすべきでしょうか。
+
+では `"variable_new_name"` でフィルターした場合はどうでしょう。たとえばコードベースを検索する場合、ユーザーは `"variable_new_name"` のフィルターが `"variable_name"` にマッチするとは想定していないかもしれません。
+
+このように、データにとって記号が重要な場合は、`lowercase` や `whitespace` など、記号を保持するトークン化方法の使用を検討してください。
+
+## ディスカッション
+
+ここまでで、異なるトークン化方法がフィルターにどのように影響するかを説明しました。
+
+ほとんどのフィルタリング用途では、`word` トークン化が出発点として適しています。これは大文字・小文字を区別せず、ほとんどの記号を区切り文字として扱います。
+
+しかし、記号がデータにとって重要な場合や、大文字・小文字を区別する必要がある場合には、別のトークン化方法を検討すると良いでしょう。
+
+それでは `field` トークン化はどうでしょうか。この方法は、テキスト全体を 1 つのトークンとして扱う必要がある場合に最も有用です。メールアドレス、 URL、識別子などのプロパティに適しています。
+
+`field` トークン化を用いた典型的なフィルタリング戦略には、完全一致やワイルドカードを用いた部分一致があります。ただし、ワイルドカードベースのフィルターは計算コストが高い（遅い）場合があるため、慎重に使用してください。
+
+次に、トークン化がキーワード検索にどのように影響するかについて説明します。
+
+## 質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+Python クエリ & 出力
+ +
+
+
+ここではフィルターの例と同じオブジェクトが返されていますが、スコアに違いがある点に注目してください。
+
+たとえば、`"lois clark"` の検索は `"clark"` の検索よりも高いスコアを返します。これは BM25f アルゴリズムが一致トークンの数を考慮するためであり、検索クエリにできるだけ多くの一致トークンを含めると有利になるためです。
+
+もう一つの違いは、キーワード検索ではクエリ内のトークンのいずれかが一致すればオブジェクトが返されることです。フィルターの場合は演算子によって挙動が変わり、たとえば `"Equal"`、`"ContainsAny"`、`"ContainsAll"` などを使い分ける必要があります。
+
+次のセクションではこれを示し、ストップワードがどのように扱われるかも説明します。
+
+#### 「**A mouse**」 vs 「**mouse**」 - ストップワード
+
+ここでは、「computer mouse」というフレーズの変形を検索し、一部のクエリに追加の単語を含めています。
+
+では、結果を見てみましょう。
+
+**`"computer mouse"` に対するマッチ**
+
+| | `word` | `lowercase` | `whitespace` | `field` |
+|------------------------------|-----------|-------------|--------------|---------|
+| `"computer mouse"` | 0.889 | 0.819 | 1.01 | 0.982 |
+| `"Computer Mouse"` | 0.889 | 0.819 | ❌ | ❌ |
+| `"a computer mouse"` | 0.764 | 0.764 | 0.849 | ❌ |
+| `"computer mouse pad" ` | 0.764 | 0.764 | 0.849 | ❌ |
+
+**`"a computer mouse"` に対するマッチ**
+
+| | `word` | `lowercase` | `whitespace` | `field` |
+|------------------------------|-----------|-------------|--------------|---------|
+| `"computer mouse"` | 0.889 | 0.819 | 1.01 | ❌ |
+| `"Computer Mouse"` | 0.889 | 0.819 | ❌ | ❌ |
+| `"a computer mouse"` | 0.764 | 1.552 | 1.712 | 0.982 |
+| `"computer mouse pad" ` | 0.764 | 0.688 | 0.849 | ❌ |
+
+Python query & output
+ +
+
+
+結果はフィルターの例と似ていますが、より微妙で興味深い違いがあります。
+
+`word` トークン化では、`computer mouse` の検索結果は `a computer mouse` の検索結果と同一になります。これはストップワード `a` が検索では考慮されないためです。
+
+しかし、`"computer mouse"` と `"a computer mouse"` のようにストップワードだけが異なるオブジェクトでもスコアが異なる点に注目してください。これは BM25f アルゴリズムが[ストップワードをインデックスする](../../../weaviate/config-refs/indexing/inverted-index.mdx#stopwords)ためで、スコアには影響があります。
+
+ユーザーとしてはこの点を念頭に置き、コレクション定義でストップワードを設定して希望の挙動に合わせることが可能です。
+
+また、`lowercase` と `whitespace` のトークン化方式では、クエリ内のストップワードは削除されません。
+
+この挙動により、ストップワードを明示的に検索クエリに含めたいユーザーも対応可能です。
+#### 「**variable_name**」と「**variable name**」 − 記号
+
+以下のテーブルは、文字列 `variable_name` を使用した keyword 検索の結果と、それに対応するスコアを示しています。
+
+| | `word` | `lowercase` | `whitespace` | `field` |
+|------------------------------|-----------|-------------|--------------|---------|
+| `"variable_name"` | 0.716 | 0.97 | 1.27 | 0.982 |
+| `"Variable_Name:" ` | 0.716 | 0.97 | ❌ | ❌ |
+| `"Variable Name:" ` | 0.716 | ❌ | ❌ | ❌ |
+| `"a_variable_name"` | 0.615 | ❌ | ❌ | ❌ |
+| `"the_variable_name"` | 0.615 | ❌ | ❌ | ❌ |
+| `"variable_new_name" ` | 0.615 | ❌ | ❌ | ❌ |
+
+Python query & output
+ +
+
+
+これらの結果は、フィルターの例と同様です。検索で重要となる記号がデータに含まれている場合は、`lowercase` や `whitespace` など、記号を保持する tokenization 方法の使用を検討してください。
+
+### 議論
+
+keyword 検索と tokenization については以上です。フィルターの場合と同様に、どの tokenization 方法を選択するかは、検索戦略全体の大きな要素となります。
+
+keyword 検索における tokenization の一般的なアドバイスは、[フィルターの場合](./300_filters.mdx#-discussions)と似ています。まずは `word` を使用し、データ内で記号や大文字・小文字が重要な情報を持つ場合は `lowercase` や `whitespace` などを検討してください。
+
+`field` tokenization は非常に厳格で、完全に一致する文字列が同じ順序で存在しないオブジェクトはヒットしないため、keyword 検索には適さない場合があります。
+
+また、keyword 検索は順位付きの結果を返します。そのため、tokenization は結果の集合だけでなく、その集合内での順位にも影響します。
+
+これらの点を踏まえ、データとユーザーのニーズに最適な tokenization 戦略を設定してください。
+
+## 質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+Python query & output
+ +
+ 
+
+
+[ベクトルインデックス](/weaviate/concepts/indexing/vector-index.md) は、ベクトルを保存し検索するために特化したインデックスです。
+
+ベクトルインデックスの選択と設定は、インポートや検索のパフォーマンス、そして Weaviate インスタンスのリソース要件に大きく影響します。
+
+そのため、ベクトルインデックスは Weaviate における重要なコンポーネントです。
+
+## ベクトルインデックスの利点
+
+データベースは急速に巨大化するため、特定の項目を検索する時間が許容できないほど長くなったり、検索に必要なリソースが過剰になったりすることがあります。
+
+ベクトルインデックスは、大規模データベースでの検索体験を向上させるために設計されています。
+
+通常、検索速度・精度・リソース要件という 3 つの要素をバランスするためにトレードオフを行います。
+
+## ベクトルインデックスの種類
+
+ベクトルインデックスには多くの種類があります。大半は比較すべきベクトル数を減らすことで検索を高速化しますが、その手法はさまざまで、それぞれに長所と短所があります。
+
+### グラフインデックス
+
+グラフインデックスはベクトル間にネットワークを形成し、類似したベクトル同士を接続します。これにより、クエリベクトルに近いベクトルをグラフ上で高速に「トラバース」して見つけられます。
+
+import HNSWDiagram from './_snippets/hnsw_diagram.png';
+
+
+
+ 
+
+
+HNSW（Hierarchical Navigable Small World）は、最も一般的なグラフインデックスタイプです。複数の「レイヤー」にベクトルを配置し、グラフを高速に横断できるようにします。
+
+HNSW はスケーラビリティに優れ、インクリメンタル更新が可能で、高次元ベクトルにも効率的です。
+
+これは Weaviate のデフォルトインデックスタイプです。
+
+### ツリーインデックス
+
+ツリーインデックスはベクトルをツリー構造に分割します。
+
+
+ 
+
+
+ANNOY（Approximate Nearest Neighbors Oh Yeah）は代表的なツリーインデックスで、ベクトルを二分木に分割します。
+
+メモリ効率が高く、低次元ベクトルに適しています。
+
+ツリーの特性上、時間とともにインデックスを更新するコストが高くなる場合があります。これはツリーを再構築する必要があるか、インクリメンタルに更新できるかによります。
+
+ANNOY 自体はインクリメンタル更新をサポートしていません。
+
+### クラスタインデックス
+
+クラスタインデックスはベクトルを類似度に基づいてグループ化します。その結果、検索空間は最も近傍が存在する可能性が高いクラスタのみに絞られます。
+
+検索精度（リコール・適合率）はグラフインデックスより低い傾向がありますが、メモリ効率に優れています。
+
+### フラットインデックス
+
+フラットインデックスは最も単純なインデックスで、すべてのベクトルを 1 つのリストに保存し、全件を走査して最近傍を探します。
+
+メモリ効率は非常に高いものの、検索時間はベクトル数に比例して線形に増加するため、スケールは困難です。
+
+### Weaviate で利用可能なベクトルインデックス
+
+Weaviate は `hnsw`、`flat`、`dynamic` の複数のベクトルインデックスタイプをサポートしています。
+
+詳細は次のセクションで説明します。
+
+## 質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+
+
+
+
+
+この方法により、検索はまずグラフの適切な領域を素早く特定し、その後最下層で網羅的な検索を実行できます。
+
+直感的には、HNSW グラフは高次元版のスキップリストのように捉えられます。上位レイヤーで大域検索を、下位レイヤーでローカル検索を行うイメージです。
+
+### トレードオフ
+
+HNSW は非常に柔軟で、幅広いトレードオフを実現できます。
+
+検索速度・精度・リソース要件のバランスは、HNSW のパラメーター調整や [ ベクトル の量子化](../compression/index.md) によって最適化できます。
+
+### リソース要件
+
+HNSW はインメモリ インデックスであり、グラフ内の各ノードとエッジはすべてメモリに保持されます。
+
+したがって、インデックスのメモリサイズは ベクトル 数と ベクトル 間の接続数にほぼ比例します。
+
+HNSW インデックスのサイズは ベクトル 数が支配的です。以下の表は一例です。
+
+| コンポーネント | サイズ算出 | 典型的サイズ | サイズ @1M ベクトル | サイズ @100M ベクトル |
+| --- | --- | --- | --- | --- |
+| Node | 4B (float) × N dimensions | 2-12 kB | 2-12 GB | 200-1200 GB |
+| Edge | 10B × 20 connections | 200 B | 200 MB | 20 GB |
+
+ご覧のように、HNSW インデックスのメモリ要件は急速にボトルネックになり得ます。その際は [量子化](../compression/index.md) を用いてメモリサイズを削減できます。
+
+### 距離メトリック
+
+
+
+インデックスで使用する距離メトリックは、 ベクトル 間の距離計算方法を決定します。HNSW では、これが各 ベクトル のグラフ上の配置に影響します。
+
+コレクション内の ベクトル に適したメトリックを選択してください。判断には、 ベクトル を生成したモデルのドキュメントを参照します。
+
+Weaviate のデフォルトは cosine ですが、[他にも多数のメトリック](/weaviate/config-refs/distances.md) が利用可能です。
+
+迷った場合は、多くのモデルで採用されている cosine 距離が堅牢なデフォルトとして推奨されます。
+
+### HNSW をインデックス タイプとして指定
+
+HNSW は Weaviate のデフォルト ベクトル インデックス タイプです。そのため、コレクションで特定のインデックス タイプを指定しなければ HNSW が使用されます。
+
+明示的に指定したい場合は、以下のように設定します。
+
+
+ 
+
+
+ノード間の最大接続数（`maxConnections`）は、グラフの密結合度を決定します。
+
+接続数が多いほど検索精度は向上しますが、検索速度が低下し、メモリ使用量も増加します。
+
+デフォルト値は `32` です。最下層では各ノードが最大で `2 * maxConnections` 本の接続を持つ点に注意してください。
+
+### ダイナミックリストのサイズ
+
+HNSW における「ダイナミックリスト」とは、アルゴリズムが検討対象とするノードの一覧を指します。ダイナミックリストは二つの場面で使用されます。
+
+検索時には、リストで検討中のノードを追跡し、検索が網羅的になるようにします。
+
+インデックス構築時には、接続候補となるノードを保持し、HNSW アルゴリズムが `maxConnections` 本の最適な接続を選定します。この際は近接度だけでなく、グラフ全体の接続性も考慮されます。
+
+#### 検索用ダイナミックリストサイズ
+
+import EfDiagram from './_snippets/ef.png';
+
+
+ 
+
+
+検索時のダイナミックリストサイズは、静的または動的に設定できます。
+
+静的に設定する場合は、コレクション作成時に `ef` パラメーターを指定します。デフォルトは `-1` で、この値は動的設定に委ねることを意味します。
+
+動的に設定する場合は、`dynamicEfMin`、`dynamicEfMax`、`dynamicEfFactor` を組み合わせて指定します。
+
+ダイナミックリストサイズは、クエリの limit × `dynamicEfFactor` を基準として、最小値 `dynamicEfMin`、最大値 `dynamicEfMax` によって制限されます。
+
+コードで表すと次のようになります。
+
+```python
+ef = min(max(dynamicEfMin, queryLimit * dynamicEfFactor), dynamicEfMax)
+```
+
+デフォルト値は `dynamicEfMin = 100`、`dynamicEfMax = 500`、`dynamicEfFactor = 8` です。
+#### インデックス構築時の動的リストサイズ
+
+import EfConstructionDiagram from './_snippets/efConstruction.png';
+
+
+ 
+
+
+インデックス構築時の動的リストサイズを設定するには、コレクション作成時に `efConstruction` パラメーターを指定します。
+
+これにより検索パフォーマンスが向上しますが、インデックス構築処理に負荷がかかります。デフォルト値は `128` です。
+
+### 量子化
+
+HNSW で量子化を有効にすると、圧縮された ベクトル を使用することでメモリ上のインデックスサイズを削減できます。なお、完全な ベクトル はディスクに保存されており、インデックスから取得後の再スコアリングに使用されます。
+
+これは特に大量の ベクトル を扱う場合、Weaviate インスタンスのメモリ要件を大幅に削減する強力な方法となります。
+
+量子化の詳細は [Weaviate Academy のコース](../compression/index.md) で学習できます。
+
+## Weaviate で HNSW を設定する
+
+これらの各パラメーターは、Weaviate でコレクションを作成する際に指定できます。なお、ここで取り上げたパラメーターのうち、変更可能なのは `dynamicEf` 関連のパラメーターのみです。
+
+### コード例
+
++ +Weaviate はオープンソースの [ベクトル データベース](https://weaviate.io/blog/what-is-a-vector-database) です。とはいえ、これはどういう意味でしょうか？ここで詳しく見ていきましょう。 + +### ベクトル データベース + +Weaviate は、必要な情報をすばやく正確に取得するための優れたツールです。その理由は、Weaviate が優秀な **ベクトル データベース** であるからです。 + +皆さんは SQL を使うリレーショナル データベースなど、従来のデータベースに慣れているかもしれません。データベースは情報を分類・保存・取得できます。**ベクトル** データベースもこれらを行えますが、決定的な違いは「類似度」に基づいて操作できる点です。 + +#### 従来の検索の仕組み + +たとえば、ヨーロッパの「主要」都市に関する記事を収めたリレーショナル データベースを検索するとします。SQL を使用して、次のようなクエリを作成するかもしれません。 + +```sql +SELECT city_name wiki_summary +FROM wiki_city +WHERE (wiki_summary LIKE '%major European city%' OR + wiki_summary LIKE '%important European city%' OR + wiki_summary LIKE '%prominent European city%' OR + wiki_summary LIKE '%leading European city%' OR + wiki_summary LIKE '%significant European city%' OR + wiki_summary LIKE '%top European city%' OR + wiki_summary LIKE '%influential European city%' OR + wiki_summary LIKE '%notable European city%') + (… and so on) +``` + +このクエリは、`wiki_summary` 列に `major`、`important`、`prominent` などの文字列が含まれる都市を返します。 + +多くの場合、これはうまく機能します。しかし、この方法には 2 つの大きな制約があります。 + +#### 従来検索の制約 + +まず、この手法では、その概念を表す可能性のある語句を自分で洗い出す必要がありますが、これは簡単ではありません。 + +さらに、結果として得られるオブジェクトをどのように順位付けするかという問題も解決しません。 + +上記の検索では、ほとんど関連性のない「別のヨーロッパ都市」について言及しているだけのエントリでも、パリやローマのように高い関連性を持つエントリと同じ重み付けになってしまいます。 + +ベクトル データベースは、類似度に基づく検索を可能にすることで、この課題をシンプルにします。 + +#### ベクトル検索の例 + +たとえば、Weaviate では次のようなクエリを実行できます。 + +```graphql +{ + Get { + WikiCity ( + nearText: { concepts: ["Major European city"] } + ) { city_name wiki_summary } + } +} +``` + +すると、クエリ「Major European city」の概念との **類似度でランク付けされた** エントリ一覧が返ってきます。 + +さらに Weaviate は、データを類似度に基づいて「インデックス化」するため、この種のデータ取得が驚くほど高速です。 + +Weaviate はこれらを実現するだけでなく、実際にはもっと多くのことができます。別の言い方をすれば、Weaviate は情報活用を強力に後押しします。 + +:::info ベクトル検索とセマンティック検索 +ベクトル検索は「セマンティック検索」とも呼ばれます。意味 (semantic) の類似度に基づいて結果を返すためです。 +::: + +### オープンソース + +Weaviate はオープンソースです。つまり、その [コードベースがオンライン](https://github.com/weaviate/weaviate) で誰でも閲覧・利用できます[(1)](#-notes)。 + +そして、それが *唯一の* コードベースです。ローカル マシン、クラウド環境、あるいはマネージド サービスである [Weaviate Cloud (WCD)](https://console.weaviate.cloud/) のいずれで実行しても、まったく同じ技術を使っています。 + +したがって、自分のデバイスで無料で Weaviate を動かすことも、利便性のためにマネージド サービスを利用することもできます。また、自分が何を動かしているかを正確に把握でき、オープンソース コミュニティの一員として開発に貢献できるという安心感も得られます。 + +さらに、Weaviate に関する知識はローカル・クラウド・マネージドのどのインスタンスでも共通して役立ちます。WCD で学んだことはローカル実行にもそのまま適用でき、その逆も同様です。😉 + +### 動的な情報 + +私たちは情報を本のような静的なものと考えがちです。しかし Weaviate と最新の AI 駆動型言語モデルを組み合わせれば、静的情報を取得するだけでなく、その上に簡単に新しい価値を構築できます。以下の例をご覧ください。 + +#### 質問応答 + +Wikipedia エントリ一覧を登録しておけば、Weaviate に次のように尋ねられます。 + +:::note 私たちが Weaviate に質問しました: +Lewis Hamilton はいつ生まれましたか？ +::: + +すると Weaviate は次のように答えます。 + +:::note Weaviate の回答: +Lewis Hamilton は 1985 年 1 月 7 日に生まれました。([ご自身で確認](https://en.wikipedia.org/wiki/Lewis_Hamilton)) +::: + +
+
+
+#### 生成検索
+
+あるいは Weaviate を使って、取得した情報から文章を生成 (synthesize) することもできます。
+
+次の例では、「レーシング ドライバー」を検索し、結果を以下のフォーマットで出力しました。
+
+:::note 私たちが Weaviate に依頼しました:
+次を読むよう楽しく勧めるツイートを書いてください: ## \{title} （以下のハイライトをまとめて）: ## \{wiki_summary}
+:::
+
+その結果は次のとおりです。
+
+:::note Weaviate の回答:
+Lewis Hamilton、7 回の Formula One World Drivers' Championship 勝者の驚くべきストーリーをチェックしよう！謙虚な始まりから世界で最も影響力のある人物の 1 人になるまで、その旅はインスピレーションに満ちています。#LewisHamilton #FormulaOne #Motorsport #Racing
+:::
+
+クエリとレスポンスを表示
+ +#### クエリ + +```graphql +{ + Get { + WikiArticle ( + ask: { + question: "When was Lewis Hamilton born?", + properties: ["wiki_summary"] + }, + limit: 1 + ) { + title + _additional { + answer { + result + } + } + } + } +} +``` + +#### レスポンス + +```json +{ + "data": { + "Get": { + "WikiArticle": [ + { + "_additional": { + "answer": { + "result": " Lewis Hamilton was born on January 7, 1985." + } + }, + "title": "Lewis Hamilton" + } + ] + } + } +} +``` + +
+
+
+
+これらに加え、ベクトル化、要約、分類など多くの機能を今後のユニットで扱います。
+
+まずは、Weaviate が本質的には ベクトル データベースであり、取得した情報に対して AI ツールを活用してさらなる処理ができるという点を覚えておいてください。
+
+## 復習
+
+このセクションでは、Weaviate が何であり、そして高いレベルでどのように動作するのかを学びました。また、 ベクトル 検索が類似度ベースの検索手法であるという概要もご紹介しました。
+
+### 復習問題
+
+クエリとレスポンスを表示
+ +#### クエリ + +```graphql +{ + Get { + WikiArticle( + nearText: { + concepts: ["Racing Driver"] + } + limit: 1 + ) { + title + wiki_summary + _additional { + generate( + singleResult: { + prompt: """ + Write a fun tweet encouraging people to read about this: ## {title} + by summarizing highlights from: ## {wiki_summary} + """ + } + ) { + singleResult + error + } + } + } + } +} +``` +#### 回答 + +```json +{ + "data": { + "Get": { + "WikiArticle": [ + { + "_additional": { + "generate": { + "error": null, + "singleResult": "Check out the amazing story of Lewis Hamilton, the 7-time Formula One World Drivers' Championship winner! From his humble beginnings to becoming a global icon, his journey is an inspiring one. #LewisHamilton #FormulaOne #Motorsport #Racing #Inspiration" + } + }, + "title": "Lewis Hamilton", + "wiki_summary": "Sir Lewis Carl Davidson Hamilton (born 7 January 1985) is a British racing driver currently competing in Formula One, driving for Mercedes-AMG Petronas Formula One Team. In Formula One, Hamilton has won a joint-record seven World Drivers' Championship titles (tied with Michael Schumacher), and holds the records for the most wins (103), pole positions (103), and podium finishes (191), among others.\nBorn and raised in Stevenage, Hertfordshire, Hamilton joined the McLaren young driver programme in 1998 at the age of 13, becoming the youngest racing driver ever to be contracted by a Formula One team. This led to a Formula One drive with McLaren for six years from 2007 to 2012, making Hamilton the first black driver to race in the series. In his inaugural season, Hamilton set numerous records as he finished runner-up to Kimi R\u00e4ikk\u00f6nen by one point. The following season, he won his maiden title in dramatic fashion\u2014making a crucial overtake at the last corner on the last lap of the last race of the season\u2014to become the then-youngest Formula One World Champion in history. After six years with McLaren, Hamilton signed with Mercedes in 2013.\nChanges to the regulations for 2014 mandating the use of turbo-hybrid engines saw the start of a highly successful period for Hamilton, during which he won six further drivers' titles. Consecutive titles came in 2014 and 2015 during an intense rivalry with teammate Nico Rosberg. Following Rosberg's retirement in 2016, Ferrari's Sebastian Vettel became Hamilton's closest rival in two championship battles, in which Hamilton twice overturned mid-season point deficits to claim consecutive titles again in 2017 and 2018. His third and fourth consecutive titles followed in 2019 and 2020 to equal Schumacher's record of seven drivers' titles. Hamilton achieved his 100th pole position and race win during the 2021 season. \nHamilton has been credited with furthering Formula One's global following by appealing to a broader audience outside the sport, in part due to his high-profile lifestyle, environmental and social activism, and exploits in music and fashion. He has also become a prominent advocate in support of activism to combat racism and push for increased diversity in motorsport. Hamilton was the highest-paid Formula One driver from 2013 to 2021, and was ranked as one of the world's highest-paid athletes by Forbes of twenty-tens decade and 2021. He was also listed in the 2020 issue of Time as one of the 100 most influential people globally, and was knighted in the 2021 New Year Honours. Hamilton was granted honorary Brazilian citizenship in 2022.\n\n" + } + ] + } + } +} +``` + ++ +すでに学んだように、Weaviate は ベクトル データベースであり、ベクトル 検索は類似度ベースです。では、ベクトル とは何でしょうか。 + +ここでのベクトル は、`[1, 0]` や `[0.513, 0.155, 0.983, ..., 0.001, 0.932]` のように数字を並べたものにすぎません。こうしたベクトル は「意味」を表現するために使われます。 + +これは少し奇妙に感じるかもしれません。しかし実は、知らないうちに意味を捉えるためにベクトル を使ったことがあるかもしれません。たとえば写真編集や MS Paint で使われる RGB カラー システムがそうです。 + +### 数値での意味表現 + +RGB システムでは、3 つの数字の組み合わせで色を表します。例: + +- (255, 0, 0) = 赤 +- (80, 200, 120) = エメラルド + +ここで各数字は、赤・緑・青それぞれの強さを示すダイヤルのようなものと考えられます。 + +では、こうしたダイヤルが何百、何千とあると想像してください。これが、ベクトル が意味を表現する方法です。GPT-x や Weaviate と組み合わせて使う最新の機械学習モデルは、テキスト・コード・画像・動画などあらゆるオブジェクトの「本質」や「意味」をベクトル で表現します。 + +## Weaviate における ベクトル 埋め込み + + + +オブジェクトの意味をベクトル で表したものを「ベクトル 埋め込み」と呼びます。 + +Weaviate はデータオブジェクトとそれに対応するベクトル 埋め込みをインデックス化し保存することで、ベクトル 検索を可能にします。これらのベクトル 埋め込みは機械学習モデルから得られます。 + +要するに、Weaviate はデータを処理・整理し、クエリに似たオブジェクトを取り出せるようにします。これを高速に行うため、従来型データベースにはない 2 つのことを行います。Weaviate は次を行います。 + +- 類似度を定量化する +- ベクトル データをインデックスする + +これらの処理によって、Weaviate は高いパフォーマンスを実現しています。 + +### 類似度の定量化 + +すでに述べたように、ベクトル 検索は類似度ベースですが、実際にはどう判定するのでしょうか。2 つのデータが「似ている」とはどういうことでしょうか。テキストや画像、一般的なオブジェクトどうしの類似性をどう測るのでしょうか。 + +これは一見シンプルですが、掘り下げると非常に奥深いテーマです。 + +ここでは概念だけを押さえましょう。機械学習 (ML) モデルがこのプロセスの鍵です。ベクトル 検索を支える ML モデルは、プロンプトからテキストを生成するモデルと共通点があります。新しいテキストを生成する代わりに、これらの ベクトライザー モデルはテキストや他のメディアの「意味」を捉えます。詳細は後ほど扱います。 + +### ベクトル データのインデックス化 + +ベクトル 検索は計算負荷が非常に高くなりがちです。 + +この問題を解決するため、Weaviate は approximate nearest neighbor (ANN) インデックスと 転置インデックス を組み合わせて使用します。ANN インデックスにより Weaviate は非常に高速なベクトル 検索を実現し、転置インデックスによりブール条件でのフィルタリングが可能になります。 + +詳細は後ほど説明しますが、ここでは Weaviate が高速なベクトル 検索とフィルタリングを両立させていることを覚えておいてください。 + +## 復習 + +このセクションでは、ベクトル が何か、そして Weaviate がそれらをどのように活用するかを大まかに学びました。また、Weaviate が高速なベクトル 検索を実現する 2 つの主要機能についても紹介しました。 + +### 復習演習 + +:::tip Self-reflection +ベクトル とは何かを、自分の言葉で説明できますか？ +::: + +
+ +Weaviate でできることの例をもう少し見てみましょう。 + +まず、デモデータベースを検索して ベクトル検索 を試します。入力テキスト、 ベクトル、オブジェクトなど、さまざまなクエリタイプを使用して、類似度に基づいてオブジェクトを取得する方法を学びます。 + +ベクトル検索 とキーワード検索を比較し、両者の違いを確認したあと、フィルターを用いてこれら 2 つの手法を組み合わせる方法を学びます。 + +### ベクトル検索デモ + +最初の例として、デモデータセットを検索してみましょう。これはクイズ番組 * Jeopardy!* の質問を少しだけ収録したものです。 + +あなたがクイズ ナイトを開催していて、「動物が出てくる映画」に関する質問を取得したいと想像してください。従来のデータベースであれば、単語の一致を探す必要があり、例えば次のようなクエリになるでしょう。 + +```sql +SELECT question, answer +FROM jeopardy_questions +WHERE ( + question LIKE '%animal%' + OR question LIKE '%creature%' + OR question LIKE '%beast%' + ) +AND ( + question LIKE '%movie%' + OR question LIKE '%film%' + OR question LIKE '%picture%' + OR question LIKE '%cinema%' + ) + +``` + +これは書くのが難しいクエリです。さらに悪いことに、特定の動物名もクエリに追加しなければならないかもしれません。 + +Weaviate のクエリはずっと直感的です。次のクエリを実行するとどうなるか見てみましょう。 + +:::note Weaviate で検索した内容: +animals in movies +::: + +
+
+
+Weaviate は次のような回答を上位に返しました。
+
+:::note Weaviate が取得した結果:
+- **ミーアキャット**：こちらに見られる哺乳類の群れで、* The Lion King* の ティモン のような動物
+- **犬**：Scooby-Doo、Goofy、Pluto はアニメ版
+- **The Call of the Wild Thornberrys**：動物と話せる Eliza が登場する Nick のアニメに、犬 Buck が加わる Jack London の物語
+:::
+
+完全なクエリを見る
+ +```graphql +{ + Get { + JeopardyQuestion ( + nearText: { + concepts: ["animals in movies"] + } + limit: 3 + ) { + question + answer + } + } +} +``` + +
+
+
+いずれの結果にも「animal」や「movie」という語、ましてや両方が含まれていないにもかかわらず、非常に関連性が高いことに注目してください。
+
+これこそが ベクトル検索 が便利な理由です。完全一致のテキストがなくても関連するオブジェクトを見つけられます。
+
+### ベクトル類似度デモ
+
+このクエリを実行すると、先ほどと同じような回答が返ってくると期待するかもしれません。
+
+```graphql
+{
+ Get {
+ JeopardyQuestion (
+ nearText: {
+ concepts: ["European geography"]
+ }
+ limit: 3
+ ) {
+ question
+ answer
+ _additional {
+ distance
+ }
+ }
+ }
+}
+```
+
+しかし、このレスポンスを見てください。追加情報に気付きますか？
+
+```json
+{
+ "data": {
+ "Get": {
+ "JeopardyQuestion": [
+ {
+ "_additional": {
+ "distance": 0.15916324
+ },
+ "answer": "Bulgaria",
+ "question": "A European republic: Sofia"
+ },
+ ...
+ ]
+ }
+ }
+}
+
+```
+
+JSON レスポンスを見る
+ +```json +{ + "data": { + "Get": { + "JeopardyQuestion": [ + { + "answer": "meerkats", + "question": "Group of mammals seen here: [like Timon in The Lion King]" + }, + { + "answer": "dogs", + "question": "Scooby-Doo, Goofy & Pluto are cartoon versions" + }, + { + "answer": "The Call of the Wild Thornberrys", + "question": "Jack London story about the dog Buck who joins a Nick cartoon about Eliza, who can talk to animals" + } + ] + } + } +} +``` + +
+
+
+違いは、レスポンスに `distance` 値が含まれていることです。
+
+`distance` は、返されたオブジェクトとクエリとの類似度を示します。
+
+それが具体的に何を意味するのか、また 2 つのオブジェクトや概念の類似度がどのように決定されるのか疑問に思ったなら、良い質問です！ これについては後ほど詳しく説明します。
+
+ここでは、距離が小さいほど 2 つのオブジェクトがより似ていると覚えておいてください。
+
+## 復習
+
+
+
+
+
+### 重要なポイント
+
+- ベクトル検索 は、完全一致のテキストがなくても関連オブジェクトを見つけられます。
+- ベクトル検索 では、distance 値が返されたオブジェクトとクエリの類似度を示します。
+- distance が小さいほど類似度が高いことを示します。
+- ベクトル検索 は、キーワード検索やフィルタリングと組み合わせることで、より洗練された検索結果を得られます。
+
+## 質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+Weaviate からの完全な JSON レスポンスを見る
+ +```json +{ + "data": { + "Get": { + "JeopardyQuestion": [ + { + "_additional": { + "distance": 0.15916324 + }, + "answer": "Bulgaria", + "question": "A European republic: Sofia" + }, + { + "_additional": { + "distance": 0.16247147 + }, + "answer": "Balkan Peninsula", + "question": "The European part of Turkey lies entirely on this peninsula" + }, + { + "_additional": { + "distance": 0.16832423 + }, + "answer": "Mediterranean Sea", + "question": "It's the only body of water with shores on the continents of Asia, Africa & Europe" + } + ] + } + } +} + +``` + ++ +Weaviate を使用すると、静的な情報を取得するだけでなく、さらに多くのことができます。 + +データベースからオブジェクトを取得するだけではない、いくつかの例を見てみましょう。 + +次の Wikipedia の記事から情報を抽出します。 + +
+
+
+Weaviate は Wikipedia のエントリーを処理するときに [data objects](/weaviate/concepts/data) を生成します。データオブジェクトはクラスに保存されます。クラスはリレーショナルデータベースのテーブルに大まかに相当し、オブジェクトはそのテーブルのレコードに似ています。
+
+### 質問応答デモ
+
+Weaviate はテキストから知識を抽出できます。
+
+```graphql
+{
+ Get {
+ WikiArticle (
+ ask: {
+ question: "When did construction for the Sydney Opera House start?",
+ properties: ["wiki_summary"]
+ },
+ limit: 1
+ ) {
+ title
+ _additional {
+ answer {
+ hasAnswer
+ property
+ result
+ startPosition
+ endPosition
+ }
+ }
+ }
+ }
+}
+```
+
+このクエリに対して、Weaviate は最も関連性の高いデータオブジェクトを特定するだけでなく、Wikipedia 記事のテキスト情報に基づいて質問に回答します。
+
+"The Sydney Opera House" Wikipedia summary
+ +シドニー・オペラハウスは、シドニーにある複数の会場を備えた舞台芸術センターです。シドニー湾の海岸に位置し、世界で最も有名で特徴的な建物のひとつであり、20 世紀建築の傑作と広く見なされています。デンマーク人建築家ヨーン・ウツソンが設計し、その後ピーター・ホール率いるオーストラリアの建築チームが完成させました。建物は 1973 年 10 月 20 日、エリザベス 2 世女王によって正式に開館しました。ウツソンが 1957 年に国際設計コンペで選出されてから着想が始まり、ジョセフ・ケーヒル首相率いるニューサウスウェールズ州政府が 1958 年に着工を許可し、ウツソンが建設を指揮しました。ウツソンの設計を採用するという政府の決定は、その後のコスト超過やスケジュール遅延、最終的なウツソンの辞任などの事情によってしばしば影が薄れています。建物とその周辺は、シドニー湾のベネロング・ポイント全体を占め、シドニー・コーブとファーム・コーブの間、シドニー CBD と王立植物園に隣接し、シドニー・ハーバーブリッジにも近接しています。 + +建物には複数の公演会場があり、年間 1,500 を超える公演が開催され、120 万人以上が来場します。Opera Australia、Sydney Theatre Company、Sydney Symphony Orchestra の 3 つの常駐団体を含む数多くのアーティストが公演を行います。オーストラリアで最も人気のある観光地のひとつとして、年間 800 万人以上が訪れ、約 35 万人がガイドツアーに参加しています。建物はニューサウスウェールズ州政府の機関である Sydney Opera House Trust によって管理されています。 + +2007 年 6 月 28 日、シドニー・オペラハウスは UNESCO 世界遺産に登録されました。それ以前には 1980 年から国民遺産登録簿（現在は廃止）、1983 年から National Trust of Australia 登録、2000 年から City of Sydney Heritage Inventory、2003 年から New South Wales State Heritage Register、2005 年から Australian National Heritage List に登録されていました。また、New7Wonders of the World キャンペーンのファイナリストにも選ばれました。 + +
+
+
+### 生成検索
+
+Weaviate はこれらのエントリーを使ってさらに多くのことができます。データストアからオブジェクトを取得し、そのオブジェクトを用いて新しいテキストを生成させることが可能です。たとえば、シドニー・オペラハウスのエントリーを含むオブジェクトを使って新しいテキストを作成できます。
+
+```graphql
+{
+ Get {
+ WikiArticle(
+ nearText: {
+ concepts: ["Sydney Opera House"]
+ }
+ limit: 1
+ ) {
+ title
+ wiki_summary
+ _additional {
+ generate(
+ singleResult: {
+ prompt: """
+ Write a fun tweet encouraging people to read about this: ## {title}
+ by summarizing highlights from: ## {wiki_summary}
+ """
+ }
+ ) {
+ singleResult
+ error
+ }
+ }
+ }
+ }
+}
+```
+
+このサンプルコードは Wikipedia のエントリーを基にツイートを生成します！
+
+レスポンスを表示
+ +:::note Weaviate says: +シドニー・オペラハウスの建設は 1958 年に始まりました。 +::: + +
+
+
+このプロセスは `generative search` の例です。生成検索では、Weaviate が情報を取得し、その後 LLM ( 大規模言語モデル ) を活用して情報を再構成します。これは情報活用の方法を大きく変える強力な機能です。
+
+プロンプトを変えることで、異なる結果を生成できます。
+
+### 次のステップ
+
+Q&A や生成検索のようなツールは、データに命を吹き込みます。次のセクションでは、ご自身で Weaviate をセットアップし、クエリを実行してみましょう。
+
+## レビュー
+
+
+
+### 重要なポイント
+
+- Weaviate は質問応答機能を用いてテキストから知識を抽出し、最も関連性の高いオブジェクトと提供されたテキストに基づく実際の答えを特定できます。
+- 生成検索を使用すると、情報を取得し、たとえば Wikipedia のエントリーを基にツイートを生成するなど、コンテンツを再構成・再利用できます。
+- Weaviate のこれら高度な機能により、データとの対話方法や情報の活用方法が大きく変わります。
+
+## ご質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+レスポンスを表示
+ +:::note Weaviate says: +Explore the world-famous Sydney Opera House and its incredible architecture! From the iconic design to the amazing performances, there's something for everyone to enjoy. #SydneyOperaHouse #Explore #Architecture #Performances #Experience +::: + ++ +## Weaviate を実行するオプション + +[Weaviate Cloud ( WCD )](https://console.weaviate.cloud/) は、Weaviate を代わりに実行してくれるマネージドサービスです。Docker、Kubernetes、または Embedded Weaviate を使用して、ご自身で Weaviate インスタンスを管理することもできます。 + +どのような方法で Weaviate を実行しても、基盤となるコードは同一です。ただし、運用面でいくつか注意すべき違いがあります。 + +### WCD ( 推奨 ) + +[Weaviate Cloud ( WCD )](https://console.weaviate.cloud/) は、ユーザー側で一切のメンテナンスが不要なマネージド SaaS サービスです。Weaviate ( 会社 ) によって管理されています ( ソフトウェア自体が自律的では... *まだ* ありません )。WCD は、新しい Weaviate インスタンスを作成する最速の方法であり、ユーザーの手間が最も少なくて済みます。 + +WCD の Weaviate インスタンスはあらかじめ設定されており、いくつかの Weaviate モジュールがデフォルトで含まれています。また、ユーザー認証をネイティブにサポートしています。 + +WCD には無料の「サンドボックス」ティアがあります。WCD サンドボックスは、本コースで推奨する Weaviate の実行方法です。 + +### Docker と Kubernetes + +コンテナ化ソリューションである [Docker](https://docs.docker.com/) や [Kubernetes](https://kubernetes.io/docs/home/) を使用して Weaviate インスタンスを実行することもできます。 + +自己管理インスタンスでも WCD と同じ Weaviate コードベースが利用できますが、設定やデプロイをすべて自分で管理する必要があります。 + +本コースでは自己管理インスタンスについては扱いません。Docker と Kubernetes については、今後のコースユニットで取り上げる予定です。 + +これらのソリューションに詳しく、今すぐ Weaviate をインストールしたい場合は、[Docker-Compose](/deploy/installation-guides/docker-installation.md) または [Kubernetes](/deploy/installation-guides/k8s-installation.md) のドキュメントをご覧ください。 + +### Embedded Weaviate + +実験的機能として [Embedded Weaviate](/deploy/installation-guides/embedded.md) があります。クライアントライブラリから直接 Weaviate データベースをインスタンス化できます。 + +現在、Embedded Weaviate は評価目的でのみのご利用を推奨しています。 + +## WCD で始める + +### WCD にサインイン + +1. WCD にアクセスするには、[Weaviate Cloud コンソール](https://console.weaviate.cloud) に移動します。 +1. WCD アカウントをお持ちでない場合は、「Register」ボタンをクリックして新しいアカウントを作成します。 +1. 「Sign in with the Weaviate Cloud」をクリックし、WCD のユーザー名とパスワードでサインインします。 + +### Weaviate クラスターを作成 + +新しい Weaviate クラスターを作成するには、「Create cluster」ボタンをクリックします。 + +Create a Cluster ページでは、次の設定を行います。 + +1. **Free sandbox** プランを選択します。 +1. *cluster name* を入力します。サンドボックスの URL は cluster name を基にして作成され、WCD が一意性を保つためサフィックスを付与します。 +1. `Enable Authentication?` を `YES` に設定します。 +1. **Create** を押してサンドボックス インスタンスを作成します。サンドボックスは一定期間後に期限切れになる点にご注意ください。 + +
+
+
+サンドボックスを操作する方法はいくつかあります。
+
+- [クライアントライブラリー](/weaviate/client-libraries/index.mdx)
+- [RESTful API](/weaviate/api/rest)
+- [GraphQL API](/weaviate/api/index.mdx)
+
+## Weaviate クライアントのインストール
+
+:::info Academy material in Python
+Weaviate Academy ユニットの初期リリースでは、教材は Python の例を中心に作成されています。サンドボックスの有効期限とオプション
+ +import SandBoxExpiry from '/_includes/sandbox.expiry.mdx'; + ++現在、TypeScript を皮切りに他のクライアント言語の例を追加中です。教材の充実まで今しばらくお待ちください。 +::: + +### 利用可能なクライアント + +現在、Weaviate クライアントは次の言語で提供されています。 + +- Python +- TypeScript +- Java +- Go + +### クライアントの機能 + +import ClientCapabilitiesOverview from '/_includes/client.capabilities.mdx' + +
+ +ご自身のWeaviateインスタンスをセットアップしクライアントをインストールできたので、実際に Weaviate を操作してみましょう。 + +### クライアントの生成 + +Weaviate インスタンスへ継続的にアクセスするための `client` オブジェクトを作成します。設定できるパラメーターは次のとおりです。 + +- **Host URL (必須)** + + これはご自身のWeaviateインスタンスの場所を示します。 URL は次のようになります + + ``` + https://your-sandbox-uo2vgb1z.weaviate.network + ``` + +- **認証情報 (任意)** + + 認証が有効な場合、ここで認証情報を必ず指定してください。指定しないと Weaviate インスタンスへアクセスできません。 + + ``` + AbCdEfGhIjKlMnOpAXB6gbBIaxHDuuwWj5OD + ``` +- **追加ヘッダー (任意)** + + 追加ヘッダーを指定して、 Cohere、 Hugging Face、 OpenAI などの推論サービス用 API キーを渡すことができます。 + +以下は、ご自身のWeaviateインスタンスに合わせて編集した、完全に設定されたクライアントのサンプルコードです。 + + + +import ClientInstantiationCode from './_snippets/academy.hello.client.instantiation.mdx'; + +
+
+
+REST とは？
+ +REST は **RE**presentational **S**tate **T**ransfer の頭字語です。 + +REST API では複数のエンドポイントが用意されており、それぞれ固有の URL でアプリケーションとやり取りできます。 + +エンドポイントは階層構造で整理され、各エンドポイントがリソースを表します。クライアントはサーバーへリクエストを送信することで、これらリソースに関する情報を取得します。 + +
+
+
+### REST API へアクセスする
+
+REST API と GraphQL API には Weaviate クライアントライブラリ、または適切にリクエストを整形できる他ツールからアクセスできます。
+
+以下の例では、各タブに表示されるコードは機能的に同一です。 REST の呼び出しは双方ともメタ情報を取得し、 GraphQL の呼び出しも同じデータを要求します。
+
+#### 例 1: REST とクライアントのリクエスト比較
+
+import ClientRESTObjectGet from './_snippets/academy.clients.rest.object.get.mdx';
+
+GraphQL とは？
+ +GraphQL は API 用のクエリ言語です。 + +2015 年に Facebook から初めて公開され、現在は GraphQL Foundation がメンテナンスしています。 + +GraphQL はサーバーから情報を取得するためのクエリ言語仕様で、 **強い型付け** が特徴です。そのため、クライアントは受け取りたいデータ型を明示的に指定する必要があります。 + +
+
+
+### ベクトル検索
+
+次のクエリでは `WikiCity` オブジェクトを検索し、「Major European city」というテキストにもっとも近い都市を探します。
+
+このクエリを実行するには、先ほど作成した接続ファイルを更新してください。
+
+- メタ情報を取得する行をコメントアウトする
+- 先ほど作成した OpenAI 認証キーを追加する
+- 以下のコードスニペットを追加する
+
+import QueryVectorSearch from './_snippets/academy.hello.query.vector.search.mdx';
+
+デモインスタンスへ接続する
+ +
+
\ No newline at end of file
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/academy/py/zero_to_mvp/101_hello_weaviate/_snippets/academy.hello.check.connection.mdx b/i18n/ja/docusaurus-plugin-content-docs/current/academy/py/zero_to_mvp/101_hello_weaviate/_snippets/academy.hello.check.connection.mdx
new file mode 100644
index 000000000..c1730e3d9
--- /dev/null
+++ b/i18n/ja/docusaurus-plugin-content-docs/current/academy/py/zero_to_mvp/101_hello_weaviate/_snippets/academy.hello.check.connection.mdx
@@ -0,0 +1,59 @@
+import Tabs from '@theme/Tabs';
+import TabItem from '@theme/TabItem';
+
+期待される出力
+ +```json +{ + "hostname": "http://[::]:8080", + "modules": { + "generative-openai": { + "documentationHref": "https://beta.openai.com/docs/api-reference/completions", + "name": "Generative Search - OpenAI" + }, + "qna-openai": { + "documentationHref": "https://beta.openai.com/docs/api-reference/completions", + "name": "OpenAI Question & Answering Module" + }, + "ref2vec-centroid": {}, + "text2vec-cohere": { + "documentationHref": "https://docs.cohere.com/docs/embeddings", + "name": "Cohere Module" + }, + "text2vec-huggingface": { + "documentationHref": "https://huggingface.co/docs/api-inference/detailed_parameters#feature-extraction-task", + "name": "Hugging Face Module" + }, + "text2vec-openai": { + "documentationHref": "https://beta.openai.com/docs/guides/embeddings/what-are-embeddings", + "name": "OpenAI Module" + } + }, + "version": "1.18.2" +} +``` + +
+
\ No newline at end of file
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/academy/py/zero_to_mvp/101_hello_weaviate/_snippets/academy.hello.client.instantiation.mdx b/i18n/ja/docusaurus-plugin-content-docs/current/academy/py/zero_to_mvp/101_hello_weaviate/_snippets/academy.hello.client.instantiation.mdx
new file mode 100644
index 000000000..6368b7eaa
--- /dev/null
+++ b/i18n/ja/docusaurus-plugin-content-docs/current/academy/py/zero_to_mvp/101_hello_weaviate/_snippets/academy.hello.client.instantiation.mdx
@@ -0,0 +1,26 @@
+import Tabs from '@theme/Tabs';
+import TabItem from '@theme/TabItem';
+
+期待される出力
+ +```json +{ + "hostname": "http://[::]:8080", + "modules": { + "generative-openai": { + "documentationHref": "https://beta.openai.com/docs/api-reference/completions", + "name": "Generative Search - OpenAI" + }, + "qna-openai": { + "documentationHref": "https://beta.openai.com/docs/api-reference/completions", + "name": "OpenAI Question & Answering Module" + }, + "ref2vec-centroid": {}, + "text2vec-cohere": { + "documentationHref": "https://docs.cohere.com/docs/embeddings", + "name": "Cohere Module" + }, + "text2vec-huggingface": { + "documentationHref": "https://huggingface.co/docs/api-inference/detailed_parameters#feature-extraction-task", + "name": "Hugging Face Module" + }, + "text2vec-openai": { + "documentationHref": "https://beta.openai.com/docs/guides/embeddings/what-are-embeddings", + "name": "OpenAI Module" + } + }, + "version": "1.18.2" +} +``` + +
+
\ No newline at end of file
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/academy/py/zero_to_mvp/101_hello_weaviate/_snippets/academy.hello.query.question.answering.mdx b/i18n/ja/docusaurus-plugin-content-docs/current/academy/py/zero_to_mvp/101_hello_weaviate/_snippets/academy.hello.query.question.answering.mdx
new file mode 100644
index 000000000..4ffc17366
--- /dev/null
+++ b/i18n/ja/docusaurus-plugin-content-docs/current/academy/py/zero_to_mvp/101_hello_weaviate/_snippets/academy.hello.query.question.answering.mdx
@@ -0,0 +1,54 @@
+import Tabs from '@theme/Tabs';
+import TabItem from '@theme/TabItem';
+
+期待される出力
+ +```json +{ + "generate": { + "error": null, + "singleResult": " #FunFact: Bangkok is the world's most visited city, with over 22 million visitors in 2019! #Bangkok #Thailand #Travel" + } +} +{ + "generate": { + "error": null, + "singleResult": "Did you know that Ho Chi Minh City is home to many multinational companies and generates nearly a quarter of Vietnam's total GDP? #HCMC #Vietnam #Economy" + } +} +{ + "generate": { + "error": null, + "singleResult": "Surprising fact: Singapore is the only country in Asia with a AAA sovereign credit rating from all major rating agencies. #Singapore #AAA #CreditRating" + } +} +``` + +
+
\ No newline at end of file
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/academy/py/zero_to_mvp/101_hello_weaviate/_snippets/academy.hello.query.vector.search.mdx b/i18n/ja/docusaurus-plugin-content-docs/current/academy/py/zero_to_mvp/101_hello_weaviate/_snippets/academy.hello.query.vector.search.mdx
new file mode 100644
index 000000000..519fdb16b
--- /dev/null
+++ b/i18n/ja/docusaurus-plugin-content-docs/current/academy/py/zero_to_mvp/101_hello_weaviate/_snippets/academy.hello.query.vector.search.mdx
@@ -0,0 +1,64 @@
+import Tabs from '@theme/Tabs';
+import TabItem from '@theme/TabItem';
+
+期待される出力
+ +```json +{ + "data": { + "Get": { + "WikiCity": [ + { + "_additional": { + "answer": { + "hasAnswer": true, + "property": "wiki_summary", + "result": " 2012" + } + }, + "city_name": "London" + } + ] + } + } +} +``` + +
+
\ No newline at end of file
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/academy/py/zero_to_mvp/101_hello_weaviate/index.mdx b/i18n/ja/docusaurus-plugin-content-docs/current/academy/py/zero_to_mvp/101_hello_weaviate/index.mdx
new file mode 100644
index 000000000..c9a2bf51d
--- /dev/null
+++ b/i18n/ja/docusaurus-plugin-content-docs/current/academy/py/zero_to_mvp/101_hello_weaviate/index.mdx
@@ -0,0 +1,46 @@
+---
+title: P3_101 こんにちは、 Weaviate
+description: " Weaviate を始めましょう: セットアップとデータクエリのための入門ガイドです。"
+sidebar_position: 101 # Like a subject number (e.g. CS101)
+---
+
+import ZeroToMvpDeprecationNote from '/docs/academy/py/zero_to_mvp/_snippets/deprecation.md';
+
+期待される出力
+ +```json +{ + "data": { + "Get": { + "WikiCity": [ + { + "city_name": "Paris", + "country": "France", + "lat": 48.8566, + "lng": 2.3522 + }, + { + "city_name": "London", + "country": "United Kingdom", + "lat": 51.5072, + "lng": -0.1275 + }, + { + "city_name": "Madrid", + "country": "Spain", + "lat": 40.4167, + "lng": -3.7167 + }, + { + "city_name": "Berlin", + "country": "Germany", + "lat": 52.5167, + "lng": 13.3833 + }, + { + "city_name": "Budapest", + "country": "Hungary", + "lat": 47.4983, + "lng": 19.0408 + } + ] + } + } +} +``` + ++ + + +ようこそ！ + +これは、 Weaviate と共にベクトルの世界を探求する旅の始まりです。このユニットでは、 Weaviate の基礎について概観します。 + +まず、 Weaviate が何であり、何ができるのかを理解します。その後、ベクトルデータベースとベクトル検索とは何かを学び、実際に Weaviate を起動してベクトル検索を実行します。 + +ユニットの終わりには、この後のコースをスムーズに進めたり、ご自身のプロジェクトで Weaviate を活用したりするための強固な基礎知識が身に付きます。 + +### 前提条件 + +- なし + +## 学習目標 + +import LearningGoalsExp from '/src/components/Academy/learningGoalsExp.mdx'; + +
+ +## `Get` クエリについて + +多くのユースケースにおいて、 Weaviate インスタンスからオブジェクトを取得することは最も一般的な操作となります。 + +例えば、入力クエリに最も関連する複数の文章を取得したり、ある画像に最も類似した画像を取得したりできます。さらに、特定の文章に最も合致する画像セットを取得することも可能です。 + + Weaviate では、このようなオブジェクト取得操作を `Get` 関数で実行します。 + +### `Get` 関数の構文 + +基本的な `Get` 関数は次のようになります。 + +import GetSyntax from './_snippets/academy.queries.get.syntax.mdx'; + +
+
+
+### Weaviate からのレスポンスオブジェクト
+
+上記のとおり、 Weaviate からのレスポンスは JSON 形式で、結果は `data` フィールドから取得できます。レスポンスはクエリ内容および対象オブジェクトを反映する形で整理されています。
+
+この例では、`Get` フィールドがクエリ関数を、`JeopardyQuestion` フィールドが取得対象クラスを表し、その配下に返却されたオブジェクトが格納されています。各オブジェクトは、要求した `answer` と `question` のプロパティを持ちます。
+
+JSON レスポンスを見る
+ +```json +{ + "data": { + "Get": { + "JeopardyQuestion": [ + { + "answer": "Amazon.com", + "question": "On July 16, 1995 this company made its first sale, a science textbook" + }, + { + "answer": "Parfait", + "question": "The French name of this layered ice cream dessert means \"perfect\"" + } + ] + } + } +} +``` + +
+
+
+### `Class` と `properties`
+
+上の例では `Class` に `JeopardyQuestion`、`properties` に `question` と `answer` を指定しました。
+
+これは、 Weaviate 内のデータ構造に合わせているため可能です。利用可能なデータクラスとプロパティを確認するには、以下のようにスキーマを確認できます。
+
+このクエリを解説
+ +このクエリでは `.with_limit(2)` 引数により 2 件のオブジェクトが返されます。これを指定しない場合、 Weaviate は設定に応じた最大件数を返します。 + +:::tip このクエリは便利？ +ユーザー固有の検索条件を適用していないため、得られる具体的な結果はそれほど有用でない可能性があります。 + +しかし、 Weaviate インスタンスへ接続できるか、データが正しく取り込まれているかなどの「サニティチェック」としては有効です。 +::: + +
+
+
+import ShortSchema from './_snippets/academy.queries.schema.short.mdx';
+
+スキーマを見るには？
+ +次のようにしてスキーマを取得できます。試してみてください！ + +```python +client.schema.get() +``` + +
+
+
+### Weaviate からのレスポンスオブジェクト
+
+このレスポンスでは、`_additional` フィールドが追加され、その下に `distance` と `id` が入っていることがわかります。
+
+JSON レスポンスを表示
+ +```json +{ + "data": { + "Get": { + "JeopardyQuestion": [ + { + "_additional": { + "distance": 0.1791926, + "id": "b1645a32-0c22-5814-8f35-58f142eadf7e" + }, + "answer": "escaping the Earth's gravity (and go off into outer space, on your way to the moon, for instance)", + "question": "It takes approximately 24,840 MPH to achieve this" + }, + { + "_additional": { + "distance": 0.18123823, + "id": "ef263438-b152-5540-97f7-99f4076bd124" + }, + "answer": "the Milky Way", + "question": "This is the name of our own galaxy" + } + ] + } + } +} +``` + +
+
+
+### `_additional` プロパティ
+
+名前が示すとおり、`_additional` プロパティはクラスプロパティとして明示的に作成されたものとは別物です。
+
+上記のクエリでは `_additional` フィールドに `distance` プロパティを含めました。これは入力ベクトルとオブジェクトのベクトルとの類似度（この場合は *非類似度*）を表します。
+
+:::info `_additional` で取得できるベクトル
+
+オブジェクトのベクトルも、サブフィールドに `vector` を指定することで `_additional` フィールドから取得できます。
+
+返されるベクトルは多くの場合、非常に長い数値のリストになる点に注意してください。
+
+:::
+
+:::note 演習
+上記のクエリを以下の変更を加えて再度試してみましょう。
+- `vector` プロパティも取得できますか？
+- 以前は `.get()` メソッドでメインプロパティに空のリストを渡すとエラーになりました。追加プロパティをリクエストした状態で再度実行するとどうなりますか？
+:::
+
+## 復習
+
+### 復習演習
+
+本文中のインライン演習をご覧ください。
+
+### 主要ポイント
+
+- `'Get'` 関数を使用して Weaviate からオブジェクトを取得できます。
+- `'Get'` 関数の構文では、クラス、プロパティ、および検索条件に関連する追加引数を指定する必要があります。
+- Weaviate のレスポンスは JSON 形式です。
+- クラスとプロパティのフィールドは、Weaviate スキーマで定義したオブジェクトとプロパティに対応している必要があります。
+- `'Get'` クエリでは、スキーマで定義されていない追加プロパティを取得できます。これらはオブジェクトに固有であったり、実行したクエリに関連する場合があります。
+- `_additional` プロパティには `distance`、`id`、`vector` などが含まれ、取得したオブジェクトに関するさらなる文脈と情報を提供します。
+
+import Quiz from '/src/components/Academy/quiz.js'
+export const nearText = [{
+ questionText: 'questionText',
+ answerOptions: [
+ {
+ answerText: 'answerOne',
+ isCorrect: false,
+ feedback: 'feedbackOne',
+ },
+ {
+ answerText: 'answerTwo',
+ isCorrect: false,
+ feedback: 'feedbackTwo',
+ },
+ {
+ answerText: 'answerThree',
+ isCorrect: false,
+ feedback: 'feedbackThree',
+ },
+ ]
+}];
+
+## 質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+クエリの解説
+ +ここで `distance` と `id` プロパティには、それぞれクエリとの距離とオブジェクトの一意な ID が格納されています。 + ++ +Weaviate では複数の ベクトル 検索「オペレーター」を提供しており、それらを使って ベクトル 検索を実行できます。一般的にユーザーは `nearVector`、`nearObject`、または `near
+
+
+import NearVectorSimple from './_snippets/academy.queries.nearVector.simple.mdx';
+
+完全な ベクトル を表示
+ +[0.023932384327054024, -0.014095712453126907, 0.013304559513926506, -0.01155742909759283, -0.01147831417620182, 0.015321999788284302, -0.025013625621795654, -0.04198386147618294, 0.0006061387248337269, -0.008940030820667744, ... 省略 ...] +
+
+
+JSON レスポンスを見る
+ +```json +{ + "data": { + "Get": { + "JeopardyQuestion": [ + { + "answer": "escaping the Earth's gravity (and go off into outer space, on your way to the moon, for instance)", + "question": "It takes approximately 24,840 MPH to achieve this" + }, + { + "answer": "the Milky Way", + "question": "This is the name of our own galaxy" + } + ] + } + } +} +``` + +
+
+
+## `nearObject`
+
+`nearObject` オペレーターは、既存の Weaviate オブジェクトに最も類似したオブジェクトを検索する際に使用します。
+
+対象オブジェクトの識別子は、以下のように `id` 引数で渡します。
+
+### 例
+
+import NearObjectSimple from './_snippets/academy.queries.nearObject.simple.mdx';
+
+このクエリの説明
+ +- `limit` を 2 に設定したため、結果には最大 2 件のオブジェクトが含まれます。 +- 各オブジェクトには `Get` 関数で指定した `question` と `answer` プロパティが含まれます。 +- ベクトル は外部から提供されたため、それが何を表すかを判断する方法はありません。（結果から宇宙に関連する内容だと推測はできます。） + +
+
+
+JSON レスポンスを見る
+ +```json +{ + "data": { + "Get": { + "JeopardyQuestion": [ + { + "answer": "escaping the Earth's gravity (and go off into outer space, on your way to the moon, for instance)", + "question": "It takes approximately 24,840 MPH to achieve this" + }, + { + "answer": "66,000", + "question": "Of 6,000, 66,000 or 666,000 MPH, the closest to the speed of the Earth around the sun" + } + ] + } + } +} +``` + +
+
+
+## `nearText`
+
+`nearText` オペレーターは、テキスト入力に最も類似したオブジェクトを検索する際に使用します。
+
+以下のように `concept` 引数でテキストを渡します。
+
+### 例
+
+import NearTextSimple from './_snippets/academy.queries.nearText.simple.mdx';
+
+このクエリの説明
+ +- `nearObject` クエリでは、指定したオブジェクト自身の ベクトル がクエリ ベクトル として使用されます。 + +
+
+
+JSON レスポンスを見る
+ +```json +{ + "data": { + "Get": { + "JeopardyQuestion": [ + { + "answer": "escaping the Earth's gravity (and go off into outer space, on your way to the moon, for instance)", + "question": "It takes approximately 24,840 MPH to achieve this" + }, + { + "answer": "the Milky Way", + "question": "This is the name of our own galaxy" + } + ] + } + } +} +``` + +
+
+### `nearこのクエリの説明
+ +`nearText` では、入力されたテキストを Weaviate が ベクトル に変換します。 + +そのため `nearText` には、入力メディアを ベクトル に変換する仕組みが必要です。Weaviate ではこれを `vectorizer` と呼びます。 + +:::info ベクトライザーはどのように機能しますか? +Weaviate では、ベクトライザーはオプションの `modules` として追加されます。モジュールと ベクトライザー については後のユニットで学びます。 +::: + +
+
+
+:::tip Exercise: Threshold distances
+次のいずれかを変更して試してみましょう
+- `distance` ではなく `certainty` の閾値を使用する
+- `distance` に加えて `certainty` も返す
+期待どおりの動作になりましたか？
+:::
+
+この文脈では、`distance` は差異の度合いを測定します。場合によっては `certainty` が使われることもあります。これは `distance` とは逆で、値が大きいほど意味の差が大きいことを示します。
+
+これらの値が正確には何を意味し、どこから来るのかについては後ほど説明します。現時点では次の点を覚えておいてください。
+
+- `distance` は非類似度の指標です（値が小さいほど類似しています）
+- `certainty` は類似度の指標です（値が大きいほど類似しています）
+
+### `limit` 閾値
+
+前述の例のいくつかでは `limit` 句を使用しています。`limit` を使うと、返されるオブジェクト数を制限できます。
+
+この Python の例では、`with_limit()` が 2 件の応答に制限しています。
+
+```
+response = client.query.get(
+ "JeopardyQuestion",
+ ["question", "answer"]
+).with_limit(2)
+```
+
+
+## おさらい
+
+### 復習問題
+
+JSON レスポンスを表示
+ +```json +{ + "data": { + "Get": { + "JeopardyQuestion": [ + { + "_additional": { + "distance": 0.1791926, + "id": "b1645a32-0c22-5814-8f35-58f142eadf7e" + }, + "answer": "escaping the Earth's gravity (and go off into outer space, on your way to the moon, for instance)", + "question": "It takes approximately 24,840 MPH to achieve this" + }, + { + "_additional": { + "distance": 0.18123823, + "id": "ef263438-b152-5540-97f7-99f4076bd124" + }, + "answer": "the Milky Way", + "question": "This is the name of our own galaxy" + } + ] + } + } +} +``` + ++ +`Get` で個別オブジェクトを取得する方法を確認したので、次は `Aggregate` を使って情報をまとめる方法を見ていきましょう。 + +`Aggregate` は複数オブジェクトから情報をまとめて単一の結果にする強力な機能で、結果の概要を素早く把握できます。 + +## `Aggregate` クエリについて + +### `Aggregate` 関数の構文 + +`Aggregate` クエリの全体構造は `Get` クエリに似ていますが、結果セット全体に対するクエリであるため重要な違いがあります。 + +`Aggregate` クエリの基本構文は次のとおりです。 + +import AggregateSyntax from './_snippets/academy.queries.aggregate.syntax.mdx'; + +
+
+
+## 単独の `Aggregate` クエリ
+
+### 例 1
+
+次のクエリを見てください。
+
+import AggregateStandalone from './_snippets/academy.queries.aggregate.standalone.mdx';
+
+関連スキーマを表示
+ +import ShortSchema from './_snippets/academy.queries.schema.short.mdx'; + +
+
+
+### Weaviate からのレスポンス オブジェクト
+
+このレスポンスには、`JeopardyQuestion` クラスから要求された `meta` 情報を表すオブジェクトが含まれています。`meta` オブジェクトには `count` プロパティがあり、クラス内のオブジェクト総数を示します。
+
+JSON レスポンスを見る
+ +```json +{ + "data": { + "Aggregate": { + "JeopardyQuestion": [ + { + "meta": { + "count": 10000 + } + } + ] + } + } +} +``` + +
+
+
+### `meta` プロパティ
+
+上記の `Aggregate` クエリでは、オブジェクト数を取得するために `meta` プロパティを指定しました。これはオブジェクト クラス自体の利用可能プロパティではない点に注意してください。ここが `Aggregate` と `Get` クエリの大きな違いです。
+
+`Get` クエリは個々の結果セットを取得するため、各結果に適用されるプロパティ（例: `id` やデータ固有の `answer` など）を選択できます。
+
+一方 `Aggregate` クエリは結果の集計を返すため、結果セット全体に適用されるサブプロパティを指定する必要があります。
+
+`meta` プロパティはその一例です。すべてのデータ型で利用でき、`count` サブプロパティと組み合わせて取得オブジェクト数を返せます。
+
+### 例 2
+
+次のクエリを見てください。
+
+import AggregateStandalone2 from './_snippets/academy.queries.aggregate.standalone.2.mdx';
+
+このクエリの説明
+ +このクエリは `JeopardyQuestion` クラスのオブジェクトを集計し、総数を取得します。絞り込みがないため、オブジェクトの総数 10,000 が返されます。 + +
+
+
+JSON レスポンスを見る
+ +```json +{ + "data": { + "Aggregate": { + "JeopardyQuestion": [ + { + "answer": { + "count": 10000, + "topOccurrences": [ + { + "occurs": 19, + "value": "Australia" + }, + { + "occurs": 18, + "value": "Hawaii" + }, + { + "occurs": 16, + "value": "Boston" + }, + { + "occurs": 15, + "value": "French" + }, + { + "occurs": 15, + "value": "India" + } + ] + } + } + ] + } + } +} +``` +
+
+
+:::tip 利用可能なプロパティ
+利用可能なプロパティの一覧は、ドキュメントの [こちらのページ](/weaviate/api/graphql/aggregate.md) でご確認いただけます。
+:::
+
+## 検索オペレーターを用いた `Aggregate`
+
+`Get` クエリと同様に、`Aggregate` クエリでも `nearText` などの検索オペレーターを使用できます。以下をご覧ください。
+
+### 例（`nearText` 使用）
+
+たとえば、個々の質問ではなく回答全体を俯瞰したいとします。たとえば、このクエリに関連する質問が何件あるのか知りたい場合です。
+
+import AggregateWithNearText from './_snippets/academy.queries.aggregate.with.neartext.mdx';
+
+このクエリの説明
+ +このレスポンスには、`JeopardyQuestion` クラスの `answer` プロパティに対する集計結果が含まれています。テキスト情報を含むプロパティのため、`value`（トークン）や `occurs`（出現回数）といった `topOccurrences` 情報を集計できます。 + +
+
+
+JSON レスポンスを表示
+ +```json +{ + "data": { + "Aggregate": { + "JeopardyQuestion": [ + { + "meta": { + "count": 9 + } + } + ] + } + } +} +``` + +
+
+
+### 検索空間の制限
+
+ベクトル 検索で意味のある集計を行うには、検索空間を制限する必要があります。
+
+これは、リレーショナル データベースでの集計とは異なります。リレーショナル データベースでは、`groupby` と SUM、AVG、MIN、MAX などの関数を組み合わせてデータをグループ化または集計できます。この方法では、まず結果セットを取得し、その後で結果を集計します。
+
+しかし、ベクトル 検索は本質的に結果を除外しません。ベクトル 検索は類似度の度合いに基づいて結果を取得するためです。
+
+したがって、関連する結果だけが集計に含まれるように検索空間を制限しなければなりません。そのためには、クエリで明示的な `limit` を設定するか、`distance` または `certainty` といったしきい値を指定します。
+
+## `groupBy` を用いた `Aggregate`
+
+これまで、`Aggregate` クエリを使って 1 つの結果セットに関する情報を集約する方法を見てきました。`groupBy` 引数を追加すると、複数のサブセットから情報をまとめることができます。
+
+### 例
+
+たとえば、各 `value` プロパティにつき質問が何件あるかを知りたいとします。その場合は、クエリに `groupBy` 引数を追加します:
+
+import AggregateGroupby from './_snippets/academy.queries.aggregate.groupby.mdx';
+
+このクエリを解説
+ +このクエリは、`distance` 引数によって制限された結果を集計しています。この引数はしきい値となり、入力に関連する結果だけを返します。これがなければ、検索結果にはクラス全体が含まれる可能性があります。 + +これを「検索空間を制限する」と呼びます。 + +
+
+
+JSON レスポンスを表示
+ +```json +{ + "data": { + "Aggregate": { + "JeopardyQuestion": [ + { + "groupedBy": { + "path": [ + "round" + ], + "value": "Double Jeopardy!" + }, + "meta": { + "count": 5 + } + }, + { + "groupedBy": { + "path": [ + "round" + ], + "value": "Jeopardy!" + }, + "meta": { + "count": 3 + } + }, + { + "groupedBy": { + "path": [ + "round" + ], + "value": "Final Jeopardy!" + }, + "meta": { + "count": 1 + } + } + ] + } + } +} +``` + +
+
+
+### `groupBy` と `groupedBy`
+
+`Aggregate` クエリで取得した結果は、さらに `groupBy` 引数を使ってグループ化できます。この引数にはプロパティのリストを渡し、そのプロパティの値で結果をグループ化します。
+
+これは、ベクトル 検索の結果サブセットの特徴を把握する際に特に有用なクエリ パターンです。
+
+`groupBy` 引数を使用すると、追加で `groupedBy` プロパティが返されます。このプロパティとそのサブプロパティにより、各結果が属するグループを判別できます。
+
+:::note 演習
+上記のクエリを再度試し、次の変更を加えてみましょう。
+- `round` の代わりに `points` プロパティでグループ化してみてください。
+- `distance` の代わりに、メソッドチェーンに `.with_object_limit(9)` を追加してみてください。結果は同じでしょうか？
+:::
+
+## 復習
+
+### 復習問題
+
+上記の `nearText` クエリを次の変更を加えて再度試してみてください。
+- `distance` を 0.1、0.19、0.21、0.25 など別の値に変更してみましょう。結果はどのように変わりますか？予想どおりでしょうか？
+
+### 重要ポイント
+
+- `Aggregate` 関数は複数のオブジェクトから情報をまとめ、概要を提供します。
+- `nearText` などの検索オペレーターは `Aggregate` クエリでも使用できます。
+ - 意味のある集計を得るには、クエリで明示的な `limit` またはしきい値（`distance` や `certainty`）を設定して検索空間を制限する必要があります。
+- `groupBy` 引数を使用すると、結果の複数サブセットから情報をまとめて集計をより細かくできます。
+- `groupBy` 引数を使用すると追加の `groupedBy` プロパティが利用でき、各結果が属するグループを識別できます。
+
+import Quiz from '/src/components/Academy/quiz.js'
+export const varName = [{
+ questionText: 'questionText',
+ answerOptions: [
+ {
+ answerText: 'answerOne',
+ isCorrect: false,
+ feedback: 'feedbackOne',
+ },
+ {
+ answerText: 'answerTwo',
+ isCorrect: false,
+ feedback: 'feedbackTwo',
+ },
+ {
+ answerText: 'answerThree',
+ isCorrect: false,
+ feedback: 'feedbackThree',
+ },
+ ]
+}];
+
+## 質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+このクエリを解説
+ +このクエリでは追加で `groupedBy` 引数を指定しており、その結果、`round` ごとの件数が取得されます。また、`groupedBy` プロパティを要求しているため、各件数は `round` グループごとの `value` で識別できます。 + ++ +## 利用可能な演算子 + +これまでに、`Get` や `Aggregate` といったクエリ関数、`nearVector`、`nearObject`、`nearText` といった検索オペレーターを見てきました。 +では、フィルターについて見ていきましょう。 + +フィルターとは、結果に対して追加の条件を指定する方法です。Weaviate には複数のフィルターが用意されています。 + +### 利用可能なフィルター + +利用可能なフィルターは多数ありますが、今はすべてを扱う必要はありません。ここでは、よく使われるフィルターをいくつか紹介します。 + +- `where`: ブール条件を適用してデータをフィルターします。 +- `limit`: 取得するオブジェクトの最大数を制限します。 +- `offset`: 検索結果のページネーションに使用します。 + +## `where` でのデータフィルター + +`where` フィルターは、 SQL の `WHERE` 句に相当します。 SQL の `WHERE` 句と同様に、`where` フィルターを使ってデータにブール条件を適用できます。 + +### 単一オペランドの例 + +以前に次のようなサンプルクエリを実行しました。 + +import GetWithAdditional from './_snippets/academy.queries.get.with.additional.mdx'; + +
+
+
+JSON レスポンスを表示
+ +```json +{ + "data": { + "Get": { + "JeopardyQuestion": [ + { + "_additional": { + "distance": 0.18400955, + "id": "ddcc3f06-5410-5944-85c4-3cb56ab27088" + }, + "answer": "space shuttles", + "question": "These transports, first sent up in 1981, lift off like a rocket & land like a plane" + }, + { + "_additional": { + "distance": 0.2267003, + "id": "36ffe6ca-9b73-5a54-80eb-a93f01822956" + }, + "answer": "Robert Goddard", + "question": "He's been called the \"Father of Modern Rocketry\"" + } + ] + } + } +} +``` + +
+
+
+クエリを使えばデータをさまざまな方法でフィルターできます。例として次のクエリを見てください。
+
+import FilterWhereGreater from './_snippets/academy.queries.filter.where.greater.mdx';
+
+このクエリの解説
+ +結果が変化していることがわかります。先ほどの結果は、`question` プロパティに `rocket` という文字列が含まれていないため除外されました。 + +このように ベクトル 検索とフィルターを組み合わせる方法は、入力に類似しているだけでなく、追加の条件も満たすオブジェクトを見つける強力な手段です。フィルターによって、クエリ ベクトル に対して「より近い」オブジェクトが除外される場合もありますが、誤検出を排除して本当に関連性の高いオブジェクトを得る有効な戦略となります。 + +
+
+
+JSON レスポンスを表示
+ +```json +{ + "data": { + "Get": { + "JeopardyQuestion": [ + { + "_additional": { + "distance": 0.18251508, + "id": "15f06117-012c-506d-b5c5-24df2e750f35" + }, + "answer": "the Milky Way", + "points": 400, + "question": "Into the 20th Century it was thought the universe was one big galaxy--this one" + }, + { + "_additional": { + "distance": 0.19289112, + "id": "584a6c68-0ebe-561f-b32a-3a735eadf02e" + }, + "answer": "Asteroid", + "points": 400, + "question": "A 1991 photo of Gaspra taken by the Galileo probe was the first close-up of one of these minor planets" + } + ] + } + } +} +``` + +
+
+
+:::note Exercise
+`JeopardyQuestion` オブジェクトを以下の条件でフィルタリングしてみてください:
+- `points` 値が 200 と等しい
+- `points` 値が 600 以上
+
+利用できる演算子の一覧は [こちらのページ](/weaviate/api/graphql/filters#filter-structure) にあります。
+:::
+
+### 複数オペランドの例
+
+クエリ構文は、単一のオペランドを超えて複数の条件を扱うこともできます。
+
+import FilterMultipleOperands from './_snippets/academy.queries.filter.multiple.operands.mdx';
+
+このクエリの解説
+ +このクエリは、`points` 値が 200 より大きい `JeopardyQuestion` オブジェクトのみを返すように変更されています。 +そのため、返されるデータセットは大きく異なります。 + +
+
+
+JSON レスポンスを表示
+ +```json +{ + "data": { + "Get": { + "JeopardyQuestion": [ + { + "_additional": { + "distance": 0.2267003, + "id": "a488fbe5-c2c6-50ad-8938-4b9f20dc56d1" + }, + "answer": "Robert Goddard", + "points": 400, + "question": "He's been called the \"Father of Modern Rocketry\"" + }, + { + "_additional": { + "distance": 0.24946856, + "id": "c00decd4-4cf1-5b03-a789-a57077e082fb" + }, + "answer": "Huntsville", + "points": 1000, + "question": "A campus for the University of Alabama is here, nicknamed \"Rocket City, U.S.A.\"" + } + ] + } + } +} +``` + +
+
+
+これらのフィルターは `Aggregate` クエリにも適用できます。ぜひ試してみてください。
+
+:::note Exercise
+次を試してみましょう:
+- 上記のパターンに従って、`Aggregation` クエリに `where` フィルターを追加する。
+:::
+
+## `offset` を使った結果のページネーション
+
+データをクエリするときは、`offset` 演算子を使用して指定した件数の結果をスキップできます。これは 1 ページあたりに表示する件数を制御したいページネーションに便利です。
+
+`offset` 演算子は既存の `limit` 演算子と組み合わせて使用し、`offset+1` から `offset+1+limit` までの結果を取得します。
+
+たとえば最初の 10 件を取得するには `limit`: 10 を指定します。その後「2 ページ目の 10 件」を表示するには `offset`: 10、`limit`: 10 と指定します。以降も同様です。
+
+`offset` を使用する構文は次のとおりです:
+
+import FilterPaginationNeartext from './_snippets/academy.queries.filter.pagination.nearText.mdx';
+
+このクエリの解説
+ +このクエリは、`points` 値が 400 より大きく、かつ `question` フィールドに `rocket` が含まれている `JeopardyQuestion` オブジェクトのみを返すように変更されています。 + +
+
+
+JSON レスポンスを表示
+ +```json +{ + "data": { + "Get": { + "JeopardyQuestion": [ + { + "answer": "the Milky Way", + "question": "Into the 20th Century it was thought the universe was one big galaxy--this one" + }, + { + "answer": "space shuttles", + "question": "These transports, first sent up in 1981, lift off like a rocket & land like a plane" + } + ] + } + } +} +``` + +
+
+
+:::tip
+したがって、`n` ページ目では `offset`: `n*m`、`limit`: `m` と指定します。ここで `m` は 1 ページあたりの結果数です。
+:::
+
+`offset` 演算子は、`Get` や `Aggregate` を含むすべての ベクトル 検索関数で利用できます。
+
+## レビュー
+
+このクエリの説明
+ +このクエリは、最初の 2 件 (`offset`: 2) の後の次の 2 件 (`limit`: 2) を取得します。 + +結果制限が異なる 2 つのクエリを比較することでこれを確認できます。以下のクエリは上位 4 件を取得します。そのクエリの最後の 2 件は、ページネーション付きで `limit` を使ったクエリの結果と同じです。 + +```graphql +{ + Get { + JeopardyQuestion(limit: 4) { + answer + question + } + } +} +``` + +import FilterPaginationRelated from './_snippets/academy.queries.filter.pagination.related.mdx'; + ++ +このユニットでは、さまざまな方法でベクトル検索を構築する方法を見てきました。 + +まず、 `Get` と `Aggregate` のベクトル検索関数の使い方を学び、 `nearVector`、 `nearObject`、 `nearText` などの検索オペレーターを追加し、最後に `where`、 `limit`、 `offset` などの各種フィルターで締めくくりました。 + +ここで一旦立ち止まり、これらの検索が実際にどのように実行されているのかを見てみましょう。まずはベクトル検索プロセスからです。 +## ベクトル検索プロセス + +### ベクトル検索の舞台裏 + +名前が示すとおり、ベクトル検索はベクトルを用いて処理を行います。Weaviate でベクトル検索を実行するときは、 `nearVector`、 `nearObject`、 `nearText` のいずれを使う場合でも、入力はベクトルへと変換されます。 + +入力ベクトルは Weaviate に保存されているベクトルと比較され、最も関連性の高いオブジェクトが返されます。 + +`nearVector` オペレーターを使ったクエリでは、Weaviate は提供されたベクトルをそのまま使用してベクトル検索を行います。 + +`nearObject` や `nearText` のようにベクトルが直接提供されないクエリの場合、Weaviate は適切な方法でベクトルを取得します。 + +#### `nearObject` + +`nearObject` オペレーターが使用される場合、Weaviate はそのオブジェクトに紐づくベクトルを取得し、これを入力ベクトルとして使用します。 + +これを確認するために、 `nearObject` オペレーターを用いたベクトル検索を実行し、同等の `nearVector` オペレーターで再現してみましょう。 + +以下が `nearObject` クエリです。 + +import NearobjectExample from './_snippets/academy.queries.nearobject.example.mdx'; + +
+
+
+次に、この `nearVector` クエリを実行して結果を比較してみてください。
+
+import NearobjectEquivalentNearvector from './_snippets/academy.queries.nearobject.equivalent.nearvector.mdx';
+
+JSON レスポンスを表示
+ +```json +{ + "data": { + "Get": { + "JeopardyQuestion": [ + { + "_additional": { + "distance": 3.5762787e-07, + "id": "d53fd7ea-35c1-5f8d-a35a-e53511db1a2a" + }, + "answer": "meerkats", + "question": "Group of mammals seen here: [like Timon in The Lion King]" + }, + { + "_additional": { + "distance": 0.12663543, + "id": "9eaf38fe-e7f0-5da3-b703-6b44c49faf7d" + }, + "answer": "hyena", + "question": "It's the amused African mammal heard here" + } + ] + } + } +} +``` + +
+
+
+`meerkat_vector` 全体を表示
+ +import MeerkatsVector from './_snippets/meerkats.vector.mdx'; + +
+
+
+#### `nearText`
+
+`nearText` オペレーターが使用される場合、Weaviate は入力テキストをベクトルへ変換して入力として使用します。具体的な方法は、該当クラスに適用されるベクトライザーの設定によって異なります。設定によっては `text2vec-openai` モジュールや `text2vec-transformers` モジュールが使用されます。
+
+:::info Vectorizer setting
+ベクトライザーの設定方法については次のセクションで扱います。
+:::
+
+import NeartextExample from './_snippets/academy.queries.neartext.example.mdx';
+
+このクエリの解説
+ +2 本目の（ `nearVector` ）クエリを実行すると、 `nearObject` クエリと同じ結果が返されることがわかります。距離も同一です。これは、 `nearObject` クエリで使用されるオブジェクトのベクトルと、 `nearVector` クエリで指定したベクトルがまったく同じだからです。 + +
+
+
+次に、この `nearVector` クエリを実行して結果を比較してみてください。
+
+import NeartextEquivalentNearvector from './_snippets/academy.queries.neartext.equivalent.nearvector.mdx';
+
+JSON レスポンスを表示
+ +```json +{ + "data": { + "Get": { + "JeopardyQuestion": [ + { + "_additional": { + "distance": 0.1800943, + "id": "92710bd6-de3c-5220-a60a-d386b2748e28" + }, + "answer": "Two Guys and a Girl", + "question": "In 1999 an ABC sitcom dropped \"a Pizza Place\" from its name, which changed to this" + }, + { + "_additional": { + "distance": 0.18657643, + "id": "7e7a6572-02bd-529f-8943-38ccd4a2a90b" + }, + "answer": "Beavis & Butthead of the Class", + "question": "2 MTV cartoon teens join Howard Heh-Heh-Hesseman's honors program on '80's TV" + } + ] + } + } +} +``` + +
+
+
+`popular_90s_comedy_vector` 全体を表示
+ +import Popular90sComedyVector from './_snippets/popular.90s.comedy.vector.mdx'; + +
+
+
+### フィルタリング
+
+結果をさらに絞り込むために、ベクトル検索プロセスにフィルターを適用できます。
+
+内部的には、Weaviate は「事前フィルタリング」を実装しています。これは、データベース全体にフィルターを適用して「許可リスト」を作成し、そのリストからベクトル検索結果を返すという仕組みです。
+
+これに加えて効率的なフィルタリング手法を組み合わせることで、大規模データベースに厳しいフィルターを適用した場合でも、Weaviate は適切な件数の結果を容易に返すことができます。
+### 概念図 (フィルタリング + ベクトル検索)
+
+以下の概念図は、ベクトル検索プロセスがどのように機能するかを示しています。
+フィルターと検索オペレーターを含む入力が渡されると、 Weaviate はまず事前フィルタリングを実行してオブジェクトの「allow list」を取得します。
+
+入力は入力ベクトルを決定するために使用されます。その際、`nearObject` でオブジェクトのベクトルを取得したり、`nearText` で入力テキストをベクトル化したりする追加ステップが含まれる場合があります。次に、その入力ベクトルと比較を行ってベクトル検索を実行し、 allow list から最も関連性の高いオブジェクトが返されます。
+
+import SearchConceptualImg from './images/search-conceptual-dark.png';
+
+このクエリの解説
+ +2 本目の（ `nearVector` ）クエリを実行すると、 `nearText` クエリと同じオブジェクトおよび距離が返されることが再び確認できます。 + +この場合、Weaviate は `text2vec-openai` モジュールを使用して入力テキストをベクトル化します。このモジュールは OpenAI 推論 API を利用して入力をベクトルへ変換します。ベクトル化プロセスは決定論的であり、同じ入力テキストは常に同じベクトルになります。 `nearVector` クエリでは、OpenAI API を直接用いてベクトルを生成し、入力ベクトルとして使用したため、同じ結果が得られました。 + ++ +このユニットでは、 Weaviate から関連オブジェクトや集約情報を効率的に取得する方法を学びます。 + +すでに ベクトル検索 の例をいくつか見てきました。本セクションでは、`nearVector`、`nearObject`、`nearText` といった Weaviate で利用可能なさまざまな ベクトル検索 メソッドを詳しく見ていきます。 + +ベクトル検索 メソッドに加え、検索オペレーターと組み合わせて使用できるフィルターも紹介します。たとえば、特定の条件を除外してデータオブジェクトを検索する方法を学びます。 + +これらの機能を確認しながら、同時に Weaviate の内部動作についても理解を深めていきます。 + +このユニットを修了すると、目的の結果を得るために Weaviate へ効果的にクエリを実行する方法と、その背後にあるメカニズムを十分に理解できます。 + +### 前提条件 + +- (**Required**) `weaviate-client` がインストールされた Python (3) 環境 +- (**Required**) [101A Weaviate Academy Preparation](../setup.mdx) を完了 +- (*Recommended*) [Hello, Weaviate](../101_hello_weaviate/index.mdx) を完了 + +## 学習目標 + +import LearningGoalsExp from '/src/components/Academy/learningGoalsExp.mdx'; + +
+ +ここまでで、 Weaviate が実現する強力なクエリの一部をご覧いただきました。では、 Weaviate は実際にどのようにデータを保存し、これらのクエリをサポートしているのでしょうか？ + +このセクションでは、 Weaviate が高速にクエリを実行できるようにする主要コンポーネントを見ていきます。特に、 Weaviate のデータ構造の中核であるインデックスと、データの設計図となるスキーマについて説明します。 + +## インデックス + +インデックスとは、データを効率的に検索できるようにするデータ構造です。 Weaviate には、転置インデックスとベクトルインデックスという 2 つの主要なインデックスがあります。 + +**転置インデックス** は、すでに馴染みのあるタイプのインデックスかもしれません。例えば、ある用語をすばやく検索し、その用語を含むオブジェクトを見つける参照テーブルのようなものだと考えてください。 + +**ベクトルインデックス** は、類似度に基づいてベクトルを効率的に検索できるインデックスです。これにより、 Weaviate はベクトル検索を高速に実行できます。もう少し詳しく見ていきましょう。 + +### 転置インデックス + +転置インデックスは、テキストを構成要素となる用語に分解し、ハッシュテーブルのようなデータ構造に保存します。たとえば、「Conference (Chicago, IL)」というテキストを含むデータオブジェクトを考えてみましょう。 + +ユーザーは「conference」「Chicago」「IL」など、含まれる任意の用語でこのオブジェクトを検索したいかもしれません。転置インデックスを使用すると、 Weaviate はその用語を含むオブジェクトの ID をすばやく取得できます。 + +これは、オブジェクト ID を「トークン」にマッピングすることで実現します。トークンとは、テキストから抽出された用語のことです。デフォルトでは、 Weaviate は `word` トークナイゼーションを使用し、英数字のみを保持して小文字に変換し、空白で区切ってトークンに分割します。 + +したがって、入力テキスト `Conference (Chicago, IL)` は 3 つのトークン `conference`、`chicago`、`il` でインデックス化されます。 + +利用可能なトークナイゼーション方法については後ほど詳しく説明します。 + +### ベクトルインデックス + +Weaviate の各オブジェクトにはベクトルを関連付けることができます。これらのベクトルが、前述の類似度検索を可能にします。しかし前述のとおり、総当たりによる類似度検索は計算コストが高く、データセットのサイズに線形に比例して増加します。 + +この問題を解決するために、 Weaviate は Approximate Nearest Neighbor (ANN) アルゴリズムを利用したベクトルインデックスを使用します。 ANN アルゴリズムにより、各ベクトルインデックスはベクトルの集合を組織化し、クエリに類似したベクトルを超高速で取得できます。 Weaviate では現在、 HNSW ベースの ANN インデックスを採用しています。 + +import HNSWLayersImg from '/docs/weaviate/concepts/img/hnsw-layers.svg'; + +
+
+
+情報量が多く、少し圧倒されるかもしれません。順を追って見ていきましょう。
+
+まず、オブジェクトの最上位キーは `classes` で、クラスのリストが含まれています。この例では `Article` という 1 つのクラスだけがあります。
+
+スキーマは各クラスについて次の内容を指定します。
+- 名前 (`class`) などのメタデータ
+- データ `properties`
+- `vectorizer`
+- モジュール設定 (`moduleConfig`)
+- インデックス設定（転置 `invertedIndexConfig` とベクトル `vectorIndexConfig`）
+- など
+
+:::info 自動スキーマ
+スキーマ定義に必要な情報が不足している場合、 Weaviate はデフォルト値とインポートされたデータに基づいて自動的に補完します。
+:::
+
+## 復習
+
+### 復習問題
+
+スキーマ例
+ +```json +{ + "classes": [ + { + "class": "Article", + "invertedIndexConfig": { + "bm25": { + "b": 0.75, + "k1": 1.2 + }, + "cleanupIntervalSeconds": 60, + "stopwords": { + "additions": null, + "preset": "en", + "removals": null + } + }, + "moduleConfig": { + "text2vec-openai": { + "model": "ada", + "modelVersion": "002", + "type": "text", + "vectorizeClassName": true + } + }, + "properties": [ + { + "dataType": [ + "text" + ], + "moduleConfig": { + "text2vec-openai": { + "skip": false, + "vectorizePropertyName": false + } + }, + "name": "title", + "tokenization": "word" + }, + { + "dataType": [ + "text" + ], + "moduleConfig": { + "text2vec-openai": { + "skip": false, + "vectorizePropertyName": false + } + }, + "name": "body", + "tokenization": "word" + } + ], + "replicationConfig": { + "factor": 1 + }, + "shardingConfig": { + "virtualPerPhysical": 128, + "desiredCount": 1, + "actualCount": 1, + "desiredVirtualCount": 128, + "actualVirtualCount": 128, + "key": "_id", + "strategy": "hash", + "function": "murmur3" + }, + "vectorIndexConfig": { + "skip": false, + "cleanupIntervalSeconds": 300, + "maxConnections": 32, + "efConstruction": 128, + "ef": -1, + "dynamicEfMin": 100, + "dynamicEfMax": 500, + "dynamicEfFactor": 8, + "vectorCacheMaxObjects": 1000000000000, + "flatSearchCutoff": 40000, + "distance": "cosine", + "pq": { + "enabled": false, + "segments": 0, + "centroids": 256, + "encoder": { + "type": "kmeans", + "distribution": "log-normal" + } + } + }, + "vectorIndexType": "hnsw", + "vectorizer": "text2vec-openai" + } + ] +} +``` + ++ +Weaviate における `schema` は、各 `class` のデータ構造を定義する設計図です。`class` とは、同じタイプのオブジェクトを集めたコレクションです。 + +このセクションでは、スキーマの定義方法と、その際に考慮すべき主なポイントについて学びます。 + +## スキーマの定義方法 + +すでに学んだとおり、スキーマ定義には多くの情報が含まれます。このセクションでは、次のプロパティを中心に説明します。 +- 名前（`class`）などのメタデータ +- データ `properties` +- `vectorizer` +- モジュール設定（`moduleConfig`） + +### メタデータ定義 + +各 class と property には、名前と説明を設定できます。 + +クラスの場合は次のとおりです。 +- `class`（必須） +- `description`（任意） + +プロパティの場合は次のとおりです。 +- `name`（必須） +- `description`（任意） + +クラスを定義する際に必須なのは `class` のみで、残りは Weaviate が推測できます。ただし、データ構造を自分や他の利用者が理解しやすくするために、各クラスおよびプロパティに説明を付けることを推奨します。 + +クラスは次の構文で定義できます。 + +
+
+
+ほとんどのデータ型は `text` や `text[]` のように、単一または配列のどちらでも指定できます。
+
+Weaviate で利用可能なデータ型
+
+
+
+JSON レスポンスを表示
+ +```json +{ + "generative-openai": { + "documentationHref": "https://beta.openai.com/docs/api-reference/completions", + "name": "Generative Search - OpenAI" + }, + "qna-openai": { + "documentationHref": "https://beta.openai.com/docs/api-reference/completions", + "name": "OpenAI Question & Answering Module" + }, + "ref2vec-centroid": {}, + "text2vec-cohere": { + "documentationHref": "https://docs.cohere.com/docs/embeddings", + "name": "Cohere Module" + }, + "text2vec-huggingface": { + "documentationHref": "https://huggingface.co/docs/api-inference/detailed_parameters#feature-extraction-task", + "name": "Hugging Face Module" + }, + "text2vec-openai": { + "documentationHref": "https://beta.openai.com/docs/guides/embeddings/what-are-embeddings", + "name": "OpenAI Module" + } +} +``` + ++ +これまでに、データは Weaviate ではオブジェクトとして表され、それらは `class` に属し、複数の `properties` を持つことを学習しました。前の `schema` セクションでは、この構造のための枠組みを作成する方法を学びました。 + +このセクションでは、 Weaviate へのデータインポート方法を、推奨されるベストプラクティスと重要な考慮事項とともに学びます。このセクションを終えると、スキーマとインポートについて学んだ内容を組み合わせ、実際のデータセットを Weaviate へインポートできるようになります。 + +## インポート : ハイレベルビュー + +### オブジェクト作成 + + Weaviate オブジェクトを作成するには、以下を行います。 + +- ソースデータを読み込む +- 必要なプロパティを含むデータオブジェクトを構築する +- Weaviate の目的のクラスに追加する + +必要に応じて、次も手動で指定できます。 + +- オブジェクト ID +- ベクトル + +:::info Optional properties + +- オブジェクト ID は必須です。そのため、指定しない場合は Weaviate が自動生成します。 +- ベクトルを指定しない場合、クラスにベクトライザーが設定されていれば Weaviate が生成します。 + +これらについては後ほど詳しく説明します。 +::: + +### バッチインポートを使用する + + Weaviate ではインポート速度を最大化するために「バッチインポート」プロセスを提供しています。以下の図はオブジェクト作成プロセスを示しています。 + +import ImportConceptualImg from './images/academy_103_import_process_conceptual.png'; + +
+ +ここまで学んだことを実践するときです！このセクションでは次を行います。 + +- 小さなデータセットをダウンロード +- データセットに対応するスキーマを構築 +- それをあなたの WCD インスタンスへインポート + +### 使用データセット + +今回は人気クイズ番組 *Jeopardy!* のデータを使用します。 + +元のデータセットは [Kaggle 上](https://www.kaggle.com/datasets/tunguz/200000-jeopardy-questions) にありますが、ここでは [100 行だけの小さなサブセット](https://raw.githubusercontent.com/weaviate-tutorials/edu-datasets/main/jeopardy_100.json) を利用します。 + +以下はデータの数行をプレビューしたものです。 + +| | 放送日 | ラウンド | 金額 | カテゴリ | 問題文 | 解答 | +|---:|:--------------|:--------------------|-------:|:-------------------|:------------------------------------------------------------------------------------------------------------------|:------------------------------------------| +| 0 | 2006-11-08 | Double Jeopardy! | 800 | AMERICAN HISTORY | Abraham Lincoln died across the street from this theatre on April 15, 1865 | Ford's Theatre (the Ford Theatre accepted)| +| 1 | 2005-11-18 | Jeopardy! | 200 | RHYME TIME | Any pigment on the wall so faded you can barely see it | faint paint | +| 2 | 1987-06-23 | Double Jeopardy! | 600 | AMERICAN HISTORY | After the original 13, this was the 1st state admitted to the union | Vermont | + +今回はシンプルに、`Round`、`Value`、`Question`、`Answer` 列のみを Weaviate に投入します。 + +:::note 演習 +次のステップは何だったか思い出せますか？ +::: + +## スキーマの構築 + +次のステップはスキーマを作成し、データを Weaviate にどう表現するかを決定することです。 + +### クラス名とプロパティの追加 + +まずは名前が必要です。名前は各行（単数形）を表すので、`JeopardyQuestion` としました。次にプロパティと型を定義します。 + +先ほど述べたように、`Round`、`Value`、`Question`、`Answer` 列を Weaviate に投入します。Weaviate の `properties` 用の名前が必要ですが、GraphQL の慣例に従いクラスは大文字で、プロパティは小文字にするので、名前は `round`、`value`、`question`、`answer` になります。 + +次にデータ型を選択します。`round`、`question`、`answer` はすべてテキストなので `text` を選びます。`value` は数値ですが、*Jeopardy!* の金額は常に整数なので `int` を使用します。 + +
+
+
+:::note 取得したスキーマはさらに長い！
+ここで多くの詳細を定義しましたが、取得したスキーマはさらに長くなっています。追加されているのは、 ベクトル インデックス、 転置インデックス、シャーディング、トークン化に関する情報です。これらの多くについては後ほど説明します。
+:::
+
+例のレスポンスに近いスキーマが表示されたら、素晴らしいです。データのインポート準備が整いました。
+
+## データのインポート
+
+ここでは、必要なデータをインポートする方法と、バッチを設定して使用する方法を説明します。
+
+### データの読み込み
+
+データはオンラインで公開されていますので、次のように取得して読み込んでください。
+
+スキーマレスポンス全文を表示
+ +
+
+
+### オブジェクト UUID の指定
+
+インポート時にオブジェクトの識別子として UUID を指定することもできます。たとえば、 Weaviate の Python クライアントには、オブジェクトに基づいて決定論的な UUID を生成する関数があります。次のように、これをインポートスクリプトに追加できます。
+
+答えは…
+ +重複したアイテムが作成されてしまいます！+ + + +前回のユニットでは、 Weaviate の基本概念や機能、既存データに対する基本的なクエリの実行方法を学びました。さまざまなクエリタイプに慣れた今度は、独自の Weaviate インスタンスにデータを投入する方法を学んでいきます。 + +このユニットでは、 Weaviate を用いてデータを効果的に構造化し、望む形で適切な情報を取得できるようにする方法を見ていきます。具体的には、データ用のスキーマを定義し、 Weaviate にデータをインポートする手順を掘り下げます。 + +ユニットを終える頃には、 Weaviate の全体的なデータアーキテクチャがより明確になるでしょう。これにより、自分のニーズと目的に合ったベクトル データベースを構築できる力が身につき始めます。 + +それでは始めましょう。 + +### 事前準備 + +- (**必須**) `weaviate-client` がインストールされた Python（3）環境 +- (**必須**) [101A Weaviate Academy Preparation](../setup.mdx) の完了 +- (*推奨*) [Hello, Weaviate](../101_hello_weaviate/index.mdx) の完了 +- (*推奨*) [Queries 1](../102_queries_1/index.mdx) の完了 + +## 学習目標 + +import LearningGoalsExp from '/src/components/Academy/learningGoalsExp.mdx'; + +
+
+
+:::tip 演習
+ブースト係数やクエリ文字列を変更してみましょう。結果はどのように変化しますか？
+:::
+
+## トークン化と `bm25` 検索
+
+### トークン化が重要な理由
+
+以前のユニットで [ 転置インデックス ](../103_schema_and_imports/10_data_structure.mdx#-inverted-index) について簡単に説明し、それがトークン化されたデータのインデックスを保持していることに触れました。
+
+BM25 クエリが送信されると、Weaviate は各プロパティをそのトークン化設定に従って検索します。たとえば、あるプロパティが `word` トークン化オプションを使用している場合、クエリ文字列は小文字化された単語に分割され、各単語がインデックス内で検索されます。一方、プロパティが `field` トークン化を使用している場合、Weaviate はクエリ文字列全体をインデックス内で検索します。
+
+:::tip これは転置インデックスにのみ適用されます
+ここで説明しているトークン化は、言語モデルやベクトライザーなどにおけるトークン化とは異なります。本節で扱うトークン化は転置インデックスにのみ適用されます。
+:::
+
+具体的な例を見てみましょう。
+
+### `word` トークン化
+
+この例では、クエリ文字列 `Jeopardy` を使用して `question` プロパティを検索します。`question` プロパティは `word` トークン化オプションでトークン化されています。
+
+JSON レスポンスを表示
+ +
+
+
+続いて、同じクエリを `field` トークン化オプションで実行してみましょう。
+
+### `field` トークン化
+
+この例では、クエリ文字列は同じ (`Jeopardy`) ですが、今回は `field` トークン化オプションが設定された `round` プロパティを検索します。
+
+JSON レスポンスを表示
+ +
+
+
+:::tip 演習
+クエリを `Jeopardy!` に変更してみましょう。結果はどのように変化しますか？
+:::
+### 経験則
+
+[トークナイズの全オプション一覧](/weaviate/config-refs/collections.mdx#tokenization) は `word`、`whitespace`、`lowercase`、`field` です。各オプションを選ぶ際の経験則として、部分一致を取得したい長いテキストには `word` を、完全一致のみを取得したい短いテキストには `field` を使用します。その他のオプションはその中間で、たとえば大文字小文字を区別したい場合は `whitespace`、特殊文字を保持したい場合は `lowercase` のように、特定の状況で役立ちます。
+
+## BM25F スコアリング
+
+結果のスコア付けとランキングに使用される正確なアルゴリズムは BM25F アルゴリズムと呼ばれます。詳細はこのコースの範囲を超えますが、要点として BM25F アルゴリズムは BM25 アルゴリズムの派生形で、`F` は「field」を意味します。検索対象のフィールドに基づいて結果をスコアリングし、ランキングします。
+
+アルゴリズムの詳細に踏み込みたい場合は、[この Wikipedia ページ](https://en.wikipedia.org/wiki/Okapi_BM25#Modifications) をご覧ください。
+
+## 復習
+
+JSON レスポンスを表示
+ +
+
+
+## `hybrid` 検索パラメーター
+
+`hybrid` 検索には複数のパラメーターがあり、その一部は `bm25` 検索で既に登場しました。
+
+`query` と `properties` は `bm25` 検索と同じですが、現在ハイブリッド検索では boost パラメーターはサポートされていません。一方、ハイブリッド検索固有のパラメーターも存在します。
+
+[//]: # (### `vector`)
+
+[//]: # ()
+[//]: # (The `vector` parameter is optional. If you do not include a `vector` parameter, the `hybrid` search will generate a vector from the query string. If you do include a `vector` parameter, the `hybrid` search will use the vector you provide.)
+
+[//]: # ()
+[//]: # (In this way, you may be able to perform a hybrid search where the `bm25` search and the vector search are based on different concepts. For example, you could perform a `bm25` search with the query string `italian`, and have the vector search be based on a vector of `food`.)
+
+[//]: # ()
+[//]: # (:::warning)
+
+[//]: # (TODO - complete this section after I get responses on the slack comment/question)
+
+[//]: # (:::)
+
+### `alpha`
+
+任意の `alpha` パラメーターは、 BM25 検索ランキングと vector 検索ランキングの重み付けを決定します。指定しない場合は既定値 0.5 が使用され、両者が同等に重み付けされます。
+
+`alpha` を 1 にすると純粋な vector 検索と同じになり、0 にすると純粋な BM25 検索と同じになります。
+
+:::tip 演習
+上のクエリで `alpha` を変化させてみましょう。結果はどう変わりますか？
+:::
+
+## 復習
+
+JSON レスポンスを表示
+ +
+
+
+#### グループタスク
+
+グループタスク検索では、プロパティを指定する必要はありません。次のように実行できます。
+
+JSON レスポンスを見る
+ +
+
+## オブジェクト プロパティ
+
+`single prompt` 形式の生成検索ではプロパティを指定する必要があることはすでに確認しました。
+また、`grouped task` 検索でも使用するプロパティを個別に指定できます。
+
+### プロパティ指定の理由
+
+`single prompt` の例では、それぞれのプロパティがモデルのプロンプトを構成する役割を果たし、`{summary}` のようなプレースホルダーを取得した summary テキストで置き換えます。
+
+また、各 `grouped task` で使用するプロパティを指定して、生成モデルに渡したいデータだけを送るようにできます。
+
+#### コンテキスト ウィンドウ長
+
+プロパティを指定するもう一つの理由は、モデルのコンテキスト長を超過する可能性を低減することです。生成モデルは通常 transformer ベースで、多くはコンテキスト ウィンドウに制限があります。
+
+そのため、必要なプロパティだけを生成モジュールに渡すことで、コンテキスト ウィンドウの制限を超えずに、より多くのオブジェクトの結果を含められる可能性があります。
+
+### プロパティの指定方法
+
+:::tip 返却プロパティと無関係な生成検索用プロパティ
+`single prompt` 検索でも `grouped task` 検索でも、生成検索で使用するプロパティは返却プロパティと同じである必要はありません。
+:::
+
+先ほど見たように、`single prompt` 検索ではプロンプト内で使用するプロパティを指定できます。
+
+`grouped task` 検索では、使用するプロパティを追加パラメーターとして渡す必要があります。
+次の例では、生成モデルに提供されたプロンプトをそのまま繰り返すように指示しています。
+
+JSON レスポンスを見る
+ +
+
+
+## 生成検索パラメーター
+
+### モデルのオプション パラメーター
+
+生成モジュールは Large Language Model (LLM) と呼ばれるモデルを使用して、検索結果とプロンプトから出力を生成します。
+
+Weaviate は、プロバイダーが提供する追加のオプション パラメーターを通じてこれらのモデルの挙動を調整できるようにしています。
+
+すべてのパラメーターを網羅することはできませんが、よく使われるパラメーター群を以下に示します。
+
+:::tip パラメーター名はモデルによって異なります
+各モデルで使用されるパラメーター名は異なるため、必ず該当モジュールとモデルのドキュメントを参照してください。
+:::
+
+- `model`: 使用する実際の言語モデルを決定します。
+- `temperature`, `k`, `p`: モデルの「ランダムさ」の度合いを決定します。一方の極端ではモデルは決定論的に動作し、他方の極端ではより予測不可能（時に一貫性のない）出力を生成します。OpenAI など一部のプロバイダーはこれらの設定のうち 1 つだけを使用することを推奨しています。
+- `max_tokens`: 生成される出力の最大長を決定します。値が大きいほど、入力長との合計でコンテキスト制限を超える可能性が高くなります。
+- `xxx_penalty`: 同一トークンが再度出現することや出現回数など、特定の要素をどの程度ペナルティするかを決定します。
+
+次の例では `generative-openai` モジュールに対してさまざまなパラメーターを指定しています:
+
+```json
+{
+ "classes": [
+ {
+ "class": "JeopardyQuestion",
+ "moduleConfig": {
+ "generative-openai": {
+ "model": "gpt-3.5-turbo",
+ "temperatureProperty": 0.3,
+ "maxTokensProperty": 512,
+ "frequencyPenaltyProperty": 0.1,
+ "presencePenaltyProperty": -0.1
+ }
+ }
+ }
+ ]
+}
+```
+
+まずは、可能であればモデルを含むデフォルト設定を試すことをお勧めします。その上で満足のいく結果が得られない場合には、別のモデルやパラメーター、アプローチを試してみてください。
+
+## まとめ
+
+### 重要なポイント
+
+- 生成検索はデータを返す前に変形することで、データベースをデータ処理のより能動的な参加者へと変えます。
+- 生成検索を使用するには、Weaviate インスタンスで生成モジュールが有効になっている必要があります。WCD では生成モジュールがデフォルトで有効です。
+- 生成検索は、検索を実行し、その検索結果とユーザーが提供したプロンプトを用いて生成モデルを呼び出すという 2 段階で構成されます。
+- `single prompt` 検索は各結果に対して応答を生成しますが、`grouped task` 検索は結果セット全体に対して 1 つの応答を生成します。
+- 生成検索ではオブジェクト プロパティを使用します。`single prompt` の例ではプロパティがモデルのプロンプトを構成し、`grouped task` でも指定できます。
+- 生成モジュールは LLM を使用しており、Weaviate はその挙動を調整するためのオプション パラメーターを公開しています。
+
+## 質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+See the JSON response
+ +
+
+
+### プロパティの指定方法
+
+QnA モジュールが回答を探す際に対象とするオブジェクトのプロパティを指定できます。生成クエリの場合と同様、入力の長さを短縮したい場合や、情報源を明確に限定したい場合に便利です。
+
+:::note `nearText` search unaffected
+Specifying properties to search only affects the answer extraction part of the query, as the underlying object vectors do not change.
+:::
+
+JSON レスポンスを見る
+ +
+
+
+### オブジェクト数の制限
+
+これも 2 段階検索であるため、回答抽出を行う前に Weaviate が最初に取得するオブジェクト数を指定できます。
+
+オブジェクト数を増やすことで、質問の答えを含むオブジェクトを取得できる可能性を高められます。
+## レビュー
+
+### 重要なポイント
+
+- Question and Answer (QnA) 検索は、別の 2 ステップ検索であり、配信前に取得したデータから特定の質問への回答を抽出しようとします。
+- QnA 検索を実行するには、Weaviate インスタンスで `qna-xxx` モジュールを有効にする必要があります。`qna-openai` モジュールは WCD ではデフォルトで有効になっています。
+- QnA モジュールは、取得した各オブジェクト内から回答を探し、追加プロパティとして返します。
+- QnA モジュールが回答を特定できない場合は、その旨をレスポンスで示します。
+
+## 質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+JSON レスポンスを見る
+ +
+
+
+
+```python
+response = client.query.get(
+ "JeopardyQuestion",
+ ["question", "answer", "points"]
+).with_limit(2).with_near_text(
+ {"concepts": "Intergalactic travel"}
+).with_additional(
+ ["distance", "id"]
+).with_where({
+ "operator": "And",
+ "operands": [
+ {
+ "path": ["question"],
+ "operator": "Like",
+ "valueText": "*rocket*"
+ },
+ {
+ "operator": "Or",
+ "operands": [
+ {
+ "path": ["points"],
+ "operator": "Equal",
+ "valueInt": 200
+ },
+ {
+ "path": ["points"],
+ "operator": "Equal",
+ "valueInt": 1000
+ }
+ ]
+ }
+ ]
+}).do()
+
+print(json.dumps(response, indent=2))
+```
+
+
+
+
+```graphql
+{
+ Get {
+ JeopardyQuestion (
+ limit: 2
+ nearText: {
+ concepts: ["Intergalactic travel"],
+ }
+ where: {
+ operator: And,
+ operands: [
+ {
+ path: ["question"],
+ operator: Like,
+ valueText: "*rocket*"
+ }
+ {
+ operator: Or,
+ operands: [
+ {
+ path: ["points"],
+ operator: Equal,
+ valueInt: 200
+ },
+ {
+ path: ["points"],
+ operator: Equal,
+ valueInt: 1000
+ }
+ ]
+ },
+ ]
+
+ }
+ ) {
+ question
+ answer
+ points
+ _additional {
+ distance
+ id
+ }
+ }
+ }
+}
+```
+
+
+
+
+
+
+結果は次のようになります:
+
++ ネストされた where フィルターの例 +
+ +
+
+
+:::
\ No newline at end of file
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/academy/py/zero_to_mvp/_109_tmp_leftovers/_graphql.mdx b/i18n/ja/docusaurus-plugin-content-docs/current/academy/py/zero_to_mvp/_109_tmp_leftovers/_graphql.mdx
new file mode 100644
index 000000000..90e9319e6
--- /dev/null
+++ b/i18n/ja/docusaurus-plugin-content-docs/current/academy/py/zero_to_mvp/_109_tmp_leftovers/_graphql.mdx
@@ -0,0 +1,159 @@
+---
+title: GraphQL の詳細
+sidebar_position: 99
+---
+
+import imageUrl from '../../tmp_images/academy_placeholder.jpg';
+
+## GraphQL 概要
+
+JSON レスポンスを確認する
+ +```json +{ + "data": { + "Get": { + "JeopardyQuestion": [ + { + "_additional": { + "distance": 0.18400955, + "id": "48fe1f8f-8e09-5aee-afe9-1728ab2fe8a0" + }, + "answer": "space shuttles", + "points": 200, + "question": "These transports, first sent up in 1981, lift off like a rocket & land like a plane" + }, + { + "_additional": { + "distance": 0.24946856, + "id": "c00decd4-4cf1-5b03-a789-a57077e082fb" + }, + "answer": "Huntsville", + "points": 1000, + "question": "A campus for the University of Alabama is here, nicknamed \"Rocket City, U.S.A.\"" + } + ] + } + } +} +``` + +
+
+
+JSON レスポンスを表示
+ +```json +{ + "data": { + "Aggregate": { + "JeopardyQuestion": [ + { + "meta": { + "count": 10 + }, + "round": { + "topOccurrences": [ + { + "occurs": 5, + "value": "Double Jeopardy!" + }, + { + "occurs": 4, + "value": "Jeopardy!" + }, + { + "occurs": 1, + "value": "Final Jeopardy!" + } + ], + "type": "text" + } + } + ] + } + } +} +``` + +
+
+
+### 利用可能なサブプロパティ
+
+サブプロパティを使用すると、 Weaviate のデータをより細かく集計できます。クエリで指定できるサブプロパティは、集計対象のデータ型によって異なります。
+
+`string` データ型と同様に、 `text` プロパティでは次のいずれか、または複数を取得できます。
+
+- count
+- type
+- topOccurrences
+
+一方、たとえば `int` データ型の場合は、次の情報を集計できます。
+
+- count
+- type
+- minimum
+- maximum
+- mean
+- median
+- mode
+- sum
+
+:::note Exercise
+上記のクエリを次のように変更して再度試してみてください。
+- `answer` プロパティのデータを基に集計できますか？
+- 結果を `round` でグループ化し、 `answer` から topOccurrences を集計してみましょう。
+:::
+
+:::info
+サマリーを追加
+:::
+
+import Quiz from '/src/components/Academy/quiz.js'
+const queryMethods = [{
+ questionText: 'Which of these is not a valid way of running queries with Weaviate?',
+ answerOptions: [
+ {
+ answerText: 'Sending a HTTP GET request.',
+ isCorrect: true,
+ feedback: 'In Weaviate, the REST interface is not used for queries.',
+ },
+ {
+ answerText: 'Using the Weaviate Console.',
+ isCorrect: false,
+ feedback: 'You can use the Weaviate Console to directly enter GraphQL queries',
+ },
+ {
+ answerText: 'With the Weaviate Python client.',
+ isCorrect: false,
+ feedback: 'In fact, you can send raw GraphQL queries or use native Python methods to perform queries with the Python client.',
+ },
+ ]
+}];
+const functionExplanations = [{
+ questionText: 'Which of the following are correct?',
+ answerOptions: [
+ {
+ answerText: 'You can use the Get function to retrieve summary information about a group of objects.',
+ isCorrect: false,
+ feedback: 'The Get function is used to retrieve individual objects.',
+ },
+ {
+ answerText: 'The Aggregate function will return objects from Weaviate.',
+ isCorrect: false,
+ feedback: 'The Aggregate function will return summary, or aggregated, information about retrieved objects.',
+ },
+ {
+ answerText: 'The Get function can retrieve objects from multiple classes in one query.',
+ isCorrect: false,
+ feedback: 'Each Get query can only search one class of objects.',
+ },
+ {
+ answerText: 'None of the above.',
+ isCorrect: true,
+ feedback: 'All of the above are false!',
+ },
+ ]
+}];
\ No newline at end of file
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/academy/py/zero_to_mvp/_109_tmp_leftovers/tmp.mdx b/i18n/ja/docusaurus-plugin-content-docs/current/academy/py/zero_to_mvp/_109_tmp_leftovers/tmp.mdx
new file mode 100644
index 000000000..4616606b0
--- /dev/null
+++ b/i18n/ja/docusaurus-plugin-content-docs/current/academy/py/zero_to_mvp/_109_tmp_leftovers/tmp.mdx
@@ -0,0 +1,77 @@
+# その他の情報
+
+### クロスリファレンス付き `Get`
+
+このセクションを締めくくる前に、クロスリファレンスを利用した `Get` クエリの実行方法を見てみましょう。本ユニットではまだクロスリファレンスを詳しく扱っていませんが、ここではオブジェクト同士を接続する手段であることだけ理解していれば十分です。
+
+以下の例では、`Question` クラスに対して `Get` クエリを実行しますが、今回は `hasCategory` プロパティもクエリに含めます。このプロパティは `Category` クラスへのクロスリファレンスであり、各質問のカテゴリを返すために使用されます。
+
+```graphql
+{
+ Get {
+ Question (
+ limit: 1
+ nearText: {
+ concepts: ["Seafaring technology from Scandanavia."],
+ }
+ ) {
+ question
+ answer
+ hasCategory {
+ ... on Category {
+ title
+ _additional {
+ id
+ }
+ }
+ }
+ _additional {
+ distance
+ id
+ }
+ }
+ }
+}
+```
+
+これにより、次のような結果が得られます。
+
+このクエリの説明
+ +このクエリでは、 `round` の下にサブプロパティを指定して追加の集計を行い、最も頻出する回答とその件数を取得しています。 + +
+
+
+ここでは、`hasCategory` プロパティがオブジェクトの配列となっており、`Question` が関連付けられている `Category` 型のオブジェクトと、その要求したプロパティが格納されています。また、`Category` クラスの `title` プロパティも返され、`_additional` フィールドにはカテゴリの `id` が含まれます。
+
+クロスリファレンスを使用すると、データモデルに高い柔軟性と強力な表現力を持たせることができ、オブジェクト同士を接続する優れた方法となります。スキーマに関するユニットで、これらについてさらに詳しく説明します。
+
+:::info `...` pattern
+上記のクエリで `... on Category` というパターンにお気付きかもしれません。この構文は GraphQL の用語で「フラグメント」と呼ばれます。このように記述することで、フラグメントは `hasCategory` プロパティが `Category` 型であることを示し、その形式で結果を返すよう指定しています。
+:::
\ No newline at end of file
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/academy/py/zero_to_mvp/_999_vectorizer_selection_1/combining_models.md b/i18n/ja/docusaurus-plugin-content-docs/current/academy/py/zero_to_mvp/_999_vectorizer_selection_1/combining_models.md
new file mode 100644
index 000000000..a0455d898
--- /dev/null
+++ b/i18n/ja/docusaurus-plugin-content-docs/current/academy/py/zero_to_mvp/_999_vectorizer_selection_1/combining_models.md
@@ -0,0 +1,12 @@
+---
+title: モデルの組み合わせ
+sidebar_position: 3
+---
+
+こちらの Slack ディスカッションに触発されました: https://weaviate.slack.com/archives/C017EG2SL3H/p1677534406507339
+
+- 生成検索 + ベクトライザー のようなケースでモデルを組み合わせる方法
+
+- CLIP + Q&A
+
+などなど
\ No newline at end of file
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/academy/py/zero_to_mvp/_999_vectorizer_selection_1/common_model_types.md b/i18n/ja/docusaurus-plugin-content-docs/current/academy/py/zero_to_mvp/_999_vectorizer_selection_1/common_model_types.md
new file mode 100644
index 000000000..b65ef8db5
--- /dev/null
+++ b/i18n/ja/docusaurus-plugin-content-docs/current/academy/py/zero_to_mvp/_999_vectorizer_selection_1/common_model_types.md
@@ -0,0 +1,100 @@
+---
+title: 一般的なモデルタイプ
+sidebar_position: 2
+---
+
+## ベクトル表現の種類
+
+:::warning TODO
+イントロ動画はこちら
+:::
+
+ここでいうベクトルとは、通常、機械学習モデルから生成されたベクトルを指します。より具体的には、ニューラルネットワークから得られる「 dense ベクトル」と呼ばれるベクトルを指します。
+
+しかし、特にテキストの意味を表す際には、他にも次のようなベクトル表現があります。
+
+- One-hot encoding
+- TF-IDF ( term frequency-inverse document frequency ) ベクトル
+- BM25 ベクトル
+
+以下では、これらと dense ベクトルについて簡単に説明します。
+
+### One-hot encoding
+
+One-hot encoding では、テキストを 0 と 1 の集合で表現し、1 はその単語がテキスト内に存在することを示します。これは「 bag of words 」表現とも呼ばれることがあります。
+
+そのため、この表現は大部分が 0 になる非常にスパースなベクトルになります。これは、ほとんどの単語が特定のテキストには存在しないためです。
+
+この方法の制限として、各単語は「存在する／しない」のみで表されるため、単語間の類似性を捉えられません。また、テキスト内での単語の相対的重要性を考慮できません。
+
+### TF-IDF ベクトル
+
+TF-IDF 表現は、テキスト内での単語の相対的重要性を考慮することで One-hot encoding を改良したものです。
+
+TF-IDF は「 term frequency-inverse document frequency 」の略で、コーパス内の文書において単語がどれほど重要かを示す統計量です。
+
+TF-IDF の値は、その単語が文書内に出現する回数に比例して増加しますが、コーパス全体での単語の出現頻度によって調整されます。これにより、"the"、"a"、"is"、"are" のような全文書で頻出する単語は減点され、全体でまれな単語に高い重みが付きます。
+
+直感的には、TF-IDF はまれな単語により大きな重みを与えることで、テキスト内での単語の相対的重要性を捉えます。
+
+### BM25 ベクトル
+
+BM25 ベクトルは TF-IDF ベクトルに似ていますが、文書の長さを考慮できる点が異なります。長い文書は単語数が多くなるため、それだけで TF-IDF スコアが高くなる可能性がありますが、必ずしも短い文書より関連性が高いとは限りません。
+
+そのため、BM25 ベクトルは文書の長さで TF-IDF スコアを正規化します。
+
+### Dense ベクトル
+
+#### Word ベクトル
+
+Word ベクトルはニューラルネットワークから得られるベクトル表現の一種で、単語が現れる文脈を学習することで単語の意味を捉えます。
+
+" word2vec " や " GloVe " といったモデルが、この種の表現学習を一般化しました。Word ベクトルの主な欠点は、親文のローカルな文脈、つまり文中での単語の使われ方を考慮できないことです。
+
+そのため、同音異義語のように語義の判別が必要な場合、Word ベクトルは文脈内での単語の意味を捉えられません（たとえば "bank" が金融機関なのか川岸なのか）。
+
+:::note Word vectors + weighting
+Word ベクトルに TF-IDF や BM25 のような重み付け手法を組み合わせることで、テキスト内での単語の相対的重要性を反映したベクトルを生成できます。得られたベクトルはテキスト全体の表現として利用できます。
+:::
+
+#### Transformer 由来のベクトル
+
+現在の多くのベクトルデータベースは、Transformer モデルから得られたベクトルを使用しています。
+
+Transformer はニューラルネットワークの一種で、親文の文脈を考慮して単語の意味を決定します。これにより、前述の "bank" の例のように複数の意味を持つ単語を文脈に応じて判別できます。
+
+現在の主な課題は、入力サイズ（例: テキスト長）が大きくなるにつれて計算資源を多く消費することです。
+
+Query results
+ +```json +{ + "data": { + "Get": { + "Question": [ + { + "_additional": { + "distance": 0.14927602, + "id": "5d9d5c8d-13e7-5791-b2f9-3724a1a1d301" + }, + "answer": "Oslo", + "hasCategory": [ + { + "_additional": { + "id": "fec50326-dfa1-53c9-90e8-63d0240bd933" + }, + "title": "MUSEUMS" + } + ], + "question": "1,200-year-old Viking ships are on display at the Vikingskiphuset in this Norwegian capital" + } + ] + } + } +} +``` + ++ +AI モデル選定に関しては、後ほど詳しく取り上げます。 + +::: + +住宅の特徴を表す数値列を入力として、価格を予測（回帰）したり、特定のクラスに属する確率を算出したりできることは、ある程度直感的かもしれません。 + +しかし、この考え方がどのように `gpt` のような生成 AI モデルや埋め込みモデルへとつながるのでしょうか。実は、思っているよりも似ています。 + +次のセクションでこれを詳しく見ていきましょう。 +## 質問とフィードバック + +import DocsFeedback from '/_includes/docs-feedback.mdx'; + +
+ +しかし多くの最新生成モデルはマルチモーダルです。テキストだけでなく画像も入力に含められる「ビジョン・ランゲージモデル」が存在します。また Stable Diffusion や Sora のように、画像や動画といった視覚的出力を生成するモデルもあります。 +
+ +これらのモデルも基本的な動作は前述と同様ですが、モダリティ固有の要素を持つことでさらに多彩な表現が可能になっています。 + +::: +## 質問とフィードバック + +import DocsFeedback from '/_includes/docs-feedback.mdx'; + +
+ +生成モデルと同様、埋め込みモデルの世界も非常に大きく興味深いものです。マルチモーダル埋め込みモデルは複数の入力タイプを受け取り、同じ空間で互換性のある埋め込みを生成できます。また、近年の埋め込みには、多ベクトル 埋め込み（例: ColBERT）や可変長埋め込みなど、さまざまな形式があります。 +
+ +これらについては、特定のモダリティやモデル選定をより深く掘り下げる際に、改めて取り上げる予定です。 + +::: +## 質問とフィードバック + +import DocsFeedback from '/_includes/docs-feedback.mdx'; + +
+ +ここで鍵になるのは “gradient descent” で、loss function を数値的に微分し、その勾配を利用して parameters を少しずつ更新していきます。 +
+ +ただし本ドキュメントの範囲外であり、モデルを単に利用したい方にとっては必須ではないため、詳細な説明は割愛します。もし詳しく学びたい場合は優れた資料が多数あります。 +
+ +いくつかのお気に入りリソースを紹介します: +- [動画: Let’s reproduce GPT-2 by Andrej Karpathy](https://www.youtube.com/watch?v=l8pRSuU81PU) +- [Fine-tune large language models: Hugging Face](https://huggingface.co/learn/nlp-course/en/chapter11/1) + +::: + + +import NNBackpropagation from './_img/nn_explained_55_backprop.png'; +import NNBackpropagationDark from './_img/nn_explained_55_backprop_dark.png'; + +
+ + Weaviate はオープンソースの ベクトル データベースです。ですが、それは具体的にどういう意味でしょうか？ここで詳しく見ていきましょう。 + +### ベクトル データベース + + Weaviate は、必要な情報を素早く正確に取得できる優れたツールです。その核心となるのが、卓越した **ベクトル データベース** である点です。 + +従来の SQL を使うリレーショナルデータベースなどはご存じかもしれません。データベースは情報を整理し、保存し、検索できます。**ベクトル** データベースも同じことができますが、大きな違いは「類似度」に基づいて操作できる点です。 + +#### 従来の検索方法 + +ヨーロッパの都市に関する記事を収めたリレーショナルデータベースから、「主要な」ヨーロッパの都市を取得したいと想像してください。SQL で次のようなクエリを書くかもしれません。 + +```sql +SELECT city_name wiki_summary +FROM wiki_city +WHERE (wiki_summary LIKE '%major European city%' OR + wiki_summary LIKE '%important European city%' OR + wiki_summary LIKE '%prominent European city%' OR + wiki_summary LIKE '%leading European city%' OR + wiki_summary LIKE '%significant European city%' OR + wiki_summary LIKE '%top European city%' OR + wiki_summary LIKE '%influential European city%' OR + wiki_summary LIKE '%notable European city%') + (… and so on) +``` + +このクエリは、`wiki_summary` 列にこれらの文字列（`major`、`important`、`prominent` など）が含まれる都市を返します。 + +多くの場面で問題なく機能しますが、この方法には大きく 2 つの制約があります。 + +#### 従来検索の制約 + +この検索方法では、概念を表すかもしれない語句を自分で特定する必要があります。これは簡単ではありません。 + +さらに、結果として得られたオブジェクトをどのようにランキングするかという問題も解決できません。 + +上記の検索では、関連性の低い「別のヨーロッパの都市」についての記述がたった一度登場しただけのエントリでも、パリやローマといった高い関連性を持つエントリと同じ重み付けになります。 + +ベクトル データベースは、類似度検索によってこの作業をよりシンプルにします。 + +#### ベクトル検索の例 + +完全一致を探す代わりに、「Major European city」に *最も近い* オブジェクトを検索するクエリを実行できます。 + +その結果として返ってくるのは、クエリとの *類似度でランク付けされた* エントリのリストです。 + +言い換えると、結果は「Major European city」というアイデア、つまり意味に対する類似度を反映します。 + +さらに、 Weaviate はデータを類似度に基づいて「インデックス化」するため、この種のデータ取得を非常に高速に行えます。 + + Weaviate はこれらすべてを手助けし、実際にはさらに多くのことが可能です。別の言い方をすれば、 Weaviate は情報の活用方法を強化します。 + +:::info ベクトル検索 vs セマンティック検索 +ベクトル検索は「セマンティック検索」とも呼ばれます。意味（セマンティクス）の類似度に基づいて結果を返すためです。 +::: + +### オープンソース + + Weaviate はオープンソースです。つまり、その [コードベースはオンラインで公開](https://github.com/weaviate/weaviate) されており、誰でも閲覧・利用できます[(1)](#-notes)。 + +しかも、それはどのように利用しても *同じ* コードベースです。自身の PC で動かす場合も、クラウド環境で動かす場合も、マネージドサービスである [Weaviate Cloud (WCD)](https://console.weaviate.cloud/) を使う場合も、まったく同じ技術を使用しています。 + +そのため、希望すれば自身のデバイスで無料で Weaviate を動かしたり、利便性のためにマネージドサービスを利用したりできます。さらに、実際に何を動かしているかを確認でき、オープンソースコミュニティの一員として開発に貢献することも可能です。 + +また、 Weaviate に関する知識はローカル、クラウド、マネージドインスタンス間で互換性があります。WCD で学んだことはローカル環境でも同様に適用でき、その逆も同じです。😉 + +### 情報をダイナミックに + +情報を本のような静的なものとして捉えがちですが、 Weaviate と現代の AI 駆動型言語モデルを組み合わせれば、単に静的情報を取得するだけでなく、その上に簡単に構築できます。以下の例をご覧ください。 + +#### 質問応答 + +Wikipedia のエントリ一覧があるとして、 Weaviate に次のように尋ねられます。 + +:::note We asked Weaviate: +When was Lewis Hamilton born? +::: + +すると、次のように回答します。 + +:::note Weaviate responded: +Lewis Hamilton was born on January 7, 1985. ([check for yourself](https://en.wikipedia.org/wiki/Lewis_Hamilton)) +::: + +#### 生成検索 + +あるいは、 Weaviate で取得した情報を使って文章を合成することもできます。 + +次の例では、「レーシングドライバー」に関するエントリを検索し、以下の形式で結果を生成しています。 + +:::note We asked Weaviate: +Write a fun tweet encouraging people to read about this: ## \{title} by summarizing highlights from: ## \{wiki_summary} +::: + +生成された結果は以下のとおりです。 + +:::note Weaviate responded: +Check out the amazing story of Lewis Hamilton, the 7-time Formula One World Drivers' Championship winner! From his humble beginnings to becoming one of the world's most influential people, his journey is an inspiring one. #LewisHamilton #FormulaOne #Motorsport #Racing +::: + +これらに加え、ベクトライゼーション、要約、分類など、さらに多くの機能をユニットで取り上げます。 + +現時点では、 Weaviate はベクトル データベースを核とし、取得した情報に対して AI ツールを活用してより多くのことを実現できる、と覚えておいてください。 + +## まとめ + +このセクションでは、 Weaviate が何であるか、そして概要レベルでどのように機能するかを学びました。また、ベクトル検索とは「類似度ベースの検索方法」であるという高レベルの概念も紹介しました。 + +### 練習問題 + +
+ +Weaviate が [ベクトルデータベース](https://weaviate.io/blog/what-is-a-vector-database) であり、ベクトル検索が類似度ベースであることはすでに説明しました。では、ベクトルとは何でしょうか。 + +ここで言うベクトルとは、 `[1, 0]` や `[0.513, 0.155, 0.983, ..., 0.001, 0.932]` のように数字を並べたものです。これらのベクトルは「意味」を捉えるために使われます。 + +少し奇妙に思えるかもしれませんが、実は知らずにベクトルを使って意味を表現したことがあるかもしれません。たとえば写真編集ソフトや MS Paint を使ったことがあれば、RGB カラーシステムに触れたはずです。 + +### 数値による意味の表現 + +RGB システムでは 3 つの数字の組み合わせで色を表します。例: + +- ( 255, 0, 0 ) = 赤 +- ( 80, 200, 120 ) = エメラルド + +ここでは、各数字が「赤・緑・青」のダイヤルのような役割を果たしています。 + +これが数百、数千のダイヤルになったものを想像してみてください。それがベクトルで意味を表現するイメージです。GPT-x などの最新の機械学習モデルや Weaviate と連携するモデルは、テキスト・コード・画像・動画などあらゆるオブジェクトの「本質」や「意味」をベクトルで表現します。 + +## Weaviate におけるベクトル埋め込み + + + +オブジェクトの意味を表すベクトルは「ベクトル埋め込み」と呼ばれます。 + +Weaviate はデータオブジェクトと対応するベクトル埋め込みをインデックス化・保存することでベクトル検索を実現します。ベクトル埋め込みは機械学習モデルから得られます。 + +平たく言えば、Weaviate はデータを「クエリと似ている順」に取り出せるよう整理します。これを高速に行うために Weaviate は従来のデータベースにはない 2 つの処理を行います。 + +- 類似度の定量化 +- ベクトルデータのインデックス化 + +これらが Weaviate の高速ベクトル検索を支えています。 + +### 類似度の定量化 + +ベクトル検索は類似度ベースと述べましたが、実際にはどのように「似ている」を判断するのでしょうか。2 つのテキストや画像、オブジェクト全般が似ているとはどういう意味でしょうか。 + +これは一見シンプルですが、掘り下げると非常に奥深いテーマです。 + +ここでは大まかに、機械学習 (ML) モデルがこのプロセスの鍵であると覚えておいてください。テキスト生成モデルと共通点を持つこれらのベクトライザー (vectorizer) モデルは、新しいテキストを生成する代わりに、テキストや他のメディアの「意味」を捉えます。詳細は後ほど扱います。 + +### （ベクトル）データのインデックス化 + +ベクトル検索は計算負荷が高くなりがちです。 + +そこで Weaviate は、おおよその最近傍探索 (ANN) インデックスと転置インデックスを組み合わせて使用します。ANN インデックスにより超高速なベクトル検索が可能になり、転置インデックスにより Boolean 条件でのフィルタリングが行えます。 + +詳しくは後のセクションで説明しますが、ここでは Weaviate が高速なベクトル検索とフィルタリングを同時に実現していると理解しておけば十分です。 + +## 振り返り + +このセクションでは、ベクトルとは何か、そして Weaviate がどのようにベクトルを活用しているかを俯瞰しました。また、高速なベクトル検索を支える Weaviate の 2 つの重要な機能にも触れました。 + +### 復習課題 + +:::tip Self-reflection +自分の言葉で「ベクトル」とは何か説明できますか？ +::: + +
+ +ここでは、Weaviate でできることをいくつか例示します。 + +まず、デモデータベースを使ってベクトル検索を試してみましょう。入力テキスト・ベクトル・オブジェクトなど、さまざまなクエリ方法で類似オブジェクトを取得する方法を学びます。 + +さらに、ベクトル検索とキーワード検索を比較し、両者の違いを確認したうえで、フィルターを使って両方を組み合わせる方法も紹介します。 + +### ベクトル検索デモ + +最初の例として、デモデータセットを検索してみます。これはクイズ番組 *Jeopardy!* から抜粋した少量の質問を含んでいます。 + +たとえばクイズナイトを開催するとして、「映画に登場する動物」に関する問題が欲しいとします。従来のデータベースなら、次のように単語一致で探すことになるでしょう。 + +```sql +SELECT question, answer +FROM jeopardy_questions +WHERE ( + question LIKE '%animal%' + OR question LIKE '%creature%' + OR question LIKE '%beast%' + ) +AND ( + question LIKE '%movie%' + OR question LIKE '%film%' + OR question LIKE '%picture%' + OR question LIKE '%cinema%' + ) + +``` + +このクエリを書くのは大変です。しかも特定の動物名まで条件に追加する必要があるかもしれません。 + +Weaviate のクエリはもっと直感的です。次のクエリを実行するとどうなるか見てみましょう。 + +:::note We searched Weaviate for: +animals in movies +::: + +Weaviate は次の回答を上位に返しました。 + +:::note Weaviate retrieved: +- **meerkats**: *The Lion King* に登場するティモンのような哺乳類のグループ +- **dogs**: スクービー・ドゥー、グーフィー、プルートは漫画版 +- **The Call of the Wild Thornberrys**: 犬のバックを描いたジャック・ロンドンの物語が、動物と話せるエリザが主人公のニックのカートゥーンと合体 +::: + +どの結果にも「animal」や「movie」という語がまったく含まれていないのに、関連性が高いことに注目してください。 + +これこそがベクトル検索の強みです。完全一致せずとも関連オブジェクトを見つけられます。 + +### ベクトルの類似度 + +ベクトル検索では、クエリと返却オブジェクト間の定量的な類似度を取得できます。これは `distance` と呼ばれます。 + +`distance` は、返却オブジェクトとクエリの類似度合いを示します。 + +「それは具体的にどういう意味なのか」「誰が類似度を決めるのか」と疑問に思われるかもしれません。良い質問です！ 詳しくは後ほど説明します。 + +ここでは、「値が小さいほど 2 つのオブジェクトが互いに似ている」と覚えておいてください。 + +## まとめ + + + + + +### 重要ポイント + +- ベクトル検索は、テキストを完全一致させなくても関連オブジェクトを見つけられます。 +- ベクトル検索では、distance 値がクエリと返却オブジェクトの類似度を示します。 +- distance が小さいほど類似度が高くなります。 +- ベクトル検索は、キーワード検索やフィルターと組み合わせて、より精緻な検索結果を得ることができます。 + +## 質問とフィードバック + +import DocsFeedback from '/_includes/docs-feedback.mdx'; + +
+ +Weaviate では、静的な情報を取得するだけでなく、さらに多くのことができます。 + +データベースからオブジェクトを単に取得するだけでなく、さらに活用する例をいくつか見てみましょう。 + +この Wikipedia エントリから情報を抽出します。 + +
+
+
+Weaviate は、この Wikipedia エントリを処理する際に [データオブジェクト](/weaviate/concepts/data) を生成します。オブジェクトはクラスに保存され、クラスはリレーショナルデータベースにおけるテーブルに概ね相当します。オブジェクトはそのテーブルのエントリに類似しています。
+
+
+### 生成検索
+
+Weaviate はこれらのエントリをさらに活用できます。データストアからオブジェクトを取り出し、そのオブジェクトを使って新しい文章を生成するよう依頼できます。たとえば、シドニー・オペラハウスのエントリを含むオブジェクトを用いて新しいテキストを作成できます。
+
+以下は `GraphQL` クエリによる生成検索の例です。
+
+```graphql
+{
+ Get {
+ WikiArticle(
+ nearText: {
+ concepts: ["Sydney Opera House"]
+ }
+ limit: 1
+ ) {
+ title
+ wiki_summary
+ _additional {
+ generate(
+ singleResult: {
+ prompt: """
+ Write a fun tweet encouraging people to read about this: ## {title}
+ by summarizing highlights from: ## {wiki_summary}
+ """
+ }
+ ) {
+ singleResult
+ error
+ }
+ }
+ }
+ }
+}
+```
+
+このサンプルコードは Wikipedia エントリを基にツイートを生成します。
+
+「シドニー・オペラハウス」Wikipedia サマリー
+ +シドニー・オペラハウスは、シドニーにある複数会場型の舞台芸術センターです。シドニー湾の海岸沿いに位置し、世界で最も有名かつ独特な建築物の一つであり、20 世紀建築の傑作と広く評価されています。デンマーク人建築家ヨーン・ウツソンが設計し、ピーター・ホール率いるオーストラリアの建築チームが完成させました。1957 年に国際設計コンペでウツソン案が選ばれて以降プロジェクトが始動し、1973 年 10 月 20 日にエリザベス 2 世女王によって正式に開館しました。ニューサウスウェールズ州政府（首相ジョセフ・ケーヒル）が 1958 年に建設を承認し、ウツソンが工事を指揮しました。建設決定後にはコストやスケジュールの超過、そして最終的なウツソンの辞任などの事情がたびたび取り沙汰されています。建物とその周辺は、シドニー湾のベネロン・ポイント全体を占め、シドニー・コーブとファーム・コーブの間、シドニー中心業務地区と王立植物園に隣接し、シドニー・ハーバーブリッジの近くに位置します。 + +複数の公演会場を備える建物では年間 1,500 件以上の公演が行われ、120 万人以上が来場します。オペラ・オーストラリア、シドニー・シアター・カンパニー、シドニー交響楽団という 3 つの常駐団体を含む多数のアーティストが公演を行います。オーストラリアでも最も人気のある観光名所の一つで、年間 800 万人以上が訪れ、約 35 万人がガイド付きツアーに参加します。建物はニューサウスウェールズ州政府機関のシドニー・オペラハウス・トラストによって管理されています。 + +2007 年 6 月 28 日、シドニー・オペラハウスはユネスコ世界遺産に登録されました。それ以前にも 1980 年から国定遺産リスト（現在は廃止）、1983 年からオーストラリア国民信託、2000 年からシドニー市ヘリテージ・インベントリ、2003 年からニューサウスウェールズ州ヘリテージ登録、2005 年からオーストラリア国定遺産リストに登録されていました。また、世界新七不思議キャンペーンのファイナリストにも選ばれています。 + +
+
+
+このプロセスは `generative search`（生成検索）の一例です。生成検索では、Weaviate が情報を取得し、それを大規模言語モデル（LLM）で再構成します。これは情報の取り扱い方を大きく変える強力な機能です。
+
+プロンプトを変えることで、異なる結果を生成できます。
+
+### 次のステップ
+
+Q&A や生成検索のようなツールを使うと、情報がまさに生き生きと活用できるようになります。
+
+## レビュー
+
+
+
+### 主なポイント
+
+- Weaviate は質疑応答機能を用いてテキストから知識を抽出し、与えられたテキストに基づいて最も関連性の高いオブジェクトと実際の解答を特定できます。
+- 生成検索を利用すると、情報を取得して内容を再形成・再利用でき、たとえば Wikipedia エントリからツイートを生成できます。
+- Weaviate のこれら高度な機能により、データ内の情報との対話方法や活用方法が大きく変革します。
+
+## 質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+レスポンスを見る
+ +:::note Weaviate の返答: +Explore the world-famous Sydney Opera House and its incredible architecture! From the iconic design to the amazing performances, there's something for everyone to enjoy. #SydneyOperaHouse #Explore #Architecture #Performances #Experience +::: + ++ + + +ようこそ！ + +ここから、Weaviate とともにベクトルの世界を旅していきます。このユニットでは、Weaviate の基本について概観します。 + +まず、Weaviate が何であり、何ができるのかを理解します。次に、ベクトルデータベースとベクトル検索について学んだ後、実際に Weaviate を起動し、ベクトル検索を実行します。 + +このユニットを終える頃には、コース全体をスムーズに学習し、さらに自身のプロジェクトで Weaviate を活用するための強固な基盤が身につきます。 + +### 前提条件 + +- なし + +## 学習目標 + +import LearningGoalsExp from '/src/components/Academy/learningGoalsExp.mdx'; + +
.default})
+
+では、2 つの異なる Embedding モデルを用いて最適なオブジェクトを取得するとどうなるでしょうか。以下の 2 つのモデルを使用します。
+
+- `FastText (fasttext-en-vectors)`（ 2015 年；[モデルカード](https://huggingface.co/facebook/fasttext-en-vectors)）
+- `snowflake-arctic-embed-l-v2.0`（ 2024 年；[モデルカード](https://huggingface.co/Snowflake/snowflake-arctic-embed-l-v2.0)）
+
+まず、 2015 年の `FastText` モデルで検索した結果の概要です。
+
+.default})
+
+FastText が特定した最上位の結果は、クッキー作りの問題点を修正する方法を扱っており、ある程度関連しています。しかし理想的なのは手順を示すレシピですので、完全には一致していません。
+
+残り 2 件はクエリと無関係です。レシピではありますがクッキー用ではありません。
+
+改善の余地が大きいと言えるでしょう。
+
+続いて、 2025 年の `snowflake-arctic-embed-l-v2.0` モデルでの結果です。
+
+.default})
+
+`arctic` の Embedding は理想的な最上位結果を正しく特定しました。実際、期待された上位 2 件が 3 位以内に入っています。残り 1 件もチョコチップクッキーに関連しており、多少トピックがずれている程度です。
+
+### 評価基準
+
+これらのモデルを `nDCG@k` などの標準指標で比較することもできます。
+
+今回のシナリオでは、 2 つのモデルのスコアは以下のとおりです。
+
+| モデル | nDCG@10 |
+| --- | --- |
+| `FastText` | 0.595 |
+| `snowflake-arctic-embed-l-v2.0` | 0.908 |
+
+
+
+
+生成される Embedding のサイズも重要な要素です。
+
+Embedding の次元数はおよそ 300 から数千まで大きく異なります。たとえば、法律事例に関する質問に回答する AI ボットを提供するサービス事業者を考えてみましょう。 100 万件のドキュメントを持つベクトルデータベースでは、`nv-embed-v2` というモデルを使うと 3.3 TB ものメモリが必要になる可能性がありますが、`embed-english-light-v3.0` なら 300 GB で済むかもしれません。 （下図は人気モデルをいくつか取り上げ、それぞれがメモリ要件にどのように影響するかを比較したものです。）
+
+nDCG@k とは？
+ +`nDCG` は情報検索で返された結果を評価する指標です。最も関連性の高い結果をリストの上位に配置するほど高く評価されます。`@k` は上位 `k` 件のみを対象とすることを示します。 + +[詳しくはこちら](https://weaviate.io/blog/retrieval-evaluation-metrics#normalized-discounted-cumulative-gain-ndcg) + +.default})
+
+これらの簡単な例からも、Embedding モデル選択が検索品質やリソース要件などに大きな影響を与えることが分かります。
+
+過去 10〜15 年で Embedding モデルの世界は大きく進歩しました。実際、革新は現在も続いています。word2vec、FastText、GloVe、BERT、CLIP、OpenAI ada、Cohere multi-lingual、Snowflake Arctic、ColBERT、ColPali といった名前を聞いたことがあるかもしれません。
+
+各モデル（またはアーキテクチャ）は、モデル構造・学習データ・学習手法・モダリティ・効率性など、何らかの面で改良をもたらします。
+
+それでは次のセクションから、Embedding モデル選定のワークフローを探っていきましょう。
+
+## 質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+.default})
+
+図からは、モデルサイズが大きいほど性能が高いという明確な正の相関が見て取れます。つまり、性能の高いモデルは一般的にサイズも大きくなります。その結果、より多くのメモリと計算資源を必要とし、コストが高くなり速度も遅くなります。
+
+言い換えると、 `nv-embed-v2` のような大型モデルは、 `snowflake-arctic-embed-m-v1.5` のような小型モデルより検索性能が優れているかもしれませんが、実行や利用にかかる費用は高くなる可能性があります。
+
+しかし、検討すべき観点はほかにも多数あります。例として以下が挙げられます。
+
+- `gemini` のようなプロプライエタリモデルは高い性能を示すかもしれませんが、ローカル推論を希望するユーザーの要件を満たさない場合があります。
+- モデルが標準ベンチマークで高い性能を示していても、法律・医療・コーディングなどの専門領域のデータでは性能が落ちることがあります。
+- ローカルモデルは運用コストが低い場合がありますが、組織に長期的なインフラ保守のための専門知識やリソースが不足しているかもしれません。
+
+このように複雑な状況では、体系的なアプローチによって自分の要件に基づく適切な意思決定が可能になります。以下はその一例です。
+
+.default})
+
+### データの特性
+
+| 要素 | 主な質問 | 重要な理由 |
+| --- | --- | --- |
+| **モダリティ** | テキスト、画像、音声、それともマルチモーダル？ | モデルは特定のモダリティ向けに構築されています。 |
+| **言語** | どの言語をサポートする必要がありますか？ | モデルは特定の言語向けに学習・最適化されており、性能にトレードオフが生じます。 |
+| **ドメイン** | データは一般的か、それともドメイン特化（法律、医療、技術など）ですか？ | ドメイン特化モデル（例： [医療](https://huggingface.co/blog/abhinand/medembed-finetuned-embedding-models-for-medical-ir)）は専門用語や概念を理解できます。 |
+| **長さ** | ドキュメントやクエリの平均的な長さは？ | 入力トークンのコンテキストウィンドウはモデルごとに異なり、 256 トークンから 8192 トークンまでさまざまです。ただし、長いコンテキストウィンドウは計算量と待ち時間が指数的に増加します。 |
+| **非対称性** | クエリとドキュメントに大きな違いがありますか？ | 一部のモデルは非対称なクエリ‐ドキュメント比較向けに設計されています。たとえば `laptop won't turn on` というクエリで `Troubleshooting Power Issues: If your device fails to boot...` のようなドキュメントを容易に特定できます。 |
+
+### パフォーマンス要件
+
+| 要素 | 主な質問 | 重要な理由 |
+| --- | --- | --- |
+| **精度**（リコール） | 上位結果をすべて取得することはどれほど重要ですか？ | 高い精度を求める場合、より高価またはリソース集約的なモデルを選択する価値があります。 |
+| **レイテンシ** | クエリはどれくらい速く処理する必要がありますか？ | 大規模モデルは性能が高い一方で推論が遅くなることがあります。推論サービスでは、高速化はコスト増につながります。 |
+| **スループット** | 想定クエリ量やトラフィックスパイクは？ | 大規模モデルは処理能力が低い傾向があります。推論サービスではスループット増加がコスト増加を招きます。 |
+| **ボリューム** | 処理するドキュメント数は？ | 埋め込み次元が大きいほどベクトルストアのメモリ要件が増え、大規模運用時のリソースとコストに影響します。 |
+| **タスクタイプ** | 検索のみか、それともクラスタリングや分類も行いますか？ | モデルには得意不得意があります。検索に優れたモデルがクラスタリングでも優秀とは限りません。評価・選定基準に影響します。 |
+
+### 運用上の要素
+
+| 要素 | 主な質問 | 重要な理由 |
+| --- | --- | --- |
+| **ハードウェア制限** | ホスティング・推論に利用可能な計算資源は？ | ハードウェアの入手性（コスト、GPU/TPU の有無）が選択肢に大きく影響します。 |
+| **API レート制限** | ホステッドモデルの場合、プロバイダーの制限は？ | レート制限はアプリケーションのボトルネックや成長の妨げになります。 |
+| **デプロイと保守** | 必要な技術的専門知識とリソースは？ | 自前ホスティングが可能か、API ベースのホステッドオプションを検討すべきかを判断します。 |
+
+### ビジネス要件
+
+| 要素 | 主な質問 | 重要な理由 |
+| --- | --- | --- |
+| **ホスティングオプション** | 自前ホスティングが必要か、クラウド API でもよいか？ | 自前ホスティング ➡️ 操作性は高いが運用が複雑、API ➡️ 導入は簡単だが依存度が高い。 |
+| **ライセンス** | 商用利用時のライセンス制限は？ | 一部のモデルは特定のユースケースを禁止しています。 |
+| **長期サポート** | モデルの継続利用に関する保証は？ | モデルや企業が廃止された場合、アプリケーションの大幅な改修が必要になることがあります。 |
+| **予算** | コスト上限や支出方針は？ | 埋め込みコストは継続的に発生しますが、自前ホスティングは初期費用が高額です。 |
+| **プライバシーとコンプライアンス** | データプライバシー要件や業界規制は？ | 特定業界では専用モデルが必須となり、プライバシー要件がホスティング手段を制限する場合があります。 |
+
+これらの要件を文書化すると、理想的な埋め込みモデルの明確なプロファイルが作成され、選定プロセスで情報に基づくトレードオフを行いやすくなります。
+
+## 候補モデルの収集
+
+ニーズを特定したら、評価対象となる埋め込みモデルのリストを作成します。この作業により、詳細評価を有望な候補に絞り込めます。
+
+現在、埋め込みモデルは数百種類あり、日々新しいモデルが発表されています。これだけ多くのモデルを単純なスクリーニングでさえ評価するのは時間がかかりすぎます。
+
+そのため、次のような簡単なヒューリスティックを使って、まず初期リストを絞り込むことをお勧めします。
+
+### モダリティで絞り込む
+
+これは最初に行うべき重要なフィルターです。モデルは設計・学習されたモダリティのみをサポートします。
+
+たとえば Cohere の `embed-english-v3.0` はマルチモーダルですが、Snowflake の `snowflake-arctic-embed-l-v2.0` は単一モダリティです。
+
+どれほど優れたモデルでも、 `snowflake-arctic-embed-l-v2.0` のようなテキスト専用モデルでは画像検索はできません。同様に `ColQwen` モデルはプレーンテキスト検索には使えません。
+
+### すでに利用可能なモデルを優先する
+
+組織内で他のアプリケーションに埋め込みモデルを既に使用している場合、それらは優れた出発点になります。既に審査・評価・承認され、アカウントや請求も設定済みである可能性が高いからです。ローカルモデルの場合、インフラも整っているはずです。
+
+これは他のサービスプロバイダー経由で利用できるモデルにも当てはまります。
+
+たとえば Cohere、Mistral、OpenAI などのプロバイダーを通じて生成 AI モデルを既に使用している場合があります。また AWS、Microsoft Azure、Google Cloud などのハイパースケーラーが埋め込みモデルを提供していることもあります。
+
+多くの場合、これらのプロバイダーから埋め込みモデルにもアクセスできるため、新しい組織のモデルより採用しやすいでしょう。
+
+### 有名モデルを試す
+
+一般に、よく知られたモデルが人気なのには理由があります。
+
+Alibaba、Cohere、Google、NVIDIA、OpenAI などの AI 業界のリーダー企業は、さまざまなモダリティ、言語、サイズの埋め込みモデルを提供しています。以下は各社の代表的なモデルファミリーです。
+
+| プロバイダー | モデルファミリー |
+| --- | --- |
+| Alibaba | `gte`, `Qwen` |
+| Cohere | `embed-english`, `embed-multilingual` |
+| Google | `gemini-embedding`, `text-embedding` |
+| NVIDIA | `NV-embed` |
+| OpenAI | `text-embedding`, `ada` |
+
+他にも検討できるファミリーがあります。
+
+たとえば、画像埋め込み用の `ColPali` ファミリー、マルチモーダル（画像とテキスト）向けの `CLIP` / `SigLIP` ファミリーが有名です。また `nomic`, `snowflake-arctic`, `MiniLM`, `bge` は言語検索モデルの代表例です。
+
+これらの人気モデルはドキュメントや情報交換が豊富で、サポートも広く提供されています。
+
+そのため、あまり知られていないモデルよりも導入・評価・トラブルシュートが容易です。
+
+### ベンチマーク上位モデル
+
+標準ベンチマークで優れた性能を示すモデルも検討する価値があります。 [MTEB Leaderboard](https://huggingface.co/spaces/mteb/leaderboard) などのリソースで高性能モデルを確認できます。
+
+以下のスクリーンショットは、 1 billion 未満のパラメータで `retrieval` 性能順に並べた MTEB の例です。
+
+.default})
+
+ここには既に紹介した `snowflake-arctic`、Alibaba の `gte`、BAAI の `bge` などのモデルが含まれています。
+
+加えて、Microsoft Research の `intfloat/multilingual-e5-large-instruct` や JinaAI の `jinaai/jina-embeddings-v3` など、まだ紹介していない高性能モデルも簡単に見つかります。
+
+2025 年時点で、MTEB には言語やモダリティの要件を評価する複数のベンチマークが含まれています。
+
+ベンチマークを見る際は、適切なベンチマークセットと列を確認してください。以下の例では、画像検索用の MIEB で *Any to Any Retrieval* 列を基準にソートしています。
+
+.default})
+
+MTEB はさまざまな指標でフィルタリングやソートができます。好みに合わせて並べ替え、リストにモデルを追加してください。
+
+これらの手法を用いれば、短時間で扱いやすいモデルリストを作成できるはずです。このリストを手動で精査し、詳細なスクリーニングへと進みましょう。
+## 質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+.default})
+
+すぐに確認できる要素と、そのチェック方法を以下に示します。
+
+## スクリーニング要素
+
+### コンテキスト長
+
+入力コンテキスト長は、ドキュメントのチャンク全体の意味を考慮できるかどうかを左右する重要な要素です。最大入力コンテキスト長はモデルによって大きく異なります。例を挙げると次のとおりです。
+
+- `all-MiniLM-L6-v2`: 256 トークン
+- Cohere `embed-english-v3.0`: 512 トークン
+- `snowflake-arctic-embed-l-v2.0`: 8192 トークン
+
+コンテキスト長を超える入力テキストは無視されます。一方、許容コンテキスト長が長くなるほど計算量とレイテンシは指数関数的に増加するのが一般的です。そのため、この点はテキストのチャンク化戦略とも相互に影響し合う重要なトレードオフとなります。
+
+:::tip
+ご自身のユースケースで取得したい「チャンク」がどの程度の大きさかを検討してください。一般的には 512 トークン以上のモデルであれば、ほとんどのユースケースで十分です。
+:::
+
+### モデルの目的と学習方法論
+
+各種埋め込みモデルはそれぞれ異なるユースケースに最適化されています。これはモデルアーキテクチャ、学習データ、学習手法の設計に反映されています。
+
+モデル提供者が公開している説明や学習過程の詳細を確認すると、そのモデルがユースケースに適しているかどうかを判断するうえで重要な手掛かりになります。
+
+- **言語対応能力**: Snowflake の `snowflake-arctic-embed-l-v2.0` のように多言語に対応しているモデルもあれば、Cohere の `embed-english-v3.0` のように主に単一言語に対応しているモデルもあります。これらの言語能力は主に学習データと手法の選択に由来します。
+- **ドメイン露出**: 専門ドメイン（法務、医療、金融など）で学習されたモデルは、ドメイン固有のアプリケーションで一般に高い性能を発揮します。
+- **主なタスク**: プロバイダーによっては汎用埋め込みモデルを提供している場合もあれば、特定タスクに特化したモデルを提供している場合もあります。Google の `gemini-embedding` モデルは、あらゆるタスクとドメインで最先端性能を目指す万能型モデルとして設計されているようです（[リリースブログ](https://developers.googleblog.com/en/gemini-embedding-text-model-now-available-gemini-api/)）。一方、Snowflake の `arctic-embed` 2.0 モデルは検索タスクに焦点を当てています（[リリースブログ](https://www.snowflake.com/en/engineering-blog/snowflake-arctic-embed-2-multilingual/)）。
+- **ベースモデル**: 多くの場合、埋め込みモデルは既存モデルを元にして学習されます。元のモデルが持つ利点や欠点、とくにコンテキストウィンドウサイズやプーリング戦略といったアーキテクチャ上の特徴は、最終モデルにも引き継がれることがよくあります。
+- **学習手法（上級）**: モデルの学習技術について知識がある場合は、これもヒューリスティックとして役立ちます。たとえば、コントラスト学習で訓練されたモデルは検索タスクで高性能を示すことが多いです。さらに、ハードネガティブマイニングはコントラスト学習を強化する有用なテクニックです。
+
+:::tip
+目標に合致した能力を持つモデルを選びましょう。たとえば、アプリケーションで英語・フランス語・ドイツ語・中国語・日本語のテキストチャンクを検索する必要がある場合は、モデルカードと学習情報を確認し、検索性能や学習コーパスにこれらの言語が含まれているかをチェックしてください。
+:::
+
+### 次元数と最適化オプション
+
+埋め込みの次元数は、性能とリソース要件の両方に影響します。
+
+経験則として、ベクトルデータベースに必要なメモリ量（量子化を考慮しない場合）は、`4 bytes` × `n dimensions` × `m objects` × `1.5` となります。ここで、`m` はデータベース内オブジェクト数、`n` はベクトルの次元数で、`1.5` はオーバーヘッドを見込んでいます。
+
+つまり、1,000 万オブジェクトの場合、各モデルのフル出力を保存するには次のメモリが必要になります。
+
+- NVIDIA `NV-embed-v2`: `246 GB`
+- OpenAI `text-embedding-3-large`: `184 GB`
+- `snowflake-arctic-embed-l-v2.0`: `61 GB`
+- `all-MiniLM-L6-v2`: `23 GB`
+
+ご想像のとおり、これはベクトルデータベースのインフラコストを大幅に押し上げる可能性があります。
+
+データベース側には、フットプリントとコストを削減するための量子化戦略が存在しますが、これについては別のコースで取り上げます。
+
+しかし、モデル側でこの問題を緩和できる場合もあります。Matryoshka Representation Learning (MRL) に基づく `jina-embeddings-v2` や `snowflake-arctic-embed-l-v2.0` などのモデルは、ベクトルを途中で切り詰めるだけで柔軟に次元数を削減できます。たとえば `snowflake-arctic-embed-l-v2.0` では、元の 1024 次元を 256 次元まで削減しても、性能の損失はわずかです。
+
+:::tip
+データセットが将来的にどれくらいの規模になるかを想定し、それに見合うモデルを選定してください。システム要件が大きくなり過ぎて予算を超えるようであれば、本番環境へのスケールアップ時に振り出しに戻る恐れがあります。
+:::
+
+### モデルサイズと推論速度
+
+モデルサイズは推論速度に直接影響し、レイテンシ要件のあるアプリケーションでは極めて重要です。一般に、大きなモデルほど高性能ですが、その分計算負荷も増大します。
+
+モデルをスクリーニングするときは、次の観点を考慮してください。
+
+| 要素 | 影響 |
+| --- | --- |
+| パラメータ数 | パラメータが多いほど一般に品質は向上しますが、推論が遅くなりメモリ使用量が増えます |
+| アーキテクチャ効率 | 一部のモデルはサイズが大きくても高速推論に最適化されています |
+| ハードウェア要件 | 大規模モデルは GPU や TPU といった専用ハードウェアを必要とする場合があります |
+
+:::tip
+推論速度はモデルそのもの、推論用ハードウェア、さらにネットワークレイテンシの関数で決まります。モデルの適合性を評価するときは、これらをシステム全体として確認しましょう。
+:::
+
+### 価格、可用性、ライセンス
+
+モデルを採用する際の実務的な側面は、技術的要件を超えて多岐にわたります。
+
+プロバイダーはさまざまな料金体系を提供しています。
+
+- **API ベースの料金体系**: 1 トークンあたり課金 (OpenAI, Cohere)
+- **コンピュートベースの料金体系**: ハードウェア使用量に応じて課金 (クラウドプロバイダー)
+- **階層型ライセンス**: 価格に応じて機能・性能が異なる
+- **オープンソース**: 無料で利用できますが、セルフホスティングのコストが発生します
+
+モデルと推論形態の選択は、モデルの可用性にも影響します。
+
+- **地理的可用性**: 一部のプロバイダーはすべての地域でサービスを提供していません
+- **SLA 保証**: 稼働率のコミットメントおよびサポートレベル
+- **レートリミット**: スループットの制限がアプリケーションに影響する可能性
+- **バージョンの安定性**: モデルがどの程度の頻度で非推奨または更新されるか
+
+さらに、ライセンス条項も大きく異なります。
+
+- **商用利用制限**: 一部のオープンモデルは商用利用を禁止しています
+- **データ使用ポリシー**: 提供者があなたのデータをどのように利用できるか
+- **輸出規制**: 地域規制への準拠
+- **デプロイ柔軟性**: オンプレミスやエッジデバイスへのデプロイが可能かどうか
+
+必ず各モデルの具体的な利用条件を確認してください。たとえば、CLIP のようなモデルは公開されていますが、利用制限がアプリケーションに影響する場合があります。
+
+:::tip
+こうした実務的な要因は、性能上のメリットより重要になることもあります。ライセンス条件が良好でコストが低い、やや精度の劣るモデルのほうが、本番運用では好ましい場合があります。
+:::
+### 候補ショートリストの作成
+
+これらの要素を考慮した後、詳細に評価するモデルの優先ショートリストを作成できます。良いアプローチとして、次を組み合わせると効果的です。
+
+1. **ベンチマーク上位**：標準メトリクスで高い性能を示すモデル
+2. **リソース効率の高いオプション**：フットプリントが小さい、または推論が高速なモデル
+3. **特化型モデル**：特定のドメインに特に適している可能性があるモデル
+4. **異なるアーキテクチャ**：多様なアプローチを含めることで、最適な適合を見つけられる可能性が高まります
+
+詳細な評価を行うために、初期ショートリストには 3～5 個のモデルを目安にしましょう。モデルが多すぎると、評価プロセスが扱いづらく時間もかかります。
+
+次のセクションでは、これらの候補モデルを詳細に評価し、特定の要件を最も満たすモデルを決定する方法を説明します。
+
+## 質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+.default})
+
+次の画像は、より専門的なドメインデータを使用するタスクを含みます。法務、医療、プログラミング、政府データなど、さまざまな分野をカバーしています。
+
+.default})
+
+チャートから、表の上位に位置する `gemini-embedding-exp-03-07` などのエンベディングモデルは、他モデルと比べて幅広いタスクで良好な性能を示していることがわかります。しかし、これだけでは全体像を語れません。モデルによっては平均スコア以上に特定タスクで高い性能を発揮する場合があります。
+
+たとえば、 `snowflake-arctic-embed` モデルは、長いテキスト中に埋もれた特定の語句のリコールを試す `LEMBPasskeyRetrieval` タスクで非常に優れた結果を出しています。また、 Cohere の `Cohere-embed-multilingual-v3.0` は、多言語性が高い MIRACL タスクで良好な性能を示しています。
+
+興味深いことに、 MTEB の多言語タスクセットを見ていても、英語のみ（または英語が大部分）で構成されたタスクが含まれている場合があります。
+
+.default})
+
+そのため、各タスクがニーズにどれだけ対応しているかに基づき、タスクスコアを組み合わせて独自の指標を導出すると役立つかもしれません。
+
+考慮すべきポイントは次のとおりです。
+
+1. **タスクの関連性**: タスクはユースケースに合致していますか？
+2. **データ分布**: データはドメインを代表していますか？
+3. **指標の関連性**: 報告されている指標は要件に合っていますか？
+4. **最新性**: 結果は現在のモデル性能を反映するほど新しいですか？
+5. **公平性**: すべてのモデルが同等の条件で評価されていますか？
+
+たとえば、データが複数言語を確実に含む場合は、多言語データセットの重みを単言語データセットより高く設定するかもしれません。法務、医療、プログラミングなど、ドメイン固有データでも同様です。
+
+その結果得られるスコアは公式の総合スコアとは異なるかもしれませんが、特定のユースケースにはより適切な指標となり得ます。
+
+### 標準ベンチマークの限界
+
+これらのサードパーティベンチマークは非常に有用ですが、いくつかの限界があることも念頭に置く必要があります。主な 2 つの限界はデータ漏洩とニーズとの相関性です。
+
+**データ漏洩 ( Data leakage )**
+
+ベンチマークが公開されているため、一部のベンチマークデータがモデルの学習データに含まれてしまうリスクがあります。特に、大量のデータが学習に使用される現在では、この問題が起こりやすくなっています。
+その結果、モデルが「記憶」した内容を答えてしまい、ベンチマーク結果がモデル本来の性能を正しく表さない可能性があります。
+
+**ニーズとの相関性**
+
+もう 1 つの限界は、標準ベンチマークが必ずしも自分のニーズを正確に反映していない点です。ニーズに最も近いベンチマークを選ぶことはできますが、タスク、データ分布、指標が完全に一致することは稀です。
+
+**緩和策 ( Mitigation )**
+
+そのため、標準ベンチマークの結果はあくまで参考程度に留めることが大切です。追加の手掛かりとして、自分でベンチマークを作成して試す方法が有効です。次のセクションで詳しく見ていきましょう。
+
+## モデル評価: カスタムベンチマーク
+
+標準ベンチマークが貴重な参考情報を提供してくれる一方で、独自の評価を作成することは、その限界を補う優れた手段になります。
+
+ MTEB のような大規模ベンチマークを考えると、自分でベンチマークを走らせるのは難しく思えるかもしれません。しかし、以下のステップを踏めば、それほど難しくありません。
+
+### ベンチマーク目標の設定
+
+ここまでで、知識ギャップや具体的なタスクが把握できているはずです。たとえば、次のような疑問があるかもしれません。
+
+- どのモデルが、主に英語・フランス語・韓国語で書かれたコーヒーに関する顧客レビューを最適に検索できるか？
+- Python と Golang のバックエンド Web コードチャンク、およびそれに関連するドキュメントスニペットを対象としたコード検索で、どのモデルが一貫して優れた性能を示すか？
+
+カスタムベンチマークは、こうした具体的な疑問を解決できるように設計する必要があります。
+### 使用指標の決定
+
+全体目標が定義されると、それに対応する指標を決定できます。
+
+たとえば、検索性能は一般的に precision、recall、 MAP、 MRR、 NDCG のいずれか、または複数で測定されます。
+
+これらはそれぞれ検索性能の異なる側面を測定しますが、 NDCG を使うのがよい出発点になります。
+
+NDCG は関連性に基づいてアイテムを正しく並べ替える能力を測定します。クエリと、そのクエリに対してランク付けされたデータセットが与えられると、 NDCG は上位にランク付けされたアイテムが検索結果でも上位に配置されているほど高く評価します。
+
+スコアは 0 から 1 で表され、0 はランク付けされたアイテムがまったく取得できなかった状態、1 はすべてのトップランクアイテムを取得し、正しい順序で並べ替えられた状態を意味します。
+
+### ベンチマーク用データセットの作成
+
+適切なデータセットは、ベンチマークを有意義にするうえで不可欠です。既存のデータセットが使える場合もありますが、ベンチマークの目的や指標に合わせてデータセットを構築・再構成することが一般的です。
+
+データセットは次の点を目指すべきです。
+
+- 検索タスクを反映する
+- タスクの難易度を反映する
+- データ分布を捉える
+- 十分なボリュームを含む
+
+これがプロセスで最も時間がかかる部分かもしれません。しかし、実用的なアプローチを取れば管理しやすくなります。オブジェクトが 20 件ほど、クエリが数件のベンチマークでも意味のある結果を得られる場合があります。
+
+### ベンチマークの実行
+
+ここで、候補モデルを使ってベンチマークを実行します。
+
+多くの科学的プロジェクトと同様に、再現性と一貫性が鍵となります。また、後から新しいモデルを評価したり、ニーズに関する知見が更新されたりした際に戻ってくる可能性があることも念頭に置きましょう。
+
+プログラミング上は、埋め込み生成、データセット読み込み、指標評価、結果表示などの要素をモジュール化するとよいでしょう。
+
+### 結果の評価
+
+ベンチマークを実行したら、定量的（例： NDCG@k の数値）および定性的（例：どのオブジェクトがどこで取得されたか）手段で結果を評価することが重要です。
+
+定量的結果は、モデルを並べ替えるなどの際に使用できる決定的なランキングを提供します。ただし、これはデータセット構成や使用している指標など多くの要因の影響を受けます。
+
+一方、定性的結果はより重要な洞察を与えてくれる場合があります。たとえば、ある埋め込みモデルが次のような傾向を示すことがあります。
+
+- 非常に関連性が高いが短いテキストを取得できず、長いテキストを優先する
+- 肯定的な文では性能が高いが、否定文では性能が低い
+- ドメイン固有の専門用語が苦手
+- 英語と中国語（普通話）では良好だが、あなたのデータにとって重要なハンガリー語ではうまく機能しない
+
+これらの洞察の多くは、ドメインに精通した人や構築中のシステムの文脈を理解している人にしか発見できない場合があります。そのため、定性的評価は極めて重要です。
+
+## 質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+
+
+
+
+
+ 
+
+ + +Personalization Agent の処理フロー: + +1. **リクエストを受信** — 特定ユーザー（パーソナ）への推薦要求を受け取ります。 +2. **ユーザーのパーソナプロファイル**（例: 好み、苦手、好きな料理）と **インタラクション履歴**（例: 好き／嫌いなレシピと重み付け）を取得します。 +3. **参照コレクションを検索**（例: 「Recipes」）し、候補アイテムを取得します。 +4. **（オプション）生成モデルを使用** — 大規模言語モデルなど適切な生成モデルで、パーソナ・インタラクション・指示に基づき候補を再ランク付けし、その理由を生成します。 +5. **パーソナライズされた順位付きリスト** をユーザーへ返します。 + +
+ +## 前提条件 + +Weaviate Agents と Weaviate Embedding サービスを使用するには、**[Weaviate Cloud](https://console.weaviate.cloud)** アカウントが必要です。 + +## ステップ 1: Weaviate のセットアップ + +ここから、チュートリアルで使用する Weaviate Cloud インスタンスを作成し、Python クライアントから接続します。 + +### 1.1 Weaviate Cloud クラスターの作成 + +1. Weaviate Cloud で[無料の Sandbox クラスター](/cloud/manage-clusters/create#sandbox-clusters)を作成します。 +1. クラスターに接続するための `REST Endpoint` と `Admin` API キーを控えておきます。（詳しくは [クイックスタート](/cloud/manage-clusters/connect.mdx) を参照） + +:::tip +このチュートリアルでは、ベクトライザーとして [Weaviate Embeddings](../../weaviate/model-providers/weaviate/index.md) サービスを使用するため、外部の埋め込みプロバイダー用の追加キーは不要です。Weaviate Embeddings では既定で `Snowflake/snowflake-arctic-embed-l-v2.0` モデルが使用されます。
+別のベクトライザーを使用したい場合は、サポートされている [モデルプロバイダー](../../weaviate/model-providers/index.md) の一覧をご覧ください。 +::: + +### 1.2 Python ライブラリのインストール + +Weaviate Python クライアントと `agents` コンポーネントをインストールするには、次のコマンドを実行します。 + +
+
+
+
+
+ 
+
+ + +`Recipes` コレクションでは、プロパティを手動で定義し、説明を追加します。[`auto-schema`](../../weaviate/config-refs/collections.mdx#auto-schema) を利用することもできますが、明示的な説明を付けることで Personalization エージェント (特に再ランキングに使用される基盤 LLM) がデータの文脈をよりよく理解できます。 + +
+
+
+
+
+ 
+
+ + +まず、ユーザーがインタラクトした特定のレシピの UUID を取得します。次に、適切な `weight` を設定してインタラクションを定義します。最後に、`agent.add_interactions()` を使用してエージェントに追加します。 + +
+
+
+## 概要
+
+本ガイドでは、 Weaviate の Personalization Agent を使用して、パーソナライズされたフードレコメンデーションサービスを構築する方法を示しました。以下を取り上げました:
+
+- Python クライアントを使用して Weaviate Cloud インスタンスをセットアップする方法。
+- 説明的プロパティを持つ「Recipes」コレクションを定義すること。
+- コレクションにデータをインポートすること。
+- コレクションにリンクした Personalization Agent を作成し、ユーザー プロファイルのプロパティ (`user_properties`) を定義すること。
+- 特定の好みを持つユーザー プロファイル (`personas`) を追加すること。
+- 重み付きスコアを使用してアイテムとのユーザー インタラクションを記録すること。
+- `get_objects` を使用してパーソナライズされたレコメンデーションを取得し、LLM ベースのリランキング (`use_agent_ranking=True`) を利用してカスタマイズされた結果と説明 (`ranking_rationale`) を得ること。
+
+Personalization Agent を使用すると、 Weaviate 上で構築したアプリケーションに高度でパーソナライズされた取得機能を簡単に追加できます。
+
+## 追加リソース
+
+- [Weaviate Agents - Personalization Agent](./index.md)
+
+## 質問とフィードバック
+
+:::info Changelog and feedback
+Weaviate Agents の公式変更履歴は [こちら](https://weaviateagents.featurebase.app/changelog) でご覧いただけます。機能リクエスト、バグ報告、質問などのフィードバックがありましたら、[こちら](https://weaviateagents.featurebase.app/) からお送りください。フィードバックの状況を確認したり、他のフィードバックに投票したりできます。
+:::
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+例のレスポンス (persona / interactions と LLM によって変わります):
+ +``` +Getting recommendations for persona e7239e3f-97f5-41b3-939a-5fbf3e0c7f16... + +Ranking Rationale: +Because you love Italian dishes and have shown an interest in different cuisines, we've prioritized dishes with Italian, Japanese, and Indian labels, reflecting your preferences for Italian and Thai cuisines and prior positive interactions. We avoided items with mushroom content. + +Recommended Recipes: +----- Recommendation 1 ----- +Title: Chicken Tikka Masala +Cuisine: Indian +UUID: 5785f023-5ab2-49d8-bb43-0ab047083e16 +----- Recommendation 2 ----- +Title: Spicy Indian Tikka Masala +Cuisine: Indian +UUID: 753a036f-ec83-4efa-8a1a-5afa021acbc2 +----- Recommendation 3 ----- +Title: Paneer Tikka +Cuisine: Indian +UUID: 323b6f11-c026-4367-801b-b21f40e6591b +----- Recommendation 4 ----- +Title: Paneer Butter Masala +Cuisine: Indian +UUID: 3bd11bc9-d329-4039-9f4a-205f1719048d +----- Recommendation 5 ----- +Title: Butter Chicken +Cuisine: Indian +UUID: 4e056c59-e843-419a-8129-b6633fb8c2d3 +----- Recommendation 6 ----- +Title: Shabu-Shabu +Cuisine: Japanese +UUID: df0ae465-f724-42ed-9876-2c9b91516c13 +----- Recommendation 7 ----- +Title: Oden +Cuisine: Japanese +UUID: eb6088c1-05a6-46ed-9adc-477313c051d2 +----- Recommendation 8 ----- +Title: Tempura +Cuisine: Japanese +UUID: 625a5164-e150-4966-a3c6-0aed406db416 +----- Recommendation 9 ----- +Title: Ramen +Cuisine: Japanese +UUID: 708824b3-fc4a-4927-82bb-a8a4dbd5ee89 +----- Recommendation 10 ----- +Title: Udon Noodles +Cuisine: Japanese +UUID: 8d6a94b7-c9ae-4d1c-b29a-885717b9a55a +``` + ++ +また、コンテキストには以前の会話履歴やその他の関連情報が含まれる場合があります。 +::: + +## Query Agent：可視化されたワークフロー + + + + +`Query Agent` は次のような高レベルの手順で動作します。 + +- 適切な生成モデル（例: 大規模言語モデル）を使用してタスクと必要なクエリを解析し、実行すべき具体的なクエリを決定します。（ステップ 1 & 2） +- クエリを Weaviate に送信します。Weaviate は指定された ベクトライザー 連携を使用して、必要に応じてクエリをベクトル化します。（ステップ 3〜5） +- Weaviate から結果を受け取り、適切な生成モデルを使用してユーザーのプロンプト／クエリに対する最終的な回答を生成します。（ステップ 6） + +その後、`Query Agent` は回答に加えて、Weaviate から得られた検索結果などの中間成果物もユーザーに返します。 + +なお、`Query Agent` という用語はシステム全体を指します。`Query Agent` は、特定のタスクを担当する複数のマイクロサービスやエージェントなど、複数のサブシステムで構成されている場合があります。 + + + + +## クエリ実行 + +`Query Agent` は 2 種類のクエリをサポートします。 + +- **`Search`**: 自然言語を使って `Query Agent` 経由で Weaviate を検索します。`Query Agent` が質問を処理し、Weaviate で必要な検索を実行し、関連オブジェクトを返します。 +- **`Ask`**: 自然言語で `Query Agent` に質問します。`Query Agent` が質問を処理し、Weaviate で必要な検索を実行し、回答を返します。 + +## 基本的な使用方法 + +ここでは、この Weaviate エージェントの使い方を概観します。詳細は [Usage](./usage.md) ページをご覧ください。 + +:::note 前提条件 +このエージェントは、[Weaviate Cloud](/cloud/index.mdx) インスタンスと、サポートされているバージョンの Weaviate [client library](./usage.md#client-library) でのみ利用できます。 +::: + +### 使用例 + +Weaviate クライアントのインスタンスを `Query Agent` に渡すと、`Query Agent` がクライアントから必要な情報を取得してクエリを実行します。 + +
+
+
+
+
+ 
+
+ + +Query Agent の流れは次のとおりです。 + +1. 質問や instructions という形で **タスクを受け取る** +2. **適切な生成モデル**（例：大規模言語モデル）を使ってタスクを解析し、実行すべき正確なクエリを決定する +3. **Weaviate へクエリを送信**。必要に応じて指定されたベクトライザー統合（ここでは Weaviate Embeddings）でクエリをベクトル化する +4. **Weaviate から結果を受け取り**、適切な生成モデルを使ってユーザーのプロンプト／質問に対する最終的な回答を生成する + +
+ +## 前提条件 + +Weaviate Agents と Weaviate Embedding サービスを利用するには、 **[Weaviate Cloud](https://console.weaviate.cloud)** アカウントが必要です。 + +## ステップ 1: Weaviate のセットアップ + +ここからは、本チュートリアルで使用する Weaviate Cloud インスタンスを作成し、Python クライアントと接続していきます。 + +### 1.1 Weaviate Cloud クラスターの作成 + +1. Weaviate Cloud で [無料の Sandbox クラスターを作成](/cloud/manage-clusters/create#sandbox-clusters) します。 +1. クラスターへ接続するために `REST Endpoint` と `Admin` API キーをメモします。（詳細は [クイックスタート](/cloud/manage-clusters/connect.mdx) をご覧ください） + +:::tip +このチュートリアルではベクトライザーとして [Weaviate Embeddings](/weaviate/model-providers/weaviate/embeddings.md) サービスを使用するため、外部エンベディング プロバイダー用の追加キーは不要です。Weaviate Embeddings はデフォルトで `Snowflake/snowflake-arctic-embed-l-v2.0` モデルを利用します。
+別のベクトライザーを使用したい場合は、サポートされている [model providers](../../weaviate/model-providers/index.md) をご確認ください。 +::: + +### 1.2 Python ライブラリのインストール + +Weaviate Python クライアントと `agents` コンポーネントをインストールするには、次を実行します。 + +
+
+
+
+
+ 
+
+ + +`Brands` コレクションでは、インポートされたデータにもとづいてプロパティを自動生成する [`auto-schema`](../../weaviate/config-refs/collections.mdx#auto-schema) オプションを使用します。 +ただし、これは最適なインポート方法とは言えません。 + +Query Agent は **コレクションとプロパティの説明** を参照して、クエリを解決する際にどれを使用するか判断します。説明を変更して詳細を追加し、挙動を試してみると良いでしょう。 +そのため、データ スキーマを手動で定義し、プロパティ説明を追加することを推奨します。 + +たとえば、以下の例では価格がすべて USD であることを Query Agent に明示しています。これは自動では取得できない情報です。 + +
+ , value=200.0)]], filter_operators='AND', collection='ECommerce') │
+│ │
+╰───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯
+╭───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╮
+│ │
+│ 📊 No Aggregations Run │
+│ │
+╰───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯
+╭─────────────────────────────────────────────────────────────────────────────────────────────────────────────────── 📚 Sources ────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╮
+│ │
+│ - object_id='6040c373-9cce-421d-8f4e-e01346cbf29f' collection='ECommerce' │
+│ - object_id='06a83da4-92ff-4cbc-9cc6-c55fc6ed49b9' collection='ECommerce' │
+│ - object_id='a5a0927d-2859-47e6-8455-d77e0190aa53' collection='ECommerce' │
+│ - object_id='a5f3c394-d207-4064-a2bc-b9f655d09ddc' collection='ECommerce' │
+│ - object_id='5d7bb719-2df5-4a7c-9bbc-275450ab29c6' collection='ECommerce' │
+│ - object_id='50f4c89c-faf9-4430-b393-c39ede5d511d' collection='ECommerce' │
+│ - object_id='5b6d5a1f-e218-4400-ac9f-df59466f3c97' collection='ECommerce' │
+│ │
+╰───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯
+
+
+ 📊 Usage Statistics
+┌────────────────┬──────┐
+│ LLM Requests: │ 3 │
+│ Input Tokens: │ 7681 │
+│ Output Tokens: │ 428 │
+│ Total Tokens: │ 8109 │
+└────────────────┴──────┘
+
+Total Time Taken: 11.59s
+```
+
+
+
+### 4.2 フォローアップ質問
+
+エージェントには追加のコンテキストを与えることもできます。たとえば、`ChatMessage` オブジェクトを使って前回の応答をコンテキストとして会話を構築し、`new_response` を取得できます:
+
+The response is:
+ +``` +╭──────────────────────────────────────────────────────────────────────────────────────────────────────────────── 🔍 Original Query ────────────────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│ │ +│ I like vintage clothes, can you list me some options that are less than $200? │ +│ │ +╰───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭───────────────────────────────────────────────────────────────────────────────────────────────────────────────── 📝 Final Answer ─────────────────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│ │ +│ Here are some vintage-inspired clothing options under $200: │ +│ │ +│ 1. **Vintage Philosopher Midi Dress ($125.00)** - A deep green velvet fabric dress with antique gold button detailing, perfect for an academic or sophisticated setting. [Echo & Stitch] │ +│ │ +│ 2. **Vintage Gale Pleated Dress ($120.00)** - A burgundy pleated dress capturing the Dark Academia aesthetic, great for poetry readings or contemplative afternoons. [Solemn Chic] │ +│ │ +│ 3. **Retro Groove Flared Pants ($59.00)** - Electric blue flared pants capturing early 2000s millennial pop culture chic. [Vivid Verse] │ +│ │ +│ 4. **Vintage Scholar Tote ($90.00)** - A deep green canvas tote with brown leather accents, ideal for carrying scholarly essentials. [Echo & Stitch] │ +│ │ +│ 5. **Retro Futura Tee ($29.98)** - A bold graphic tee with early 2000s pop culture references, perfect for a nostalgic throwback. [Vivid Verse] │ +│ │ +│ 6. **Electric Velvet Trousers ($60.00)** - Neon green velvet trousers with a flared leg, inspired by turn-of-the-century fashion icons. [Vivid Verse] │ +│ │ +│ 7. **Vintage Ivy Loafers ($120.00)** - Burgundy leather loafers offering timeless sophistication, suitable for academic settings. [Solemn Chic] │ +│ │ +╰───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭──────────────────────────────────────────────────────────────────────────────────────────────────────────── 🔭 Searches Executed 1/1 ─────────────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│ │ +│ QueryResultWithCollection(queries=['vintage clothes'], filters=[[IntegerPropertyFilter(property_name='price', operator=
+ , value=200.0)]], filter_operators='AND', collection='Ecommerce') │
+│ │
+╰───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯
+╭───────────────────────────────────────────────────────────────────────────────────────────────────────────── 📊 Aggregations Run 1/1 ─────────────────────────────────────────────────────────────────────────────────────────────────────────────╮
+│ │
+│ AggregationResultWithCollection( │
+│ search_query=None, │
+│ groupby_property=None, │
+│ aggregations=[IntegerPropertyAggregation(property_name='price', metrics=)], │
+│ filters=[TextPropertyFilter(property_name='subcategory', operator=, value='vintage')], │
+│ collection='Ecommerce' │
+│ ) │
+│ │
+╰───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯
+╭─────────────────────────────────────────────────────────────────────────────────────────────────────────────────── 📚 Sources ────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╮
+│ │
+│ - object_id='92efe1bb-77ee-4002-8618-4c9d7c3972c2' collection='Ecommerce' │
+│ - object_id='f51001bf-c0c6-47d5-b165-4e7ce878900e' collection='Ecommerce' │
+│ - object_id='9ba9ed81-c917-4e13-8058-d6ad81896ef3' collection='Ecommerce' │
+│ - object_id='41f324c2-a8e8-4cde-87d0-42661435a32c' collection='Ecommerce' │
+│ - object_id='d8d8e59e-d935-4a6f-9df1-bc2477452b11' collection='Ecommerce' │
+│ - object_id='505238e0-9993-4838-89fc-513c8f53d9f8' collection='Ecommerce' │
+│ - object_id='4a1321dc-d3f5-405d-8b21-e656c448ccfd' collection='Ecommerce' │
+│ - object_id='b59f7700-2633-43d6-807e-72dda35d545c' collection='Ecommerce' │
+│ │
+╰───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯
+
+
+ 📊 Usage Statistics
+┌────────────────┬───────┐
+│ LLM Requests: │ 5 │
+│ Input Tokens: │ 15998 │
+│ Output Tokens: │ 906 │
+│ Total Tokens: │ 16904 │
+└────────────────┴───────┘
+
+Total Time Taken: 22.77s
+```
+
+
+
+### 4.3 集約の実行
+
+ここでは、集約が必要な質問を試してみましょう。どのブランドが最も多くのシューズを掲載しているかを確認します。
+
+応答は次のとおりです:
+ +``` +╭──────────────────────────────────────────────────────────────────────────────────────────────────────────────── 🔍 Original Query ────────────────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│ │ +│ What about some nice shoes, same budget as before? │ +│ │ +╰───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭───────────────────────────────────────────────────────────────────────────────────────────────────────────────── 📝 Final Answer ─────────────────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│ │ +│ Here are some great vintage-style shoes priced under $200 from various collections that blend style with nostalgia: │ +│ │ +│ 1. **Vintage Noir Loafers** ($125): These dress shoes, part of the Dark Academia collection, come in black and grey, offering a timeless look with subtle modern twists. They have received positive reviews for style and comfort, once broken │ +│ in (Source: 1). │ +│ │ +│ 2. **Vintage Ivy Loafers** ($120): Another classic from the Dark Academia line, these deep burgundy loafers combine elegance with comfort, as appreciated by users in their reviews (Source: 2). │ +│ │ +│ 3. **Glide Platforms** ($90): For a more playful option, these high-shine pink platform sneakers offer a nod to the Y2K era, receiving praise for their comfort and unique look (Source: 3). │ +│ │ +│ 4. **Celestial Step Platform Sneakers** ($90): With a dreamy sky blue color, these Y2K-inspired sneakers provide comfort and a touch of whimsy (Source: 4). │ +│ │ +│ 5. **Garden Stroll Loafers** ($90): From the Cottagecore collection, these cream loafers feature delicate floral motifs for a chic, countryside-inspired look (Source: 5). │ +│ │ +│ 6. **Bramble Brogues** ($120): In dusky green, these suede brogues add pastoral elegance to any outfit, admired for their craftsmanship (Source: 7). │ +│ │ +│ 7. **Garden Fête Heels** ($125): These cottagecore heels feature floral embroidery for a touch of elegance perfect for garden parties (Source: 10). │ +│ │ +│ 8. **Garden Gala T-Straps** ($125): Elegant cream and sage T-strap heels featuring floral embellishments, perfect for a whimsical yet classy touch (Source: 18). │ +│ │ +│ All these options fall under the $200 budget, offering a variety of styles from classic and elegant to colorful and playful, accommodating different fashion tastes and preferences. │ +│ │ +╰───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭──────────────────────────────────────────────────────────────────────────────────────────────────────────── 🔭 Searches Executed 1/1 ─────────────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│ │ +│ QueryResultWithCollection(queries=['vintage shoes'], filters=[[IntegerPropertyFilter(property_name='price', operator=
+ , top_occurrences_limit=1)], │
+│ filters=[], │
+│ collection='ECommerce' │
+│ ) │
+│ │
+╰───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯
+
+
+ 📊 Usage Statistics
+┌────────────────┬──────┐
+│ LLM Requests: │ 3 │
+│ Input Tokens: │ 5794 │
+│ Output Tokens: │ 238 │
+│ Total Tokens: │ 6032 │
+└────────────────┴──────┘
+
+Total Time Taken: 7.52s
+```
+
+
+
+### 4.4 複数コレクションの検索
+
+場合によっては、複数のコレクションにわたる検索結果を組み合わせる必要があります。上記の結果から、「Loom & Aura」が最も多くのシューズを掲載していることがわかります。
+
+次に、ユーザーがこの企業について、_さらに_ その販売商品について詳しく知りたいというシナリオを想定してみましょう。
+
+応答は次のとおりです:
+ +``` +╭──────────────────────────────────────────────────────────────────────────────────────────────────────────────── 🔍 Original Query ────────────────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│ │ +│ What is the the name of the brand that lists the most shoes? │ +│ │ +╰───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭───────────────────────────────────────────────────────────────────────────────────────────────────────────────── 📝 Final Answer ─────────────────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│ │ +│ The brand that lists the most shoes is Loom & Aura, with a total count of 118 shoes across various styles such as Cottagecore, Fairycore, Goblincore, Light Academia, and Dark Academia. │ +│ │ +╰───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│ │ +│ 🔭 No Searches Run │ +│ │ +╰───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭───────────────────────────────────────────────────────────────────────────────────────────────────────────── 📊 Aggregations Run 1/1 ─────────────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│ │ +│ AggregationResultWithCollection( │ +│ search_query=None, │ +│ groupby_property='brand', │ +│ aggregations=[TextPropertyAggregation(property_name='collection', metrics=
+ )], │
+│ filters=[TextPropertyFilter(property_name='brand', operator=
+
+### 4.5 システムプロンプトの利用 {#use-system-prompt-agent}
+
+ここでは、[ステップ 3.2](#system-prompt-agent) で作成したカスタム エージェントを、次のシステムプロンプトと共に使用します:
+
+```
+"You are a helpful assistant that always generates the final response in the user's language."
+"You may have to translate the user query to perform searches. But you must always respond to the user in their own language."
+```
+
+たとえば、ブランド「Eko & Stitch」が英国に支店や関連会社を持っているかどうかを、日本語で質問してみてください（英語ではなく）:
+
+
+
+
+
+
+
+
+
+```shell
+pip install -U weaviate-client[agents]
+```
+
+#### トラブルシューティング：`pip` で最新バージョンを強制インストールする
+
+既存環境では、`pip install -U "weaviate-client[agents]"` を実行しても `weaviate-agents` が [最新バージョン](https://pypi.org/project/weaviate-agents/) に更新されない場合があります。その際は `weaviate-agents` パッケージを明示的にアップグレードしてください。
+
+```shell
+pip install -U weaviate-agents
+```
+
+または [特定バージョン](https://github.com/weaviate/weaviate-agents-python-client/tags) をインストールします。
+
+```shell
+pip install -U weaviate-agents==||site.weaviate_agents_version||
+```
+
+
+
+
+```shell
+npm install weaviate-agents@latest
+```
+
+
+
+
+
+## Query Agent のインスタンス化
+
+### 基本的なインスタンス化
+
+以下を指定します。
+
+- 対象の [Weaviate Cloud インスタンスの詳細](/cloud/manage-clusters/connect.mdx)（例：`WeaviateClient` オブジェクト）
+- クエリ対象とするコレクションのデフォルトリスト
+
+
+
+
+
+
+
+
+
+### コレクションの設定
+
+クエリ対象コレクションのリストは、次の項目でさらに設定できます。
+
+- テナント名（マルチテナントコレクションの場合は必須）
+- クエリ対象とするコレクションの ベクトル（複数可）（任意）
+- エージェントが使用するプロパティ名のリスト（任意）
+- エージェントが生成したフィルターに常に上乗せする[追加フィルター](#user-defined-filters)（任意）
+
+
+
+
+
+
+
+
+
+:::info Query Agent がアクセスできるものは？
+
+Query Agent は、渡された Weaviate クライアントオブジェクトから認証情報を取得します。その後、指定されたコレクション名でさらにアクセス範囲を制限できます。
+
+たとえば、指定した Weaviate 認証情報のユーザーが一部のコレクションにしかアクセスできない場合、Query Agent もそのコレクションのみを参照できます。
+
+:::
+
+
+
+### 追加オプション
+
+Query エージェントは、次のような追加オプションを指定してインスタンス化できます:
+
+- `system_prompt`: Weaviate チームが提供するデフォルトのシステムプロンプトを置き換えるためのカスタムシステムプロンプト（JavaScript では `systemPrompt`）。
+- `timeout`: Query エージェントが 1 件のクエリに費やす最大時間（秒）。サーバーサイドのデフォルト: 60。
+
+#### カスタムシステムプロンプト
+
+Query エージェントの挙動を制御するためにカスタムシステムプロンプトを指定できます:
+
+
+
+
+
+
+
+
+
+### ユーザー定義フィルター
+
+永続的なフィルターを設定すると、エージェントが生成したフィルターと論理 `AND` で常に結合されます。
+
+
+
+
+
+
+
+
+
+### Async Python クライアント
+
+Async Python クライアントの使用例については、[Async Python クライアントのセクション](#usage---async-python-client)を参照してください。
+
+## クエリ実行
+
+Query エージェントがサポートするクエリタイプは 2 つあります:
+
+- [**`Search`**](#search)
+- [**`Ask`**](#ask)
+
+### `Search`
+
+自然言語で Weaviate に `Search` を実行します。Query エージェントが質問を処理し、Weaviate 内で必要な検索を行い、関連オブジェクトを返します。
+
+
+
+
+
+
+
+
+
+#### `Search` 応答構造
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+### ランタイムでのコレクション設定
+
+クエリ実行時に、照会対象のコレクション一覧を名前のリスト、または追加の設定とともに上書きできます。
+
+#### コレクション名のみを指定
+
+この例では、このクエリに対してのみ設定済みの Query Agent コレクションを上書きします。
+
+
+
+
+
+
+
+
+
+#### コレクションの詳細設定
+
+この例では、このクエリに対してのみ設定済みの Query Agent コレクションを上書きし、必要に応じて次のような追加オプションを指定しています。
+
+- ターゲット ベクトル
+- 表示するプロパティ
+- ターゲット テナント
+- 追加フィルター
+
+
+
+
+
+
+
+
+
+### 会話形式のクエリ
+
+Query Agent は `ChatMessage` オブジェクトのリストを渡すことで複数ターンの会話をサポートします。これは `Search` と `Ask` の両方のクエリタイプで機能します。
+
+`ChatMessage` で会話を構築する際、メッセージには次の 2 つのロールがあります。
+
+- **`user`** - 人間のユーザーが質問やコンテキストを提供するメッセージを表します
+- **`assistant`** - Query Agent の応答、または会話履歴内の任意の AI アシスタントの応答を表します
+
+会話履歴は Query Agent が前のやり取りからコンテキストを理解するのに役立ち、より首尾一貫した複数ターンの対話を可能にします。適切な会話の流れを維持するため、常に user と assistant のロールを交互にしてください。
+
+
+
+
+
+
+
+
+
+## ストリーム応答
+
+Query Agent は応答をストリームすることもでき、生成中の回答をリアルタイムで受け取れます。
+
+ストリーミング応答は、次のオプションパラメーターで要求できます。
+
+- `include_progress`：`True` に設定すると、Query Agent はクエリを処理する進捗をストリームします。
+- `include_final_state`：`True` に設定すると、Query Agent は回答全体が生成されるのを待たず、生成され次第最終回答をストリームします。
+
+`include_progress` と `include_final_state` の両方を `False` に設定した場合、Query Agent は進捗更新や最終状態を含めず、生成された回答トークンのみをストリームします。
+
+
+
+
+
+
+
+
+
+
+## レスポンスの確認
+
+Query Agent からのレスポンスには最終的な回答に加えて、追加の補足情報が含まれます。
+
+補足情報には、実行された検索や集計、欠落している可能性のある情報、Agent が使用した LLM トークン数などが含まれる場合があります。
+
+### ヘルパー関数
+
+提供されているヘルパー関数（例: `.display()` メソッド）を使用して、レスポンスを読みやすい形式で表示してみてください。
+
+
+
+
+
+
+
+
+
+このコードは、Query Agent が見つけた補足情報の概要とともにレスポンスを出力します。
+
+
+
+
+
+
+
+
+
+## 使用方法 - Async Python クライアント
+
+async Python Weaviate クライアントを使用する場合でも、インスタンス化のパターンはほぼ同じです。違いは `QueryAgent` クラスの代わりに `AsyncQueryAgent` クラスを使用する点です。
+
+async パターンの例は以下のとおりです。
+
+
+
+
+
+
+### ストリーミング
+
+async Query Agent はレスポンスをストリーミングすることもでき、生成中の回答を逐次受け取れます。
+
+
+
+
+
+
+## 制限とトラブルシューティング
+
+### 使用制限
+
+import UsageLimits from "/\_includes/agents/query-agent-usage-limits.mdx";
+
+
+
+
+このレシピでは、新しい Weaviate `PersonalizationAgent` を使用して、 Weaviate コレクションからユーザーごとにパーソナライズされたオブジェクトを取得します。この新しいエージェントによる取得方法は、ユーザーのペルソナプロファイルとコレクションとの過去のインタラクションに基づいています。
+
+> 📚 `PersonalizationAgent` の詳細な使い方については、当社ブログ「[Introducing the Weaviate Personalization Agent](https://weaviate.io/blog/personalization-agent?utm_source=recipe&utm_campaign=agents)」および[ドキュメント](https://docs.weaviate.io/agents/personalization)をご覧ください。
+
+すぐに試せるように、 Hugging Face datasets 🤗 上にいくつかのデモデータセットを用意しています。
+
+- [Movies](https://huggingface.co/datasets/weaviate/agents/viewer/personalization-agent-movies)：映画、評価、オリジナル言語などを掲載したデータセット
+- [Recipes](https://huggingface.co/datasets/weaviate/agents/viewer/personalization-agent-recipes)：料理名、短い説明、料理の種類を掲載したデータセット
+
+本例では、 Movies データセットを使用して映画レコメンダーサービスを作成します。
+
+```python
+!pip install weaviate-client[agents] datasets
+```
+
+## Weaviate のセットアップとデータのインポート
+
+Weaviate Personalization Agent を利用するには、まず [Weaviate Cloud](tps://weaviate.io/deployment/serverless?utm_source=recipe&utm_campaign=agents) アカウントを作成してください👇
+1. [Serverless Weaviate Cloud アカウントを作成](https://weaviate.io/deployment/serverless?utm_source=recipe&utm_campaign=agents)し、無料の[Sandbox](https://docs.weaviate.io/cloud/manage-clusters/create#sandbox-clusters?utm_source=recipe&utm_campaign=agents)をセットアップします。
+2. 「Embedding」を開き、有効化します。デフォルトでは `Snowflake/snowflake-arctic-embed-l-v2.0` が埋め込みモデルとして使用されます。
+3. 下記でクラスターに接続するため、 `WEAVIATE_URL` と `WEAVIATE_API_KEY` を控えておいてください。
+
+> Info: 外部の埋め込みプロバイダー用の追加キーを用意する必要がないため、[Weaviate Embeddings](https://docs.weaviate.io/weaviate/model-providers/weaviate) の利用を推奨します。
+
+```python
+import os
+
+import weaviate
+from weaviate.auth import Auth
+from getpass import getpass
+
+if "WEAVIATE_API_KEY" not in os.environ:
+ os.environ["WEAVIATE_API_KEY"] = getpass("Weaviate API Key")
+if "WEAVIATE_URL" not in os.environ:
+ os.environ["WEAVIATE_URL"] = getpass("Weaviate URL")
+
+client = weaviate.connect_to_weaviate_cloud(
+ cluster_url=os.environ.get("WEAVIATE_URL"),
+ auth_credentials=Auth.api_key(os.environ.get("WEAVIATE_API_KEY")),
+)
+```
+
+### 新しいコレクションの作成
+
+次に、 Weaviate に "Movies" という新しいコレクションを作成します。エージェント機能を利用する場合、コレクションのプロパティに説明文を付けておくと便利です。これらの説明はエージェントによって利用されます。
+
+```python
+from weaviate.classes.config import Configure, DataType, Property
+
+# if client.collections.exists("Movies"):
+ # client.collections.delete("Movies")
+
+client.collections.create(
+ "Movies",
+ description="A dataset that lists movies, including their release dates, ratings, popularity etc.",
+ vector_config=Configure.Vectors.text2vec_weaviate(),
+ properties=[
+ Property(
+ name="release_date",
+ data_type=DataType.TEXT,
+ description="release date of the movie",
+ skip_vectorization=True,
+ ),
+ Property(
+ name="title", data_type=DataType.TEXT, description="title of the movie"
+ ),
+ Property(
+ name="overview",
+ data_type=DataType.TEXT,
+ description="overview of the movie",
+ ),
+ Property(
+ name="genres",
+ data_type=DataType.TEXT_ARRAY,
+ description="genres of the movie",
+ ),
+ Property(
+ name="vote_average",
+ data_type=DataType.NUMBER,
+ description="vote average of the movie",
+ ),
+ Property(
+ name="vote_count",
+ data_type=DataType.INT,
+ description="vote count of the movie",
+ ),
+ Property(
+ name="popularity",
+ data_type=DataType.NUMBER,
+ description="popularity of the movie",
+ ),
+ Property(
+ name="poster_url",
+ data_type=DataType.TEXT,
+ description="poster path of the movie",
+ skip_vectorization=True,
+ ),
+ Property(
+ name="original_language",
+ data_type=DataType.TEXT,
+ description="Code of the language of the movie",
+ skip_vectorization=True,
+ ),
+ ],
+)
+```
+
+Python 出力:
+```text
+
+```
+```python
+from datasets import load_dataset
+
+dataset = load_dataset("weaviate/agents", "personalization-agent-movies", split="train", streaming=True)
+
+movies_collection = client.collections.use("Movies")
+
+with movies_collection.batch.dynamic() as batch:
+ for item in dataset:
+ batch.add_object(properties=item["properties"])
+```
+
+## Personalization Agent の作成
+
+以下では、 `"Movies"` コレクション用の `PersonalizationAgent` を作成します。すでにこのコレクション用のエージェントが存在する場合は、接続するだけで構いません。
+
+新しい `PersonalizationAgent` を作成する際には、 `user_properties` を任意で定義できます。
+
+`user_properties` には、エージェントに追加するユーザーに関する有用な情報を指定できます。映画レコメンダーサービスを作成する本例では、各ペルソナに `age`、`favorite_genres`、`languages` を登録することにします。
+
+```python
+from weaviate.agents.personalization import PersonalizationAgent
+
+if PersonalizationAgent.exists(client, "Movies"):
+ agent = PersonalizationAgent.connect(
+ client=client,
+ reference_collection="Movies",
+ )
+else:
+ agent = PersonalizationAgent.create(
+ client=client,
+ reference_collection="Movies",
+ user_properties={
+ "age": DataType.NUMBER,
+ "favorite_genres": DataType.TEXT_ARRAY,
+ "languages": DataType.TEXT_ARRAY,
+ },
+ )
+
+```
+
+### 新しいペルソナの追加
+
+`add_persona` を使用して新しいユーザーを追加できます。追加時に先ほど指定したユーザープロパティを設定します。下のコードを変更してご自身を表現してみても構いません👇
+
+```python
+from uuid import uuid4
+from weaviate.agents.classes import Persona, PersonaInteraction
+
+persona_id = uuid4()
+agent.add_persona(
+ Persona(
+ persona_id=persona_id,
+ properties={
+ "age": 29,
+ "favorite_genres": ["RomCom", "Adventure", "Sci-Fi", "Fantasy"],
+ "languages": ["English", "French"],
+ },
+ )
+)
+```
+
+### インタラクションの追加
+
+少なくとも 1 つのペルソナを作成したら、そのペルソナに対するインタラクションを追加できます。映画レコメンダーサービスの場合、ペルソナによる映画レビューを追加するのが自然でしょう。
+
+各インタラクションには -1.0（ネガティブ）から 1.0（ポジティブ）までの重みを設定できます。以下ではいくつかの映画に対するレビューを追加してみます。
+
+エンドアプリケーションがどのようにインタラクションを転送するかを考え、各重みが何を意味するかのルールを決めておくと良いでしょう。例:
+- 1.0: お気に入りの映画
+- 0.8: 映画を気に入った
+- 0.5: 映画を視聴したがレビューはなし
+- -0.5: 映画が気に入らなかった
+- -1.0: 映画が大嫌い 👎
+
+```python
+from uuid import UUID
+from weaviate.collections.classes.filters import Filter
+
+reviewed_movies = [
+ "Fantastic Beasts and Where to Find Them",
+ "The Emoji Movie",
+ "Titanic",
+ "The Shining",
+ "Jumanji",
+ "West Side Story",
+ "The Shape of Water",
+ "Morbius"
+]
+
+reviews_dict = {
+ movie.properties["title"]: movie
+ for movie in movies_collection.query.fetch_objects(
+ filters=Filter.by_property("title").contains_any(reviewed_movies), limit=20
+ ).objects
+}
+
+interactions = [
+ PersonaInteraction(
+ persona_id=persona_id, item_id=reviews_dict["Fantastic Beasts and Where to Find Them"].uuid, weight=0.8
+ ),
+ PersonaInteraction(
+ persona_id=persona_id, item_id=reviews_dict["The Emoji Movie"].uuid, weight=-0.5
+ ),
+ PersonaInteraction(
+ persona_id=persona_id, item_id=reviews_dict["Titanic"].uuid, weight=0.5
+ ),
+ PersonaInteraction(
+ persona_id=persona_id, item_id=reviews_dict["The Shining"].uuid, weight=0.5
+ ),
+ PersonaInteraction(
+ persona_id=persona_id, item_id=reviews_dict["Jumanji"].uuid, weight=0.8
+ ),
+ PersonaInteraction(
+ persona_id=persona_id, item_id=reviews_dict["West Side Story"].uuid, weight=-0.5
+ ),
+ PersonaInteraction(
+ persona_id=persona_id, item_id=reviews_dict["The Shape of Water"].uuid, weight=-1.0
+ ),
+ PersonaInteraction(
+ persona_id=persona_id, item_id=reviews_dict["Morbius"].uuid, weight=-1.0
+ ),
+]
+```
+
+```python
+agent.add_interactions(interactions=interactions)
+```
+
+## レコメンデーションと根拠の取得
+
+ペルソナとそのインタラクションを追加したので、 `get_objects` でエージェントからおすすめオブジェクトを取得できます。ここでは `use_agent_ranking` を設定するかどうかを選べます。
+
+`use_agent_ranking` を使用しない場合、返されるオブジェクトは従来の ML クラスタリングによってランク付けされます。使用する場合は、追加で LLM による再ランキングが行われ、任意の `instruction` を指定できます。
+
+`use_agent_ranking` を有効にすると、下記のように `ranking_rationale` でランク付けの根拠も確認できます👇
+
+```python
+response = agent.get_objects(persona_id, limit=25, use_agent_ranking=True)
+
+print(response.ranking_rationale)
+for i, obj in enumerate(response.objects):
+ print(f"*****{i}*****")
+ print(obj.properties["title"])
+ print(obj.properties["overview"])
+ print(obj.properties["genres"])
+ print(f"vote_average: {obj.properties['vote_average']}")
+ print(obj.properties['poster_url'])
+```
+
+Python 出力:
+```text
+We've placed a spotlight on fantasy and adventure titles given your love for these genres. Movies like 'The Chronicles of Narnia' and 'Jumanji' have been prioritized as they align with your past favorites and preferences. Holiday-themed family films were also considered due to their family-friendly and adventurous nature.
+*****0*****
+The Chronicles of Narnia: The Lion, the Witch and the Wardrobe
+Siblings Lucy, Edmund, Susan and Peter step through a magical wardrobe and find the land of Narnia. There, they discover a charming, once peaceful kingdom that has been plunged into eternal winter by the evil White Witch, Jadis. Aided by the wise and magnificent lion, Aslan, the children lead Narnia into a spectacular, climactic battle to be free of the Witch's glacial powers forever.
+['Adventure', 'Family', 'Fantasy']
+vote_average: 7.1
+https://image.tmdb.org/t/p/original/kzJip9vndXYSKQHCgekrgqbnUrA.jpg
+*****1*****
+The Ewok Adventure
+The Towani family civilian shuttlecraft crashes on the forest moon of Endor. The four Towani's are separated. Jermitt and Catarine, the mother and father are captured by the giant Gorax, and Mace and Cindel, the son and daughter, are missing when they are captured. The next day, the Ewok Deej is looking for his two sons when they find Cindel all alone in the shuttle (Mace and Cindel were looking for the transmitter to send a distress call), when Mace appears with his emergency blaster. Eventually, the four-year old Cindel is able to convince the teenage Mace that the Ewoks are nice. Then, the Ewoks and the Towani's go on an adventure to find the elder Towanis.
+['Adventure', 'Family', 'Fantasy', 'Science Fiction', 'TV Movie']
+vote_average: 6.0
+https://image.tmdb.org/t/p/original/lP7FIxojVrgWsam9efElk5ba3I5.jpg
+*****2*****
+The Chronicles of Narnia: Prince Caspian
+One year after their incredible adventures in the Lion, the Witch and the Wardrobe, Peter, Edmund, Lucy and Susan Pevensie return to Narnia to aid a young prince whose life has been threatened by the evil King Miraz. Now, with the help of a colorful cast of new characters, including Trufflehunter the badger and Nikabrik the dwarf, the Pevensie clan embarks on an incredible quest to ensure that Narnia is returned to its rightful heir.
+['Adventure', 'Family', 'Fantasy']
+vote_average: 6.6
+https://image.tmdb.org/t/p/original/qxz3WIyjZiSKUhaTIEJ3c1GcC9z.jpg
+*****3*****
+Pete's Dragon
+For years, old wood carver Mr. Meacham has delighted local children with his tales of the fierce dragon that resides deep in the woods of the Pacific Northwest. To his daughter, Grace, who works as a forest ranger, these stories are little more than tall tales... until she meets Pete, a mysterious 10-year-old with no family and no home who claims to live in the woods with a giant, green dragon named Elliott. And from Pete's descriptions, Elliott seems remarkably similar to the dragon from Mr. Meacham's stories. With the help of Natalie, an 11-year-old girl whose father Jack owns the local lumber mill, Grace sets out to determine where Pete came from, where he belongs, and the truth about this dragon.
+['Adventure', 'Family', 'Fantasy']
+vote_average: 6.4
+https://image.tmdb.org/t/p/original/6TwrPngfpbwtVH6UsDfVNUnn3ms.jpg
+*****4*****
+The Chronicles of Narnia: The Voyage of the Dawn Treader
+This time around Edmund and Lucy Pevensie, along with their pesky cousin Eustace Scrubb find themselves swallowed into a painting and on to a fantastic Narnian ship headed for the very edges of the world.
+['Adventure', 'Family', 'Fantasy']
+vote_average: 6.4
+https://image.tmdb.org/t/p/original/pP27zlm9yeKrCeDZLFLP2HKELot.jpg
+*****5*****
+One Piece: Clockwork Island Adventure
+Relaxing on a cozy beach, the Straw Hat Pirates are taking a rest from their quest. Right until Luffy noticed the Going Merry has been hijacked and sailed off from the beach. This leads them to search the ship and find the thief who took it from them. They ran into a duo named the Theif Brothers, who informed them that their ship was stolen by a group of pirates called the Trump Kyoudai. When they encountered the Trump Pirates, Nami ended up getting kidnapped as well as Luffy's hat. They tracked down the pirates to their base on Clockwork Island. Now Luffy, Zoro, Sanji, Usopp, and the Theif Brothers must reclaim the Going Merry, Save Nami, and get back Shank's straw hat.
+['Action', 'Animation', 'Adventure']
+vote_average: 6.8
+https://image.tmdb.org/t/p/original/mocek0mTd2dX2neCB691iU9le9k.jpg
+*****6*****
+Good Luck Charlie, It's Christmas!
+Teddy Duncan's middle-class family embarks on a road trip from their home in Denver to visit Mrs. Duncans Parents, the Blankenhoopers, in Palm Springs. When they find themselves stranded between Denver and Utah, they try to hitch a ride to Las Vegas with a seemingly normal older couple in a station wagon from Roswell, New Mexico. It turns out that the couple believes they are the victims of alien abduction. The Duncan's must resort to purchasing a clunker Yugo to get to Utah, have their luggage stolen in Las Vegas, and survive a zany Christmas with Grandpa and Grandma Blankenhooper.
+['TV Movie', 'Comedy', 'Family']
+vote_average: 6.6
+https://image.tmdb.org/t/p/original/ecuJMYZM3HQ96mnWtmyXoHb7s7T.jpg
+*****7*****
+Bedknobs and Broomsticks
+Three children evacuated from London during World War II are forced to stay with an eccentric spinster (Eglantine Price). The children's initial fears disappear when they find out she is in fact a trainee witch.
+['Adventure', 'Fantasy', 'Comedy', 'Family', 'Music']
+vote_average: 7.0
+https://image.tmdb.org/t/p/original/3V7UFCu1u8BJLnoCdvdEqPYVaxQ.jpg
+*****8*****
+Doraemon: Nobita's New Great Adventure Into the Underworld - The Seven Magic Users
+Nobita has changed the real world to a world of magic using the "Moshimo Box" in admiration of magic. One day, Nobita meets Chaplain Mangetsu, a magic researcher, and his daughter Miyoko. Nobita learns from them that the Great Satan of the Devildom Star is scheming to invade the Earth. The Chaplain tries to find a way out using ancient books, however, the Devildom Star rapidly approaches the Earth by the minute, causing earthquakes and abnormal weather conditions. Nobita, along with his friends, Doraemon, Shizuka, Suneo, Gaian and Dorami, together with Miyoko, storm into the Devildom Star, just like the "Legendary Seven Heroes" in an ancient book in order to confront the Great Satan and peace returns to the world of magic.
+['Family', 'Adventure', 'Animation']
+vote_average: 6.9
+https://image.tmdb.org/t/p/original/4E0qUqbevK4DAW2RRbvZmjjPsOd.jpg
+*****9*****
+Barbie: A Perfect Christmas
+Join Barbie and her sisters Skipper, Stacie and Chelsea as their holiday vacation plans turn into a most unexpected adventure and heartwarming lesson. After a snowstorm diverts their plane, the girls find themselves far from their New York destination and their holiday dreams. Now stranded at a remote inn in the tiny town of Tannenbaum, the sisters are welcomed by new friends and magical experiences. In appreciation for the wonderful hospitality they receive, they use their musical talents to put on a performance for the whole town. Barbie and her sisters realize the joy of being together is what really makes A Perfect Christmas!
+['Animation', 'Family']
+vote_average: 6.7
+https://image.tmdb.org/t/p/original/u14NrsyD9h505ZXs5Ofm7Tv3AuM.jpg
+*****10*****
+The Many Adventures of Winnie the Pooh
+Whether we’re young or forever young at heart, the Hundred Acre Wood calls to that place in each of us that still believes in magic. Join pals Pooh, Piglet, Kanga, Roo, Owl, Rabbit, Tigger and Christopher Robin as they enjoy their days together and sing their way through adventures.
+['Animation', 'Family']
+vote_average: 7.2
+https://image.tmdb.org/t/p/original/2xwaFVLv5geVrFd81eUttv7OutF.jpg
+*****11*****
+The Gruffalo's Child
+A follow up to the 2009 animated feature and adapted from the childrens' book by Julia Donaldson and Alex Scheffler. The Gruffalo's child explores the deep dark wood in search of the big bad mouse and meets the Snake, Owl and Fox in the process. She eventually finds the mouse, who manages to outwit her like the Gruffalo before!
+['Adventure', 'Animation', 'Family', 'Fantasy']
+vote_average: 7.0
+https://image.tmdb.org/t/p/original/n8fu0eATvUWtmR9CsDlL1gwqTcp.jpg
+*****12*****
+The Tigger Movie
+Winnie the Pooh, Piglet, Owl, Kanga, Roo, and Rabbit are preparing a suitable winter home for Eeyore, the perennially dejected donkey, but Tigger's continual bouncing interrupts their efforts. Rabbit suggests that Tigger go find others of his kind to bounce with, but Tigger thinks "the most wonderful thing about tiggers is" he's "the only one!" Just in case though, the joyously jouncy feline sets out to see if he can find relatives.
+['Family', 'Animation', 'Comedy']
+vote_average: 6.5
+https://image.tmdb.org/t/p/original/lxuiGvLHIL1ZyePP7bn6FcKj0Mr.jpg
+*****13*****
+Return to Never Land
+In 1940, the world is besieged by World War II. Wendy, all grown up, has two children; including Jane, who does not believe Wendy's stories about Peter Pan.
+['Adventure', 'Fantasy', 'Animation', 'Family']
+vote_average: 6.4
+https://image.tmdb.org/t/p/original/zfclCksB7vCLA5Rd9HKHMGSz40.jpg
+*****14*****
+Winnie the Pooh: A Very Merry Pooh Year
+It's Christmastime in the Hundred Acre Wood and all of the gang is getting ready with presents and decorations. The gang makes a list of what they want for Christmas and send it to Santa Claus - except that Pooh forgot to ask for something. So he heads out to retrieve the letter and get it to Santa by Christmas...which happens to be tomorrow!
+['Animation', 'Family']
+vote_average: 6.8
+https://image.tmdb.org/t/p/original/1NbobWwoX7kFd1if8aCyCtFRZpu.jpg
+*****15*****
+Alice in Wonderland
+Alice follows a white rabbit down a rabbit-hole into a whimsical Wonderland, where she meets characters like the delightful Cheshire Cat, the clumsy White Knight, a rude caterpillar, and the hot-tempered Queen of Hearts and can grow ten feet tall or shrink to three inches. But will she ever be able to return home?
+['Fantasy', 'Family']
+vote_average: 6.3
+https://image.tmdb.org/t/p/original/kpXmXjqeyuSYCtNuGMytWQLdKX.jpg
+*****16*****
+Tarzan the Ape Man
+James Parker and Harry Holt are on an expedition in Africa in search of the elephant burial grounds that will provide enough ivory to make them rich. Parker's beautiful daughter Jane arrives unexpectedly to join them. Jane is terrified when Tarzan and his ape friends abduct her, but when she returns to her father's expedition she has second thoughts about leaving Tarzan.
+['Action', 'Adventure']
+vote_average: 6.8
+https://image.tmdb.org/t/p/original/sqtdNAktAI3p1iXmaEooaHjMmWd.jpg
+*****17*****
+Doraemon: Nobita and the Tin Labyrinth
+Nobita's dad stumbled upon a strange advertisement of a fantastic resort on television at midnight. Sleepy as he was, he made a reservation even though he didn't even realize he was talking to the advertisement. The next day he discussed with the family their holiday plans, only to realize he could not find the place anywhere on earth. All of a sudden though there was a suitcase in Nobita's room and intrigued as he was, he opened it only to find a portal to a beautiful resort managed by tin robots. Better still, it's absolutely free. It seems that there is a hidden agenda behind the person who invites them there.
+['Adventure', 'Animation']
+vote_average: 7.3
+https://image.tmdb.org/t/p/original/bkIR641RQyqk7hBlk0hui70dkz9.jpg
+*****18*****
+Casper's Haunted Christmas
+Kibosh, supreme ruler of all ghosts, decrees that casper must scare at least one person before Christmas Day so Casper visits Kriss, Massachusetts where he meets the Jollimore family and sets out to complete his mission. As usual, kindhearted Casper has a ghastky time trying to scare anyone; so The Ghostly Trio, fed up with his goody-boo-shoes behavior, secretly hires Casper's look-alike cousin Spooky to do the job-with hilarious results.
+['Animation', 'Family', 'Fantasy']
+vote_average: 5.4
+https://image.tmdb.org/t/p/original/3BFR30kh0O3NKR1Sfea3HXCG6hw.jpg
+*****19*****
+Home Alone: The Holiday Heist
+8-year-old Finn is terrified to learn his family is relocating from sunny California to Maine in the scariest house he has ever seen! Convinced that his new house is haunted, Finn sets up a series of elaborate traps to catch the “ghost” in action. Left home alone with his sister while their parents are stranded across town, Finn’s traps catch a new target – a group of thieves who have targeted Finn’s house.
+['Comedy', 'Family', 'TV Movie']
+vote_average: 5.3
+https://image.tmdb.org/t/p/original/6JPrRC0JPM06y17pUXD6w1xMvKi.jpg
+*****20*****
+The Three Caballeros
+For Donald's birthday he receives a box with three gifts inside. The gifts, a movie projector, a pop-up book, and a pinata, each take Donald on wild adventures through Mexico and South America.
+['Animation', 'Family', 'Music']
+vote_average: 6.4
+https://image.tmdb.org/t/p/original/nMfScRxw9wVLoO7LiEjziFAKLSK.jpg
+*****21*****
+The Madagascar Penguins in a Christmas Caper
+During the holiday season, when the animals of the Central Park Zoo are preparing for Christmas, Private, the youngest of the penguins notices that the Polar Bear is all alone. Assured that nobody should have to spend Christmas alone, Private goes into the city for some last-minute Christmas shopping. Along the way, he gets stuffed into a stocking
+['Animation', 'Comedy', 'Family']
+vote_average: 6.7
+https://image.tmdb.org/t/p/original/gOVdfrRfzQjYwezOxIap13j05d8.jpg
+*****22*****
+Jumanji: Welcome to the Jungle
+The tables are turned as four teenagers are sucked into Jumanji's world - pitted against rhinos, black mambas and an endless variety of jungle traps and puzzles. To survive, they'll play as characters from the game.
+['Adventure', 'Action', 'Comedy', 'Fantasy']
+vote_average: 6.8
+https://image.tmdb.org/t/p/original/pSgXKPU5h6U89ipF7HBYajvYt7j.jpg
+*****23*****
+Poltergeist
+Steve Freeling lives with his wife, Diane, and their three children, Dana, Robbie, and Carol Anne, in Southern California where he sells houses for the company that built the neighborhood. It starts with just a few odd occurrences, such as broken dishes and furniture moving around by itself. However, when he realizes that something truly evil haunts his home, Steve calls in a team of parapsychologists led by Dr. Lesh to help before it's too late.
+['Horror']
+vote_average: 7.1
+https://image.tmdb.org/t/p/original/xPazCcKp62IshnLVf9BLAjf9vgC.jpg
+*****24*****
+Up and Away
+Hodja is a dreamer. He wants to experience the world, but his father insists he stays home and takes over the family's tailor shop. Fortunately, Hodja meets the old rug merchant El Faza, who gives him a flying carpet. In exchange he has to bring the old man's little granddaughter, Diamond, back to Pjort. El Faza can’t travel to the Sultan city himself, as the mighty ruler has imposed a death sentence on El Faza, on the grounds that he has stolen the Sultan's carpet. However, city life isn't quite what Hodja expected, and he only survives because of Emerald, a poor but street smart girl, who teaches him how to manage in the big world. But when Hodja loses his carpet to the power-hungry sultan, his luck seems to run out. Will he complete his mission, find El Faza's granddaughter and return safely back to Pjort?
+['Animation', 'Family', 'Comedy']
+vote_average: 6.2
+https://image.tmdb.org/t/p/original/1WRK69soLEfVFRW1WwE0vWGz1mq.jpg
+```
+
+### instruction を用いたレコメンデーションの取得
+
+任意でエージェントに instruction を与えることもできます。これにより、エージェント LLM にどのような推薦を行うべきかについて追加のコンテキストを提供できます。
+
+また、初期ランク付けの上限を高めに設定し、その後エージェントランク付けでより小さなグループに絞り込むといった使い方も可能です👇
+
+```python
+response = agent.get_objects(persona_id,
+ limit=100,
+ use_agent_ranking=True,
+ instruction="""Your task is to recommend a diverse set of movies that the user may
+ like based on their fave genres and past interactions. Try to avoid recommending multiple films from within
+ the same cinematic universe.""",
+)
+
+print(response.ranking_rationale)
+for i, obj in enumerate(response.objects[:20]):
+ print(f"*****{i}*****")
+ print(obj.properties["title"])
+ print(obj.properties["overview"])
+ print(obj.properties["genres"])
+ print(f"vote_average: {obj.properties['vote_average']}")
+ print(obj.properties['poster_url'])
+```
+
+Python 出力:
+```text
+We've highlighted a mix of movies from the user's favorite genres — RomCom, Adventure, Sci-Fi, and Fantasy — ensuring a diverse selection. We've also included some lesser-known gems to provide variety while avoiding multiple entries from the same cinematic universe.
+*****0*****
+Jumanji: Welcome to the Jungle
+The tables are turned as four teenagers are sucked into Jumanji's world - pitted against rhinos, black mambas and an endless variety of jungle traps and puzzles. To survive, they'll play as characters from the game.
+['Adventure', 'Action', 'Comedy', 'Fantasy']
+vote_average: 6.8
+https://image.tmdb.org/t/p/original/pSgXKPU5h6U89ipF7HBYajvYt7j.jpg
+*****1*****
+The Chronicles of Narnia: The Lion, the Witch and the Wardrobe
+Siblings Lucy, Edmund, Susan and Peter step through a magical wardrobe and find the land of Narnia. There, they discover a charming, once peaceful kingdom that has been plunged into eternal winter by the evil White Witch, Jadis. Aided by the wise and magnificent lion, Aslan, the children lead Narnia into a spectacular, climactic battle to be free of the Witch's glacial powers forever.
+['Adventure', 'Family', 'Fantasy']
+vote_average: 7.1
+https://image.tmdb.org/t/p/original/kzJip9vndXYSKQHCgekrgqbnUrA.jpg
+*****2*****
+Alice Through the Looking Glass
+Alice Kingsleigh returns to Underland and faces a new adventure in saving the Mad Hatter.
+['Adventure', 'Family', 'Fantasy']
+vote_average: 6.5
+https://image.tmdb.org/t/p/original/kbGamUkYfgKIYIrU8kW5oc0NatZ.jpg
+*****3*****
+Madagascar
+Alex the lion is the king of the urban jungle, the main attraction at New York's Central Park Zoo. He and his best friends—Marty the zebra, Melman the giraffe and Gloria the hippo—have spent their whole lives in blissful captivity before an admiring public and with regular meals provided for them. Not content to leave well enough alone, Marty lets his curiosity get the better of him and makes his escape—with the help of some prodigious penguins—to explore the world.
+['Family', 'Animation', 'Adventure', 'Comedy']
+vote_average: 6.9
+https://image.tmdb.org/t/p/original/uHkmbxb70IQhV4q94MiBe9dqVqv.jpg
+*****4*****
+Rio
+Captured by smugglers when he was just a hatchling, a macaw named Blu never learned to fly and lives a happily domesticated life in Minnesota with his human friend, Linda. Blu is thought to be the last of his kind, but when word comes that Jewel, a lone female, lives in Rio de Janeiro, Blu and Linda go to meet her. Animal smugglers kidnap Blu and Jewel, but the pair soon escape and begin a perilous adventure back to freedom -- and Linda.
+['Animation', 'Adventure', 'Comedy', 'Family']
+vote_average: 6.7
+https://image.tmdb.org/t/p/original/oo7M77GXEyyqDGOhzNNZTzEuDSF.jpg
+*****5*****
+Alice in Wonderland
+Alice, now 19 years old, returns to the whimsical world she first entered as a child and embarks on a journey to discover her true destiny.
+['Family', 'Fantasy', 'Adventure']
+vote_average: 6.6
+https://image.tmdb.org/t/p/original/o0kre9wRCZz3jjSjaru7QU0UtFz.jpg
+*****6*****
+Peter Pan
+Leaving the safety of their nursery behind, Wendy, Michael and John follow Peter Pan to a magical world where childhood lasts forever. But while in Neverland, the kids must face Captain Hook and foil his attempts to get rid of Peter for good.
+['Animation', 'Family', 'Adventure', 'Fantasy']
+vote_average: 7.2
+https://image.tmdb.org/t/p/original/fJJOs1iyrhKfZceANxoPxPwNGF1.jpg
+*****7*****
+Titanic
+101-year-old Rose DeWitt Bukater tells the story of her life aboard the Titanic, 84 years later. A young Rose boards the ship with her mother and fiancé. Meanwhile, Jack Dawson and Fabrizio De Rossi win third-class tickets aboard the ship. Rose tells the whole story from Titanic's departure through to its death—on its first and last voyage—on April 15, 1912.
+['Drama', 'Romance']
+vote_average: 7.9
+https://image.tmdb.org/t/p/original/9xjZS2rlVxm8SFx8kPC3aIGCOYQ.jpg
+*****8*****
+The Nutcracker and the Four Realms
+When Clara’s mother leaves her a mysterious gift, she embarks on a journey to four secret realms—where she discovers her greatest strength could change the world.
+['Fantasy', 'Adventure', 'Family']
+vote_average: 6.1
+https://image.tmdb.org/t/p/original/9vPDY8e7YxLwgVum7YZIUJbr4qc.jpg
+*****9*****
+Pete's Dragon
+For years, old wood carver Mr. Meacham has delighted local children with his tales of the fierce dragon that resides deep in the woods of the Pacific Northwest. To his daughter, Grace, who works as a forest ranger, these stories are little more than tall tales... until she meets Pete, a mysterious 10-year-old with no family and no home who claims to live in the woods with a giant, green dragon named Elliott. And from Pete's descriptions, Elliott seems remarkably similar to the dragon from Mr. Meacham's stories. With the help of Natalie, an 11-year-old girl whose father Jack owns the local lumber mill, Grace sets out to determine where Pete came from, where he belongs, and the truth about this dragon.
+['Adventure', 'Family', 'Fantasy']
+vote_average: 6.4
+https://image.tmdb.org/t/p/original/6TwrPngfpbwtVH6UsDfVNUnn3ms.jpg
+*****10*****
+The Chronicles of Narnia: Prince Caspian
+One year after their incredible adventures in the Lion, the Witch and the Wardrobe, Peter, Edmund, Lucy and Susan Pevensie return to Narnia to aid a young prince whose life has been threatened by the evil King Miraz. Now, with the help of a colorful cast of new characters, including Trufflehunter the badger and Nikabrik the dwarf, the Pevensie clan embarks on an incredible quest to ensure that Narnia is returned to its rightful heir.
+['Adventure', 'Family', 'Fantasy']
+vote_average: 6.6
+https://image.tmdb.org/t/p/original/qxz3WIyjZiSKUhaTIEJ3c1GcC9z.jpg
+*****11*****
+One Piece: Chopper's Kingdom on the Island of Strange Animals
+As the Straw Hat Pirates sail through the Grand Line.A line of geysers erupted from under the Going Merry. And the whole crew find themselves flying over the island. Unfortunatly, Chopper fell off the ship and was separated from his friends. Luffy and the others landed on the other side of the island. Chopper meanwhile finds himself being worshiped as the island's new king by the animals. To make matters worse, a trio of human "horn" hunters are on the island. The leader, Count Butler is a violin playing/horn eating human who wants to eat the island's treasure to inherit immense power. Will Luffy & the rest be able to prevent the count from terrorizing the island? And will they be able to convince Momambi that not all pirates are bad?
+['Action', 'Animation', 'Adventure']
+vote_average: 6.6
+https://image.tmdb.org/t/p/original/8uzFccR8F3h7tC9zfIOT063r91N.jpg
+*****12*****
+The Ewok Adventure
+The Towani family civilian shuttlecraft crashes on the forest moon of Endor. The four Towani's are separated. Jermitt and Catarine, the mother and father are captured by the giant Gorax, and Mace and Cindel, the son and daughter, are missing when they are captured. The next day, the Ewok Deej is looking for his two sons when they find Cindel all alone in the shuttle (Mace and Cindel were looking for the transmitter to send a distress call), when Mace appears with his emergency blaster. Eventually, the four-year old Cindel is able to convince the teenage Mace that the Ewoks are nice. Then, the Ewoks and the Towani's go on an adventure to find the elder Towanis.
+['Adventure', 'Family', 'Fantasy', 'Science Fiction', 'TV Movie']
+vote_average: 6.0
+https://image.tmdb.org/t/p/original/lP7FIxojVrgWsam9efElk5ba3I5.jpg
+*****13*****
+Doraemon: Nobita and the Tin Labyrinth
+Nobita's dad stumbled upon a strange advertisement of a fantastic resort on television at midnight. Sleepy as he was, he made a reservation even though he didn't even realize he was talking to the advertisement. The next day he discussed with the family their holiday plans, only to realize he could not find the place anywhere on earth. All of a sudden though there was a suitcase in Nobita's room and intrigued as he was, he opened it only to find a portal to a beautiful resort managed by tin robots. Better still, it's absolutely free. It seems that there is a hidden agenda behind the person who invites them there.
+['Adventure', 'Animation']
+vote_average: 7.3
+https://image.tmdb.org/t/p/original/bkIR641RQyqk7hBlk0hui70dkz9.jpg
+*****14*****
+Barbie & Her Sisters in the Great Puppy Adventure
+Barbie and her sisters, Skipper, Stacie and Chelsea, and their adorable new puppy friends find unexpected mystery and adventure when they return to their hometown of Willows. While going through mementos in Grandma's attic, the sisters discover an old map, believed to lead to a long-lost treasure buried somewhere in the town. With their puppy pals in tow, the four girls go on an exciting treasure hunt, along the way discovering that the greatest treasure of all is the love and laughter they share as sisters!
+['Family', 'Animation', 'Adventure']
+vote_average: 7.3
+https://image.tmdb.org/t/p/original/3ybjPWweUjPXXqIXFERgPnOQ5O3.jpg
+*****15*****
+Tinker Bell and the Lost Treasure
+A blue harvest moon will rise, allowing the fairies to use a precious moonstone to restore the Pixie Dust Tree, the source of all their magic. But when Tinker Bell accidentally puts all of Pixie Hollow in jeopardy, she must venture out across the sea on a secret quest to set things right.
+['Animation', 'Family', 'Adventure', 'Fantasy']
+vote_average: 6.7
+https://image.tmdb.org/t/p/original/hg1959yuBkHb4BKbIvETQSfxGCT.jpg
+*****16*****
+Barbie and the Diamond Castle
+Liana and Alexa (Barbie and Teresa) are best friends who share everything, including their love of singing. One day while walking through the forest home from the village, the girls meet an old beggar who gives them a magical mirror. As they clean the mirror and sing, a musical apprentice muse named Melody appears in the mirror's surface, and tells the girls about the secret of the Diamond Castle.
+['Animation', 'Family']
+vote_average: 7.4
+https://image.tmdb.org/t/p/original/dvjFM3GgYm3gDZ6Ulw0JurDYs4r.jpg
+*****17*****
+Doraemon: New Nobita's Great Demon – Peko and the Exploration Party of Five
+The film starts with Gian seeing some like spirit and it asks him to accomplish a task. The story starts when a stray dogs are searching some foods in the can. Then a dirty white dog comes out of nowhere. Just then, the dog creates a close stare to the stray dogs and forces to run away. But the dog is disappointed that he doesn't know what to do after searching the garbage, under the pouring rain. After that, Suneo starts saying about the discoverable places on Earth and him and Gian are totally disappointed about that. That then, they are asking favor to Nobita to take them to an undiscovered place to be seen by their naked eyes. Nobita refuses but tells he will try his best. He comes to upstairs to explain Doraemon what the problem is now.
+['Family', 'Animation', 'Adventure']
+vote_average: 7.0
+https://image.tmdb.org/t/p/original/1XxnaUvLuAlfSWEqravAfSiCaFj.jpg
+*****18*****
+The Wolf and the Lion
+After her grandfather's death, 20-year-old Alma decides to go back to her childhood home - a little island in the heart of the majestic Canadian forest. Whilst there, she rescues two helpless cubs: a wolf and a lion. They forge an inseparable bond, but their world soon collapses as the forest ranger discovers the animals and takes them away. The two cub brothers must now embark on a treacherous journey across Canada to be reunited with one another and Alma once more.
+['Adventure', 'Family']
+vote_average: 7.2
+https://image.tmdb.org/t/p/original/aSRvK4kLJORBrVdlFn2wrGx8XPv.jpg
+*****19*****
+Tinker Bell and the Legend of the NeverBeast
+An ancient myth of a massive creature sparks the curiosity of Tinker Bell and her good friend Fawn, an animal fairy who’s not afraid to break the rules to help an animal in need. But this creature is not welcome in Pixie Hollow — and the scout fairies are determined to capture the mysterious beast, who they fear will destroy their home. Fawn must convince her fairy friends to risk everything to rescue the NeverBeast.
+['Adventure', 'Animation', 'Family']
+vote_average: 7.1
+https://image.tmdb.org/t/p/original/bUGX7duQWSm04yAA1rBBfNRe4kY.jpg
+```
+
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/agents/recipes/personalization-agent-get-started-recipes.md b/i18n/ja/docusaurus-plugin-content-docs/current/agents/recipes/personalization-agent-get-started-recipes.md
new file mode 100644
index 000000000..fd5874f79
--- /dev/null
+++ b/i18n/ja/docusaurus-plugin-content-docs/current/agents/recipes/personalization-agent-get-started-recipes.md
@@ -0,0 +1,419 @@
+---
+layout: recipe
+colab: https://colab.research.google.com/github/weaviate/recipes/blob/main/weaviate-services/agents/personalization-agent-get-started-recipes.ipynb
+toc: True
+title: "Weaviate パーソナライズ エージェントの構築 - フードレコメンダー"
+featured: False
+integration: False
+agent: True
+tags: ['Personalization Agent']
+---
+
+
+
+
+このレシピでは、Weaviate の新しい `PersonalizationAgent` を使用し、ユーザーごとにパーソナライズされた方法で Weaviate コレクションからオブジェクトを取得します。この新しいエージェント方式の取得は、ユーザーのペルソナ プロファイルとこれまでのコレクションとのやり取りに基づいて行われます。
+
+> 📚 `PersonalizationAgent` の使い方の詳細は、弊社ブログ「[Introducing the Weaviate Personalization Agent](https://weaviate.io/blog/personalization-agent?utm_source=recipe&utm_campaign=agents)」および[ドキュメント](https://docs.weaviate.io/agents/personalization)をご覧ください。
+
+すぐに試せるように、Hugging Face datasets 🤗 にいくつかのデモデータセットを用意しました。
+- [Recipes](https://huggingface.co/datasets/weaviate/agents/viewer/personalization-agent-recipes): 料理名、短い説明、料理の種類を含むデータセット
+- [Movies](https://huggingface.co/datasets/weaviate/agents/viewer/personalization-agent-movies): 映画、評価、オリジナル言語などを含むデータセット
+
+本例では、Recipes データセットを使用してフード レコメンダー サービスを作成します。
+
+```python
+!pip install 'weaviate-client[agents]' datasets
+```
+
+## Weaviate のセットアップとデータのインポート
+
+Weaviate Personalization Agent を使うには、まず [Weaviate Cloud](tps://weaviate.io/deployment/serverless?utm_source=recipe&utm_campaign=agents) アカウントを作成してください👇
+1. [Serverless Weaviate Cloud アカウント](https://weaviate.io/deployment/serverless?utm_source=recipe&utm_campaign=agents)を作成し、無料の [Sandbox](https://docs.weaviate.io/cloud/manage-clusters/create#sandbox-clusters?utm_source=recipe&utm_campaign=agents) をセットアップします
+2. 「Embedding」に移動して有効化します。デフォルトでは `Snowflake/snowflake-arctic-embed-l-v2.0` が埋め込みモデルとして使用されます
+3. クラスターに接続するため `WEAVIATE_URL` と `WEAVIATE_API_KEY` を控えておきます
+
+> Info: 外部埋め込みプロバイダー用の追加キーを用意する必要がないため、[Weaviate Embeddings](https://docs.weaviate.io/weaviate/model-providers/weaviate) の使用を推奨します。
+
+```python
+import os
+
+import weaviate
+from weaviate.auth import Auth
+from getpass import getpass
+
+if "WEAVIATE_API_KEY" not in os.environ:
+ os.environ["WEAVIATE_API_KEY"] = getpass("Weaviate API Key")
+if "WEAVIATE_URL" not in os.environ:
+ os.environ["WEAVIATE_URL"] = getpass("Weaviate URL")
+
+client = weaviate.connect_to_weaviate_cloud(
+ cluster_url=os.environ.get("WEAVIATE_URL"),
+ auth_credentials=Auth.api_key(os.environ.get("WEAVIATE_API_KEY")),
+)
+```
+
+### 新しいコレクションの作成
+
+次に、Weaviate に "Recipes" という名前の新しいコレクションを作成します。Weaviate のエージェントサービスでは、コレクション内プロパティの説明を含めることが推奨されます。これらの説明はエージェントによって利用されます。
+
+```python
+from weaviate.classes.config import Configure, DataType, Property
+
+# if client.collections.exists("Recipes"):
+# client.collections.delete("Recipes")
+
+client.collections.create(
+ "Recipes",
+ description="A dataset that lists recipes with titles, desctiptions, and labels indicating cuisine",
+ vector_config=Configure.Vectors.text2vec_weaviate(),
+ properties=[
+ Property(
+ name="title", data_type=DataType.TEXT, description="title of the recipe"
+ ),
+ Property(
+ name="labels",
+ data_type=DataType.TEXT,
+ description="the cuisine the recipe belongs to",
+ ),
+ Property(
+ name="description",
+ data_type=DataType.TEXT,
+ description="short description of the recipe",
+ ),
+ ],
+)
+```
+
+```python
+from datasets import load_dataset
+
+dataset = load_dataset("weaviate/agents", "personalization-agent-recipes", split="train", streaming=True)
+
+recipes_collection = client.collections.use("Recipes")
+
+with recipes_collection.batch.dynamic() as batch:
+ for item in dataset:
+ batch.add_object(properties=item["properties"])
+
+```
+
+## パーソナライズ エージェントの作成
+
+以下では `"Recipes"` コレクションの `PersonalizationAgent` を作成します。すでにこのコレクション用のエージェントが存在する場合は、単に接続するだけです。
+
+新しく `PersonalizationAgent` を作成する際、任意で `user_properties` を定義できます。
+
+ユーザープロパティは、エージェントに追加されるユーザーに関する有用な情報なら何でも構いません。今回はフード レコメンダー サービスを作成するため、各ペルソナに `favorite_cuisines`、`likes`、`dislikes` を追加することにします。
+
+```python
+from weaviate.agents.personalization import PersonalizationAgent
+
+if PersonalizationAgent.exists(client, "Recipes"):
+ agent = PersonalizationAgent.connect(
+ client=client,
+ reference_collection="Recipes",
+ )
+else:
+ agent = PersonalizationAgent.create(
+ client=client,
+ reference_collection="Recipes",
+ user_properties={
+ "favorite_cuisines": DataType.TEXT_ARRAY,
+ "likes": DataType.TEXT_ARRAY,
+ "dislikes": DataType.TEXT_ARRAY
+ },
+ )
+
+```
+
+### 新規ペルソナの追加
+
+`add_persona` を使って新しいユーザーを追加でき、その際に先ほど定義したユーザープロパティを指定します。お好みで下のコードブロックを自身の情報に変更して試してみてください👇
+
+```python
+from uuid import uuid4
+from weaviate.agents.classes import Persona, PersonaInteraction
+
+persona_id = uuid4()
+agent.add_persona(
+ Persona(
+ persona_id=persona_id,
+ properties={
+ "favorite_cuisines": ["Italian", "Thai"],
+ "likes": ["chocolate", "salmon", "pasta", "most veggies"],
+ "dislikes": ["okra", "mushroom"],
+ },
+ )
+)
+```
+
+```python
+agent.get_persona(persona_id)
+
+```
+
+Python output:
+```text
+Persona(persona_id=UUID('df987437-4d10-44d6-b613-dfff31f715fb'), properties={'favorite_cuisines': ['Italian', 'Thai'], 'dislikes': ['okra', 'mushroom'], 'allergies': None, 'likes': ['chocolate', 'salmon', 'pasta', 'most veggies']})
+```
+
+### インタラクションの追加
+
+少なくとも 1 つのペルソナを作成したら、そのペルソナに対するインタラクションを追加できます。フード レコメンダー サービスの場合、ペルソナの食事レビューを追加するのが理にかなっています。
+
+各インタラクションには -1.0（ネガティブ）から 1.0（ポジティブ）までの重みを設定できます。以下では、いくつかの料理に対するレビューを追加してみましょう。
+
+どのようなエンドアプリケーションがこれらのインタラクションを送信するか、また各重みが何を表すのかをルール化しておくと良いでしょう。例えばレシピサイトを想定すると:
+- 1.0: お気に入りの料理
+- 0.8: 料理を気に入った
+- 0.5: レシピページを閲覧した
+- -0.5: 料理が好みではない
+- -1.0: 料理を完全に嫌った 👎
+
+```python
+from uuid import UUID
+from weaviate.collections.classes.filters import Filter
+
+reviewed_foods = [
+ "Coq au Vin",
+ "Chicken Tikka Masala",
+ "Gnocchi alla Sorrentina",
+ "Matcha Ice Cream",
+ "Fiorentina Steak",
+ "Nabe",
+ "Duck Confit",
+ "Pappardelle with Porcini"
+]
+
+reviews_dict = {
+ recipe.properties["title"]: recipe
+ for recipe in recipes_collection.query.fetch_objects(
+ filters=Filter.by_property("title").contains_any(reviewed_foods), limit=20
+ ).objects
+}
+
+interactions = [
+ PersonaInteraction(
+ persona_id=persona_id, item_id=reviews_dict["Coq au Vin"].uuid, weight=0.8
+ ),
+ PersonaInteraction(
+ persona_id=persona_id, item_id=reviews_dict["Chicken Tikka Masala"].uuid, weight=0.8
+ ),
+ PersonaInteraction(
+ persona_id=persona_id, item_id=reviews_dict["Matcha Ice Cream"].uuid, weight=0.8
+ ),
+ PersonaInteraction(
+ persona_id=persona_id, item_id=reviews_dict["Gnocchi alla Sorrentina"].uuid, weight=0.5
+ ),
+ PersonaInteraction(
+ persona_id=persona_id, item_id=reviews_dict["Fiorentina Steak"].uuid, weight=0.8
+ ),
+ PersonaInteraction(
+ persona_id=persona_id, item_id=reviews_dict["Nabe"].uuid, weight=0.5
+ ),
+ PersonaInteraction(
+ persona_id=persona_id, item_id=reviews_dict["Duck Confit"].uuid, weight=1.0
+ ),
+ PersonaInteraction(
+ persona_id=persona_id, item_id=reviews_dict["Pappardelle with Porcini"].uuid, weight=-1.0
+ ),
+
+]
+```
+
+```python
+agent.add_interactions(interactions=interactions)
+```
+
+## レコメンデーションと根拠の取得
+
+ペルソナとそのインタラクションを用意できたので、`get_objects` でエージェントからオブジェクトを推薦してもらいましょう。ここでは `use_agent_ranking` を設定するかどうかの 2 通りがあります。
+
+`use_agent_ranking` を使用しない場合、返却されたオブジェクトは従来の機械学習クラスタリングでランク付けされます。一方、使用する場合は、LLM による追加の再ランキングが行われ、任意の `instruction` も渡せます。
+
+エージェント ランキングを使用すると、下記のように `ranking_rationale` でランキングの根拠も確認できます👇
+
+```python
+response = agent.get_objects(persona_id, limit=25, use_agent_ranking=True)
+
+print(response.ranking_rationale)
+for i, obj in enumerate(response.objects):
+ print(f"*****{i}*****")
+ print(obj.properties["title"])
+ print(obj.properties["description"])
+ print(obj.properties["labels"])
+```
+
+Python output:
+```text
+Based on your love for Italian cuisine and positive interactions with dishes like Gnocchi alla Sorrentina and Fiorentina Steak, Italian dishes like Frittata di Zucca e Pancetta and Classic Italian Margherita Pizza are highlighted. Your fondness for Chicken Tikka Masala also brought Indian dishes such as Spicy Indian Tikka Masala forward. Although you enjoyed Coq au Vin, the included mushrooms might not be to your liking, which is reflected in a balanced way within French dishes.
+*****0*****
+Frittata di Zucca e Pancetta
+A fluffy egg omelette with sweet potatoes and pancetta, seasoned with herbs and grated cheese, a beloved dish from the heart of Italy.
+Italian
+*****1*****
+Pizza Margherita
+A simple yet iconic pizza with San Marzano tomatoes, mozzarella di bufala, fresh basil, and extra-virgin olive oil, encapsulating the Neapolitan pizza tradition.
+Italian
+*****2*****
+Lasagna alla Bolognese
+Layers of pasta sheets, Bolognese sauce, and béchamel, all baked to golden perfection, embodying the comforting flavors of Emilia-Romagna.
+Italian
+*****3*****
+Lasagna alla Bolognese
+Layers of flat pasta sheets, rich Bolognese sauce, and béchamel, baked to perfection.
+Italian
+*****4*****
+Spicy Indian Tikka Masala
+A rich tomato and cream sauce with chunks of chicken, covered in a fiery blend of spices and charred chunks of chicken.
+Indian
+*****5*****
+Classic Italian Margherita Pizza
+Thin crust pizza topped with San Marzano tomatoes, fresh mozzarella, basil, and extra-virgin olive oil, representing the simplicity of Italian cuisine.
+Italian
+*****6*****
+Chicken Tikka Masala
+Marinated chicken drumsticks grilled on a spit and then simmered in a spicy tomato sauce with cream, a popular dish in Indian cuisine.
+Indian
+*****7*****
+Butter Chicken
+A creamy and aromatic tomato sauce with tender chunks of chicken, marinated in a blend of spices and cooked with yogurt and cream, often served with rice or naan bread.
+Indian
+*****8*****
+French Coq au Vin
+A hearty stew of chicken braised with wine, mushrooms, and garlic, capturing the essence of French country cooking.
+French
+*****9*****
+Sicilian Arancini
+Deep-fried balls of risotto mixed with cheese and peas, coated with breadcrumbs and Parmesan cheese.
+Italian
+*****10*****
+Ramen
+A noodle soup dish with Chinese influences, typically containing Chinese-style noodles served in a meat or fish-based broth, often flavored with soy sauce or miso, and uses toppings such as sliced pork, green onions, and nori.
+Japanese
+*****11*****
+Oden
+A hearty Japanese hotpot dish made with simmered fish cakes, tofu, konnyaku, and vegetables, in a dashi-based broth.
+Japanese
+*****12*****
+Shabu-Shabu
+A Japanese hot pot dish where thinly sliced meat and vegetables are cooked in boiling water at the table.
+Japanese
+*****13*****
+Tempura
+A Japanese dish usually made with seafood, vegetables, and sometimes meat, battered and deep-fried until crisp.
+Japanese
+*****14*****
+Oden
+A Japanese stew containing fish cakes, daikon radish, konnyaku, tofu, and boiled eggs, typically flavored with miso or dashi broth.
+Japanese
+*****15*****
+Tandoori Chicken
+Marinated in yogurt and spices, then cooked in a tandoor (clay oven), resulting in a tangy and spicy chicken dish.
+Indian
+*****16*****
+Beef Bourguignon
+A flavorful beef stew cooked slowly in red wine, beef broth, and a bouquet garni, with carrots, onions, and mushrooms, typically served with potatoes or noodles.
+French
+*****17*****
+Pizza Margherita
+Simple pizza with San Marzano tomatoes, fresh mozzarella, basil, and extra-virgin olive oil, reflecting the colors of the Italian flag.
+Italian
+*****18*****
+Butter Chicken
+Soft and tender pieces of chicken in a rich and creamy sauce made with butter, tomatoes, and a blend of Indian spices.
+Indian
+*****19*****
+Chicken Biryani
+A flavorful rice dish cooked with basmati rice, chicken, and a mix of aromatic spices such as cardamom, cinnamon, and cloves, layered with meat and vegetables.
+Indian
+*****20*****
+Milanesa a la Napolitana
+A breaded cutlet, typically veal, topped with melted cheese and tomato sauce, a popular street food item.
+Argentinian
+*****21*****
+Tempura Udon
+Thick udon noodles served with crispy tempura shrimp and vegetables, lightly coated in a dashi-based sauce for a delicate taste.
+Japanese
+*****22*****
+Miso Soup
+A traditional Japanese soup consisting of a stock called dashi into which softened miso paste is mixed, often with pieces of tofu and seaweed.
+Japanese
+*****23*****
+Udon Noodles
+A type of thick wheat flour noodle common in Japanese cuisine, served hot or cold with a dipping sauce.
+Japanese
+*****24*****
+Pappardelle with Porcini
+Thick wide ribbons of pasta served with a creamy porcini mushroom sauce and grated Parmesan cheese.
+Italian
+```
+
+### instructions 付きレコメンデーションの取得
+
+オプションとして、エージェントに instruction を与えることもできます。これにより、エージェント LLM がどのような推薦を行うべきかについて、より多くの文脈を得られます。
+
+また、初期ランキングの件数を多めに設定し、その後エージェント ランキングで絞り込むと良い場合もあります。以下ではその例を示します👇
+
+```python
+response = agent.get_objects(persona_id,
+ limit=50,
+ use_agent_ranking=True,
+ instruction="""Your task is to recommend a diverse set of dishes to the user
+ taking into account their likes and dislikes. It's especially important to avoid their dislikes.""",
+)
+
+print(response.ranking_rationale)
+for i, obj in enumerate(response.objects[:10]):
+ print(f"*****{i}*****")
+ print(obj.properties["title"])
+ print(obj.properties["description"])
+ print(obj.properties["labels"])
+```
+
+Python output:
+```text
+As you love Italian cuisine and have a special liking for foods like pasta and salmon, while disliking mushrooms, we've focused on offering you a variety of Italian and other delightful dishes without mushroom content. We've also incorporated a touch of diversity with dishes from other cuisines you enjoy, while carefully avoiding those with ingredients you dislike.
+*****0*****
+Chicken Tikka Masala
+Marinated chicken drumsticks grilled on a spit and then simmered in a spicy tomato sauce with cream, a popular dish in Indian cuisine.
+Indian
+*****1*****
+Pasta alla Norma
+Pasta served with fried eggplant, tomato sauce, and ricotta salata, a flavorful dish that showcases the vibrant flavors of Sicilian cuisine.
+Italian
+*****2*****
+Classic Italian Margherita Pizza
+Thin crust pizza topped with San Marzano tomatoes, fresh mozzarella, basil, and extra-virgin olive oil, representing the simplicity of Italian cuisine.
+Italian
+*****3*****
+Pizza Margherita
+Simple pizza with San Marzano tomatoes, fresh mozzarella, basil, and extra-virgin olive oil, reflecting the colors of the Italian flag.
+Italian
+*****4*****
+Spicy Indian Tikka Masala
+A rich tomato and cream sauce with chunks of chicken, covered in a fiery blend of spices and charred chunks of chicken.
+Indian
+*****5*****
+Lasagna alla Bolognese
+Layers of flat pasta sheets, rich Bolognese sauce, and béchamel, baked to perfection.
+Italian
+*****6*****
+Fettuccine Alfredo
+Creamy pasta dish made with fettuccine pasta tossed in a rich sauce of butter, heavy cream, and Parmesan cheese.
+Italian
+*****7*****
+Sicilian Arancini
+Deep-fried balls of risotto mixed with cheese and peas, coated with breadcrumbs and Parmesan cheese.
+Italian
+*****8*****
+Frittata di Zucca e Pancetta
+A fluffy egg omelette with sweet potatoes and pancetta, seasoned with herbs and grated cheese, a beloved dish from the heart of Italy.
+Italian
+*****9*****
+Paneer Tikka
+Small cubes of paneer marinated in spices and yogurt, then grilled and served in a spicy tomato sauce.
+Indian
+```
+
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/agents/recipes/query-agent-get-started.md b/i18n/ja/docusaurus-plugin-content-docs/current/agents/recipes/query-agent-get-started.md
new file mode 100644
index 000000000..76477165c
--- /dev/null
+++ b/i18n/ja/docusaurus-plugin-content-docs/current/agents/recipes/query-agent-get-started.md
@@ -0,0 +1,586 @@
+---
+layout: recipe
+colab: https://colab.research.google.com/github/weaviate/recipes/blob/main/weaviate-services/agents/query-agent-get-started.ipynb
+toc: True
+title: "Weaviate Query Agent を構築する – E コマースアシスタント"
+featured: True
+integration: False
+agent: True
+tags: ['Query Agent']
+---
+
+
+
+
+このレシピでは、[Weaviate Query Agent](https://docs.weaviate.io/agents) を使ってシンプルな E コマースアシスタント エージェントを構築します。エージェントは複数の Weaviate コレクションへアクセスでき、各コレクションの情報を利用してブランドや衣類アイテムに関する複雑な質問に回答します。
+
+> 📚 本サービスの詳細はブログ「[Introducing the Weaviate Query Agent](https://weaviate.io/blog/query-agent)」をご覧ください。
+
+まず、Hugging Face で公開されているオープンデータセットを用意しています。最初のステップとして、Weaviate Cloud のコレクションにデータを投入する方法を説明します。
+
+- [**E-commerce**](https://huggingface.co/datasets/weaviate/agents/viewer/query-agent-ecommerce): 衣類アイテム、価格、ブランド、レビューなどを含むデータセット
+- [**Brands**](https://huggingface.co/datasets/weaviate/agents/viewer/query-agent-brands): 親ブランド・子ブランド、平均カスタマーレーティングなどブランド情報を含むデータセット
+
+加えて、今回のレシピ内で他のエージェントに機能や多様性を持たせる際に使用できる、無関係なデータセットも用意しています。
+
+- [**Financial Contracts**](https://huggingface.co/datasets/weaviate/agents/viewer/query-agent-financial-contracts): 個人または企業間の金融契約、契約タイプや作成者情報を含むデータセット
+- [**Weather**](https://huggingface.co/datasets/weaviate/agents/viewer/query-agent-weather): 気温、風速、降水量、気圧などの日次気象情報
+
+## 1. Weaviate のセットアップとデータのインポート
+
+Weaviate Query Agent を使用するには、まず [Weaviate Cloud](https://weaviate.io/deployment/serverless) アカウントを作成します👇
+1. [Serverless Weaviate Cloud アカウントを作成](https://weaviate.io/deployment/serverless)し、無料の [Sandbox](https://docs.weaviate.io/cloud/manage-clusters/create#sandbox-clusters) をセットアップ
+2. 「Embedding」セクションで有効化します。デフォルトでは `Snowflake/snowflake-arctic-embed-l-v2.0` が埋め込みモデルとして使用されます。
+3. クラスター接続用に `WEAVIATE_URL` と `WEAVIATE_API_KEY` を控えておきます。
+
+> Info: 外部埋め込みプロバイダーのキーを追加する必要がないため、[Weaviate Embeddings](https://docs.weaviate.io/weaviate/model-providers/weaviate) の利用を推奨します。
+
+```python
+!pip install weaviate-client[agents] datasets
+```
+
+```python
+import os
+from getpass import getpass
+
+if "WEAVIATE_API_KEY" not in os.environ:
+ os.environ["WEAVIATE_API_KEY"] = getpass("Weaviate API Key")
+if "WEAVIATE_URL" not in os.environ:
+ os.environ["WEAVIATE_URL"] = getpass("Weaviate URL")
+```
+
+```python
+import weaviate
+from weaviate.auth import Auth
+
+client = weaviate.connect_to_weaviate_cloud(
+ cluster_url=os.environ.get("WEAVIATE_URL"),
+ auth_credentials=Auth.api_key(os.environ.get("WEAVIATE_API_KEY")),
+)
+```
+
+### コレクションの準備
+
+以下のコードでは、デモデータセットを Hugging Face から取得し、Weaviate Serverless クラスターに新しいコレクションとして書き込みます。
+
+> ❗️ `QueryAgent` は、クエリを解決する際に使用するコレクションやプロパティを決定するため、またプロパティの詳細情報にアクセスするために、コレクションおよびプロパティの説明を利用します。説明を変更したり、詳細を追加したりといった実験を行うと良いでしょう。例えば下記では、価格がすべて USD であることを `QueryAgent` に伝えています。これは説明がなければ得られない情報です。
+
+```python
+from weaviate.classes.config import Configure, Property, DataType
+
+# To re-run cell you may have to delete collections
+# client.collections.delete("Brands")
+client.collections.create(
+ "Brands",
+ description="A dataset that lists information about clothing brands, their parent companies, average rating and more.",
+ vector_config=Configure.Vectors.text2vec_weaviate()
+)
+
+# client.collections.delete("Ecommerce")
+client.collections.create(
+ "Ecommerce",
+ description="A dataset that lists clothing items, their brands, prices, and more.",
+ vector_config=Configure.Vectors.text2vec_weaviate(),
+ properties=[
+ Property(name="collection", data_type=DataType.TEXT),
+ Property(name="category", data_type=DataType.TEXT),
+ Property(name="tags", data_type=DataType.TEXT_ARRAY),
+ Property(name="subcategory", data_type=DataType.TEXT),
+ Property(name="name", data_type=DataType.TEXT),
+ Property(name="description", data_type=DataType.TEXT),
+ Property(name="brand", data_type=DataType.TEXT),
+ Property(name="product_id", data_type=DataType.UUID),
+ Property(name="colors", data_type=DataType.TEXT_ARRAY),
+ Property(name="reviews", data_type=DataType.TEXT_ARRAY),
+ Property(name="image_url", data_type=DataType.TEXT),
+ Property(name="price", data_type=DataType.NUMBER, description="price of item in USD"),
+ ]
+)
+
+# client.collections.delete("Weather")
+client.collections.create(
+ "Weather",
+ description="Daily weather information including temperature, wind speed, percipitation, pressure etc.",
+ vector_config=Configure.Vectors.text2vec_weaviate(),
+ properties=[
+ Property(name="date", data_type=DataType.DATE),
+ Property(name="humidity", data_type=DataType.NUMBER),
+ Property(name="precipitation", data_type=DataType.NUMBER),
+ Property(name="wind_speed", data_type=DataType.NUMBER),
+ Property(name="visibility", data_type=DataType.NUMBER),
+ Property(name="pressure", data_type=DataType.NUMBER),
+ Property(name="temperature", data_type=DataType.NUMBER, description="temperature value in Celsius")
+ ]
+)
+
+# client.collections.delete("Financial_contracts")
+client.collections.create(
+ "Financial_contracts",
+ description="A dataset of financial contracts between indivicuals and/or companies, as well as information on the type of contract and who has authored them.",
+ vector_config=Configure.Vectors.text2vec_weaviate(),
+)
+```
+
+```python
+from datasets import load_dataset
+
+brands_dataset = load_dataset("weaviate/agents", "query-agent-brands", split="train", streaming=True)
+ecommerce_dataset = load_dataset("weaviate/agents", "query-agent-ecommerce", split="train", streaming=True)
+weather_dataset = load_dataset("weaviate/agents", "query-agent-weather", split="train", streaming=True)
+financial_dataset = load_dataset("weaviate/agents", "query-agent-financial-contracts", split="train", streaming=True)
+
+brands_collection = client.collections.use("Brands")
+ecommerce_collection = client.collections.use("Ecommerce")
+weather_collection = client.collections.use("Weather")
+financial_collection = client.collections.use("Financial_contracts")
+
+with brands_collection.batch.dynamic() as batch:
+ for item in brands_dataset:
+ batch.add_object(properties=item["properties"])
+
+with ecommerce_collection.batch.dynamic() as batch:
+ for item in ecommerce_dataset:
+ batch.add_object(properties=item["properties"])
+
+with weather_collection.batch.dynamic() as batch:
+ for item in weather_dataset:
+ batch.add_object(properties=item["properties"])
+
+with financial_collection.batch.dynamic() as batch:
+ for item in financial_dataset:
+ batch.add_object(properties=item["properties"])
+```
+
+## 2. Query Agent のセットアップ
+
+Query Agent を設定する際には、以下を渡す必要があります。
+- `client`
+- エージェントにアクセスさせたい `collection`
+- （オプション）エージェントの振る舞いを説明する `system_prompt`
+- （オプション）タイムアウト（デフォルトは 60 秒）
+
+まずはシンプルなエージェントを作成しましょう。ここでは `Brands` と `Ecommerce` の両データセットにアクセスできる `agent` を作成しています。
+
+```python
+from weaviate.agents.query import QueryAgent
+
+agent = QueryAgent(
+ client=client, collections=["Ecommerce", "Brands"],
+)
+```
+
+## 3. Query Agent を実行する
+
+エージェントを実行すると、クエリに応じて以下の判断を行います。
+
+1. どのコレクションを参照するか
+2. 通常の ***検索クエリ***、使用する ***フィルター***、***集約クエリ*** を行うかどうか、またはそれらを組み合わせるか
+3. その後、**`QueryAgentResponse`** 内で応答を返します。`print_query_agent_response` 関数を用いて、レスポンスオブジェクトに含まれる各情報をわかりやすく表示します。
+
+### 質問してみる
+**まずはシンプルな質問から始めましょう: 「ヴィンテージの服が好きです。200ドル未満のアイテムをいくつか教えてくれますか？」**
+
+エージェントがどのように回答し、どのコレクションでどのような検索を行ったか、最終回答に不足情報があるかどうかなどを確認できます👇
+
+```python
+from weaviate.agents.utils import print_query_agent_response
+
+response = agent.run("I like the vintage clothes, can you list me some options that are less than $200?")
+print_query_agent_response(response)
+```
+
+
+
+
+このレシピでは、Weaviate の [`TransformationAgent`](https://docs.weaviate.io/agents/transformation) を使用して、Weaviate 内のデータを強化します。研究論文のタイトルとアブストラクトを含むコレクションにアクセスできるエージェントを構築し、そのエージェントを使ってコレクション内の各オブジェクトに追加プロパティを作成します。
+
+> ⚠️ Weaviate Transformation エージェントは、Weaviate 内のデータをインプレースで変更するよう設計されています。**技術プレビュー期間中は、本番環境での使用は避けてください。** エージェントが期待どおりに動作しない場合や、Weaviate インスタンス内のデータが予期せず変更される可能性があります。
+
+`TransformationAgent` は、任意の Weaviate コレクションにアクセスし、その中のオブジェクトに対して操作を実行できます。ただし、各操作は自然言語で定義できます。エージェントは LLM を使用して指示を実行します。
+
+> 📚 新しい `TransformationAgent` について詳しくは、併せてお読みいただけるブログ記事「[Introducing the Weaviate Transformation Agent](https://weaviate.io/blog/transformation-agent)」をご覧ください。
+
+まずは Hugging Face に公開されているオープンデータセットを用意しました。最初のステップとして、Weaviate Cloud のコレクションをどのように埋め込むかを説明します。
+
+- [**ArxivPapers:**](https://huggingface.co/datasets/weaviate/agents/viewer/query-agent-ecommerce) 研究論文のタイトルとアブストラクトをまとめたデータセットです。
+
+他のデータセットでさらにエージェントを試したい場合は、[Hugging Face Weaviate agents dataset](https://huggingface.co/datasets/weaviate/agents) にあるデモデータセット一覧をご覧ください。
+
+## Weaviate のセットアップとデータのインポート
+
+Weaviate Transformation エージェントを使用するには、まず [Weaviate Cloud](https://weaviate.io/deployment/serverless) アカウントを作成します👇
+1. [Serverless Weaviate Cloud アカウントの作成](https://weaviate.io/deployment/serverless) と無料の [Sandbox](https://docs.weaviate.io/cloud/manage-clusters/create#sandbox-clusters) のセットアップ
+2. 「Embedding」に移動して有効化します。デフォルトでは `Snowflake/snowflake-arctic-embed-l-v2.0` が埋め込みモデルとして使用されます
+3. 下記でクラスターに接続するために `WEAVIATE_URL` と `WEAVIATE_API_KEY` を控えておきます
+
+> Info: 外部埋め込みプロバイダー用の追加キーを用意しなくても済むよう、[Weaviate Embeddings](https://docs.weaviate.io/weaviate/model-providers/weaviate) の利用を推奨します。
+
+```python
+!pip install "weaviate-client[agents]" datasets
+!pip install -U weaviate-agents
+```
+
+Python output:
+```text
+/Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/pty.py:95: DeprecationWarning: This process (pid=93073) is multi-threaded, use of forkpty() may lead to deadlocks in the child.
+ pid, fd = os.forkpty()
+
+Collecting datasets
+ Using cached datasets-3.3.2-py3-none-any.whl.metadata (19 kB)
+Requirement already satisfied: weaviate-client[agents] in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (4.11.1)
+Requirement already satisfied: httpx<0.29.0,>=0.26.0 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from weaviate-client[agents]) (0.27.0)
+Requirement already satisfied: validators==0.34.0 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from weaviate-client[agents]) (0.34.0)
+Requirement already satisfied: authlib<1.3.2,>=1.2.1 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from weaviate-client[agents]) (1.3.1)
+Requirement already satisfied: pydantic<3.0.0,>=2.8.0 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from weaviate-client[agents]) (2.10.5)
+Requirement already satisfied: grpcio<2.0.0,>=1.66.2 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from weaviate-client[agents]) (1.69.0)
+Requirement already satisfied: grpcio-tools<2.0.0,>=1.66.2 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from weaviate-client[agents]) (1.69.0)
+Requirement already satisfied: grpcio-health-checking<2.0.0,>=1.66.2 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from weaviate-client[agents]) (1.69.0)
+Requirement already satisfied: weaviate-agents<1.0.0,>=0.3.0 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from weaviate-client[agents]) (0.4.0)
+Requirement already satisfied: filelock in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from datasets) (3.17.0)
+Requirement already satisfied: numpy>=1.17 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from datasets) (2.2.2)
+Collecting pyarrow>=15.0.0 (from datasets)
+ Using cached pyarrow-19.0.1-cp313-cp313-macosx_12_0_arm64.whl.metadata (3.3 kB)
+Collecting dill<0.3.9,>=0.3.0 (from datasets)
+ Using cached dill-0.3.8-py3-none-any.whl.metadata (10 kB)
+Requirement already satisfied: pandas in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from datasets) (2.2.3)
+Requirement already satisfied: requests>=2.32.2 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from datasets) (2.32.3)
+Requirement already satisfied: tqdm>=4.66.3 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from datasets) (4.67.1)
+Collecting xxhash (from datasets)
+ Using cached xxhash-3.5.0-cp313-cp313-macosx_11_0_arm64.whl.metadata (12 kB)
+Collecting multiprocess<0.70.17 (from datasets)
+ Using cached multiprocess-0.70.16-py312-none-any.whl.metadata (7.2 kB)
+Requirement already satisfied: fsspec<=2024.12.0,>=2023.1.0 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from fsspec[http]<=2024.12.0,>=2023.1.0->datasets) (2024.12.0)
+Requirement already satisfied: aiohttp in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from datasets) (3.11.11)
+Requirement already satisfied: huggingface-hub>=0.24.0 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from datasets) (0.27.1)
+Requirement already satisfied: packaging in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from datasets) (24.2)
+Requirement already satisfied: pyyaml>=5.1 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from datasets) (6.0.2)
+Requirement already satisfied: cryptography in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from authlib<1.3.2,>=1.2.1->weaviate-client[agents]) (44.0.0)
+Requirement already satisfied: aiohappyeyeballs>=2.3.0 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from aiohttp->datasets) (2.4.4)
+Requirement already satisfied: aiosignal>=1.1.2 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from aiohttp->datasets) (1.3.2)
+Requirement already satisfied: attrs>=17.3.0 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from aiohttp->datasets) (24.3.0)
+Requirement already satisfied: frozenlist>=1.1.1 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from aiohttp->datasets) (1.5.0)
+Requirement already satisfied: multidict<7.0,>=4.5 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from aiohttp->datasets) (6.1.0)
+Requirement already satisfied: propcache>=0.2.0 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from aiohttp->datasets) (0.2.1)
+Requirement already satisfied: yarl<2.0,>=1.17.0 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from aiohttp->datasets) (1.18.3)
+Requirement already satisfied: protobuf<6.0dev,>=5.26.1 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from grpcio-health-checking<2.0.0,>=1.66.2->weaviate-client[agents]) (5.29.3)
+Requirement already satisfied: setuptools in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from grpcio-tools<2.0.0,>=1.66.2->weaviate-client[agents]) (75.1.0)
+Requirement already satisfied: anyio in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from httpx<0.29.0,>=0.26.0->weaviate-client[agents]) (4.8.0)
+Requirement already satisfied: certifi in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from httpx<0.29.0,>=0.26.0->weaviate-client[agents]) (2024.12.14)
+Requirement already satisfied: httpcore==1.* in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from httpx<0.29.0,>=0.26.0->weaviate-client[agents]) (1.0.7)
+Requirement already satisfied: idna in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from httpx<0.29.0,>=0.26.0->weaviate-client[agents]) (3.10)
+Requirement already satisfied: sniffio in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from httpx<0.29.0,>=0.26.0->weaviate-client[agents]) (1.3.1)
+Requirement already satisfied: h11<0.15,>=0.13 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from httpcore==1.*->httpx<0.29.0,>=0.26.0->weaviate-client[agents]) (0.14.0)
+Requirement already satisfied: typing-extensions>=3.7.4.3 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from huggingface-hub>=0.24.0->datasets) (4.12.2)
+Requirement already satisfied: annotated-types>=0.6.0 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from pydantic<3.0.0,>=2.8.0->weaviate-client[agents]) (0.7.0)
+Requirement already satisfied: pydantic-core==2.27.2 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from pydantic<3.0.0,>=2.8.0->weaviate-client[agents]) (2.27.2)
+Requirement already satisfied: charset-normalizer<4,>=2 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from requests>=2.32.2->datasets) (3.4.1)
+Requirement already satisfied: urllib3<3,>=1.21.1 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from requests>=2.32.2->datasets) (2.3.0)
+Requirement already satisfied: rich>=13.9.4 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from weaviate-agents<1.0.0,>=0.3.0->weaviate-client[agents]) (13.9.4)
+Requirement already satisfied: python-dateutil>=2.8.2 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from pandas->datasets) (2.9.0.post0)
+Requirement already satisfied: pytz>=2020.1 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from pandas->datasets) (2024.2)
+Requirement already satisfied: tzdata>=2022.7 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from pandas->datasets) (2025.1)
+Requirement already satisfied: six>=1.5 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from python-dateutil>=2.8.2->pandas->datasets) (1.17.0)
+Requirement already satisfied: markdown-it-py>=2.2.0 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from rich>=13.9.4->weaviate-agents<1.0.0,>=0.3.0->weaviate-client[agents]) (3.0.0)
+Requirement already satisfied: pygments<3.0.0,>=2.13.0 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from rich>=13.9.4->weaviate-agents<1.0.0,>=0.3.0->weaviate-client[agents]) (2.19.1)
+Requirement already satisfied: cffi>=1.12 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from cryptography->authlib<1.3.2,>=1.2.1->weaviate-client[agents]) (1.17.1)
+Requirement already satisfied: pycparser in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from cffi>=1.12->cryptography->authlib<1.3.2,>=1.2.1->weaviate-client[agents]) (2.22)
+Requirement already satisfied: mdurl~=0.1 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from markdown-it-py>=2.2.0->rich>=13.9.4->weaviate-agents<1.0.0,>=0.3.0->weaviate-client[agents]) (0.1.2)
+Using cached datasets-3.3.2-py3-none-any.whl (485 kB)
+Using cached dill-0.3.8-py3-none-any.whl (116 kB)
+Using cached multiprocess-0.70.16-py312-none-any.whl (146 kB)
+Using cached pyarrow-19.0.1-cp313-cp313-macosx_12_0_arm64.whl (30.7 MB)
+Using cached xxhash-3.5.0-cp313-cp313-macosx_11_0_arm64.whl (30 kB)
+Installing collected packages: xxhash, pyarrow, dill, multiprocess, datasets
+Successfully installed datasets-3.3.2 dill-0.3.8 multiprocess-0.70.16 pyarrow-19.0.1 xxhash-3.5.0
+Requirement already satisfied: weaviate-agents in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (0.4.0)
+Requirement already satisfied: rich>=13.9.4 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from weaviate-agents) (13.9.4)
+Requirement already satisfied: weaviate-client>=4.11.0 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from weaviate-agents) (4.11.1)
+Requirement already satisfied: markdown-it-py>=2.2.0 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from rich>=13.9.4->weaviate-agents) (3.0.0)
+Requirement already satisfied: pygments<3.0.0,>=2.13.0 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from rich>=13.9.4->weaviate-agents) (2.19.1)
+Requirement already satisfied: httpx<0.29.0,>=0.26.0 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from weaviate-client>=4.11.0->weaviate-agents) (0.27.0)
+Requirement already satisfied: validators==0.34.0 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from weaviate-client>=4.11.0->weaviate-agents) (0.34.0)
+Requirement already satisfied: authlib<1.3.2,>=1.2.1 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from weaviate-client>=4.11.0->weaviate-agents) (1.3.1)
+Requirement already satisfied: pydantic<3.0.0,>=2.8.0 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from weaviate-client>=4.11.0->weaviate-agents) (2.10.5)
+Requirement already satisfied: grpcio<2.0.0,>=1.66.2 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from weaviate-client>=4.11.0->weaviate-agents) (1.69.0)
+Requirement already satisfied: grpcio-tools<2.0.0,>=1.66.2 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from weaviate-client>=4.11.0->weaviate-agents) (1.69.0)
+Requirement already satisfied: grpcio-health-checking<2.0.0,>=1.66.2 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from weaviate-client>=4.11.0->weaviate-agents) (1.69.0)
+Requirement already satisfied: cryptography in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from authlib<1.3.2,>=1.2.1->weaviate-client>=4.11.0->weaviate-agents) (44.0.0)
+Requirement already satisfied: protobuf<6.0dev,>=5.26.1 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from grpcio-health-checking<2.0.0,>=1.66.2->weaviate-client>=4.11.0->weaviate-agents) (5.29.3)
+Requirement already satisfied: setuptools in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from grpcio-tools<2.0.0,>=1.66.2->weaviate-client>=4.11.0->weaviate-agents) (75.1.0)
+Requirement already satisfied: anyio in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from httpx<0.29.0,>=0.26.0->weaviate-client>=4.11.0->weaviate-agents) (4.8.0)
+Requirement already satisfied: certifi in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from httpx<0.29.0,>=0.26.0->weaviate-client>=4.11.0->weaviate-agents) (2024.12.14)
+Requirement already satisfied: httpcore==1.* in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from httpx<0.29.0,>=0.26.0->weaviate-client>=4.11.0->weaviate-agents) (1.0.7)
+Requirement already satisfied: idna in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from httpx<0.29.0,>=0.26.0->weaviate-client>=4.11.0->weaviate-agents) (3.10)
+Requirement already satisfied: sniffio in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from httpx<0.29.0,>=0.26.0->weaviate-client>=4.11.0->weaviate-agents) (1.3.1)
+Requirement already satisfied: h11<0.15,>=0.13 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from httpcore==1.*->httpx<0.29.0,>=0.26.0->weaviate-client>=4.11.0->weaviate-agents) (0.14.0)
+Requirement already satisfied: mdurl~=0.1 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from markdown-it-py>=2.2.0->rich>=13.9.4->weaviate-agents) (0.1.2)
+Requirement already satisfied: annotated-types>=0.6.0 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from pydantic<3.0.0,>=2.8.0->weaviate-client>=4.11.0->weaviate-agents) (0.7.0)
+Requirement already satisfied: pydantic-core==2.27.2 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from pydantic<3.0.0,>=2.8.0->weaviate-client>=4.11.0->weaviate-agents) (2.27.2)
+Requirement already satisfied: typing-extensions>=4.12.2 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from pydantic<3.0.0,>=2.8.0->weaviate-client>=4.11.0->weaviate-agents) (4.12.2)
+Requirement already satisfied: cffi>=1.12 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from cryptography->authlib<1.3.2,>=1.2.1->weaviate-client>=4.11.0->weaviate-agents) (1.17.1)
+Requirement already satisfied: pycparser in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from cffi>=1.12->cryptography->authlib<1.3.2,>=1.2.1->weaviate-client>=4.11.0->weaviate-agents) (2.22)
+```
+```python
+import os
+from getpass import getpass
+
+if "WEAVIATE_API_KEY" not in os.environ:
+ os.environ["WEAVIATE_API_KEY"] = getpass("Weaviate API Key")
+if "WEAVIATE_URL" not in os.environ:
+ os.environ["WEAVIATE_URL"] = getpass("Weaviate URL")
+```
+
+```python
+import weaviate
+from weaviate.auth import Auth
+
+client = weaviate.connect_to_weaviate_cloud(
+ cluster_url=os.environ.get("WEAVIATE_URL"),
+ auth_credentials=Auth.api_key(os.environ.get("WEAVIATE_API_KEY")),
+)
+```
+
+### コレクションの準備
+
+以下のコードブロックでは、Hugging Face からデモの「papers」データセットを取得し、Weaviate Serverless クラスターに新しいコレクションとして書き込みます。
+
+**Important:** Weaviate Cloud コンソールで「Embeddings」を必ず有効にしてください。これにより `text2vec_weaviate` ベクトライザーを使用でき、デフォルトで `Snowflake/snowflake-arctic-embed-l-v2.0` でベクトルが作成されます。
+
+```python
+from weaviate.classes.config import Configure
+
+# To re-run cell you may have to delete collections
+# client.collections.delete("ArxivPapers")
+client.collections.create(
+ "ArxivPapers",
+ description="A dataset that lists research paper titles and abstracts",
+ vector_config=Configure.Vectors.text2vec_weaviate()
+)
+
+```
+
+Python output:
+```text
+
+```
+```python
+from datasets import load_dataset
+
+dataset = load_dataset("weaviate/agents", "transformation-agent-papers", split="train", streaming=True)
+
+papers_collection = client.collections.use("ArxivPapers")
+
+with papers_collection.batch.dynamic() as batch:
+ for i, item in enumerate(dataset):
+ if i < 200:
+ batch.add_object(properties=item["properties"])
+```
+
+### Explorer でコレクションを確認
+
+`TransformationAgent` は、今後コレクションを変更します。ここで「ArxivPapers」コレクションの内容を確認してみましょう。Weaviate Cloud コンソールの Explorer ツールでデータを確認できます。正しく取り込めていれば、各オブジェクトに以下の 2 つのプロパティが表示されるはずです。
+- `title`: 論文のタイトル
+- `abstract`: 論文のアブストラクト
+
+さらに各オブジェクトの `vectors` も確認できます。
+
+## Transformation 操作の定義
+
+`TransformationAgent` の主役は操作（operations）です。
+
+コレクションに対して実行したい変換操作を定義できます。操作には次の種類があります。
+- 新しいプロパティの追加
+- 既存プロパティの更新
+
+現在、`TransformationAgent` は Weaviate 内の既存オブジェクトを更新する操作をサポートしています。
+
+### 新しいプロパティの追加
+
+新しいプロパティを追加するには、次の内容で操作を定義します。
+- **`instrcution`**: この新しいプロパティが何であるかを自然言語で説明します
+- **`property_name`**: プロパティ名
+- **`data_type`**: プロパティのデータ型（例: `DataType.TEXT`, `DataType.TEXT_ARRAY`, `DataType.BOOL`, `DataType.INT` など）
+- **`view_properties`**: 他のプロパティを基にプロパティを作成したい場合、ここに参照するプロパティを列挙します
+
+#### トピック一覧の作成
+
+まず `TEXT_ARRAY` 型の新しいプロパティ「topics」を追加します。「abstract」と「title」を基に、トピックタグを最大 5 つ抽出するよう LLM に依頼しましょう。
+
+```python
+from weaviate.agents.classes import Operations
+from weaviate.classes.config import DataType
+
+add_topics = Operations.append_property(
+ property_name="topics",
+ data_type=DataType.TEXT_ARRAY,
+ view_properties=["abstract"],
+ instruction="""Create a list of topic tags based on the abstract.
+ Topics should be distinct from eachother. Provide a maximum of 5 topics.
+ Group similar topics under one topic tag.""",
+)
+
+```
+
+#### フランス語訳の追加
+
+次に「abstract」をフランス語に翻訳した新しいプロパティ「french_abstract」を追加します。
+
+```python
+add_french_abstract = Operations.append_property(
+ property_name="french_abstract",
+ data_type=DataType.TEXT,
+ view_properties=["abstract"],
+ instruction="Translate the abstract to French",
+)
+```
+
+#### タイトルの更新
+
+今回は `title` プロパティを更新し、フランス語の訳をかっこ書きで追記します。
+
+```python
+update_title = Operations.update_property(
+ property_name="title",
+ view_properties=["title"],
+ instruction="""Update the title to ensure that it contains the French translation of itself in parantheses, after the original title.""",
+)
+```
+
+#### サーベイ論文かどうかの判定
+
+最後に、その論文がサーベイ（既存研究の調査）かどうかを示す `BOOL` 型プロパティを作成します。
+
+```python
+is_survey_paper = Operations.append_property(
+ property_name="is_survey_paper",
+ data_type=DataType.BOOL,
+ view_properties=["abstract"],
+ instruction="""Determine if the paper is a "survey".
+ A paper is considered survey it's a surveys existing techniques, and not if it presents novel techniques""",
+)
+```
+
+## Transformation エージェントの作成と実行
+
+すべての操作を定義したら、`TransformationAgent` を初期化できます。
+
+エージェントを初期化する際には、どの `collection` に対して変更を行うかを指定する必要があります。ここでは、先ほど作成した「ArxivPapers」コレクションにアクセスさせます。
+
+次に、エージェントに実行させたい `operations` のリストを渡します。ここでは前述のすべての操作を指定します。
+
+> Note: 同一オブジェクトに対して複数の操作が同時に実行される場合、データ整合性に関する既知の問題を解決中です。
+
+```python
+from weaviate.agents.transformation import TransformationAgent
+
+agent = TransformationAgent(
+ client=client,
+ collection="ArxivPapers",
+ operations=[
+ add_topics,
+ add_french_abstract,
+ is_survey_paper,
+ update_title,
+ ],
+)
+```
+
+### 変換の実行
+
+`update_all()` を呼び出すことで、 エージェントが各操作ごとに個別のワークフローを立ち上げます。 各操作はコレクション内の各オブジェクトで実行されます。
+
+```python
+response = agent.update_all()
+```
+
+### 操作ワークフローの確認
+
+操作のステータスを確認するには、 返された `TransformationResponse` に含まれる `workflow_id` を確認し、 `agent.get_status(workflow_id)` でそのステータスを取得できます。 これらの操作は非同期です。
+
+```python
+response
+```
+
+Python 出力:
+```text
+[TransformationResponse(operation_name='topics', workflow_id='TransformationWorkflow-1766a450c35039c2a44e1fa33dc49dd4'),
+ TransformationResponse(operation_name='french_abstract', workflow_id='TransformationWorkflow-67e90d88830347a5581d3ee1aa10b867'),
+ TransformationResponse(operation_name='is_survey_paper', workflow_id='TransformationWorkflow-6294dd575fad55c318ee7b0e8a38a8ff'),
+ TransformationResponse(operation_name='title', workflow_id='TransformationWorkflow-bba64a5bf204b00c3572310de715d1e2')]
+```
+```python
+agent.get_status(workflow_id=response.workflow_id)
+```
+
+Python 出力:
+```text
+{'workflow_id': 'TransformationWorkflow-1766a450c35039c2a44e1fa33dc49dd4',
+ 'status': {'batch_count': 1,
+ 'end_time': '2025-03-11 14:58:57',
+ 'start_time': '2025-03-11 14:57:55',
+ 'state': 'completed',
+ 'total_duration': 62.56732,
+ 'total_items': 200}}
+```
+
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/agents/recipes/transformation-agent-retrieval-benchmark.md b/i18n/ja/docusaurus-plugin-content-docs/current/agents/recipes/transformation-agent-retrieval-benchmark.md
new file mode 100644
index 000000000..f4913bd61
--- /dev/null
+++ b/i18n/ja/docusaurus-plugin-content-docs/current/agents/recipes/transformation-agent-retrieval-benchmark.md
@@ -0,0 +1,509 @@
+---
+layout: recipe
+colab: https://colab.research.google.com/github/weaviate/recipes/blob/main/weaviate-services/agents/transformation-agent-retrieval-benchmark.ipynb
+toc: True
+title: "Synthetic RAG 評価による Arctic 2.0 対 Arctic 1.5 のベンチマーク"
+featured: True
+integration: False
+agent: True
+tags: ['Transformation Agent']
+---
+
+
+
+
+従来、AI システムの評価は人間が作成した評価セットに大きく依存していました。特に、このプロセスには多大な時間とリソースが必要となり、ほとんどの開発者が AI システムを作成して適切に評価することを妨げていました。
+
+Weaviate Transformation エージェントは、合成評価データセットを迅速に生成できることで、AI 評価に革新をもたらします。
+
+このノートブックでは、Weaviate ブログの記事それぞれに対して ** 2,100 ** 件の合成質問をわずか 63 秒で生成します！
+
+続いて、このデータセットを用いて Snowflake の [ Arctic 2.0 ](https://arxiv.org/abs/2412.04506) と [ Arctic 1.5 ](https://arxiv.org/abs/2405.05374) の埋め込みモデル間で、埋め込みリコール（干し草の山からソースドキュメントを見つける）を報告します。結果は次のとおりです。
+
+| Model | Recall@1 | Recall@5 | Recall@100 |
+|------------|----------|----------|------------|
+| Arctic 1.5 | 0.7995 | 0.9245 | 0.9995 |
+| Arctic 2.0 | 0.8412 | 0.9546 | 0.9995 |
+
+Arctic 2.0 モデルは優れた性能を示し、特に Recall@1 で 4.17 %、Recall@5 で 3.01 % の向上が見られました。
+
+## ノートブックの概要
+
+
+
+```python
+import weaviate
+import os
+from weaviate.classes.init import Auth
+import weaviate.classes.config as wvcc
+import re
+from weaviate.util import get_valid_uuid
+from uuid import uuid4
+```
+
+```python
+# Connect to Weaviate Client
+
+WEAVIATE_URL = os.getenv("WEAVIATE_URL")
+WEAVIATE_API_KEY = os.getenv("WEAVIATE_API_KEY")
+
+weaviate_client = weaviate.connect_to_weaviate_cloud(
+ cluster_url=WEAVIATE_URL,
+ auth_credentials=Auth.api_key(WEAVIATE_API_KEY)
+)
+
+print(weaviate_client.is_ready())
+```
+
+Python output:
+```text
+True
+```
+## Weaviate Named ベクトル
+
+Weaviate で *同じ* プロパティから 2 つの HSNW インデックスを作成できます！
+
+さらに、それぞれに異なる埋め込みモデルを設定することも可能です。
+
+Weaviate Named ベクトルの詳細は [こちら](https://docs.weaviate.io/weaviate/config-refs/collections)、Weaviate Embedding Service については [こちら](https://docs.weaviate.io/cloud/embeddings) をご覧ください。
+
+```python
+blogs_collection = weaviate_client.collections.create(
+ name="WeaviateBlogChunks",
+ vectorizer_config=[
+ wvcc.Configure.NamedVectors.text2vec_weaviate(
+ name="content_arctic_1_5",
+ model="Snowflake/snowflake-arctic-embed-m-v1.5",
+ source_properties=["content"],
+ ),
+ wvcc.Configure.NamedVectors.text2vec_weaviate(
+ name="content_arctic_2_0",
+ model="Snowflake/snowflake-arctic-embed-l-v2.0",
+ source_properties=["content"],
+ )
+ ],
+ properties=[
+ wvcc.Property(name="content", data_type=wvcc.DataType.TEXT),
+ ]
+)
+```
+
+## ディレクトリパーサーによるブログのロード
+
+```python
+def chunk_list(lst, chunk_size):
+ """Break a list into chunks of the specified size."""
+ return [lst[i:i + chunk_size] for i in range(0, len(lst), chunk_size)]
+
+def split_into_sentences(text):
+ """Split text into sentences using regular expressions."""
+ sentences = re.split(r'(?
+• [Arctic Embed 2.0 リサーチレポート](https://arxiv.org/abs/2412.04506)
+• [Arctic Embed リサーチレポート](https://arxiv.org/abs/2405.05374)
+• [Weaviate Podcast #110（Luke Merrick、Puxuan Yu、Charles Pierse）](https://www.youtube.com/watch?v=Kjqv4uk3RCs) + +## Luke さんと Puxuan さん、このノートブックのレビューに大きな感謝を！ + + + + diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/agents/transformation/index.md b/i18n/ja/docusaurus-plugin-content-docs/current/agents/transformation/index.md new file mode 100644 index 000000000..3806764c2 --- /dev/null +++ b/i18n/ja/docusaurus-plugin-content-docs/current/agents/transformation/index.md @@ -0,0 +1,118 @@ +--- +title: 変換エージェント +sidebar_position: 30 +description: "Weaviate のコレクションにある既存データを強化・拡充・変換する AI エージェントの概要。" +image: og/docs/agents.jpg +# tags: ['agents', 'getting started', 'transformation agent'] +--- + +import Tabs from '@theme/Tabs'; +import TabItem from '@theme/TabItem'; +import FilteredTextBlock from '@site/src/components/Documentation/FilteredTextBlock'; +import PyCode from '!!raw-loader!/docs/agents/_includes/transformation_agent.py'; + +# Weaviate 変換エージェント + +:::caution Technical Preview + + + + +[こちらからサインアップ](https://events.weaviate.io/weaviate-agents)して Weaviate エージェントの通知を受け取るか、[このページ](https://weaviateagents.featurebase.app/)で最新情報の確認やフィードバックの送信を行ってください。 + +::: + +:::warning 本番環境では使用しないでください +Weaviate 変換エージェントは、Weaviate 内のデータをその場で変更するよう設計されています。**テクニカルプレビュー期間中は、本番環境で使用しないでください。** エージェントが期待どおりに動作しない可能性があり、Weaviate インスタンス内のデータが予期せぬ形で変更される場合があります。 +::: + +Weaviate 変換エージェント (Transformation Agent) は、生成モデルを用いてデータを拡張・変換するエージェント型サービスです。既存のオブジェクトに対して新しいプロパティを追加したり、既存プロパティを更新したりできます。 + + + + +これにより、アプリケーションでのさらなる活用に向けて、Weaviate コレクション内オブジェクトの品質を向上させられます。 + +## アーキテクチャ + +変換エージェントは Weaviate Cloud 上のサービスとして提供され、既存の Weaviate オブジェクトに対して新しいプロパティの追加や既存プロパティの更新を行います。 + + + + +変換エージェントには、更新対象のコレクション名や確認対象の既存プロパティ、そして instructions などの指示を渡してください。エージェントは指定されたオブジェクトに対し、指示どおりの操作を実行します。 + +:::note オブジェクト総数は変わりません +オブジェクト数自体は増減せず、指定オブジェクトのプロパティのみが更新されます。 +::: + +## 変換エージェント：ワークフローの可視化 + +既存オブジェクトを変換する際、変換エージェントは以下の手順で動作します。 + +- 変換エージェントが指定条件に基づき Weaviate から既存オブジェクトを取得します（ステップ 1–2）。 +- 取得した既存プロパティのコンテキストと instructions を基に、生成モデルで新しいプロパティ値を生成します（ステップ 3–4）。 +- 変換後のオブジェクトを Weaviate に更新します。必要に応じ、指定した ベクトライザー でベクトル化が行われます（ステップ 5–7）。 +- Weaviate からジョブステータスが返され、最終的にユーザーへ返却されます（ステップ 8）。 + +### 既存オブジェクトのプロパティを更新 + +既存プロパティを更新する場合、変換エージェントは既存値を新しい値で置き換えます。ワークフローは以下のとおりです。 + + + + +### 既存オブジェクトに新しいプロパティを追加 + +プロパティを追加する場合、変換エージェントは新しい値を新規プロパティとしてオブジェクトに追加します。ワークフローは以下のとおりです。 + + + + +## 基本的な使い方 + +ここでは Weaviate 変換エージェントの基本的な利用方法を概説します。詳細は [Usage](./usage.md) ページをご覧ください。 + +### 前提条件 + +本エージェントは Weaviate Cloud インスタンスと、対応するバージョンの Weaviate クライアントライブラリでのみ利用できます。 + +### 使用例 + +変換エージェントを使用するには、次の入力でインスタンス化します。 + +- Weaviate Cloud インスタンスに接続した Weaviate クライアント（例：Python の `WeaviateClient` オブジェクト） +- 変換対象コレクションの名前 +- 実行する変換操作のリスト + +その後、操作を開始します。 + +変換操作は非同期で実行されます。各操作はワークフロー ID を返すので、ユーザーはその ID を用いてステータスを確認できます。 + +
+
+
+
+
+
+変換された属性は処理が進むにつれて各オブジェクトに反映されます。
+
+### さらに詳しいドキュメント
+
+本エージェントの詳細な使用方法については、[Usage](./usage.md) ページを参照してください。
+
+## 質問とフィードバック
+
+:::info Changelog and feedback
+Weaviate エージェントの公式変更履歴は[こちら](https://weaviateagents.featurebase.app/changelog)で確認できます。機能要望・バグ報告・質問などのフィードバックは、[こちら](https://weaviateagents.featurebase.app/)から送信してください。フィードバックのステータス確認や他の提案への投票も可能です。
+:::
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+
+ +Transformation エージェントは次のように動作します。 + +1. **タスクを受け取る** – 新しいプロパティを作成する、または既存プロパティを更新する。 +2. **Weaviate から必要なデータを取得する** – 更新対象、または新規プロパティ作成に使用するデータを取得。 +3. **適切なファウンデーションモデル**（例: 大規模言語モデル）を使用してデータを変換。 +4. **変換後のデータを Weaviate に保存する** – 新しいプロパティを作成するか、既存プロパティを更新。 + +
+ +## 前提条件 + +Weaviate エージェントおよび Weaviate Embedding サービスを使用するには、**[Weaviate Cloud](https://console.weaviate.cloud)** アカウントが必要です。 + +## ステップ 1: Weaviate のセットアップ + +それでは、チュートリアルで使用する Weaviate Cloud インスタンスを作成し、Python クライアントから接続してみましょう。 + +### 1.1 Weaviate Cloud クラスタの作成 + +1. Weaviate Cloud で [無料の Sandbox クラスタ](/cloud/manage-clusters/create#sandbox-clusters) を作成します。 +2. クラスタへの接続に必要な `REST Endpoint` と `Admin` API キーを控えておきます。（詳細は [クイックスタート](/cloud/manage-clusters/connect.mdx) を参照） + +:::tip +本チュートリアルでは、ベクトライザーとして [Weaviate Embeddings](../../weaviate/model-providers/weaviate/index.md) サービスを使用するため、外部埋め込みプロバイダー用の追加キーは不要です。Weaviate Embeddings ではデフォルトで `Snowflake/snowflake-arctic-embed-l-v2.0` モデルを利用します。
+別のベクトライザーを使用したい場合は、サポートされている [モデルプロバイダー](../../weaviate/model-providers/index.md) の一覧をご覧ください。 +::: + +### 1.2 Python ライブラリのインストール + +Weaviate Python クライアントと `agents` コンポーネントをインストールします。 + +
+
+
+```
+pip install "weaviate-client[agents]"
+```
+
+
+
+
+公開データセットへ簡単にアクセスできる軽量ライブラリ `datasets` も必要です。
+
+
+
+
+```
+pip install datasets
+```
+
+
+
+
+import ForcePipInstall from "../_includes/_force_pip_install.mdx";
+
+
+
+
+
+
+このスニペットを実行すると `True` と表示され、インスタンスへの接続が成功したことを示します。
+## ステップ 2: コレクションの準備
+
+以下のコードブロックでは、Hugging Face からデモ用データセットを取得し、Weaviate Sandbox クラスター内の新しいコレクションへ書き込んでいます。データを Weaviate にインポートする前に **コレクションを定義** する必要があります。つまり、データスキーマの設定とベクトライザー／埋め込みサービスの選択を行います。
+
+### 2.1 コレクションの定義
+
+import WeaviateAgentsArxivDataset from "/docs/agents/_includes/transformation_agent_tutorial_arxiv_dataset.png";
+
+
+ +`ArxivPapers` コレクションには、インポートされるデータに基づいてプロパティを自動生成する [`auto-schema`](../../weaviate/config-refs/collections.mdx#auto-schema) オプションを使用します。 + +
+
+
+
+
+### 2.2 データベースへの投入
+
+あらかじめベクトル化されたデータ [ArxivPapers](https://huggingface.co/datasets/weaviate/agents/viewer/transformation-agent-papers) を、Weaviate Cloud インスタンスへインポートします。
+
+
+
+
+
+
+`len()` を呼び出すことで、インポートが正常に完了したかを確認し、コレクションのサイズを確認できます。
+
+```
+Size of the ArxivPapers dataset: 200
+```
+
+### 2.3 Explorer ツールでコレクションを確認
+
+Transformation エージェントは、進行に合わせてコレクションを更新します。ここで「ArxivPapers」コレクションの内容を確認しておきましょう。正しくインポートされていれば、各オブジェクトに以下の 2 つのプロパティが表示されます。
+
+- `title`: 論文のタイトル
+- `abstract`: 論文のアブストラクト
+
+さらに、各オブジェクトの `vectors` も確認できます。
+
+## ステップ 3: Transformation エージェントの設定
+
+Transformation エージェントの中心となるのは「オペレーション」です。
+
+これから、コレクションに対して実行したい変換オペレーションを定義します。オペレーションには次の 2 種類があります。
+
+- **[新しいプロパティの追加](#31-新しいプロパティの追加)**
+- **[既存プロパティの更新](#32-既存プロパティの更新)**
+
+### 3.1 新しいプロパティの追加
+
+新しいプロパティを追加するには、次の要素を持つオペレーションを定義します。
+
+- **`instruction`**: 自然言語で新しいプロパティに求める内容を記述します。
+- **`property_name`**: 付与するプロパティ名。
+- **`data_type`**: プロパティのデータ型（`DataType.TEXT`、`DataType.TEXT_ARRAY`、`DataType.BOOL`、`DataType.INT` など）。
+- **`view_properties`**: 既存プロパティの情報を基に新しいプロパティを作成する場合に、参照するプロパティを列挙します。
+
+#### 3.1.1 トピック一覧の作成
+
+まず、`topics` という `TEXT_ARRAY` 型の新しいプロパティを追加します。`abstract` を基に、LLM に最大 5 件までのトピックタグを抽出させましょう。
+
+
+
+
+
+
+#### 3.1.2 フランス語訳の追加
+
+次に、`abstract` プロパティをフランス語へ翻訳した `french_abstract` プロパティを追加します。
+
+
+
+
+
+
+#### 3.1.3 NLP 関連度スコアの追加
+
+今回は `INT` 型のプロパティを追加します。LLM に、論文が NLP にどれだけ関連しているかを 0 〜 10 のスコアで評価させます。
+
+
+
+
+
+#### 3.1.4 サーベイ論文かどうかの判定
+
+最後に、論文がサーベイかどうかを示す `BOOL` プロパティを取得します。LLM は、その論文が新しい手法を提示しているのか、それとも既存手法のサーベイなのかを判断します。
+
+
+
+
+
+
+### 3.2 既存プロパティの更新
+
+:::caution
+
+他のエージェント操作に含まれるプロパティを更新しないでください。予測不能な動作につながります。
+
+:::
+
+ここでは、これまでの操作で使用していない `title` プロパティを更新してみましょう。
+
+
+
+
+
+
+## Step 4: Transformation エージェントの作成と実行
+
+すべてのオペレーションを定義したら、`TransformationAgent` を初期化します。
+
+エージェントを初期化する際には、どのコレクションを変更するかを指定する必要があります。ここでは、以前作成した "ArxivPapers" コレクションへアクセスさせます。
+
+次に、エージェントが実行すべき `operations` のリストを渡します。ここでは、上で定義したすべてのオペレーションを指定します。
+
+
+
+
+
+
+### 4.1 変換処理の実行
+
+`update_all()` を呼び出すことで、各オペレーションごとに個別のワークフローが起動します。各オペレーションは、コレクション内の各オブジェクトに対して実行されます。
+
+
+
+
+
+
+import WeaviateAgentsExplorerTool from "/docs/agents/_includes/transformation_agent_tutorial_explorer_tool.png";
+
+
+ +出力例: + +``` +[TransformationResponse(operation_name='topics', workflow_id='TransformationWorkflow-7006854bd90f949b59bb8d88c816bdd6'), +TransformationResponse(operation_name='french_abstract', workflow_id='TransformationWorkflow-7a025ef11ef8e681adb0c273755d0a2a'), +TransformationResponse(operation_name='nlp_relevance', workflow_id='TransformationWorkflow-e6db777629ae7b38ca2f8f64df35c305'), +TransformationResponse(operation_name='is_survey_paper', workflow_id='TransformationWorkflow-e70d29827271f462f2a911ec29c6cb0c'), +TransformationResponse(operation_name='title', workflow_id='TransformationWorkflow-6b2ff75370e1f80ff537037fde02cb26')] +``` + +### 4.2 オペレーションワークフローの確認 + +非同期変換オペレーションの状態を確認するには、`agent.get_status(workflow_id)` 関数を使用します。 + +
+
+
+
+
+出力例:
+
+```
+{'workflow_id': 'TransformationWorkflow-f408a4a0211940525c0e2d45cf46a6c2', 'status': {'batch_count': 1, 'end_time': None, 'start_time': '2025-03-10 13:17:31', 'state': 'running', 'total_duration': None, 'total_items': 200}}
+```
+
+## まとめ
+
+このガイドでは、Weaviate のエージェントサービスを使用して、エンドツーエンドの Transformation エージェントを構築する方法を紹介しました。Weaviate Cloud インスタンスのセットアップから研究論文データセットのインポート、そしてデータを知的に強化する Transformation エージェントの構成までを説明しました。
+
+Transformation エージェントは自然言語の instructions を自動で解釈し、データセット内のプロパティを作成または更新します。トピックタグ、翻訳、関連度スコアなどの新しいプロパティを追加してコレクションを処理し、データを強化してさらなる分析が行える状態にします。
+## 追加リソース
+
+- [Weaviate Agents - Transformation Agent](./index.md)
+
+## 質問とフィードバック
+
+:::info 変更履歴とフィードバック
+Weaviate Agents の公式変更履歴は [こちら](https://weaviateagents.featurebase.app/changelog) でご覧いただけます。フィーチャーリクエストやバグ報告、質問などのフィードバックがある場合は、[こちら](https://weaviateagents.featurebase.app/) からご送信ください。送信後はご自身のフィードバックのステータスを確認したり、他のフィードバックに投票したりできます。
+:::
+
+import DocsFeedback from "/_includes/docs-feedback.mdx";
+
+
+
+
+```shell
+pip install -U weaviate-client[agents]
+```
+
+#### トラブルシューティング：`pip` に最新バージョンを強制インストールさせる
+
+すでにインストール済みの場合、`pip install -U "weaviate-client[agents]"` を実行しても `weaviate-agents` が[最新バージョン](https://pypi.org/project/weaviate-agents/)に更新されないことがあります。その場合は、`weaviate-agents` パッケージを明示的にアップグレードしてください。
+
+```shell
+pip install -U weaviate-agents
+```
+
+または[特定のバージョン](https://github.com/weaviate/weaviate-agents-python-client/tags)をインストールします。
+
+```shell
+pip install -U weaviate-agents==||site.weaviate_agents_version||
+```
+
+
+
+
+
+## 使用方法
+
+Transformation Agent を使用するには、必要な入力を指定してインスタンス化し、変換操作を開始します。
+
+変換操作は非同期で実行されます。各操作はワークフロー ID を返すので、その ID を使ってステータスを確認します。
+
+以下に使用例を示します。
+
+### 前提条件
+
+Transformation Agent は Weaviate Cloud と密接に統合されています。そのため、Transformation Agent は Weaviate Cloud インスタンスと、対応バージョンのクライアントライブラリでのみ利用できます。
+
+### Weaviate への接続
+
+Transformation Agent を利用するには、Weaviate Cloud インスタンスへ接続する必要があります。Weaviate クライアントライブラリを使用して接続してください。
+
+
+
+
+
+
+### 変換操作の定義
+
+Transformation Agent を開始する前に、変換操作を定義する必要があります。以下の情報を指定して操作を定義してください。
+
+- 操作タイプ
+- 対象プロパティ名
+- コンテキストとして使用するプロパティ
+- instructions
+- （新規プロパティの場合）新規プロパティのデータ型
+
+以下に操作例を示します。
+#### データに新しいプロパティを追加
+
+既存のプロパティ値とユーザーの instructions に基づいて、オブジェクトに新しいプロパティを追加できます。
+
+
+
+
+
+
+
+#### 既存プロパティの更新
+
+既存のプロパティ値とユーザーの instructions に基づいて、オブジェクトの既存プロパティの値を更新できます。
+
+
+
+
+
+
+
+### 変換操作の開始
+
+変換操作を開始するには、必要な入力で Transformation Agent をインスタンス化し、操作を開始します。
+
+Weaviate クライアント、対象コレクション名、および変換操作のリストを指定して Transformation Agent をインスタンス化します。
+
+
+
+
+
+
+
+### ジョブステータスの監視
+
+workflow ID を使用して、各変換操作のステータスを監視できます。
+
+
+
+
+
+
+
+## 制限事項とトラブルシューティング
+
+:::caution Technical Preview
+
+
+
+
+[こちら](https://events.weaviate.io/weaviate-agents)から Weaviate エージェントの通知に登録するか、[このページ](https://weaviateagents.featurebase.app/)で最新情報の確認とフィードバックの送信ができます。
+
+:::
+
+### 使用制限
+
+現時点では、Weaviate Cloud の [組織](/cloud/platform/users-and-organizations.mdx#organizations) ごとに 1 日あたり 50,000 件の Transformation Agent 操作という上限があります。
+
+この制限は個々の操作単位で適用されます。つまり、2,500 オブジェクトのコレクションに対して 4 つの操作を含む Transformation Agent を実行すると、その日の上限に達します。
+
+この制限は今後のバージョンで変更される可能性があります。
+
+### モデル入力コンテキストの長さ
+
+基盤モデルの制約により、変換操作の入力コンテキストの長さには制限があります。入力コンテキストの長さは約 25000 文字以下に抑えることを推奨します。
+
+つまり、入力コンテキスト（コンテキストとして使用するプロパティ）と instructions の合計文字数がこの上限を超えないようにしてください。モデル入力コンテキストの長さが超過すると、変換操作は失敗します。
+
+### 複数操作時の競合状態
+
+同じコレクションで複数の変換操作を開始すると、race condition により一方の結果が上書きされる可能性があります。
+
+これを避けるには、1 度に 1 つの操作のみを実行してください。同じコレクションで複数の操作を行う必要がある場合は、操作を順番に実行してください。
+
+前の操作の workflow ID を使用してステータスを監視し、完了を確認してから次の操作を開始することで実現できます。
+
+この問題は将来のバージョンで対応予定です。
+
+## 質問とフィードバック
+
+:::info Changelog and feedback
+Weaviate エージェントの公式変更履歴は[こちら](https://weaviateagents.featurebase.app/changelog)で確認できます。機能要望、バグ報告、質問などのフィードバックは[こちら](https://weaviateagents.featurebase.app/)にご投稿ください。フィードバックの状況を確認したり、他のフィードバックに投票したりできます。
+:::
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+
+
+ +:::info 学べること + +このクイックスタートでは、 Weaviate Cloud と **Weaviate Embeddings** を組み合わせて以下を行う方法を学びます。 + +1. Weaviate Cloud インスタンスをセットアップします。（10 分） +2. Weaviate Embeddings を使ってデータを追加しベクトル化します。（10 分） +3. セマンティック（ベクトル）検索とハイブリッド検索を実行します。（10 分） + +```mermaid +flowchart LR + %% Define nodes with white backgrounds and darker borders + A1["Create a new
cluster"] --> A2["Install client
library"] + A2 --> A3["Connect to
Weaviate Cloud"] + A3 --> B1["Configure the
vectorizer"] + B1 --> B2["Import
objects"] + B2 --> C1["Semantic (vector)
search"] + + %% Group nodes in subgraphs with brand colors + subgraph sg1 ["1\. Setup"] + A1 + A2 + A3 + end + + subgraph sg2 ["2\. Populate"] + B1 + B2 + end + + subgraph sg3 ["3\. Query"] + C1 + end + + %% Style nodes with white background and darker borders + style A1 fill:#ffffff,stroke:#B9C8DF,color:#130C49 + style A2 fill:#ffffff,stroke:#B9C8DF,color:#130C49 + style A3 fill:#ffffff,stroke:#B9C8DF,color:#130C49 + style B1 fill:#ffffff,stroke:#B9C8DF,color:#130C49 + style B2 fill:#ffffff,stroke:#B9C8DF,color:#130C49 + style C1 fill:#ffffff,stroke:#B9C8DF,color:#130C49 + + %% Style subgraphs with brand colors + style sg1 fill:#ffffff,stroke:#61BD73,stroke-width:2px,color:#130C49 + style sg2 fill:#ffffff,stroke:#130C49,stroke-width:2px,color:#130C49 + style sg3 fill:#ffffff,stroke:#7AD6EB,stroke-width:2px,color:#130C49 +``` + +注意: + +- ここに掲載しているコード例は自己完結型です。コピー＆ペーストしてご自身の環境でそのままお試しいただけます。 + +::: + +## 必要条件 + +Weaviate Embeddings を利用するには、次が必要です。 + + + +- Weaviate `1.28.5` 以上で稼働する Weaviate Cloud Sandbox +- Weaviate Embeddings をサポートする Weaviate クライアント ライブラリ + - **Python** クライアント バージョン `4.9.5` 以上 + - **JavaScript/TypeScript** クライアント バージョン `3.2.5` 以上 + - **Go/Java** クライアントはまだ公式サポートされていません。以下の例のように、インスタンス化時に `X-Weaviate-Api-Key` と `X-Weaviate-Cluster-Url` ヘッダーを手動で渡す必要があります。 + +## ステップ 1: Weaviate をセットアップ + +### 1.1 新しいクラスターの作成 + +無料の **Sandbox** クラスターを Weaviate Cloud に作成するには、**[こちらの手順](/cloud/manage-clusters/create#create-a-cluster)** に従ってください。 + +import LatestWeaviateVersion from "/_includes/latest-weaviate-version.mdx"; + +
+
+
+
+
+
+
+
+
+
+
+## ステップ 2: データベースを準備する
+
+### 2.1 コレクションを定義する
+
+次に、データを格納するコレクションを定義します。コレクションを作成する際には、ベクトライザーが使用する [利用可能なモデル](/cloud/embeddings/models) のいずれかを指定する必要があります。このモデルが、データからベクトル埋め込みを生成します。
+
+
+
+
+
+
+
+
+
+
+
+
+利用可能なモデルの詳細については、[モデルを選択](/cloud/embeddings/models) ページをご覧ください。
+
+
+
+### 2.2 オブジェクトのインポート
+
+ベクトライザーを設定したら、[データをインポート](/weaviate/manage-objects/import.mdx) して Weaviate に取り込みます。Weaviate は指定したモデルを使用してテキストオブジェクトの埋め込みを生成します。
+
+
+
+
+
+
+
+
+
+
+
+
+## ステップ 3：データのクエリ
+
+ベクトライザーが設定されると、Weaviate は指定したモデルを使用してベクトル検索を実行します。
+
+### ベクトル（ near text ）検索
+
+[ベクトル検索](/weaviate/search/similarity.md#search-with-text) を実行すると、Weaviate はテキストクエリを指定したモデルで埋め込みに変換し、データベースから最も類似したオブジェクトを返します。
+
+以下のクエリは、`limit` で指定した数だけデータベースから最も類似した n 個のオブジェクトを返します。
+
+
+
+
+
+
+
+
+
+
+
+
+## 次のステップ
+
+import CardsSection from "/src/components/CardsSection";
+
+export const nextStepsData = [
+ {
+ title: "Choose a model",
+ description:
+ "Check out which additional models are available through Weaviate Embeddings.",
+ link: "/cloud/embeddings/models",
+ icon: "fa fa-list-alt",
+ },
+ {
+ title: "Explore hybrid search",
+ description:
+ "Discover how hybrid search combines keyword matching and semantic search.",
+ link: "/weaviate/search/hybrid",
+ icon: "fa fa-search",
+ },
+];
+
+
+ +## サポートとフィードバック + +import SupportAndTrouble from "/_includes/wcs/support-and-troubleshoot.mdx"; + +
+ +
+ +
+ +import DeleteAPIKeyConfirmRBAC from '/docs/cloud/img/weaviate-cloud-delete-api-key-confirm.png'; + +
+ +import NewAPIKeyConfirm from '/docs/cloud/img/weaviate-cloud-new-api-key-confirm.png'; + +
+ +:::info + +
+ +import DeleteAPIKeyConfirm from '/docs/cloud/img/weaviate-cloud-delete-api-key-confirm.png'; + +
+ +:::info + +
+ +
+ +:::info + + RBAC と利用可能な権限の詳細については、[RBAC ドキュメント](/weaviate/configuration/rbac/index.mdx)を参照してください。 + +::: + +## ロールの編集 + +既存のカスタムロールの権限や設定は、いつでも変更できます。 + +
+
+ +ロールの権限変更は、そのロールに割り当てられているすべての API キーに即時反映されます。 + + + +## ロールの削除 + +カスタムロールが不要になった場合は削除できます。この操作は現在そのロールに割り当てられているすべての API keys に影響します。 + +
+
+ +ロールの削除は永久的で、取り消すことはできません。この操作により次のことが起こります: + +- ロールとその関連するすべての権限が削除される +- このロールが割り当てられていた API keys に影響する +- このロールによって付与されていた権限に依存するアプリケーションが動作しなくなる可能性がある + +ロールを削除する前に、影響を受ける API keys を更新するか別のロールに割り当て直すようにしてください。 + +:::info +admin と viewer の組み込みロールは削除できません。これらはクラスタの基本的な操作に必要なシステム定義のロールだからです。 +::: + +## 参考リソース + +- [WCD での API keys の管理](./authentication.mdx) +- [RBAC のドキュメント](/weaviate/configuration/rbac/index.mdx) + +## サポート + +import SupportAndTrouble from '/_includes/wcs/support-and-troubleshoot.mdx'; + +
+
+
+
+
+あるいは、デフォルトのタイムアウト値を保持し、初期接続チェックをスキップすることもできます。
+
+
+
+
+
+
+
+
+### gRPC ヘルスチェック エラー
+
+**問題**: Serverless クラスターを更新した後に gRPC がヘルスチェック エラーを返します。
+
+```
+weaviate.exceptions.WeaviateGRPCUnavailableError: gRPC health check could not be completed.
+```
+
+**解決策**: クラスター URL が正しいことを確認し、必要に応じて URL を更新してください。
+
+ Serverless クラスターを更新すると、クラスター URL がわずかに変更される場合があります。 Weaviate Cloud は旧 URL へのルーティングを引き続き行うため一部の接続は機能しますが、新しい gRPC URL と旧 HTTP URL は異なるため、 gRPC を必要とする接続は失敗します。
+
+ URL を確認するには、 Weaviate Cloud Console を開き、クラスターの詳細パネルを確認します。クラスター URL の前に `grpc-` を付けた場合、クラスター URL とクラスター gRPC URL が一致している必要があります。
+
+import EndpointURLs from '/docs/cloud/img/weaviate-cloud-endpoint-urls.png';
+
+
+ +## クラスター ステータス情報 + +ページ上部では、以下のクラスター統計情報を確認できます。 + +- `Dimensions stored` +- `Dimensions queried` +- `Object count` +- `Running costs` + +`Information` セクションには次の項目が含まれます。 + +- `Name` +- `REST Endpoint` +- `gRPC Endpoint` +- `Weaviate Database version` +- `Cloud region` +- `Created at` +- `Type`: Serverless または Sandbox +- `Support Plan` +- `High Availability` + +Serverless クラスターには `Advanced configuration` セクションがあり、以下の追加設定の有効化状況を確認または変更できます。 + +- `Enable auto schema generation` +- `Enable async indexing` +- `Enable async replication` +- `Allow all CORS origins` + +## API エンドポイント {#api-endpoint} + +プログラムからクラスター詳細を取得するには、[`nodes`](/deploy/configuration/nodes.md) REST エンドポイントを使用します。 + +import APIOutputs from '/_includes/rest/node-endpoint-info.mdx'; + +
+ +import UpdateClusterConfirm from '/docs/cloud/img/weaviate-cloud-update-cluster-confirm.png'; + +
+ +## 更新プロセスとステータス + +更新中は `Update` ボタンが無効化され、現在のステータスに応じた説明付きの読み込みインジケーターが表示されます。 + +- **Preparing**: クラスタを更新する準備中です (正常でない状態、作成中、再起動中、またはディスク拡張中の場合があります) +- **Updating**: クラスタが更新操作中、またはバージョンを更新中です +- **Backup in Progress**: データのバックアップを実行中です + +コンソールにはプロセス全体を通してステータス インジケーターが表示されます。インジケーターが消え、クラスタが準備完了になると Weaviate Cloud から確認メールが送信されます。 + +:::info 更新プロセスに関する重要な注意点 + +- Weaviate Database バージョンの更新前に、データの完全バックアップが作成されます +- 処理時間はクラスタ内のデータ量に依存します +- 大量のデータを持つクラスタでは、更新完了までに長時間を要する場合があります +- ステータス インジケーターはリアルタイムのプロビジョニング状況を反映するため、特定の順序で表示されないことがあります + +::: + +## サポートとフィードバック + +import SupportAndTrouble from '/_includes/wcs/support-and-troubleshoot.mdx'; + +
+ +## 使用料金 + +使用料金は、コレクション内のオブジェクトの数とサイズを反映したものです。Weaviate は各コレクションをポーリングして、日次でオブジェクト数を取得します。 + +- オブジェクトが非圧縮の場合、請求システムはオブジェクト数に次元数を掛けて `vectorDimensionsSum` を算出します。 +- オブジェクトが圧縮されている場合、請求システムはオブジェクト数にベクトルセグメント数を掛けて `vectorSegmentsSum` を算出します。 + +これらの値を合算して正規化し、基本料金を求めます。基本料金にクラスターのサポートプランの料金率を掛けて請求額を算出します。 + +クラスターが **高可用性** の場合、料金率は 3 倍になります。 + +:::tip + +**圧縮** を有効にすると大幅なコスト削減が期待できます。 + +::: + +## サポート & フィードバック レベル + +Weaviate では、[Standard](/cloud/platform/support-levels#standard-support)、[Professional](/cloud/platform/support-levels#professional-support)、[Business Critical](/cloud/platform/support-levels#business-critical-support) の 3 つのサポートレベルを提供しています。各サポートプランには使用料金に対する課金率と月額最低料金が設定されています。 + +- 使用料金がサポートプランの月額最低料金を下回る場合、Weaviate は月額最低料金を請求します。 +- 使用料金が月額最低料金を超えた場合、Weaviate は最低料金に追加料金を加えて請求します。 + +## 高可用性 + +高可用性 ( HA ) クラスターの場合、Weaviate Cloud は最低料金と使用料金を 3 倍にして、追加リソース分を考慮します。 + +## 請求サイクル + +アクティブなクラスターの料金は毎月 1 日に計算され、請求書が発行されます。 + +## サポート & フィードバック + +import SupportAndTrouble from '/_includes/wcs/support-and-troubleshoot.mdx'; + +
+ +## 調達情報の設定 + +サンドボックスインスタンスは 14 日間で期限切れになる無料の短期インスタンスです。Weaviate を試すためにサンドボックスインスタンスを使用する場合、請求の設定は不要です。 + +サーバーレスクラスターは、本番、開発、およびテストに適した永続的なインスタンスです。サーバーレスクラスターは有料インスタンスです。インスタンスのコストは、インスタンスタイプと選択したサポートプランによって異なります。サーバーレスインスタンスを作成する前に、請求設定を行う必要があります。請求アカウントの設定方法は [こちらのガイド](/cloud/platform/billing) を参照してください。 + +[AWS](https://aws.amazon.com/marketplace/pp/prodview-ng2dfhb4yjoic) や [GCP](https://console.cloud.google.com/marketplace/product/weaviate-gcp-mktplace/weaviate?inv=1&invt=AbwjlA) などのクラウドマーケットプレイスから登録した場合、請求はそのクラウドプロバイダーに統合されます。 + +## サポートとフィードバック + +import SupportAndTrouble from '/_includes/wcs/support-and-troubleshoot.mdx'; + +
+
+ +MFA を設定すると、Weaviate Cloud はログインのたびにワンタイム認証コードの入力を求めます。 + +## MFA の無効化 + +MFA を無効にするには、[サポート](mailto:support@weaviate.io)にお問い合わせください。 + +## MFA とアプリケーション + +ブラウザ ホスト型アプリケーションを JavaScript/TypeScript クライアントで Weaviate に接続する場合、そのクライアントのアカウントで MFA を有効にしないでください。 + +ワンタイム認証コードをアプリケーションに渡す方法がないため、アプリケーションは Weaviate Cloud に接続できなくなります。 + +ブラウザ ベースのクライアント アプリケーションを Weaviate Cloud に接続する際は、API キーを使用してください。 + +## サポートとフィードバック + +import SupportAndTrouble from '/_includes/wcs/support-and-troubleshoot.mdx'; + +
+ +
+ +## 利用可能なサポートプラン + +Sandbox 環境とセルフホストクラスターは有料サポートの対象外です。 + +** Serverless Cloud ** および ** Enterprise Cloud ** クラスターでは有料サポートをご利用いただけます。 + +| Cluster Type | Standard | Professional | Business Critical | +| ------------------------------------ | -------- | ------------ | ----------------- | +| Serverless _(高可用性)_ | ✅ | ✅ | ✅ | +| Enterprise _(高可用性)_ | ✅ | ✅ | ✅ | +| Serverless _(非高可用性)_ | ✅ | ❌ | ❌ | +| Enterprise _(非高可用性)_ | ✅ | ❌ | ❌ | +| Sandbox | N/A | N/A | N/A | + +### Standard サポート + +- Standard サポートはメールベースで、営業時間内にご利用いただけます。 +- 監視: Weaviate Cloud チームがクラスターを監視します。 +- 重大度に応じてインシデントの対応時間が決まります: + +| 重大度 | 基準 | 対応時間 | +| :----------- | :-------------------------------------------------------------------------------------------------------------------------- | :------------- | +| 1 - Critical | 重大で即時対応が必要な問題。
大規模な障害や停止を引き起こしています。 | 1 営業日 | +| 2 - High | サービス機能やパフォーマンスに影響を与える可能性のある高優先度の問題。
一部のユーザーに影響します。 | 2 営業日 | +| 3 - Medium | 限定されたユーザーまたはユースケースに影響する中程度の問題。
サービス機能やパフォーマンスに影響を与えます。 | 3 営業日 | +| 4 - Low | 個々のユーザーに軽微な不便を引き起こす低優先度の問題。 | 5 営業日 | + +### Professional サポート + +- Professional サポートはメールベースで、24 時間 365 日ご利用いただけます。 +- 重大度 1 と 重大度 2 のインシデント対応にはフォローアップの電話連絡が含まれます。 +- 監視: Weaviate Cloud チームがクラスターを監視します。 +- 重大度に応じてインシデントの対応時間が決まります: + +| 重大度 | 基準 | 対応時間 | +| :----------- | :-------------------------------------------------------------------------------------------------------------------------- | :-------------- | +| 1 - Critical | 重大で即時対応が必要な問題。
大規模な障害や停止を引き起こしています。 | 4 時間 | +| 2 - High | サービス機能やパフォーマンスに影響を与える可能性のある高優先度の問題。
一部のユーザーに影響します。 | 8 時間 | +| 3 - Medium | 限定されたユーザーまたはユースケースに影響する中程度の問題。
サービス機能やパフォーマンスに影響を与えます。 | 1 営業日 | +| 4 - Low | 個々のユーザーに軽微な不便を引き起こす低優先度の問題。 | 2 営業日 | + +詳細については、サポート契約をご参照ください。 + +### Business Critical サポート + +- Business Critical サポートはメールベースで、24 時間 365 日ご利用いただけます。 +- エスカレーション用の電話ホットラインを 24 時間 365 日ご利用いただけます。 +- 重大度 1、重大度 2、重大度 3 のインシデント対応にはフォローアップの電話連絡が含まれます。 +- 監視: Weaviate Cloud チームがクラスターを監視します。 +- 重大度に応じてインシデントの対応時間が決まります: + +| 重大度 | 基準 | 対応時間 | +| :----------- | :-------------------------------------------------------------------------------------------------------------------------- | :------------- | +| 1 - Critical | 重大で即時対応が必要な問題。
大規模な障害や停止を引き起こしています。 | 1 時間 | +| 2 - High | サービス機能やパフォーマンスに影響を与える可能性のある高優先度の問題。
一部のユーザーに影響します。 | 4 時間 | +| 3 - Medium | 限定されたユーザーまたはユースケースに影響する中程度の問題。
サービス機能やパフォーマンスに影響を与えます。 | 8 時間 | +| 4 - Low | 個々のユーザーに軽微な不便を引き起こす低優先度の問題。 | 1 営業日 | + +詳細については、サポート契約をご参照ください。 + +### サンドボックス + +サンドボックス環境は有償サポートの対象外です。サンドボックス インスタンスのサポートが必要な場合は、次のリソースをご利用ください。 + +- [コミュニティ フォーラム](https://forum.weaviate.io) +- [Slack](https://weaviate.io/slack) + +## 料金 + +サーバーレス クラスターは月額で課金されます。クラスターの月額料金は、リソース使用量に応じて決まります。ご契約中のサポート プランも月額料金に影響しますが、サポートの問い合わせ件数ごとに課金されることはありません。 + +各サポート プランには課金レートがあります。 Weaviate Cloud はクラスター内のオブジェクト数をカウントし、その数にプランのレートを掛けます。圧縮が有効な場合は、この数を調整します。この結果が使用量に基づく料金になります。 + +高可用性クラスター (HA) をご利用の場合は、追加リソースを考慮して使用量料金に 3 倍を掛けた金額になります。 + +各サポート プランには月額最低料金が設定されています。使用量料金が月額最低料金を下回る場合、 Weaviate は月額最低料金を請求します。使用量料金がプランの最低料金を上回る場合は、クラスターの使用量に応じて請求されます。 + +使用量とサポート プランの組み合わせごとの料金を見積もるには、[料金計算ツール](https://weaviate.io/services/serverless)をご覧ください。 + +## サポートとフィードバック + +import SupportAndTrouble from '/_includes/wcs/support-and-troubleshoot.mdx'; + +
+ +Weaviate Cloud は自動的にコンソールビューを新しい組織に切り替えます。 + +### 組織の切り替え + +組織を切り替えるには、Weaviate Cloud コンソール左上の組織ドロップダウンメニューから組織名を選択します。 + +### 組織名の編集 + +組織名を編集するには、次の手順に従ってください。 + +
+
+ +:::caution +組織にクラスタが残っている場合は削除できません。まず、すべてのクラスタを削除してください。 +::: + +## ユーザー アカウントの管理 + +組織のメンバーであれば誰でもユーザーを追加または削除できます。新しいユーザーは Weaviate Cloud アカウントを持っている必要があります。 + +### ユーザーの追加 + +Weaviate Cloud ユーザーは複数の組織に所属できます。まだ Weaviate Cloud にアカウントがなくても、そのユーザーを組織に追加でき、後からアカウントを作成できます。 + +ユーザーを追加するには、次の手順に従ってください。 + +1. ユーザーに Weaviate Cloud アカウントで使用しているメールアドレスを確認します。 +2. [Organization settings](#organization-settings) ページを開きます。 +3. `Users` セクションにユーザーのメールアドレスを入力し、`Add user` をクリックします。 + +ユーザーが組織に追加されると、Weaviate Cloud からそのユーザーにメールが送信されます。 + +### ユーザーの削除 + +ユーザーを削除するには、次の手順に従ってください。 + +1. [Organization settings](#organization-settings) ページを開きます。 +1. `Users` セクションで該当ユーザーのメールアドレスを探します。 +1. ゴミ箱アイコンをクリックしてユーザーを削除します。 +1. `Confirm` をクリックします。 + +削除したユーザーが作成したクラスタがある場合でも、再起動後もそのクラスタは利用可能です。 + +## 請求 + +[請求](/cloud/platform/billing.mdx) は組織単位で行われます。 + +請求アカウントが設定されると、組織内のすべてのユーザーが新しいクラスタを作成したり、既存のクラスタを変更したりできます。 + +アカウントにはクラスタごとに請求書が発行されます。クラスタは毎月 1 日に課金されます。 + +## サポートとフィードバック + +import SupportAndTrouble from '/_includes/wcs/support-and-troubleshoot.mdx'; + +
+
+ +:::info 学習内容 + +このクイックスタートでは、Weaviate Cloud と [Weaviate Embeddings](/cloud/embeddings) を組み合わせて、以下を行う方法を学びます。 + +1. Weaviate インスタンスをセットアップする。 (10 分) +1. データを追加してベクトル化する。 (10 分) +1. セマンティック検索および 検索拡張生成 (RAG) を実行する。 (10 分) + +```mermaid +flowchart LR + %% Define nodes with white backgrounds and darker borders + A1["Create a
cluster"] --> A2["Install client
library"] + A2 --> A3["Connect to
Weaviate"] + A3 --> B1["Define collection"] + B1 --> B2["Import data"] + B2 --> C1["Semantic search"] + C1 --> C2["RAG
(Generate)"] + + %% Group nodes in subgraphs with brand colors + + subgraph sg1 ["1\. Connect"] + A1 + A2 + A3 + end + + subgraph sg2 ["2\. Populate"] + B1 + B2 + end + + subgraph sg3 ["3\. Query"] + C1 + C2 + end + + %% Style nodes with white background and darker borders + style A1 fill:#ffffff,stroke:#B9C8DF,color:#130C49 + style A2 fill:#ffffff,stroke:#B9C8DF,color:#130C49 + style A3 fill:#ffffff,stroke:#B9C8DF,color:#130C49 + style B1 fill:#ffffff,stroke:#B9C8DF,color:#130C49 + style B2 fill:#ffffff,stroke:#B9C8DF,color:#130C49 + style C1 fill:#ffffff,stroke:#B9C8DF,color:#130C49 + style C2 fill:#ffffff,stroke:#B9C8DF,color:#130C49 + + %% Style subgraphs with brand colors + style sg1 fill:#ffffff,stroke:#61BD73,stroke-width:2px,color:#130C49 + style sg2 fill:#ffffff,stroke:#130C49,stroke-width:2px,color:#130C49 + style sg3 fill:#ffffff,stroke:#7AD6EB,stroke-width:2px,color:#130C49 +``` + +注意: + +- ここで紹介するコード例は自己完結型です。コピー＆ペーストしてご自身の環境でお試しください。 + +::: + +## 前提条件 + +- [Weaviate Cloud アカウント](./platform/create-account.mdx) +- 最後のステップで Retrieval Augmented Generation (RAG) を実行するには、[Cohere](https://dashboard.cohere.com/) アカウントが必要です。無料の Cohere トライアル API キーを利用できます。別の [モデルプロバイダー](/weaviate/model-providers) を使用する場合は、Cohere の代わりにそちらをご利用ください。 + +
+ +## ステップ 1: Weaviate Cloud のセットアップ + +### 1.1 クラスターの作成 + +Weaviate では次のクラスター オプションを提供しています。 + +- **Sandbox クラスター**: 開発目的向けの無料短期クラスター +- **Serverless クラスター**: 本番環境向けの永続的なクラスター + +[Weaviate Cloud コンソール](https://console.weaviate.cloud) にアクセスし、無料の Sandbox インスタンスを作成します。 + +
+ +:::note + +- クラスターのプロビジョニングには通常 1〜3 分かかります。 +- クラスターが準備完了すると、Weaviate Cloud はクラスター名の横にチェックマーク (`✔️`) を表示します。 +- 一意性を保つため、Sandbox クラスター名にはランダムなサフィックスが追加されます。 + +::: + +import LatestWeaviateVersion from '/_includes/latest-weaviate-version.mdx'; + +
+ +:::info REST と gRPC のエンドポイント + +Weaviate は REST と gRPC の両方のプロトコルをサポートしています。Weaviate Cloud デプロイでは REST エンドポイント URL のみを指定すれば、クライアントが自動的に gRPC を設定します。 + +::: + +**REST Endpoint URL** と **Admin API key** を取得したら、Sandbox インスタンスに接続して Weaviate を操作できます。 + +以下の例では、Weaviate に接続し、クラスターの状態を確認する基本操作を実行します。 + +import ConnectIsReady from '/_includes/code/quickstart/quickstart.is_ready.mdx'; + +
+ + + +## ステップ 2: データベースの投入 + +### 2.1 コレクションの定義 + +次の例では `Question` という _コレクション_ を作成します。内容は以下のとおりです。 + +- 取り込み時とクエリ時にベクトルを生成するための [Weaviate Embeddings モデル統合](/weaviate/model-providers/weaviate/embeddings.md) +- 検索拡張生成 (RAG) 用の Cohere [生成 AI 統合](/weaviate/model-providers/cohere/generative.md) + +import CreateCollection from '/_includes/code/quickstart/quickstart.create_collection.mdx'; + +
+ +詳しくは [モデルプロバイダー統合](/weaviate/model-providers/index.md) セクションをご覧ください。 + +::: + +### 2.2 データの読み込み + +これでコレクションにデータを追加できます。 + +次の例では、 + +- オブジェクトを読み込み、 +- バッチ処理で対象コレクション (`Question`) に追加します。 + +:::tip バッチインポート + +([バッチインポート](/weaviate/manage-objects/import.mdx)) は複数のオブジェクトを 1 回のリクエストで送信するため、大量データを追加する最も効率的な方法です。詳しくは [How-to: Batch import](/weaviate/manage-objects/import.mdx) ガイドをご覧ください。 + +::: + +import ImportObjects from '/_includes/code/quickstart/quickstart.import_objects.mdx'; + +
+ +## ステップ 3: データのクエリ + +Weaviate は、目的のデータを見つけるための多彩なクエリツールを提供しています。ここではいくつかの検索を試してみましょう。 + +### 3.1 セマンティック検索 {#semantic-search} + +セマンティック検索は意味に基づいて結果を取得します。Weaviate では `nearText` と呼ばれます。 + +次の例では、`biology` と最も意味が近い 2 つのオブジェクトを検索します。 + +import QueryNearText from '/_includes/code/quickstart/quickstart.query.neartext.mdx'; + +
'biology'"] + + subgraph sg1 ["Vector Search"] + direction LR + VS1["Convert query
to vector"] --> VS2["Find similar
vectors"] + VS2 --> VS3["Return top
matches"] + end + + subgraph sg2 ["Results"] + R1["Most similar
documents"] + end + + Query --> VS1 + VS3 --> R1 + + %% Style nodes with white background and darker borders + style Query fill:#ffffff,stroke:#B9C8DF,color:#130C49 + style VS1 fill:#ffffff,stroke:#B9C8DF,color:#130C49 + style VS2 fill:#ffffff,stroke:#B9C8DF,color:#130C49 + style VS3 fill:#ffffff,stroke:#B9C8DF,color:#130C49 + style R1 fill:#ffffff,stroke:#B9C8DF,color:#130C49 + + %% Style subgraphs with brand colors + style sg1 fill:#ffffff,stroke:#61BD73,stroke-width:2px,color:#130C49 + style sg2 fill:#ffffff,stroke:#130C49,stroke-width:2px,color:#130C49 +``` + +:::info ベクトルはどこから来たのですか？ + +Weaviate は [Weaviate Embeddings](/cloud/embeddings) サービスを使用して、インポート時に各オブジェクトのベクトル埋め込みを生成しました。クエリ時にも、`biology` をベクトルに変換しています。 + +これは任意設定であることは前述のとおりです。独自のベクトルを用意したい場合は、[スターターガイド: Bring Your Own Vectors](/weaviate/starter-guides/custom-vectors.mdx) をご覧ください。 + +::: + +:::tip さらに利用できる検索タイプ + +Weaviate は多様な検索に対応しています。たとえば [類似度検索](/weaviate/search/similarity.md)、[キーワード検索](/weaviate/search/bm25.md)、[ハイブリッド検索](/weaviate/search/hybrid.md)、[フィルタ検索](/weaviate/search/filters.md) の How-to ガイドをご覧ください。 + +::: + +### 3.2 検索拡張生成 + +検索拡張生成 (RAG)、別名 生成検索 は、大規模言語モデル (LLM) などの生成 AI モデルのパワーと、データベースの最新かつ正確な情報を組み合わせたものです。 + +RAG は、_ユーザークエリ_ と _データベースから取得したデータ_ を組み合わせて大規模言語モデル (LLM) にプロンプトを与えることで機能します。 + +次の図は、Weaviate における RAG のワークフローを示しています。 + +```mermaid +flowchart LR + subgraph sg0 ["Weaviate Query"] + direction TB + Search["🔍 Search:
'biology'"] + Prompt["✍️ Prompt:
'Write a
tweet...'"] + end + + subgraph sg1 ["Vector Search"] + direction LR + VS1["Convert query
to vector"] --> VS2["Find similar
vectors"] + VS2 --> VS3["Return top
matches"] + end + + subgraph sg2 ["Generation"] + direction LR + G1["Send
(results + prompt)
to LLM"] + G1 --> G2["Generate
response"] + end + + subgraph sg3 ["Results"] + direction TB + R1["Most similar
documents"] + R2["Generated
content"] + end + + Search --> VS1 + VS3 --> R1 + Prompt --> G1 + VS3 --> G1 + G2 --> R2 + + %% Style nodes with white background and darker borders + style Search fill:#ffffff,stroke:#B9C8DF,color:#130C49 + style Prompt fill:#ffffff,stroke:#B9C8DF,color:#130C49 + style VS1 fill:#ffffff,stroke:#B9C8DF,color:#130C49 + style VS2 fill:#ffffff,stroke:#B9C8DF,color:#130C49 + style VS3 fill:#ffffff,stroke:#B9C8DF,color:#130C49 + style G1 fill:#ffffff,stroke:#B9C8DF,color:#130C49 + style G2 fill:#ffffff,stroke:#B9C8DF,color:#130C49 + style R1 fill:#ffffff,stroke:#B9C8DF,color:#130C49 + style R2 fill:#ffffff,stroke:#B9C8DF,color:#130C49 + + %% Style subgraphs with brand colors + style sg0 fill:#ffffff,stroke:#130C49,stroke-width:2px,color:#130C49 + style sg1 fill:#ffffff,stroke:#61BD73,stroke-width:2px,color:#130C49 + style sg2 fill:#ffffff,stroke:#7AD6EB,stroke-width:2px,color:#130C49 + style sg3 fill:#ffffff,stroke:#130C49,stroke-width:2px,color:#130C49 +``` + +以下の例では、`biology` の検索結果とツイート生成のプロンプトを組み合わせています。 + +import QueryRAG from '/_includes/code/quickstart/quickstart.query.rag.mdx'; + +
+ + + +## 次のステップ + +Weaviate についてさらに学ぶために、以下の追加リソースをご利用ください: + +import CardsSection from "/src/components/CardsSection"; + +export const nextStepsData = [ + { + title: "Serverless Cloud", + description:( + + If you need a production-ready and persistent instance, create a{' '} + Serverless cluster. + + ), + link: "/cloud/manage-clusters/create", + icon: "fa fa-server", + }, + { + title: "Weaviate Database: Documentation", + description: + "To learn how Weaviate can help you build your AI project, check out the Weaviate documentation.", + link: "/weaviate/", + icon: "fa fa-book", + }, +]; + +
+ +利用可能なクラスターが表示されない場合は、左メニューの `Clusters` を選択し、[新しいクラスターを作成する](/cloud/manage-clusters/create) 手順に従ってください。 + +## コレクションの作成 + +`Create collection` ボタンをクリックすると、コレクションエディターが開きます。新しいコレクションを作成するにはこのボタンをクリックします。 + +import CreateCollection from '/docs/cloud/img/weaviate-cloud-create-collection.png'; + +
+ +### General セクションの編集 + +
+ +#### コレクション名の設定 + +コレクション名は大文字で始める必要があります。 + +使用できる文字は英字・数字・アンダースコア ( _ ) のみです。スペースは使用できません。 + + + +#### マルチテナンシーの有効化 + +[マルチテナント コレクション](/weaviate/manage-collections/multi-tenancy) は、複数のユーザーがいる場合やデータを分離する必要がある場合に便利です。デフォルトでは、コレクションはシングルテナントです。マルチテナンシーを有効にするには、`Multi-tenancy` トグルをオンにします。 + +#### デフォルト ベクトライザーの設定 + +コレクションに [ベクトライザー](/weaviate/config-refs/collections.mdx#vector-configuration) を設定します。Weaviate は、ベクトル化されていないデータをインポートする場合や、ベクトル化された入力を必要とする外部 API を呼び出す際に、デフォルト ベクトライザーを使用します。 + +`Vectorizer` 設定はドロップダウン リストです。ベクトライザーを選択すると、エディターが展開され、モデルを設定できるようになります。ツールは、選択したベクトライザーに関連する設定オプションのみを表示します。 + +クラス名のベクトルを作成したくない場合は、`Vectorize class name` トグルをオフにしてください。 + +### Properties セクションの編集 + +`Properties` セクションを使用して、コレクション内の各プロパティを詳細設定できます。 + +#### コレクションへのプロパティ追加 + +プロパティ エディターにプロパティ名を入力します。 + +
+ +#### 追加詳細設定 + +一部のプロパティタイプはさらに詳細設定が可能です。追加設定が可能な場合、エディターは `Filterable` トグルの横に歯車アイコンを表示します。 + +
+ +#### ネストされたプロパティの設定 + +`Object` プロパティタイプは、ネストされたサブプロパティを持つことができます。ネストされたプロパティを追加するには、次の手順に従います。 + +
+ +ネストされたプロパティの追加が完了したら、コレクション名をクリックしてコレクション エディターに戻ります。 + +#### プロパティの削除 + +プロパティを削除するには、プロパティの横にあるゴミ箱アイコンをクリックします。 + +## コレクションの変更 + +コレクションを変更するには、まず編集したい [コレクション](#collection-details) を選択します。 + +
+ +## コレクションの削除 + +一度 コレクション を削除すると、復元することはできません。コレクションスキーマとコレクション内のすべてのオブジェクトはクラスタから削除されます。この操作は取り消せません。 + +コレクションを削除するには: + +import DeleteCollection from '/docs/cloud/img/weaviate-cloud-delete-collection.png'; + +
+ +import DeleteCollectionConfirm from '/docs/cloud/img/weaviate-cloud-delete-collection-confirm.png'; + +
+ +## 追加の考慮事項 + +Weaviate のコレクションスキーマは高度に設定可能で、多数の方法でチューニングできます。コレクション作成後に変更可能なスキーマ要素もありますが、多くのプロパティは変更できません。詳細は [Collection definition](/weaviate/config-refs/collections.mdx) を参照してください。 + +## 参考リソース + +- [リファレンス: Collection definition](/weaviate/config-refs/collections.mdx) +- [スターターガイド: コレクション定義 (スキーマ)](/weaviate/starter-guides/managing-collections) + +## サポート & フィードバック + +import SupportAndTrouble from '/_includes/wcs/support-and-troubleshoot.mdx'; + +
+ +
+ +### コレクションとオブジェクトの探索 + +クラスターを選択したら、[コレクション](/weaviate/concepts/data.md#collections)に入り、その[オブジェクト](/weaviate/concepts/data.md#data-object-concepts)を確認できます。 + +import ExplorerImg3 from '/docs/cloud/img/explorer-3.png'; +import ExplorerImg4 from '/docs/cloud/img/explorer-4.png'; +import ExplorerImg5 from '/docs/cloud/img/explorer-5.png'; + +
+ +#### オブジェクトの確認 + +コレクションを選択すると、Explorer はオブジェクトを読みやすい形式で表示します。各オブジェクトには次の情報が示されます。 + +- 一意の識別子 (UUID) +- プロパティとその値 +- メタデータ（展開可能） +- ベクトル埋め込み + +一部の詳細は折りたたまれた状態で表示されます。カラーコードされたプロパティグループをクリックして展開し、詳細を確認してください。 + +
+ +
+ +### JSON 形式で表示 + +Explorer では、構造化ビューと生の JSON フォーマットの両方を提供しています。 + +任意のオブジェクトで以下の操作が可能です。 + +- `{}` アイコンをクリックして JSON ビューに切り替える +- もう一度クリックしてフォーマットビューに戻る +- JSON ビューでは、すべてのネストされたプロパティ、メタデータ、ベクトルを含む完全なオブジェクト構造が表示されます + +import ExplorerImg6 from '/docs/cloud/img/explorer-6.png'; + +
+ +### ページネーション & 更新 + +オブジェクトが多数あるコレクションを表示していると、リストの下部にページネーション コントロールが表示されます。これらのコントロールを使用してオブジェクトを閲覧してください。 + +さらに、ページ上部のリフレッシュ ボタンをクリックすると、コレクション内のオブジェクト一覧を更新できます。 + +import ExplorerImg7 from '/docs/cloud/img/explorer-7.png'; + +
+ +CSV ファイルを選択すると、ツールにファイル名とサイズが表示されます。 + +
+ +## ステップ 2: コレクション設定 + +このステップでは、インポートしたデータを保存する新しいコレクションの設定を行います。 + +
+ + + +## ステップ 3: プロパティのマッピング + +これはインポートを開始する前の最後のステップです。ここでは、CSV ファイルの列を新しい Weaviate コレクションのプロパティにマッピングします。 + +
+ +画面下部の `Product Preview` セクションでは、データがどのようにマッピングされるかを確認できます。すべてが正しいことを確認してください。 + +## ステップ 4: インポート済みデータの確認 + +インポートが完了すると、自動的に [Explorer tool](./explorer-tool.mdx) が開き、新しく作成されたコレクションとそのオブジェクトを表示します。 + +
+ +CSV ファイルのデータと一致するインポート済みオブジェクトが一覧表示されます。各オブジェクトを展開して、プロパティ、メタデータ、ベクトルを確認できます。 + +## 追加リソース + +- [リファレンス: コレクション定義](/weaviate/config-refs/collections.mdx) +- [スターターガイド: コレクション定義 (スキーマ)](/weaviate/starter-guides/managing-collections) +- [ハウツー: データのインポート](/weaviate/manage-objects/import) + +## サポート + +import SupportAndTrouble from '/_includes/wcs/support-and-troubleshoot.mdx'; + +
+```
+
+Where `` is _one_ of the server configuration (`$CONFIG`) values in [`/tools/dev/run_dev_server.sh`](https://github.com/weaviate/weaviate/blob/master/tools/dev/run_dev_server.sh#L26). For example, you can run:
+```bash
+tools/dev/run_dev_server.sh local-openai
+```
+
+To run the server locally with the OpenAI module.
+
+The default configuration is `local-development` which will run the server locally with the `text2vec-contextionary` and `backup-filesystem` modules.
+
+You can also create your own configuration. For instance, you can clone an entry (`local-all-openai-cohere-google` is a good start) and add the required [environment variables](/deploy/configuration/env-vars/index.md).
+
+## Running with Docker
+
+To run with Docker, start up the Weaviate container and the container(s) for any additional services with
+
+```bash
+tools/dev/restart_dev_environment.sh [additional_services]
+```
+
+then run the development server as described in the section above.
+
+For example, the setup below uses Docker Compose to spin up Prometheus and Grafana instances. Those are pre-configured to scrape metrics from Weaviate. Using this setup, you can:
+- access Weaviate on port `8080`
+- access Grafana on port `3000` (Login: `weaviate`/`weaviate`)
+- if necessary for debugging - access prometheus directly on port `9090`
+
+```bash
+tools/dev/restart_dev_environment.sh --prometheus && tools/dev/run_dev_server.sh local-no-modules
+```
+
+:::info
+This setup is for contributors to the Weaviate code base. If you are an end-user of Weaviate looking for a Prometheus-enabled example, please see [this documentation page](/deploy/configuration/monitoring.md) or this [example](https://github.com/weaviate/weaviate-examples/tree/main/monitoring-prometheus-grafana).
+:::
+
+Below are more examples of running Weaviate with Docker.
+
+### Transformers t2v only
+
+```bash
+tools/dev/restart_dev_environment.sh --transformers && ./tools/dev/run_dev_server.sh local-transformers
+```
+
+### Contextionary t2v & Transformers QnA
+
+```bash
+tools/dev/restart_dev_environment.sh --qna && ./tools/dev/run_dev_server.sh local-qna
+```
+
+The above commands are subject to change as we add more modules and require specific combinations for local testing. You can always inspect [restart_dev_environment.sh](https://github.com/weaviate/weaviate/blob/master/tools/dev/restart_dev_environment.sh) and [run_dev_server.sh](https://github.com/weaviate/weaviate/blob/master/tools/dev/run_dev_server.sh) to see which options are available. The first option without any arguments is always guaranteed to work.
+
+To make queries from a web interface, use the [WCD console](https://console.weaviate.cloud) to connect to `localhost:8080`.
+
+## Further resources
+
+- [Weaviate GitHub repository](https://github.com/weaviate/weaviate/)
+
+## Questions and feedback
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+References: REST API: Backups
+```
+
+This prevents build failures while still providing the correct link to users. Use this sparingly and only for external references that are known to be valid but unavailable during build.
+
+## Code snippets
+
+### `FilteredTextBlock` component
+
+`FilteredTextBlock` allows you to include specific sections of code files, keeping examples up-to-date with tested code. Use Tabs to provide code examples in multiple languages.
+
+```jsx
+import Tabs from "@theme/Tabs";
+import TabItem from "@theme/TabItem";
+import FilteredTextBlock from "@site/src/components/Documentation/FilteredTextBlock";
+import PyCode from "!!raw-loader!/_includes/code/howto/manage-data.aliases.py";
+import TSCode from "!!raw-loader!/_includes/code/howto/manage-data.aliases.ts";
+import GoCode from "!!raw-loader!/_includes/code/howto/go/docs/manage-data.aliases_test.go";
+import JavaCode from "!!raw-loader!/_includes/code/howto/java/src/test/java/io/weaviate/docs/manage-data.collection-aliases.java";
+
+
+
+
+
+
+
+
+
+
+ ;
+```
+
+### Marker conventions
+
+Use consistent marker patterns in your source code files:
+
+- **Python**:
+ - `# START SectionName`
+ - `# END SectionName`
+- **JavaScript/TypeScript**:
+ - `// START SectionName`
+ - `// END SectionName`
+- **Java**:
+ - `// START SectionName`
+ - `// END SectionName`
+- **Go**:
+ - `// START SectionName`
+ - `// END SectionName`
+
+### Code output
+
+Try to be consistent with the code output in different languages. Instead of language specific objects and terms, try to use primitive values for output.
+
+## Sidebar configuration
+
+Most pages need to be manually added to the sidebar configuration to appear in navigation:
+
+```javascript
+// In sidebars.js
+{
+ type: "doc",
+ id: "weaviate/index",
+ label: "Introduction",
+},
+{
+ type: "category",
+ label: "Quickstart",
+ link: {
+ type: "doc",
+ id: "weaviate/quickstart/index",
+ },
+ items: ["weaviate/quickstart/local"],
+},
+{
+ type: "link",
+ label: "Installation",
+ href: "https://docs.weaviate.io/deploy",
+},
+```
+
+### Autogenerated sidebars
+
+Some sections use autogenerated sidebars that automatically include all files in a directory:
+
+```javascript
+conceptsSidebar: [
+ {
+ type: "autogenerated",
+ dirName: "weaviate/concepts",
+ },
+],
+```
+
+Files in autogenerated sections appear automatically but can be ordered using the `sidebar_position` field in frontmatter.
+
+:::tip
+
+Whenever possible try to use autogenerated sidebars.
+
+:::
+
+## `CardsSection` Component
+
+CardsSection creates interactive card layouts for navigation and feature highlighting:
+
+```jsx
+import CardsSection from "/src/components/CardsSection";
+
+export const welcomeCardsData = [
+ {
+ id: "new",
+ title: "New to Weaviate?",
+ description: (
+ <>
+ Start with the{" "}
+ Quickstart tutorial – an
+ end-to-end demo that takes 15–30 minutes.
+
+ ),
+ link: "/weaviate/quickstart",
+ icon: "fas fa-star", // Font Awesome CSS class
+ },
+ {
+ id: "concepts",
+ title: "Core Concepts",
+ description:
+ "Learn about vector databases, embeddings, and how Weaviate works.",
+ link: "/weaviate/concepts",
+ icon: "fas fa-brain",
+ },
+];
+
+
+```
+
+| Parameter | Type | Description |
+| ------------ | ------- | ------------------------- |
+| `collection` | string | Name of the collection |
+| `limit` | integer | Maximum number of results |
+| `offset` | integer | Number of results to skip |
+
+```mdx-code-block
+
+```
+
+Check out the source code of this page for an example of how to use the `APITable` component.
+
+## Images
+
+For simple images, use Markdown syntax:
+
+```markdown
+
+```
+
+### `ThemedImage` component
+
+For images requiring separate light and dark mode variant or CSS adjustments (e.g. width), use the Docusaurus `ThemedImage` component:
+
+```jsx
+import ThemedImage from "@theme/ThemedImage";
+import MyImageLight from "./_img/my_image_light.png";
+import MyImageDark from "./_img/my_image_dark.png";
+
+` was added in **`v1.32`** as a **technical preview**.
+This means that the feature is still under development and may change in future releases, including potential breaking changes. +**We do not recommend using this feature in production environments at this time.** + +::: + +## Questions and feedback + +import DocsFeedback from "/_includes/docs-feedback.mdx"; + +2vec--` and other modules: `--`.
+2. Optional GraphQL [`_additional` property fields](/weaviate/api/graphql/additional-properties.md). Here you can return any new field with data that you would like. Make sure the field name doesn't clash with existing field names, like `id`, `certainty`, `classification` and `featureProjection`, and `_additional` fields of other modules that you activate in the same startup configuration. New `_additional` fields can also have subfields.
+3. Optional GraphQL [filters](/weaviate/api/graphql/filters.md). You can make a new GraphQL filter on different levels. If your filter is a 'class-level influencer' that influences which results will be returned, you can introduce it at the `Class` level. Examples are `near`, `limit` or `ask`. If your module would only enhance existing results, you should scope the filter to the new `_additional` property. An example is `featureProjection`.
+4. Think about what you or another user should be able to configure to use this Weaviate Module. Configuration can be passed in the Weaviate configuration (e.g. in the [docker-compose.yml file](https://github.com/weaviate/weaviate-examples/blob/4edd6ee767d0e80bca1dd8d982db2378992ddb67/weaviate-contextionary-newspublications/docker-compose.yaml#L24-L29)).
+
+## Design the inference model (part 2)
+
+The inference model is a service that provides at least four API endpoints:
+1. `GET /.well-known/live` responds `204` when the app is alive.
+2. `GET /.well-known/ready` responds `204` when the app is ready to serve traffic.
+3. `GET /meta` responds meta information about the inference model.
+4. `POST /` (at least 1) is the endpoint that the Weaviate Module uses for inference. For a vectorizer this might for example be `POST /vectors`, which takes a JSON body with the data to vectorize. A vector will be returned (in JSON format). The Question Answering model, on the other hand, has an endpoint `POST /answers`, which takes a JSON body with the text to tokenize and returns a list of tokens found in the text (also formatted as JSON).
+
+You can always ask us on [the forum](https://forum.weaviate.io/), [Slack](https://weaviate.io/slack) or [GitHub](https://github.com/weaviate/weaviate/issues) to get help with the design.
+
+## How to build a custom module - guidelines
+
+Once you are happy with the design, you can [fork the latest Weaviate version](https://github.com/weaviate/weaviate) and make a new branch from master.
+Ideally, you create an [issue on GitHub](https://github.com/weaviate/weaviate/issues) with the module. Now you can refer to this issue in you commits, as well as ask for feedback from us and the community.
+
+These guidelines follow the example of the [QnA module](https://github.com/weaviate/weaviate/tree/master/modules/qna-transformers). This is a module with an additional feature, no vectorization module. It adds information in the GraphQL `_additional` field by examining the data in Weaviate.
+
+### 1. First files
+
+1. In the `/modules` folder, make a new folder with the name of your module. Make sure to adhere to the [naming convention](./index.md#module-characteristics).
+2. Add a file `config.go` ([example](https://github.com/weaviate/weaviate/blob/master/modules/qna-transformers/config.go)). This file describes some configuration of the module to Weaviate. You can copy/paste most of the example file, make sure to adapt the functions' receiver names.
+2. Add a file `module.go` ([example](https://github.com/weaviate/weaviate/blob/master/modules/qna-transformers/module.go)). This file describes the module as a whole and its capabilities. You will, again, be able to copy most of an example file to your project. Make sure to define which `modulecapabilities` (from [here](https://github.com/weaviate/weaviate/tree/master/entities/modulecapabilities)) you want to use (this will be explained later).
+
+### 2. Add GraphQL additional query, filter and result fields
+
+If you want to add GraphQL query and results field with your module, you can add them in the `_additional` field (note, filters may also appear on higher level, see [above](#design-the-internal-weaviate-module-part-1)). Information in this field contains additional information per data objects that is returned by the GraphQL query. If you are making a vectorization module, you might not need a new `_additional` field, so follow these steps only if you made a new field in your design.
+
+1. First, add a folder called `additional` in the module.
+2. In here, make a file `provider.go`, a folder named `/models` with a file `models.go` and a folder named which describes your new additional field (in this example `/answer`)
+3. In `models.go`, define the new field as a `struct`. For example, [here](https://github.com/weaviate/weaviate/blob/master/modules/qna-transformers/additional/models/models.go) the struct `Answer` defines the fields that will be added to the GraphQL `_additional { answer {} }` field. GraphQL results are in JSON, so we need to specify that. `"omitempty"` should be added to prevent GraphQL errors.
+4. In `/answer`, we will define the result using the [GraphQL Go library](https://github.com/graphql-go/graphql). In this folder, we make 3 files to add GraphQL result fields:
+ 1. `newField_graphql_field.go`(e.g. [`answer_graphql_field.go`](https://github.com/weaviate/weaviate/blob/master/modules/qna-transformers/additional/answer/answer_graphql_field.go)). Here we write the complete GraphQL `_additional {newField}`. We make use of the GraphQL Go library to define the new function. If you would like to add a filter in this new `_additional` field, you can define that here. If you would like to add a filter on a higher level in the GraphQL query (not in the `_additional` field), you don't need to define this in this file, but on a higher level ([see for example the QnA `ask` filter](https://github.com/weaviate/weaviate/tree/master/modules/qna-transformers/ask)).
+ 2. `.go` (e.g. [`answer.go`](https://github.com/weaviate/weaviate/blob/master/modules/qna-transformers/additional/answer/answer.go)). `AdditionalPropertyFn` will be called when the GraphQL `_additional {} ` field is called. Best is to refer to a new function, which is the next file to create.
+ 3. `_result.go` (e.g. [`answer_result.go`](https://github.com/weaviate/weaviate/blob/master/modules/qna-transformers/additional/answer/answer_result.go)). Here's the function that goes from argument values (in `params`) and a list of returned data objects (in `in`), to results in your new `_additional { newField {} }`, via a call to the inference container. It should return a struct defined in `/ent/_result.go`. For example in [`/ent/vectorization_result.go`](https://github.com/weaviate/weaviate/blob/master/modules/qna-transformers/ent/vectorization_result.go), we see a struct `AnswerResult`.
+ It is recommended to first return some hard-coded values, to validate this is working correctly without calling the inference API.
+5. Finally, let's look at `provider.go`. In here the connection between the new `_additional {}` field and Weaviate is defined. With this module, you want to add information to the `_additional {}` field with a new field. We need to define this here, to let the GraphQL fields appear when the module is selected in the Weaviate setup. Methods to return a GraphQL result should follow Weaviate's module API. Those methods are written in [`/entities/modulecapabilities`](https://github.com/weaviate/weaviate/tree/master/entities/modulecapabilities). See [here](./architecture.md#module-capabilities-additionalgo) for a detailed explanation of what you can find in [`additional.go`](https://github.com/weaviate/weaviate/blob/master/entities/modulecapabilities/additional.go).
+
+It is recommended to [test](#running-and-testing-weaviate-during-development) what you built until now with hardcoded data (so without making a call to an inference API yet). You can replace this later with actual calls.
+
+Make sure to also write tests for the GraphQL field and for the result (e.g. [this](https://github.com/weaviate/weaviate/blob/master/modules/qna-transformers/additional/answer/answer_graphql_field_test.go) and [this](https://github.com/weaviate/weaviate/blob/master/modules/qna-transformers/additional/answer/answer_test.go)).
+
+### 3. Add GraphQL filter (other than in `_additional`)
+
+If you choose to add a filter outside the `_additional` GraphQL field, you need to take a slightly different approach to add the filter arguments as explained in the previous step. That is because you can't include the filter arguments in the `/additional` GraphQL field. For example, the QnA module has the filter `ask` on class level (click [here](/weaviate/modules/qna-transformers.md#graphql-ask-search) for an example). This argument was created in a new folder inside the new module folder in Weaviate ([example](https://github.com/weaviate/weaviate/tree/master/modules/qna-transformers/ask)). To achieve this, make sure to follow these steps:
+1. Create a new folder inside your new module folder with the name of the filter (e.g. [`/ask`](https://github.com/weaviate/weaviate/tree/master/modules/qna-transformers/ask)). In this folder:
+2. Define the GraphQL filter arguments in `graphql_argument.go` ([example](https://github.com/weaviate/weaviate/blob/master/modules/qna-transformers/ask/graphql_argument.go), and also write a test for this.
+3. Define the parameters in `params.go` ([example](https://github.com/weaviate/weaviate/blob/master/modules/qna-transformers/ask/param.go)).
+4. In [`graphql_provider.go`](https://github.com/weaviate/weaviate/blob/master/modules/qna-transformers/ask/graphql_provider.go), you define which `modulecapabilities` of Weaviate you want to use with this filter.
+5. Additionally, you can add some 'helper functions', for example to extract parameter values (see [`param_helper.go`](https://github.com/weaviate/weaviate/blob/master/modules/qna-transformers/ask/param_helper.go) and [`params_extract.go`](https://github.com/weaviate/weaviate/blob/master/modules/qna-transformers/ask/grapqhl_extract.go)) (and don't forget the tests).
+6. Make sure to let Weaviate know about this new filter and arguments in a file in the new module folder ([example](https://github.com/weaviate/weaviate/blob/master/modules/qna-transformers/ask.go)).
+7. Again, you can first fill the filter arguments with some hardcoded values to test, before you use the filter's values to compute the GraphQL result (which you do for example [here](https://github.com/weaviate/weaviate/blob/master/modules/qna-transformers/additional/answer/answer_result.go#L28)).
+
+### 4. Design the client for communication with the inference app
+
+The internal Weaviate module makes `http` requests to a service that does the actual inference or computation. You need to define this connection in the Weaviate module.
+
+1. Create a `/clients` folder.
+2. Create a `startup.go` file ([example](https://github.com/weaviate/weaviate/blob/master/modules/qna-transformers/clients/startup.go)). Weaviate uses the functions `WaitForStartup()` and `checkReady` to connect to the specified inference service location, by calling the `"/.well-known/ready"` endpoint of the container. Most likely, you will be able to copy and past [this file](https://github.com/weaviate/weaviate/blob/master/modules/qna-transformers/clients/startup.go) almost completely to your project (you need to change the function receiver and the warning messages to your custom module).
+3. Create a `<>_meta.go` file (e.g. [`qna_meta.go`](https://github.com/weaviate/weaviate/blob/master/modules/qna-transformers/clients/qna_meta.go)). The function `MetaInfo()` will use the `/meta` endpoint of the service to collect meta information, which will be exposed in Weaviate's `/meta` endpoint.
+4. Create a file (e.g. [`qna.go`](https://github.com/weaviate/weaviate/blob/master/modules/qna-transformers/clients/qna.go)) that calls the inference service and returns results that you want to add to the GraphQL result. You can use the arguments and GraphQL results, and your custom inference container to return the module's results in the `_additional {}` field. The result should be in the format (struct) you define in `/ent/_result.go` (e.g. [`/ent/vectorization_result.go`](https://github.com/weaviate/weaviate/blob/master/modules/qna-transformers/ent/vectorization_result.go)). For now, you can return any hardcoded data (and not make an actual call to the inference API), to test whether this function works.
+5. Create tests: testing `meta` ([example](https://github.com/weaviate/weaviate/blob/master/modules/qna-transformers/clients/qna_meta_test.go)) and `startup` ([example](https://github.com/weaviate/weaviate/blob/master/modules/qna-transformers/clients/startup_test.go)).
+
+### 5. Create the inference container
+
+So far we've programmed the module inside Weaviate. Now, let's work on the inference container, which takes care of the actual machine learning or data enhancement. This should be a service, that is running when Weaviate is using the module or can be packed in a container (which is recommended). The service API should have at least 4 endpoints, described above. Make sure that the body of the actual inference endpoint(s) accepts JSON with data that is sent by Weaviate (which you defined in e.g. [`qna.go`](https://github.com/weaviate/weaviate/blob/master/modules/qna-transformers/clients/qna.go)), and that it returns JSON that Weaviate understands (as you defined in e.g. [`qna.go`: `answersResponse`](https://github.com/weaviate/weaviate/blob/7036332051486b393d83f9ea2ffb0ca1b2269328/modules/qna-transformers/clients/qna.go#L94)).
+
+How you build the inference service is up to you. For example, if you have your own machine learning model, you could write a Python wrapper around it, using for example [`FastAPI`](https://fastapi.tiangolo.com/).
+
+### 6. Call the inference container
+
+Now it is time to replace any hardcoded data from previous steps with results from an API call.
+1. Call the inference container in the dedicated script you wrote in the `/client` folder (e.g. [`qna.go`](https://github.com/weaviate/weaviate/blob/master/modules/qna-transformers/clients/qna.go)).
+2. Finish your `/additional/_result.go` function by replacing hardcoded return values with values you get from the inference API (e.g. [`answer_result.go`](https://github.com/weaviate/weaviate/blob/master/modules/qna-transformers/additional/answer/answer_result.go)).
+
+### 7. Add user-specific configuration
+
+Add user-specific configuration to both the Weaviate module and the inference API that you omitted for simplification in the previous steps.
+
+## Running and testing Weaviate during development
+
+During development of the new Module, you can run Weaviate locally. Make sure to have the following set:
+1. Your module should be present in the (local) [`/modules` folder](https://github.com/weaviate/weaviate/tree/master/modules).
+2. Hook up the module to Weaviate. The module will not be 'turned on' if you don't say so in `docker-compose.yml`.
+ 1. In `/adapters/handlers/rest/configure_api.go`, add your module to the import list ([example](https://github.com/weaviate/weaviate/blob/7036332051486b393d83f9ea2ffb0ca1b2269328/adapters/handlers/rest/configure_api.go#L37)), and register it as a module ([example](https://github.com/weaviate/weaviate/blob/7036332051486b393d83f9ea2ffb0ca1b2269328/adapters/handlers/rest/configure_api.go#L330-L332)). The module will not be turned on if you don't say so in the Docker Compose file. Use the name of the module here, the same as you have used as folder name in the `/modules`.
+ 2. Add the service to `tools/dev/restart_dev_environment.go` ([example](https://github.com/weaviate/weaviate/blob/7036332051486b393d83f9ea2ffb0ca1b2269328/tools/dev/restart_dev_environment.sh#L21-L23)). Here you define the argument (to start the dev environment) that will start the correct Weaviate setup. In the example, the argument is `i2v-neural`.
+ 3. Add the service to `tools/dev/run_dev_server.sh` ([example](https://github.com/weaviate/weaviate/blob/7036332051486b393d83f9ea2ffb0ca1b2269328/tools/dev/run_dev_server.sh#L77-L92)). This is the Docker Compose setup for running the development server. Define where the new modules should run and configure them. It also includes the command to run Weaviate, you can copy this.
+ 4. And add the service to `docker-compose.yml`([example](https://github.com/weaviate/weaviate/blob/7036332051486b393d83f9ea2ffb0ca1b2269328/docker-compose.yml#L37-L40)). The inference container (part 2) should be running on the defined port.
+
+Inside the Weaviate project folder, run
+
+```bash
+tools/dev/restart_dev_environment.sh --
+# e.g. tools/dev/restart_dev_environment.sh --i2v-neural
+```
+
+to restart the development server. Then, run
+
+```bash
+tools/dev/run_dev_server.sh --
+# e.g. tools/dev/run_dev_server.sh --local-image
+```
+
+You can now load in any sample or test dataset. If you only make changes in the `/modules/` folder afterwards, you only need to re-run `tools/dev/run_dev_server.sh --` to apply the changes. The data will be kept, so no need to re-import.
+
+#### Passing tests
+Before you submit your PR, your new module implementation must pass all existing tests and any new tests that you added. How to run tests, [check this page](../weaviate-core/tests.md#run-the-whole-pipeline).
+
+## Questions and feedback
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+2vec--`, for example `text2vec-contextionary`, `image2vec-RESNET` or `text2vec-transformers`.
+ - Other modules: `--`.
+ - A module name must be url-safe, meaning it must not contain any characters which would require url-encoding.
+ - A module name is not case-sensitive. `text2vec-bert` would be the same module as `text2vec-BERT`.
+- Module information is accessible through the `v1/modules//` RESTful endpoint.
+- General module information (which modules are attached, version, etc.) is accessible through Weaviate's `v1/meta` endpoint .
+- Modules can add `additional` properties in the RESTful API and [`_additional` properties in the GraphQL API](/weaviate/api/graphql/additional-properties.md).
+- A module can add [filters](/weaviate/api/graphql/filters.md) in GraphQL queries.
+- Which vectorizer and other modules are applied to which data classes is configured in the [schema](../../weaviate/manage-collections/vector-config.mdx#specify-a-vectorizer).
+
+## Questions and feedback
+
+import DocsFeedback from '/\_includes/docs-feedback.mdx';
+
+
Request"] + AuthCheck{"AuthN
Enabled?"} + AccessCheck{"Check
AuthZ"} + Access["✅ Access
Granted"] + Denied["❌ Access
Denied"] + + %% Define authentication method nodes + subgraph auth ["AuthN"] + direction LR + API["API Key"] + OIDC["OIDC"] + AuthResult{"Success?"} + end + + %% Define connections + Request --> AuthCheck + AuthCheck -->|"No"| AccessCheck + AuthCheck -->|"Yes"| auth + API --> AuthResult + OIDC --> AuthResult + AuthResult -->|"Yes"| AccessCheck + AuthResult -->|"No"| Denied + + AccessCheck -->|"Pass"| Access + AccessCheck -->|"Fail"| Denied + + %% Style nodes + style Request fill:#ffffff,stroke:#B9C8DF,color:#130C49 + style AuthCheck fill:#ffffff,stroke:#B9C8DF,color:#130C49 + style AccessCheck fill:#ffffff,stroke:#B9C8DF,color:#130C49 + style Access fill:#ffffff,stroke:#B9C8DF,color:#130C49 + style Denied fill:#ffffff,stroke:#B9C8DF,color:#130C49 + style API fill:#ffffff,stroke:#B9C8DF,color:#130C49 + style OIDC fill:#ffffff,stroke:#B9C8DF,color:#130C49 + style AuthResult fill:#ffffff,stroke:#B9C8DF,color:#130C49 + + %% Style subgraph + style auth fill:#ffffff,stroke:#130C49,stroke-width:2px,color:#130C49 +``` + +たとえば、 API キー `jane-secret` でログインしたユーザーには管理者権限が付与され、 API キー `ian-secret` でログインした別のユーザーには読み取り専用権限が付与される、といった使い分けが可能です。 + +まとめると、 Weaviate では次の認証方法を利用できます。 + +- API キー +- OpenID Connect ( OIDC ) +- 匿名アクセス ( 認証なし。本番環境以外の開発・評価時のみ推奨 ) + +API キー認証と OIDC 認証は同時に有効化できます。 + +認証の設定方法は、 Docker で実行するか Kubernetes で実行するかといったデプロイ方法によって異なります。以下では両方の例を示します。 + +:::info What about Weaviate Cloud (WCD)? +Weaviate Cloud ( WCD ) インスタンスでは、 OIDC と API キーのアクセスがあらかじめ設定されています。 WCD の認証情報を使用して [OIDC で Weaviate に認証](/weaviate/connections/connect-cloud.mdx) するか、[API キー](/cloud/manage-clusters/connect.mdx) を用いて接続できます。 +::: + +## API キー認証 + +API キー認証は、ユーザーを認証するための簡単かつ効果的な方法です。各ユーザーには一意の API キーが割り当てられ、そのキーを用いて認証が行われます。 + +### API キー: データベースユーザー + +[プログラムでデータベースユーザーを作成](/weaviate/configuration/rbac/manage-users.mdx#create-a-user) すると、各ユーザーには作成時に固有の API キーが割り当てられます。これらの API キーは [再生成 ( ローテーション )](/weaviate/configuration/rbac/manage-users.mdx#rotate-user-api-key) することも可能です。 + +### API キー: Docker + +API キー認証は環境変数で設定できます。 Docker Compose では、以下の例のように構成ファイル ( `docker-compose.yml` ) に設定します。 + +```yaml +services: + weaviate: + ... + environment: + ... + # Disable anonymous access. + AUTHENTICATION_ANONYMOUS_ACCESS_ENABLED: 'false' + + # Enables API key authentication. + AUTHENTICATION_APIKEY_ENABLED: 'true' + + # List one or more keys in plaintext separated by commas. Each key corresponds to a specific user identity below. + AUTHENTICATION_APIKEY_ALLOWED_KEYS: 'user-a-key,user-b-key' + + # List one or more user identities, separated by commas. Each identity corresponds to a specific key above. + AUTHENTICATION_APIKEY_USERS: 'user-a,user-b' +``` + +この設定は次のことを行います。 +- 匿名アクセスを無効化 +- API キー認証を有効化 +- `AUTHENTICATION_APIKEY_ALLOWED_KEYS` に平文の API キーを定義 +- `AUTHENTICATION_APIKEY_USERS` に API キーと関連付けるユーザーを定義 + +これらのユーザーには、認可設定に基づいて権限を割り当てられます。 + +import DynamicUserManagement from '/_includes/configuration/dynamic-user-management.mdx'; + +
Scheme?"} + + subgraph rbac ["RBAC Authorization"] + direction TB + AdminRole["Admin Role"] + ViewerRole["Viewer Role"] + CustomRole["Custom Roles"] + + Perms1["Full Access
All Operations"] + Perms2["Read-only
Access"] + Perms3["Custom
Permissions"] + + AdminRole --> Perms1 + ViewerRole --> Perms2 + CustomRole --> Perms3 + end + + subgraph adminlist ["Admin List Authorization"] + direction TB + AdminUser["Admin Users"] + ReadOnly["Read-only Users"] + AnonUser["Anonymous Users
(Optional)"] + + AllPerms["Full Access
All Operations"] + ReadPerms["Read-only
Access"] + + AdminUser --> AllPerms + ReadOnly --> ReadPerms + AnonUser -.->|"If enabled"| AllPerms + AnonUser -.->|"If enabled"| ReadPerms + end + + subgraph undiffer ["Undifferentiated Access"] + AllAccess["Full Access
All Operations"] + end + + AuthScheme -->|"RBAC"| rbac + AuthScheme -->|"Admin List"| adminlist + AuthScheme -->|"Undifferentiated"| undiffer + + %% Style nodes + style User fill:#f9f9f9,stroke:#666 + style AuthScheme fill:#f5f5f5,stroke:#666 + style AnonUser fill:#f9f9f9,stroke:#666,stroke-dasharray: 5 5 + + %% Style subgraphs + style rbac fill:#e6f3ff,stroke:#4a90e2 + style adminlist fill:#e6ffe6,stroke:#2ea44f + style undiffer fill:#fff0e6,stroke:#ff9933 +``` + +## 利用可能な認可方式 + + Weaviate では、次の認可方式が利用できます。 + +- [ロールベースアクセス制御 (RBAC)](#ロールベースアクセス制御-rbac) +- [管理者リスト](#管理者リスト) +- [区別のないアクセス](#区別のないアクセス) + +管理者リスト方式では、[匿名ユーザー](#匿名ユーザー) に権限を付与できます。 + +認可の設定方法は、 Weaviate を Docker で実行するか Kubernetes で実行するかなど、デプロイ方法によって異なります。以下では、両方の例を示します。 + +:::info Weaviate Cloud (WCD) について + Weaviate Cloud (WCD) インスタンスでは、認可は管理者リスト方式であらかじめ設定されています。OIDC を使用して WCD 資格情報で [ Weaviate に認証](/weaviate/connections/connect-cloud.mdx) するか、[管理者または読み取り専用 API キー](/cloud/manage-clusters/connect.mdx) で接続できます。 +
+ +RBAC アクセスは将来のリリースで WCD に追加される予定です。 +::: + +## ロールベースアクセス制御 (RBAC) + +:::info `v1.29` から利用可能 +ロールベースアクセス制御 (RBAC) は、バージョン `v1.29` から Weaviate で一般利用可能です。 +::: + +ロールベースアクセス制御 (RBAC) は、ユーザーのロールに基づいてリソースへのアクセスを制限する方法です。 Weaviate では、RBAC を使用して **ロール** を定義し、そのロールに **権限** を割り当てることができます。ユーザーをロールに割り当てると、そのロールに関連付けられた権限を継承します。 + +RBAC の設定方法やロール・ユーザー管理の例については、専用の **[RBAC ドキュメント](/weaviate/configuration/rbac/index.mdx)** を参照してください。 Weaviate インスタンスでの [RBAC の設定](/deploy/configuration/configuring-rbac.md) や [ロールとユーザーの管理](/weaviate/configuration/rbac/manage-roles.mdx) 方法が記載されています。 + +## 管理者リスト + +「管理者リスト」認可方式では、 Weaviate 内のすべての操作を実行できるフル権限を持つ管理者ユーザーと、読み取り操作のみを実行できる読み取り専用ユーザーのリストを指定できます。 + +これらの権限はカスタマイズや拡張ができません。より細かい権限制御が必要な場合は、[RBAC](#ロールベースアクセス制御-rbac) を利用してください。 + +管理者リスト方式は RBAC と併用できません。 + +### 管理者リスト: Docker + +管理者リスト認可は環境変数で設定できます。Docker Compose では、以下のように `docker-compose.yml` に設定します。 + +```yaml +services: + weaviate: + ... + environment: + ... + # Example authentication configuration using API keys + # OIDC access can also be used with RBAC + AUTHENTICATION_ANONYMOUS_ACCESS_ENABLED: 'false' + AUTHENTICATION_APIKEY_ENABLED: 'true' + AUTHENTICATION_APIKEY_ALLOWED_KEYS: 'user-a-key,user-b-key,user-c-key' + AUTHENTICATION_APIKEY_USERS: 'user-a,user-b,user-c' + + # Authorization configuration + # Enable admin list + AUTHORIZATION_ADMINLIST_ENABLED: 'true' + + # Provide pre-configured roles to users + # This assumes that the relevant user has been authenticated and identified + # + # You MUST define at least one admin user + AUTHORIZATION_ADMINLIST_USERS: 'user-a' + AUTHORIZATION_ADMINLIST_READONLY_USERS: 'user-b' +``` + +この設定では以下を行っています。 +- 管理者リスト認可を有効化 +- `user-a` を組み込みの管理者権限ユーザーとして設定 +- `user-b` を組み込みの閲覧者権限ユーザーとして設定 + +この構成では、`user-c` には権限がありません。 + +### 管理者リスト: Kubernetes + +Helm を使用した Kubernetes デプロイでは、`values.yaml` の `authorization` セクションで API キー認証を設定します。以下はその例です。 + +```yaml +# Example authentication configuration using API keys +authentication: + anonymous_access: + enabled: false + apikey: + enabled: true + allowed_keys: + - user-a-key + - user-b-key + - user-c-key + users: + - user-a + - user-b + - user-c + +# Authorization configuration +authorization: + admin_list: + # Enable admin list + enabled: true + + # Provide pre-configured roles to users + # This assumes that the relevant user has been authenticated and identified + # + # You MUST define at least one admin user + users: + - user-a + read_only_users: + - user-b +``` + +### 匿名ユーザー + +匿名ユーザーは Weaviate では `anonymous` として識別されます。管理者リスト認可方式では、匿名ユーザーに権限を付与できます。RBAC 方式は匿名ユーザーに対応していません。 + +管理者リスト方式で匿名ユーザーに権限を与えるには、以下のように設定で `anonymous` キーワードを使用します。 + +import Tabs from '@theme/Tabs'; +import TabItem from '@theme/TabItem'; + +
+
+
+
+```yaml
+services:
+ weaviate:
+ ...
+ environment:
+ ...
+ # Enable anonymous access
+ AUTHENTICATION_ANONYMOUS_ACCESS_ENABLED: 'true'
+
+ # Configure admin user API key
+ AUTHORIZATION_ADMINLIST_ENABLED: 'true'
+ AUTHENTICATION_APIKEY_ALLOWED_KEYS: 'user-a-key'
+ AUTHENTICATION_APIKEY_USERS: 'user-a'
+
+ # Enable admin list and provide admin access to "user-a" only
+ AUTHORIZATION_ADMINLIST_USERS: 'user-a'
+ # Provide read-only access to anonymous users
+ AUTHORIZATION_ADMINLIST_READONLY_USERS: 'anonymous'
+```
+
+
+
+
+
+```yaml
+# Example authentication configuration using API keys
+authentication:
+ # Enable anonymous access
+ anonymous_access:
+ enabled: true
+
+ # Enable admin list and configure admin user API key
+ apikey:
+ enabled: true
+ allowed_keys:
+ - user-a-key
+ users:
+ - user-a
+
+authorization:
+ # Enable admin list and provide admin access to "user-a" only
+ admin_list:
+ # Enable admin list
+ enabled: true
+ users:
+ - user-a
+ # Provide read-only access to anonymous users
+ read_only_users:
+ - anonymous
+```
+
+
+
+
+
+## 区別のないアクセス
+
+ Weaviate は、たとえば認証を無効にして匿名アクセスを有効にすることで、区別のないアクセスを提供するように設定できます。本番環境では推奨されず、開発や評価目的に限って使用してください。
+
+## さらに詳しく
+
+- [設定: 認証](./authentication.md)
+- [設定: RBAC](/weaviate/configuration/rbac/index.mdx)
+- [リファレンス: 環境変数 / 認証と認可](/deploy/configuration/env-vars/index.md#authentication-and-authorization)
+
+## 質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+
+
+ +## 質問およびフィードバック + +import DocsFeedback from "/_includes/docs-feedback.mdx"; + +
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+以上で Weaviate でのバックアップの準備は完了です。バックアップはローカル ファイルシステム上の指定した場所に保存されます。
+
+また、次のことも可能です。
+- Weaviate インスタンスへ [バックアップをリストア](#restore-backup)
+- バックアップの [ステータス確認](#asynchronous-status-checking)（完了を待たなかった場合）
+- 必要に応じて [バックアップをキャンセル](#cancel-backup)
+
+ローカル バックアップは本番環境には適していません。本番環境では S3、GCS、Azure Storage などのクラウド プロバイダーをご利用ください。
+
+以下のセクションでは、Weaviate でバックアップを構成および使用する方法をさらに詳しく説明します。
+
+
+
+## 設定
+
+Weaviate は 4 つのバックアップストレージオプションをサポートしています:
+
+| プロバイダー | モジュール名 | 最適用途 | マルチノード対応 |
+|----------|------------|-----------|-------------------|
+| AWS S3 | `backup-s3` | 本番環境、AWS 環境 | Yes |
+| Google Cloud Storage | `backup-gcs` | 本番環境、GCP 環境 | Yes |
+| Azure Storage | `backup-azure` | 本番環境、Azure 環境 | Yes |
+| ローカルファイルシステム | `backup-filesystem` | 開発、テスト、シングルノード構成 | No |
+
+任意のプロバイダーを使用する手順:
+1. モジュールを有効化
+ - `ENABLE_MODULES` 環境変数にモジュール名を追加します
+ - Weaviate Cloud インスタンスでは、関連するデフォルトモジュールが有効化されています
+2. 必要なモジュールを設定
+ - オプション 1: 必要な環境変数を設定する
+ - オプション 2 (Kubernetes): [Helm チャートの values](#kubernetes-configuration) を設定する
+
+複数のプロバイダーを同時に有効化できます
+
+### S3 (AWS または S3 互換)
+
+- AWS S3 および S3 互換サービス (例: MinIO) で動作します
+- マルチノードデプロイをサポートします
+- 本番環境での使用を推奨します
+
+`backup-s3` を設定するには、モジュールを有効化し、必要な設定を行います。
+
+#### モジュールの有効化
+
+`backup-s3` を `ENABLE_MODULES` 環境変数に追加します。たとえば `text2vec-cohere` モジュールと併せて S3 モジュールを有効化する場合は、次のように設定します:
+
+```
+ENABLE_MODULES=backup-s3,text2vec-cohere
+```
+
+#### S3 設定 (ベンダー非依存)
+
+この設定はすべての S3 互換バックエンドに適用されます。
+
+| 環境変数 | 必須 | 説明 |
+| --- | --- | --- |
+| `BACKUP_S3_BUCKET` | yes | すべてのバックアップに使用する S3 バケット名です。 |
+| `BACKUP_S3_PATH` | no | バケット内でバックアップをコピーおよび取得する先頭パスです。
オプション。デフォルトは `""` で、バックアップはサブフォルダーではなくバケットのルートに保存されます。 | +| `BACKUP_S3_ENDPOINT` | no | 使用する S3 エンドポイントです。
オプション。デフォルトは `"s3.amazonaws.com"` です。 | +| `BACKUP_S3_USE_SSL` | no | 接続を SSL/TLS で保護するかどうか。
オプション。デフォルトは `"true"` です。 | + +#### S3 設定 (AWS 固有) + +AWS では、Weaviate に認証情報を提供する必要があります。アクセスキー認証と ARN ベース認証のいずれかを選択できます。 + +#### オプション 1: IAM と ARN ロールを使用 + +バックアップモジュールは最初に AWS IAM を使用して認証を試みます。認証に失敗した場合は `Option 2` で認証を試行します。 + +#### オプション 2: アクセスキーとシークレットアクセスキーを使用 + +| 環境変数 | 説明 | +| --- | --- | +| `AWS_ACCESS_KEY_ID` | 対象アカウントの AWS アクセスキー ID。 | +| `AWS_SECRET_ACCESS_KEY` | 対象アカウントの AWS シークレットアクセスキー。 | +| `AWS_REGION` | (Optional) AWS リージョン。指定しない場合、モジュールは `AWS_DEFAULT_REGION` を解析しようとします。 | + + +### GCS (Google Cloud Storage) + +- Google Cloud Storage で動作します +- マルチノードデプロイをサポートします +- 本番環境での使用を推奨します + +`backup-gcs` を設定するには、モジュールを有効化し、必要な設定を行います。 + +#### モジュールの有効化 + +`backup-gcs` を `ENABLE_MODULES` 環境変数に追加します。たとえば `text2vec-cohere` モジュールと併せて S3 モジュールを有効化する場合は、次のように設定します: + +``` +ENABLE_MODULES=backup-gcs,text2vec-cohere +``` + +#### GCS バケット関連変数 + +| 環境変数 | 必須 | 説明 | +| --- | --- | --- | +| `BACKUP_GCS_BUCKET` | yes | すべてのバックアップに使用する GCS バケット名です。 | +| `BACKUP_GCS_USE_AUTH` | no | 認証に資格情報を使用するかどうか。デフォルトは `true` です。ローカル GCS エミュレーターを使用する場合は `false` にすることがあります。 | +| `BACKUP_GCS_PATH` | no | バケット内でバックアップをコピーおよび取得する先頭パスです。
オプション。デフォルトは `""` で、バックアップはサブフォルダーではなくバケットのルートに保存されます。 | + +#### Google Application Default Credentials + +`backup-gcs` モジュールは Google の [Application Default Credentials](https://cloud.google.com/docs/authentication/application-default-credentials) のベストプラクティスに従います。これにより、環境変数、ローカルの Google Cloud CLI 設定、またはアタッチされたサービスアカウントを通じて資格情報を検出できます。 + +そのため、異なる環境で同じモジュールを簡単に使用できます。たとえば、本番環境では環境変数ベースの方法を使用し、ローカルマシンでは CLI ベースの方法を使用できます。これにより、リモート環境で作成したバックアップをローカル環境に簡単に取得でき、問題のデバッグに役立ちます。 + +#### 環境変数による設定 + +| 環境変数 | 例 | 説明 | +| --- | --- | --- | +| `GOOGLE_APPLICATION_CREDENTIALS` | `/your/google/credentials.json` | GCP サービスアカウントまたはワークロードアイデンティティファイルへのパス。 | +| `GCP_PROJECT` | `my-gcp-project` | オプション。`GOOGLE_APPLICATION_CREDENTIALS` でサービスアカウントを使用している場合、プロジェクトはサービスアカウントに含まれています。ユーザー資格情報を使用し複数プロジェクトへアクセスできる場合などに、明示的にプロジェクトを設定できます。 | + +### Azure Storage + +- Microsoft Azure Storage で動作します +- マルチノードデプロイをサポートします +- 本番環境での使用を推奨します + +`backup-azure` を設定するには、モジュールを有効化し、必要な設定を行います。 + +#### モジュールの有効化 + +`backup-azure` を `ENABLE_MODULES` 環境変数に追加します。たとえば `text2vec-cohere` モジュールと併せて Azure モジュールを有効化する場合は、次のように設定します: + +``` +ENABLE_MODULES=backup-azure,text2vec-cohere +``` + +モジュールを有効化するだけでなく、環境変数を使用して設定する必要があります。コンテナー関連の変数と認証関連の変数があります。 + +#### Azure コンテナー関連変数 + +| 環境変数 | 必須 | 説明 | +| --- | --- | --- | +| `BACKUP_AZURE_CONTAINER` | yes | すべてのバックアップに使用する Azure コンテナー名です。 | +| `BACKUP_AZURE_PATH` | no | コンテナー内でバックアップをコピーおよび取得する先頭パスです。
オプション。デフォルトは `""` で、バックアップはサブフォルダーではなくコンテナーのルートに保存されます。 | + + + +#### Azure 認証情報 + +`backup-azure` で Azure に対して認証を行う方法は 2 通りあります。次のいずれかを使用できます: + +1. Azure Storage の接続文字列、または +1. Azure Storage のアカウント名とキー + +どちらの方法も、以下の環境変数で設定できます。 + +| Environment variable | Required | Description | +| --- | --- | --- | +| `AZURE_STORAGE_CONNECTION_STRING` | yes (*see note) | 認証情報を含む文字列です（[Azure のドキュメント](https://learn.microsoft.com/en-us/azure/storage/common/storage-configure-connection-string) を参照）。
`AZURE_STORAGE_ACCOUNT` よりも先にこちらがチェックされ、使用されます。 | +| `AZURE_STORAGE_ACCOUNT` | yes (*see note) | Azure Storage アカウントの名前です。 | +| `AZURE_STORAGE_KEY` | no | Azure Storage アカウントのアクセスキーです。
匿名アクセスを行う場合は `""` を指定してください。 | + +`AZURE_STORAGE_CONNECTION_STRING` と `AZURE_STORAGE_ACCOUNT` の両方が指定されている場合、認証には `AZURE_STORAGE_CONNECTION_STRING` が使用されます。 + +:::note At least one credential option is required +`AZURE_STORAGE_CONNECTION_STRING` または `AZURE_STORAGE_ACCOUNT` のいずれかは必ず設定する必要があります。 +::: + +#### Azure ブロック サイズと並列度 + +| Environment variable | Required | Default | Description | +| --- | --- | --- | --- | +| `AZURE_BLOCK_SIZE` | no | `41943040` (40MB) | Azure のブロックサイズ（バイト単位） | +| `AZURE_CONCURRENCY` | no | `1` | アップロードの並列度 | + +:::note +クライアントヘッダーのパラメーターとして `X-Azure-Block-Size` および `X-Azure-Concurrency` を使用することもできます。これらが指定された場合、環境変数より優先されます。 +::: + +### ファイルシステム + +- Google Cloud Storage で動作します +- シングルノード デプロイのみをサポートします +- 本番利用には推奨されません + +`backup-filesystem` を設定するには、モジュールを有効化し、必要な設定を行います。 + +#### モジュールの有効化 + +`ENABLE_MODULES` 環境変数に `backup-filesystem` を追加します。たとえば、S3 モジュールと `text2vec-cohere` モジュールを併用する場合は、次のように設定します: + +``` +ENABLE_MODULES=backup-filesystem,text2vec-cohere +``` + +#### バックアップ設定 + +モジュールを有効化するだけでなく、以下の環境変数で設定を行う必要があります。 + +| Environment variable | Required | Description | +| --- | --- | --- | +| `BACKUP_FILESYSTEM_PATH` | yes | すべてのバックアップをコピーして取得するルートパス | + +### その他のバックアップバックエンド + +ご希望のバックアップモジュールがない場合は、[Weaviate GitHub リポジトリ](https://github.com/weaviate/weaviate/issues) でフィーチャーリクエストを提出できます。新しいバックアップモジュールに関するコミュニティからの貢献も歓迎しています。 + +## API + +REST API の詳細はバックアップ セクション をご覧ください。
+
+### バックアップの作成
+
+モジュールを有効化し設定が完了したら、1 つのリクエストで実行中の任意のインスタンスに対してバックアップを開始できます。
+
+バックアップに特定のコレクションを含める、または除外することができます。コレクションを指定しない場合、すべてのコレクションがデフォルトで含まれます。
+
+`include` と `exclude` オプションは排他的です。どちらも設定しないか、どちらか一方のみ設定してください。
+
+##### 使用可能な `config` オブジェクトのプロパティ
+
+| name | type | required | default | description |
+| ---- | ---- | ---- | ---- | ---- |
+| `CPUPercentage` | number | no | `50%` | 1%〜80% の範囲で希望する CPU コア使用率を設定するオプションの整数値です。 |
+| `ChunkSize` | number | no | `128MB` | チャンクサイズを指定するオプションの整数値です。Weaviate は指定サイズに近づけるよう試みます。最小 2MB、デフォルト 128MB、最大 512MB です。 |
+| `CompressionLevel`| string | no | `DefaultCompression` | 圧縮アルゴリズムで使用する圧縮レベルを指定するオプションの値です。（`DefaultCompression`、`BestSpeed`、`BestCompression`） Weaviate はデフォルトで [gzip 圧縮](https://pkg.go.dev/compress/gzip#pkg-constants) を使用します。 |
+| `Path` | string | no | `""` | バックアップの保存先を手動で設定するオプションの文字列です。指定しない場合はデフォルトの場所に保存されます。Weaviate `v1.27.2` で追加されました。 |
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+バックアップが完了するまでの間も、[Weaviate は利用可能なままです](#read--write-requests-while-a-backup-is-running)。
+
+#### 非同期ステータス確認
+
+すべてのクライアント実装には、バックアップのステータスをバックグラウンドでポーリングし、バックアップが完了（成功・失敗を問わず）するまで戻らない `wait for completion` オプションがあります。
+
+この `wait for completion` オプションを `false` に設定した場合、Backup Creation Status API を使用してご自身でステータスを確認できます。
+
+```js
+GET /v1/backups/{backend}/{backup_id}
+```
+
+#### パラメーター
+
+##### URL パラメーター
+
+| Name | Type | Required | Description |
+| ---- | ---- | ---- | ---- |
+| `backend` | string | yes | `backup-` プレフィックスを除いたバックアッププロバイダー モジュールの名前。例：`s3`、`gcs`、`filesystem`。 |
+| `backup_id` | string | yes | バックアップ作成リクエスト時にユーザーが指定したバックアップ識別子。 |
+
+レスポンスには `"status"` フィールドが含まれます。ステータスが `SUCCESS` の場合、バックアップは完了しています。ステータスが `FAILED` の場合は追加のエラー情報が返されます。
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+### バックアップのキャンセル
+
+進行中のバックアップはいつでもキャンセルできます。バックアップ プロセスは停止し、バックアップは `CANCELLED` とマークされます。
+
+
+
+
+
+
+
+
+
+
+この操作は、誤ってバックアップを開始してしまった場合や、時間がかかり過ぎているバックアップを停止したい場合に特に便利です。
+
+### バックアップの復元
+
+ソースとターゲット間でノードの名前と数が同一であれば、任意のバックアップを任意のマシンへ復元できます。バックアップは同じインスタンスで作成されている必要はありません。バックアップ backend を設定したら、単一のリクエストでバックアップを復元できます。
+
+バックアップ作成時と同様に、`include` と `exclude` オプションは相互排他的です。どちらも設定しないか、どちらか一方だけを設定してください。復元操作では、`include` と `exclude` はバックアップに含まれるコレクションを基準とします。バックアップに含まれていないソース マシン上のコレクションについて、復元プロセスは認識していません。
+
+なお、復元先インスタンスに同名のコレクションがすでに存在する場合、復元は失敗します。
+
+:::caution `v1.23.12` 以前からのバックアップを復元する場合
+Weaviate `v1.23.12` 以前をご利用の場合は、バックアップを復元する前に **[Weaviate をバージョン 1.23.13 以上へ更新](/deploy/migration/index.md)** してください。
+`v1.23.13` より前のバージョンには、バックアップからデータが正しく保存されない可能性があるバグが存在しました。
+:::
+
+##### 利用可能な `config` オブジェクトのプロパティ
+
+| 名前 | 型 | 必須 | デフォルト | 説明 |
+| ---- | ---- | ---- | ---- |---- |
+| `cpuPercentage` | number | いいえ | `50%` | 1%〜80% の範囲で希望する CPU コア使用率を設定するためのオプションの整数です。 |
+| `Path` | string | カスタムパスで作成する場合は必須 | `""` | バックアップ場所を手動で設定するためのオプションの文字列です。指定しない場合、バックアップはデフォルトのロケーションから復元されます。Weaviate `v1.27.2` で導入されました。 |
+| `rolesOptions` | string | いいえ | `"noRestore"` | RBAC ロールをバックアップおよび復元するかどうかを手動で設定するためのオプションの文字列です。`"noRestore"` を指定するとロールと権限をバックアップせず、`"all"` を指定するとすべてを含めます。Weaviate `v1.32.0` で導入されました。 |
+| `usersOptions` | string | いいえ | `"noRestore"` | RBAC ユーザーをバックアップするかどうかを手動で設定するためのオプションの文字列です。`"noRestore"` を指定するとユーザーをバックアップせず、`"all"` を指定するとすべてを含めます。Weaviate `v1.32.0` で導入されました。 |
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+#### 非同期ステータスチェック
+
+すべてのクライアント実装には、復元が完了するまでバックグラウンドでステータスをポーリングし、完了（成功または失敗）した時点でのみ結果を返す `wait for completion` オプションがあります。
+
+`wait for completion` オプションを false に設定した場合は、ご自身で Backup Restore Status API を使用してステータスを確認できます。
+
+レスポンスには `"status"` フィールドが含まれます。ステータスが `SUCCESS` の場合、復元は完了しています。ステータスが `FAILED` の場合は、追加のエラー情報が提供されます。
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+## Kubernetes 構成
+
+ Kubernetes 上で Weaviate を実行する際、Helm chart の values を用いてバックアッププロバイダーを設定できます。
+
+これらの値は `values.yaml` ファイルの `backups` キー配下で指定します。詳細は `values.yaml` 内のインラインドキュメントを参照してください。
+
+
+
+## 技術的考慮事項
+
+### バックアップ実行中の Read & Write リクエスト
+
+バックアッププロセスは稼働中のセットアップへの影響を最小限に抑えるよう設計されています。テラバイト級のデータコピーが必要な非常に大規模な環境でも、 Weaviate はバックアップ中も利用可能です。バックアップ実行中であっても Write リクエストを受け付けます。本セクションではバックアップの仕組みと、バックアップ中に Write を安全に受け付けられる理由を説明します。
+
+ Weaviate はオブジェクトストアと転置インデックスに独自の [LSM ストア](/weaviate/concepts/storage.md#object-and-inverted-index-store) を使用しています。LSM ストアは不変のディスクセグメントと、書き込み（更新・削除を含む）を受け付けるインメモリ構造である memtable のハイブリッドです。通常、ディスク上のファイルは不変ですが、ファイルが変更されるのは次の 3 つの状況のみです。
+
+1. memtable がフラッシュされるたびに新しいセグメントが作成されます。既存のセグメントは変更されません。
+2. memtable へのすべての書き込みは Write-Ahead-Log (WAL) にも書き込まれます。WAL は災害復旧のためだけに必要です。セグメントが正常にフラッシュされると WAL は破棄できます。
+3. 既存セグメントを最適化する非同期バックグラウンドプロセス Compaction があり、2 つの小さなセグメントを 1 つの大きなセグメントにマージしたり、冗長データを削除したりします。
+
+ Weaviate のバックアップ実装は上記の特性を次のように利用します。
+
+1. まずすべてのアクティブな memtable をディスクへフラッシュします。この処理は数十〜数百ミリ秒で完了します。保留中の Write リクエストは、新しい memtable が作成されるまで待つだけで、失敗や大きな遅延は発生しません。
+2. memtable がフラッシュされたことで、バックアップ対象のデータが既存ディスクセグメントに含まれていることが保証されます。バックアップ要求後に取り込まれるデータは新しいディスクセグメントに書き込まれます。バックアップは不変ファイルのリストを参照します。
+3. コピー中にディスク上のファイルが変更されないよう、Compaction はファイルコピー完了まで一時停止し、その後自動で再開します。
+
+この方法により、リモートバックエンドへ転送されるファイルは不変であり（したがって安全にコピー可能）、新規 Write が届いても問題ありません。数分〜数時間かかる大規模バックアップでも、 Weaviate はバックアップ実行中にユーザーへの影響なく利用できます。
+
+バックアップは安全であるだけでなく、ユーザーリクエストを処理中の本番環境で取得することが推奨されます。
+
+### Backup API の非同期特性
+
+Backup API は長時間のネットワークリクエストを必要としないように設計されています。新しいバックアップ作成リクエストは即時に戻り、基本的なバリデーションのみを実行してからユーザーに応答します。この時点でバックアップのステータスは `STARTED` になります。実行中バックアップのステータスを取得するには、[ステータスエンドポイント](#asynchronous-status-checking) をポーリングしてください。これによりネットワークやクライアントの障害にも強くなります。
+
+アプリケーション側でバックグラウンドのバックアップ完了を待ちたい場合、各言語クライアントに備わる「完了待ち」機能を使用できます。クライアントはバックグラウンドでステータスエンドポイントをポーリングし、ステータスが `SUCCESS` または `FAILED` になるまでブロックします。これにより、API が非同期であってもシンプルな同期バックアップスクリプトを容易に記述できます。
+
+## その他のユースケース
+
+### 別環境への移行
+
+バックアッププロバイダーの柔軟性により、新しいユースケースが生まれます。災害復旧だけでなく、環境複製やクラスター間移行にもバックアップ & リストア機能を利用できます。
+
+例として、次のような状況を考えてみましょう。プロダクションデータでロードテストを実施したいが、本番環境で行うとユーザーに影響が出るかもしれません。影響を与えず有意義な結果を得る簡単な方法は、環境全体を複製することです。新しい本番相当の「loadtest」環境を立ち上げたら、プロダクション環境でバックアップを作成し、それを「loadtest」環境へリストアします。プロダクション環境がまったく別のクラウドプロバイダー上で稼働していても機能します。
+
+## トラブルシューティングと注意事項
+
+- シングルノードバックアップは Weaviate `v1.15` から利用可能です。マルチノードバックアップは `v1.16` から利用可能です。
+- 場合によってはバックアップに時間がかかったり「停止」状態になったりして、 Weaviate が応答しなくなることがあります。その際は [バックアップをキャンセル](#cancel-backup) して再試行してください。
+- バックアップモジュールの設定ミス（無効なバックアップパスなど）があると、 Weaviate が起動しないことがあります。システムログでエラーを確認してください。
+- RBAC のロールとユーザーはデフォルトではリストアされません。 [バックアップをリストア](#restore-backup) する際、設定プロパティで手動有効化が必要です。
+
+## 関連ページ
+- リファレンス: REST API: バックアップ
+
+## 質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+REST API や [クライアントライブラリを利用したプログラム](/weaviate/configuration/rbac/manage-roles.mdx) を使用してカスタムロールと権限を割り当てられる [新しいユーザーを作成](/weaviate/configuration/rbac/manage-users.mdx) できます。
+
+import DynamicUserManagement from '/_includes/configuration/dynamic-user-management.mdx';
+
+REST API や [クライアントライブラリを利用したプログラム](/weaviate/configuration/rbac/manage-roles.mdx) を使用してカスタムロールと権限を割り当てられる [新しいユーザーを作成](/weaviate/configuration/rbac/manage-users.mdx) できます。
+
+## RBAC とパフォーマンス
+
+RBAC はきめ細かなアクセス制御ポリシーを定義できる強力な機能ですが、各操作でユーザーの権限をチェックする必要があるため、パフォーマンスに影響を与える可能性があります。
+
+具体的な影響はセットアップとユースケースによって異なりますが、内部テストではオブジェクト作成操作で最も大きな影響が見られました。
+
+組み込みロールと比較してカスタムロールを使用しても、追加のパフォーマンス低下は確認されませんでした。
+
+RBAC 使用時のパフォーマンス最適化のヒント:
+- オブジェクト作成時のパフォーマンスを監視する
+- 可用性の高い (3 ノード以上) 構成で負荷を分散する
+
+## 参考リソース
+
+- [RBAC: 概要](/weaviate/configuration/rbac/index.mdx)
+- [RBAC: ロールの管理](/weaviate/configuration/rbac/manage-roles.mdx)
+- [RBAC: ユーザーの管理](/weaviate/configuration/rbac/manage-users.mdx)
+- [RBAC: チュートリアル](/deploy/tutorials/rbac.mdx)
+
+## 質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+
+```
+
+| Variable | Description | Type | Example Value |
+| --- | --- | --- | --- |
+| `ASYNC_INDEXING` | (実験的、`v1.22` で追加) オブジェクト作成プロセスとは非同期でベクトル インデックスを作成します。大量データのインポート時に便利です。（既定値: `false`） | `boolean` | `false` |
+| `AUTOSCHEMA_ENABLED` | 必要に応じてオートスキーマでスキーマを推論するかどうか（既定値: `true`） | `boolean` | `true` |
+| `DEFAULT_VECTORIZER_MODULE` | 既定のベクトライザー モジュール。スキーマでクラス レベルの値が定義されている場合はそちらが優先されます。 | `string` | `text2vec-contextionary` |
+| `DISABLE_LAZY_LOAD_SHARDS` | v1.23 で追加。`false` の場合、マルチテナント環境での平均復旧時間を短縮するためにシャードのレイジー ロードを有効にします。 | `string` | `false` |
+| `DISABLE_TELEMETRY` | [テレメトリー](/deploy/configuration/telemetry.md) データ収集を無効化します。 | boolean | `false` |
+| `DISK_USE_READONLY_PERCENTAGE` | ディスク使用率が指定パーセンテージを超えると、そのノード上のすべてのシャードが `READONLY` とマークされ、以降の書き込み要求が失敗します。詳細は [ディスク使用警告と制限](/deploy/configuration/persistence.md#disk-pressure-warnings-and-limits) を参照してください。 | `string - number` | `90` |
+| `DISK_USE_WARNING_PERCENTAGE` | ディスク使用率が指定パーセンテージを超えると、そのノードのディスク上のすべてのシャードが警告をログに出力します。詳細は [ディスク使用警告と制限](/deploy/configuration/persistence.md#disk-pressure-warnings-and-limits) を参照してください。 | `string - number` | `80` |
+| `ENABLE_API_BASED_MODULES` | すべての API ベース モジュールを有効にします。（`v1.26.0` 以降実験的） | `boolean` | `true` |
+| `ENABLE_MODULES` | 有効化する Weaviate モジュールを指定します。 | `string - comma separated names` | `text2vec-openai,generative-openai` |
+| `ENABLE_TOKENIZER_GSE` | [`GSE` トークナイザー](/weaviate/config-refs/collections.mdx) を有効にします。 | `boolean` | `true` |
+| `ENABLE_TOKENIZER_KAGOME_JA` | 日本語用 [`Kagome` トークナイザー](/weaviate/config-refs/collections.mdx) を有効にします（`v1.28.0` 以降実験的）。 | `boolean` | `true` |
+| `ENABLE_TOKENIZER_KAGOME_KR` | 韓国語用 [`Kagome` トークナイザー](/weaviate/config-refs/collections.mdx#) を有効にします（`v1.25.7` 以降実験的）。 | `boolean` | `true` |
+| `GODEBUG` | Go ランタイムのデバッグ変数を制御します。[公式 Go ドキュメント](https://pkg.go.dev/runtime) を参照してください。 | `string - comma-separated list of name=val pairs` | `gctrace=1` |
+| `GOMAXPROCS` | 同時に実行可能なスレッド数の最大値を設定します。この値が設定されている場合、`LIMIT_RESOURCES` がそれを尊重します。 | `string - number` | `NUMBER_OF_CPU_CORES` |
+| `GOMEMLIMIT` | Go ランタイムのメモリ上限を設定します。Weaviate 用には総メモリの 90〜80% を推奨します。ランタイムは使用量が上限に近づくとガーベジ コレクタを積極的に動作させます。[GOMEMLIMIT について詳しくはこちら](https://weaviate.io/blog/gomemlimit-a-game-changer-for-high-memory-applications)。 | `string - memory limit in SI units` | `4096MiB` |
+| `GO_PROFILING_DISABLE` | `true` の場合、Go プロファイリングを無効化します。既定値: `false` | `boolean` | `false` |
+| `GO_PROFILING_PORT` | Go プロファイラのポートを設定します。既定値: `6060` | `integer` | `6060` |
+| `GRPC_MAX_MESSAGE_SIZE` | gRPC メッセージの最大サイズ（バイト）。(`v1.27.1` で追加) 既定値: 10 MB | `string - number` | `2000000000` |
+| `GRPC_PORT` | Weaviate の gRPC サーバーがリクエストを受け付けるポート。既定値: `50051` | `string - number` | `50052` |
+| `LIMIT_RESOURCES` | `true` の場合、Weaviate は自動でリソース（メモリ & スレッド）使用量を (0.8 × 総メモリ) と (CPU コア数−1) に制限します。`GOMEMLIMIT` を上書きしますが、`GOMAXPROCS` は尊重します。 | `boolean` | `false` |
+| `LOG_FORMAT` | Weaviate のログ フォーマットを設定します。
既定:`json` 出力例: `{"action":"startup","level":"debug","msg":"finished initializing modules","time":"2023-04-12T05:07:43Z"}`
`text`: 文字列出力例: `time="2023-04-12T04:54:23Z" level=debug msg="finished initializing modules" action=startup` | `string` | | +| `LOG_LEVEL` | Weaviate のログ レベルを設定します。既定: `info`
`panic`: パニックのみ (`v1.24` で追加)
`fatal`: 致命的エントリのみ (`v1.24`)
`error`: エラーのみ (`v1.24`)
`warning`: 警告のみ (`v1.24`)
`info`: 一般運用ログ
`debug`: 非常に詳細
`trace`: `debug` よりさらに詳細 | `string` | | +| `MAXIMUM_ALLOWED_COLLECTIONS_COUNT` | 1 ノードあたりの最大コレクション数を設定します。`-1` で無制限。既定: `1000`
制限を引き上げる代わりに [アーキテクチャの再検討](/weaviate/starter-guides/managing-collections/collections-scaling-limits.mdx) を推奨します。
`v1.30` で追加 | `string - number` | `20` | +| `MEMORY_READONLY_PERCENTAGE` | メモリ使用率が指定パーセンテージを超えると、そのノード上のすべてのシャードが `READONLY` とマークされ、以降の書き込み要求が失敗します。（既定: `0` ＝無制限） | `string - number` | `75` | +| `MEMORY_WARNING_PERCENTAGE` | メモリ使用率が指定パーセンテージを超えると、そのノードのディスク上のすべてのシャードが警告をログに出力します。（既定: `0` ＝無制限） | `string - number` | `85` | +| `MODULES_CLIENT_TIMEOUT` | Weaviate モジュールへのリクエストのタイムアウト。既定: `50s` | `string - duration` | `5s`, `10m`, `1h` | +| `ORIGIN` | Weaviate の http(s) オリジンを設定します。 | `string - HTTP origin` | `https://my-weaviate-deployment.com` | +| `PERSISTENCE_DATA_PATH` | Weaviate データ ストアのパス。
[ファイルシステムとパフォーマンスに関する注意](/weaviate/concepts/resources.md#file-system)。 | `string - file path` | `/var/lib/weaviate`
v1.24 以降の既定: `./data` | +| `PERSISTENCE_HNSW_DISABLE_SNAPSHOTS` | 設定すると [HNSW スナップショット](/weaviate/concepts/storage.md#persistence-and-crash-recovery) を無効化します。既定: `true`
`v1.31` で追加 | `boolean` | `false` | +| `PERSISTENCE_HNSW_SNAPSHOT_INTERVAL_SECONDS` | 次のスナップショット作成までに必要な最小時間（秒）。既定: `21600` 秒 (6 時間)
`v1.31` で追加 | `string - number` | `3600` | +| `PERSISTENCE_HNSW_SNAPSHOT_MIN_DELTA_COMMITLOGS_NUMBER` | 前回スナップショット以降に作成された新しいコミットログ ファイルの最小数。既定: `1`
`v1.31` で追加 | `string - number` | `100` | +| `PERSISTENCE_HNSW_SNAPSHOT_MIN_DELTA_COMMITLOGS_SIZE_PERCENTAGE` | 新しいコミットログの合計サイズが次のスナップショットをトリガーするために必要な割合（前回スナップショット サイズに対するパーセンテージ）。既定: `5`
`v1.31` で追加 | `string - number` | `15` | +| `PERSISTENCE_HNSW_SNAPSHOT_ON_STARTUP` | 設定すると、起動時にコミットログに変更があれば新しいスナップショットを作成します。変更がなければ既存スナップショットを読み込みます。既定: `true`
`v1.31` で追加 | `boolean` | `false` | +| `PERSISTENCE_HNSW_MAX_LOG_SIZE` | HNSW の [write-ahead-log](/weaviate/concepts/storage.md#hnsw-vector-index-storage) の最大サイズ。大きくするとログ圧縮効率が向上、小さくするとメモリ要件が減少します。既定: 500 MiB | `string` | `4GiB`, `4GB`, `4000000000` | +| `PERSISTENCE_LSM_ACCESS_STRATEGY` | 仮想メモリ内でディスクデータにアクセスする方法。既定: `mmap` | `string` | `mmap` または `pread` | +| `PERSISTENCE_LSM_MAX_SEGMENT_SIZE` | [LSM ストア](/weaviate/concepts/storage.md#object-and-inverted-index-store) のセグメント最大サイズ。コンパクション時のディスク使用スパイクをセグメント サイズの約 2 倍に抑えたい場合に設定します。既定: 制限なし | `string` | `4GiB`, `4GB`, `4000000000` | +| `PROMETHEUS_MONITORING_ENABLED` | 設定すると [Prometheus 互換形式のメトリクス](/deploy/configuration/monitoring.md) を収集します。 | `boolean` | `false` | +| `PROMETHEUS_MONITORING_GROUP` | 設定すると、同一クラスのメトリクスをすべてのシャードでグループ化します。 | `boolean` | `true` | +| `QUERY_CROSS_REFERENCE_DEPTH_LIMIT` | クエリで解決されるクロスリファレンスの最大深さ。既定: 5。
`v1.24.25`, `v1.25.18`, `v1.26.5` で追加。 | `string - number` | `3` | +| `QUERY_DEFAULTS_LIMIT` | クエリで返されるオブジェクト数の既定値。 | `string - number` | `25`
v1.24 以降の既定: `10` | +| `QUERY_MAXIMUM_RESULTS` | 取得可能なオブジェクトの総数の上限を設定します。 | `string - number` | `10000` | +| `QUERY_SLOW_LOG_ENABLED` | デバッグ用に遅いクエリをログに記録します。更新には再起動が必要です。
(1.24.16, 1.25.3 で追加) | `boolean` | `False` | +| `QUERY_SLOW_LOG_THRESHOLD` | 遅いクエリとして記録する閾値時間を設定します。更新には再起動が必要です。
(1.24.16, 1.25.3 で追加) | `string` | `2s`
値例: `3h`, `2s`, `100ms` | +| `REINDEX_SET_TO_ROARINGSET_AT_STARTUP` | 起動時に一度だけ再インデックスを実行し、[Roaring Bitmap](/weaviate/concepts/filtering.md#migration-to-indexFilterable) を使用できるようにします。
`1.18` 以降で利用可能。 | `boolean` | `true` | +| `TOKENIZER_CONCURRENCY_COUNT` | GSE と Kagome の合計同時実行数を制限します。既定: `GOMAXPROCS` | `string - number` | `NUMBER_OF_CPU_CORES` | +| `TOMBSTONE_DELETION_CONCURRENCY` | トゥームストーン削除に使用する最大コア数。クリーンアップで使用するコア数を制限できます。既定: 利用可能コアの半分。（`v1.24.0` で追加） | `string - int` | `4` | +| `TOMBSTONE_DELETION_MAX_PER_CYCLE` | 1 回のクリーンアップ サイクルで削除するトゥームストーンの最大数。リソース集約的なクリーンアップ サイクルを制限するために設定します。例: 3 億オブジェクト シャードのクラスターでは 10000000 (10M) を設定。既定: なし | `string - int` (New in `v1.24.15` / `v1.25.2`) | `10000000` | +| `TOMBSTONE_DELETION_MIN_PER_CYCLE` | 1 回のクリーンアップ サイクルで削除するトゥームストーンの最小数。閾値以下で不要なクリーンアップが走るのを防ぎます。例: 3 億オブジェクト シャードのクラスターでは 1000000 (1M) を設定。既定: 0 (New in `v1.24.15`, `v1.25.2`) | `string - int` | `100000` | +| `USE_GSE` | [`GSE` トークナイザー](/weaviate/config-refs/collections.mdx) を有効にします。
（`ENABLE_TOKENIZER_GSE` と同じ。命名の一貫性のため `ENABLE_TOKENIZER_GSE` の使用を推奨） | `boolean` | `true` | +| `USE_INVERTED_SEARCHABLE` | BlockMax WAND アルゴリズム向けに設計された、より効率的なオンディスク形式で検索可能プロパティを保存します。`USE_BLOCKMAX_WAND` とともに `true` にすると、クエリ時に BlockMax WAND が有効になります。
`v1.28` 追加時の既定: `false`
`v1.30` から既定: `true`
詳細 | `boolean` | `true` | +| `USE_BLOCKMAX_WAND` | BM25 とハイブリッド検索で BlockMax WAND アルゴリズムを使用します。`USE_INVERTED_SEARCHABLE` とともに有効にすることで性能向上が得られます。
`v1.28` 追加時の既定: `false`
`v1.30` から既定: `true`
詳細 | `boolean` | `true` | + +```mdx-code-block +
+```
+
+## モジュール固有
+
+```mdx-code-block
+
+```
+
+| Variable | Description | Type | Example Value |
+| --- | --- | --- | --- |
+| `BACKUP_*` | バックアップ プロバイダー モジュール用の各種設定変数。詳細は [バックアップ](/deploy/configuration/backups.md) ページを参照してください。 | |
+| `AZURE_BLOCK_SIZE` | バックアップ用 Azure Blob Storage のブロック サイズ。既定: `41943040` (40 MB) | `int - bytes` | `10000000` |
+| `AZURE_CONCURRENCY` | バックアップ操作中に同時にアップロード/ダウンロードされるパート数の上限。既定: `1` | `int` | `3` |
+| `CLIP_INFERENCE_API` | `clip` モジュールが有効な場合のエンドポイント | `string` | `http://multi2vec-clip:8000` |
+| `CONTEXTIONARY_URL` | contextionary コンテナへのサービス ディスカバリー URL | `string - URL` | `http://contextionary` |
+| `IMAGE_INFERENCE_API` | `img2vec-neural` モジュールが有効な場合のエンドポイント | `string` | `http://localhost:8000` |
+| `LOWERCASE_VECTORIZATION_INPUT` | `true` の場合、ベクトル化前にすべての入力テキストを小文字化します。
`v1.27` で追加（既定: `false`）
`text2vec-contextionary` では `true` を推奨 | `boolean` | `true` | +| `OFFLOAD_S3_BUCKET` | オフロードに使用する S3 バケット（既定: `weaviate-offload`） | `string` | `my-custom-offload-bucket` | +| `OFFLOAD_S3_BUCKET_AUTO_CREATE` | オフロード用 S3 バケットが存在しない場合、自動で作成するかどうか（既定: `false`） | `boolean` | `true` | +| `OFFLOAD_S3_CONCURRENCY` | オフロード操作中に並列アップロード/ダウンロードされるパート数の上限（既定: `25`） | `string - number` | `10` | +| `OFFLOAD_TIMEOUT` | リクエスト タイムアウト値（秒）（既定: `120`） | `string - number` | `60` | +| `TRANSFORMERS_INFERENCE_API` | `transformers` モジュールが有効な場合のエンドポイント | `string` | `http://text2vec-transformers:8080` | +| `USE_GOOGLE_AUTH` | Google Cloud 資格情報を自動検出し、必要に応じて Vertex AI アクセス トークンを生成します（[詳細](/weaviate/model-providers/google/index.md)）。既定: `false` | `boolean` | `true` | +| `USE_SENTENCE_TRANSFORMERS_VECTORIZER` | (実験的) 既定のベクトライザーの代わりに `sentence-transformer` ベクトライザーを使用します（カスタム イメージのみ適用）。 | `boolean` | `true` | +| `CLIP_WAIT_FOR_STARTUP` | `true` の場合、`multi2vec-clip` モジュールの起動を待ってから Weaviate を起動します（既定: `true`）。 | `boolean` | `true` | +| `NER_WAIT_FOR_STARTUP` | `true` の場合、`ner-transformers` モジュールの起動を待ってから Weaviate を起動します（既定: `true`）。(`v1.25.27`, `v1.26.12`, `v1.27.7` で利用可能) | `boolean` | `true` | +| `QNA_WAIT_FOR_STARTUP` | `true` の場合、`qna-transformers` モジュールの起動を待ってから Weaviate を起動します（既定: `true`）。(`v1.25.27`, `v1.26.12`, `v1.27.7` で利用可能) | `boolean` | `true` | +| `RERANKER_WAIT_FOR_STARTUP` | `true` の場合、`reranker-transformers` モジュールの起動を待ってから Weaviate を起動します（既定: `true`）。(`v1.25.27`, `v1.26.12`, `v1.27.7` で利用可能) | `boolean` | `true` | +| `SUM_WAIT_FOR_STARTUP` | `true` の場合、`sum-transformers` モジュールの起動を待ってから Weaviate を起動します（既定: `true`）。(`v1.25.27`, `v1.26.12`, `v1.27.7` で利用可能) | `boolean` | `true` | +| `GPT4ALL_WAIT_FOR_STARTUP` | `true` の場合、`text2vec-gpt4all` モジュールの起動を待ってから Weaviate を起動します（既定: `true`）。(`v1.25.27`, `v1.26.12`, `v1.27.7` で利用可能) | `boolean` | `true` | +| `TRANSFORMERS_WAIT_FOR_STARTUP` | `true` の場合、`text2vec-transformers` モジュールの起動を待ってから Weaviate を起動します（既定: `true`）。(`v1.25.27`, `v1.26.12`, `v1.27.7` で利用可能) | `boolean` | `true` | +| `USAGE_GCS_BUCKET` | GCS バケット名（GCS 使用時は必須） | `string` | `my-weaviate-usage-bucket` | +| `USAGE_GCS_PREFIX` | GCS レポート用のオプションのオブジェクト プレフィックス | `string` | `usage-reports` | +| `USAGE_S3_BUCKET` | S3 バケット名（S3 使用時は必須） | `string` | `my-weaviate-usage-bucket` | +| `USAGE_S3_PREFIX` | S3 レポート用のオプションのオブジェクト プレフィックス | `string` | `usage-reports` | +| `RUNTIME_OVERRIDES_ENABLED` | ランタイム オーバーライド構成を有効にします。 | `boolean` | `true` | +| `RUNTIME_OVERRIDES_PATH` | ランタイム オーバーライド構成ファイルのパス | `string` | `${PWD}/tools/dev/config.runtime-overrides.yaml` | +| `RUNTIME_OVERRIDES_LOAD_INTERVAL` | ランタイム オーバーライド構成のリロード間隔 | `duration` | `30s` | +| `USAGE_SCRAPE_INTERVAL` | 使用状況メトリクスを収集する間隔 | `duration` | `2h` | +| `USAGE_SHARD_JITTER_INTERVAL` | シャード ループのジッタ。多数のシャードがある場合にファイルシステムへの負荷を平準化するために使用します。 | `duration` | `100ms` | +| `USAGE_POLICY_VERSION` | オプションのポリシー バージョン | `string` | `2025-06-01` | +| `USAGE_VERIFY_PERMISSIONS` | 起動時にバケットの権限を検証します（オプトイン）。 | `boolean` | `false` | + + +```mdx-code-block +
+```
+
+## 認証と認可
+
+:::info Authentication & Authorization documentation
+認証および認可の詳細については、[Authentication](/deploy/configuration/authentication.md) ページと [Authorization](/deploy/configuration/authorization.md) ページを参照してください。
+:::
+
+```mdx-code-block
+
+```
+
+| Variable | Description | Type | Example Value |
+| --- | --- | --- | --- |
+| `AUTHENTICATION_ANONYMOUS_ACCESS_ENABLED` | 認証なしで Weaviate と対話できるようにします | `boolean` | `true`
v1.24 以降ではデフォルトは `true` です | +| `AUTHENTICATION_APIKEY_ALLOWED_KEYS` | 許可される API キー。
各キーは下記の特定ユーザー ID に対応します。 | `string - comma-separated list` | `jane-secret-key,ian-secret-key` | +| `AUTHENTICATION_APIKEY_ENABLED` | API キーを用いた認証を有効にします | `boolean` | `false` | +| `AUTHENTICATION_APIKEY_USERS` | API キーに基づくユーザー ID。
各 ID は上記の特定キーに対応します。 | `string - comma-separated list` | `jane@doe.com,ian-smith` | +| `AUTHENTICATION_DB_USERS_ENABLED` | 実行時の [ユーザー管理](/weaviate/configuration/rbac/manage-users.mdx) を許可します。デフォルト: `false` | `boolean` | `true` | +| `AUTHENTICATION_OIDC_CLIENT_ID` | OIDC クライアント ID | `string` | `my-client-id` | +| `AUTHENTICATION_OIDC_ENABLED` | OIDC ベースの認証を有効にします | `boolean` | `false` | +| `AUTHENTICATION_OIDC_GROUPS_CLAIM` | OIDC Groups Claim | `string` | `groups` | +| `AUTHENTICATION_OIDC_ISSUER` | OIDC トークン発行者 | `string - URL` | `https://myissuer.com` | +| `AUTHENTICATION_OIDC_USERNAME_CLAIM` | OIDC Username Claim | `string` | `email` | +| `AUTHORIZATION_ADMINLIST_ENABLED` | AdminList 認可方式を有効にします（`AUTHORIZATION_RBAC_ENABLED` との併用不可） | `boolean` | `true` | +| `AUTHORIZATION_ADMINLIST_USERS` | AdminList 方式使用時に管理者権限を持つユーザー | `string - comma-separated list` | `jane@example.com,john@example.com` | +| `AUTHORIZATION_ADMINLIST_READONLY_USERS` | AdminList 方式使用時に読み取り専用権限を持つユーザー | `string - comma-separated list` | `alice@example.com,dave@example.com` | + +```mdx-code-block +
+```
+
+### RBAC 認可
+
+```mdx-code-block
+
+```
+
+| Variable | Description | Type | Example Value |
+| --- | --- | --- | --- |
+| `AUTHORIZATION_RBAC_ENABLED` | RBAC 認可方式を有効にします（`AUTHORIZATION_ADMINLIST_ENABLED` との併用不可）。 | `boolean` | `true` |
+| `AUTHORIZATION_RBAC_ROOT_USERS` | RBAC 方式使用時に組み込みの root／管理者ロールを持つユーザー。RBAC では少なくとも 1 つの root ユーザーを定義する必要があります。 | `string - comma-separated list` | `admin-user,another-admin-user` |
+
+```mdx-code-block
+
+```
+
+## マルチノードインスタンス
+
+```mdx-code-block
+
+```
+
+| Variable | Description | Type | Example Value |
+| --- | --- | --- | --- |
+| `CLUSTER_DATA_BIND_PORT` | データ交換に使用するポートです。 | `string - number` | `7103` |
+| `CLUSTER_GOSSIP_BIND_PORT` | ネットワーク状態情報を交換するポートです。 | `string - number` | `7102` |
+| `CLUSTER_HOSTNAME` | ノードのホスト名です。デフォルトの OS ホスト名が変わる可能性がある場合は、必ずこの値を設定してください。 | `string` | `node1` |
+| `CLUSTER_JOIN` | クラスタ構成時の「創設」メンバーノードのサービス名です。 | `string` | `weaviate-node-1:7100` |
+| `HNSW_STARTUP_WAIT_FOR_VECTOR_CACHE` | `true` の場合、ノード起動時にベクトルキャッシュのプリフィルが同期的に行われます。キャッシュがウォームアップした時点でノードはレディ状態を報告します。デフォルトは `false` です。 1.24.20 および 1.25.5 で追加されました。 | `boolean` | `false` |
+| `COLLECTION_RETRIEVAL_STRATEGY`| データリクエスト時のコレクション定義取得方法を設定します。
v1.32 で追加 | `string - number` | `5` | +| `REPLICATION_MINIMUM_FACTOR` | クラスタ内のすべてのコレクションに適用される最小レプリケーションファクターです。 | `string - number` | `3` | +| `REPLICA_MOVEMENT_MINIMUM_ASYNC_WAIT` | ファイルコピー後、移動を確定する前に進行中の書き込みが完了するまで待機する時間です。デフォルト: `60` 秒
v1.32 で追加 | `string - number` | `90` | + +```mdx-code-block +
+```
+
+### 非同期レプリケーション
+
+:::info Added in `v1.29`
+非同期レプリケーションを構成する環境変数は v1.29 で追加されました。
+使用方法の詳細は **[replication how-to guide](/deploy/configuration/replication#async-replication-settings)** を参照してください。
+:::
+
+```mdx-code-block
+
+```
+
+| Variable | Description | Type | Example Value |
+| --- | --- | --- | --- |
+| `ASYNC_REPLICATION_DISABLED` | 非同期レプリケーションを無効にします。デフォルト: `false` | `boolean` | `false` |
+| `ASYNC_REPLICATION_HASHTREE_HEIGHT` | ノード間のデータ比較に使用するハッシュツリーの高さです。高さが `0` の場合、各ノードはシャードごとに 1 つのダイジェストのみを保持します。デフォルト: `16`、最小: `0`、最大: `20`
[メモリ使用量増加の可能性についてはこちら](/weaviate/concepts/replication-architecture/consistency#memory-and-performance-considerations-for-async-replication) | `string - number` | `10` | +| `ASYNC_REPLICATION_FREQUENCY` | ノード間で定期的にデータ比較を行う間隔（秒）。デフォルト: `30` | `string - number` | `60` | +| `ASYNC_REPLICATION_FREQUENCY_WHILE_PROPAGATING` | ノードが同期された後にデータ比較を行う間隔（ミリ秒）。デフォルト: `10` | `string - number` | `20` | +| `ASYNC_REPLICATION_ALIVE_NODES_CHECKING_FREQUENCY` | バックグラウンドプロセスがノードの可用性変化をチェックする間隔（秒）。デフォルト: `5` | `string - number` | `20` | +| `ASYNC_REPLICATION_LOGGING_FREQUENCY` | バックグラウンドプロセスがイベントをログ出力する間隔（秒）。デフォルト: `5` | `string - number` | `7` | +| `ASYNC_REPLICATION_DIFF_BATCH_SIZE` | ノード間でダイジェスト情報を比較する際のバッチサイズです。デフォルト: `1000`、最小: `1`、最大: `10000` | `string - number` | `2000` | +| `ASYNC_REPLICATION_DIFF_PER_NODE_TIMEOUT` | ノードが比較応答を返すまでのタイムアウト（秒）。デフォルト: `10` | `string - number` | `30` | +| `ASYNC_REPLICATION_PROPAGATION_TIMEOUT` | ノードが伝播応答を返すまでのタイムアウト（秒）。デフォルト: `30` | `string - number` | `60` | +| `ASYNC_REPLICATION_PROPAGATION_LIMIT` | 1 回の非同期レプリケーションで伝播できる未同期オブジェクトの上限です。デフォルト: `10000`、最小: `1`、最大: `1000000` | `string - number` | `5000` | +| `ASYNC_REPLICATION_PROPAGATION_DELAY` | 新規または更新済みオブジェクトを伝播する前に、非同期書き込みがシャード／テナントの全ノードに到達するまで待機する遅延時間です。デフォルト: `30` | `string - number` | `40` | +| `ASYNC_REPLICATION_PROPAGATION_CONCURRENCY` | オブジェクトをバッチ伝播するワーカー数です。デフォルト: `5`、最小: `1`、最大: `20` | `string - number` | `10` | +| `ASYNC_REPLICATION_PROPAGATION_BATCH_SIZE` | 1 バッチで伝播するオブジェクトの最大数です。デフォルト: `100`、最小: `1`、最大: `1000` | `string - number` | `200` | + +```mdx-code-block +
+```
+
+
+## ご質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+
+
+
+**これは一部の解決策となり得ますが、設定によって異なります。*
+
+### シャーディング：分割統治
+
+データをシャーディングすることを決めたら、設定を行いましょう:
+
+
+
+
+
+
+
+
+
+
+
+
+
+#### パラメーター
+
+これらのパラメーターでコレクションシャードを設定します。
+
+| Parameter | Type | Description |
+| :-------------------- | :--- | :---------- |
+| `desiredCount` | 整数 | *Immutable, Optional*。コレクションインデックスの物理シャード数の目標を制御します。デフォルトではクラスタ内のノード数と同じですが、明示的に少なく設定することも可能です。ノード数より大きく設定した場合、一部のノードが複数のシャードを保持します。 |
+| `virtualPerPhysical` | 整数 | *Immutable, Optional*。１ つの物理シャードに対応する仮想シャード数を定義します。デフォルトは `128` です。 |
+| `desiredVirtualCount` | 整数 | *Read-only*。`desiredCount * virtualPerPhysical` で計算される、仮想シャードの合計目標数を示します。 |
+
+### レプリケーション：無数のクローン
+
+データを常に利用可能に保つためにレプリケーションを設定しましょう。
+
+import RaftRFChangeWarning from '/_includes/1-25-replication-factor.mdx';
+
+
+
+
+
+
+
+
+
+
+
+
+```bash
+curl \
+-X POST \
+-H "Content-Type: application/json" \
+-d '{
+ "class": "Article",
+ "properties": [
+ {
+ "dataType": [
+ "string"
+ ],
+ "description": "Title of the article",
+ "name": "title"
+ }
+ ],
+ "replicationConfig": {
+ "factor": 3,
+ "asyncEnabled": true,
+ "deletionStrategy": "TimeBasedResolution"
+ }
+}' \
+http://localhost:8080/v1/schema
+```
+
+
+
+
+高可用性を実現する環境では、シャーディングとレプリケーションを組み合わせることで、それぞれの機能を活かした強力なタッグとなり、デプロイを高い可用性で維持できます。`ASYNC_REPLICATION` 環境変数（バージョン 1.29 で導入）を活用すれば、水平スケーリングの力を最大限に引き出せます。
+
+## 質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+
+
+ +### 認可と認証 + +export const authData = [ + { + title: "認証", + description: "デプロイのアクセス管理を構成します。", + link: "/deploy/configuration/authentication", + icon: "fas fa-shield-halved", + }, + { + title: "認可", + description: "ユーザーロールと権限を定義および管理します。", + link: "/deploy/configuration/authorization", + icon: "fas fa-user-shield", + }, + { + title: "RBAC の設定", + description: + "きめ細かな権限のために Role-Based Access Control を設定します。", + link: "/deploy/configuration/configuring-rbac", + icon: "fas fa-users-cog", + }, + { + title: "OIDC 構成", + description: + "Weaviate と安全に認証するために OpenID Connect を構成します。", + link: "/deploy/configuration/oidc", + icon: "fas fa-lock", + }, +]; + +
+
+ +### レプリケーション + +export const replicationData = [ + { + title: "レプリケーション", + description: + "高可用性とフォールトトレランスのためにノード間でデータをレプリケートします。", + link: "/deploy/configuration/replication", + icon: "fas fa-copy", + }, + { + title: "非同期レプリケーション", + description: + "分散クラスタ内のノード間で最終的な一貫性を確保します。", + link: "/deploy/configuration/async-rep", + icon: "fas fa-clone", + }, +]; + +
+
+ +### クラスタ情報 + +export const clusterInfoData = [ + { + title: "クラスタメタデータ", + description: "Weaviate クラスタに関するメタデータへアクセスし管理します。", + link: "/deploy/configuration/meta", + icon: "fas fa-info-circle", + }, + { + title: "モニタリング、メトリクス、ログ", + description: "Weaviate インスタンスの状態とヘルスを監視します。", + link: "/deploy/configuration/monitoring", + icon: "fas fa-chart-bar", + }, + { + title: "クラスタノードデータ", + description: "クラスタ内の各ノードに関するデータを表示および管理します。", + link: "/deploy/configuration/nodes", + icon: "fas fa-server", + }, + { + title: "ステータス", + description: "Weaviate インスタンスの状態とヘルスを監視します。", + link: "/deploy/configuration/status", + icon: "fas fa-heartbeat", + }, + { + title: "テレメトリー", + description: + "Weaviate のテレメトリーがどのように機能するかと、その構成方法を理解します。", + link: "/deploy/configuration/telemetry", + icon: "fas fa-chart-line", + }, +]; + +
+
+ + + +## 質問とフィードバック + +import DocsFeedback from "/_includes/docs-feedback.mdx"; + +:2112/metrics` でメトリクスを公開します。必要に応じて、次の環境変数を使用してポートを変更できます。
+
+```sh
+PROMETHEUS_MONITORING_PORT=3456
+```
+
+### Weaviate からのメトリクス収集
+
+メトリクスは通常、Prometheus などの時系列データベースにスクレイピングされます。メトリクスの利用方法は、環境やセットアップによって異なります。
+
+[Weaviate examples レポジトリには、Prometheus、Grafana、いくつかのサンプルダッシュボードを使用した完全に事前設定済みのセットアップが含まれています](https://github.com/weaviate/weaviate-examples/tree/main/monitoring-prometheus-grafana)。
+1 つのコマンドで監視とダッシュボードを含むフルセットアップを起動できます。このセットアップでは、次のコンポーネントが使用されます。
+
+* Docker Compose を使用して、1 つのコマンドで起動できる完全構成済みのセットアップを提供します。
+* Weaviate は前述のとおり Prometheus メトリクスを公開するように設定されています。
+* Prometheus インスタンスも起動され、15 秒ごとに Weaviate からメトリクスをスクレイピングするよう構成されています。
+* Grafana インスタンスも起動され、Prometheus インスタンスをメトリクスプロバイダーとして使用するように設定されています。さらに、いくつかのサンプルダッシュボードを含むダッシュボードプロバイダーも実行します。
+
+### マルチテナンシー
+
+マルチテナンシーを使用する場合は、すべてのテナントのデータをまとめて監視できるよう、`PROMETHEUS_MONITORING_GROUP` [環境変数](/deploy/configuration/env-vars/index.md) を `true` に設定することをお勧めします。
+
+## 取得可能なメトリクス
+
+Weaviate のメトリクスシステムで取得できるメトリクスのリストは、継続的に拡張されています。完全な一覧は [`prometheus.go`](https://github.com/weaviate/weaviate/blob/main/usecases/monitoring/prometheus.go) ソースコードファイルにあります。
+
+このページでは、特に重要なメトリクスとその用途を紹介します。
+
+メトリクスは通常、後から集約できるよう、かなり細かい粒度で収集されます。たとえば粒度が「shard」の場合、同じ「class」のすべての「shard」メトリクスを集約してクラス単位のメトリクスを得たり、すべてを集約して Weaviate インスタンス全体のメトリクスを得たりできます。
+
+| メトリクス | 説明 | ラベル | 種類 |
+|---|---|---|---|
+| `async_operations_running` | 現在実行中の非同期操作の数。対象の操作は `operation` ラベルで定義されます。 | `operation`, `class_name`, `shard_name`, `path` | `Gauge` |
+| `batch_delete_durations_ms` | バッチ削除に要した時間（ms）。どの操作を測定しているかは `operation` ラベルでさらに区別します。粒度はクラスのシャードです。 | `class_name`, `shard_name` | `Histogram` |
+| `batch_durations_ms` | 単一のバッチ操作に要した時間（ms）。バッチ内でどの操作（例: object、inverted、vector）が実行されたかは `operation` ラベルで区別します。粒度はクラスのシャードです。 | `operation`, `class_name`, `shard_name` | `Histogram` |
+| `index_queue_delete_duration_ms` | インデックスキューおよび基盤となるインデックスから 1 つ以上のベクトルを削除するのに要した時間。 | `class_name`, `shard_name`, `target_vector` | `Summary` |
+| `index_queue_paused` | インデックスキューが一時停止しているかどうか。 | `class_name`, `shard_name`, `target_vector` | `Gauge` |
+| `index_queue_preload_count` | インデックスキューに事前ロードされたベクトルの数。 | `class_name`, `shard_name`, `target_vector` | `Gauge` |
+| `index_queue_preload_duration_ms` | 未インデックスのベクトルをインデックスキューに事前ロードするのに要した時間。 | `class_name`, `shard_name`, `target_vector` | `Summary` |
+| `index_queue_push_duration_ms` | 1 つ以上のベクトルをインデックスキューにプッシュするのに要した時間。 | `class_name`, `shard_name`, `target_vector` | `Summary` |
+| `index_queue_search_duration_ms` | インデックスキューおよび基盤となるインデックス内でベクトルを検索するのに要した時間。 | `class_name`, `shard_name`, `target_vector` | `Summary` |
+| `index_queue_size` | インデックスキュー内のベクトルの数。 | `class_name`, `shard_name`, `target_vector` | `Gauge` |
+| `index_queue_stale_count` | インデックスキューが stale と判定された回数。 | `class_name`, `shard_name`, `target_vector` | `Counter` |
+| `index_queue_vectors_dequeued` | 1 ティックあたりにワーカーへ送信されたベクトルの数。 | `class_name`, `shard_name`, `target_vector` | `Gauge` |
+| `index_queue_wait_duration_ms` | ワーカーの処理完了を待機した時間。 | `class_name`, `shard_name`, `target_vector` | `Summary` |
+| `lsm_active_segments` | 各シャードに現在存在するセグメントの数。粒度はクラスのシャードで、`strategy` ごとにグループ化されます。 | `strategy`, `class_name`, `shard_name`, `path` | `Gauge` |
+| `lsm_bloom_filter_duration_ms` | シャードごとのブルームフィルター操作に要した時間（ms）。粒度はクラスのシャードで、`strategy` ごとにグループ化されます。 | `operation`, `strategy`, `class_name`, `shard_name` | `Histogram` |
+| `lsm_segment_count` | レベル別のセグメント数。 | `strategy`, `class_name`, `shard_name`, `path`, `level` | `Gauge` |
+| `lsm_segment_objects` | レベル別の LSM セグメントあたりのエントリ数。粒度はクラスのシャードで、`strategy` と `level` でグループ化されます。 | `operation`, `strategy`, `class_name`, `shard_name`, `path`, `level` | `Gauge` |
+| `lsm_segment_size` | レベルと単位ごとの LSM セグメントサイズ。 | `strategy`, `class_name`, `shard_name`, `path`, `level`, `unit` | `Gauge` |
+| `object_count` | 存在するオブジェクトの数。粒度はクラスのシャードです。 | `class_name`, `shard_name` | `Gauge` |
+| `objects_durations_ms` | `put`、`delete` など `operation` ラベルで示される個別オブジェクト操作の所要時間（バッチの一部としても計測）。`step` ラベルでさらに詳細な区別が可能です。粒度はクラスのシャードです。 | `class_name`, `shard_name` | `Histogram` |
+| `requests_total` | ユーザーリクエストが成功したか失敗したかを追跡するメトリクス。 | `api`, `query_type`, `class_name` | `Gauge` |
+| `startup_diskio_throughput` | 起動時操作（HNSW インデックスの読み込みや LSM セグメントの復元など）におけるディスク I/O スループット（bytes/s）。操作の種類は `operation` ラベルで定義されます。 | `operation`, `step`, `class_name`, `shard_name` | `Histogram` |
+| `startup_durations_ms` | 個々の起動時操作に要した時間（ms）。操作の種類は `operation` ラベルで定義されます。 | `operation`, `class_name`, `shard_name` | `Histogram` |
+| `vector_index_durations_ms` | ベクトルインデックスの通常操作（挿入、削除など）に要した時間。操作の種類は `operation` ラベルで定義され、`step` ラベルでさらに詳細を区別できます。 | `operation`, `step`, `class_name`, `shard_name` | `Histogram` |
+| `vector_index_maintenance_durations_ms` | 同期または非同期のベクトルインデックスメンテナンス操作に要した時間。操作の種類は `operation` ラベルで定義されます。 | `opeartion`, `class_name`, `shard_name` | `Histogram` |
+| `vector_index_operations` | ベクトルインデックスに対して実行された変更操作の総数。操作の種類は `operation` ラベルで定義されます。 | `operation`, `class_name`, `shard_name` | `Gauge` |
+| `vector_index_size` | ベクトルインデックスの総容量。インデックスは先読みで拡張されるため、取り込んだベクトル数より大きくなるのが一般的です。 | `class_name`, `shard_name` | `Gauge` |
+| `vector_index_tombstone_cleaned` | 修復操作後に削除・除去されたベクトルの総数。 | `class_name`, `shard_name` | `Counter` |
+| `vector_index_tombstone_cleanup_threads` | 削除後のベクトルインデックス修復・クリーンアップで現在稼働中のスレッド数。 | `class_name`, `shard_name` | `Gauge` |
+| `vector_index_tombstones` | ベクトルインデックス内で現在有効なトゥームストーンの数。削除が行われるたびに増加し、修復が完了すると減少します。 | `class_name`, `shard_name` | `Gauge` |
+| `weaviate_build_info` | ビルドに関する一般情報（実行中のバージョン、稼働時間など）を提供します。 | `version`, `revision`, `branch`, `goVersion` | `Gauge` |
+| `weaviate_runtime_config_hash` | 現在有効なランタイム設定のハッシュ値。新しい設定が反映されたタイミングを追跡するのに役立ちます。 | `sha256` | `Gauge` |
+| `weaviate_runtime_config_last_load_success` | 最後の設定読み込みが成功したかどうかを示します（成功は `1`、失敗は `0`）。 | | `Gauge` |
+| `weaviate_schema_collections` | 任意の時点でのコレクション総数を示します。 | `nodeID` | `Gauge` |
+| `weaviate_schema_shards` | 任意の時点でのシャード総数を示します。 | `nodeID`, `status(HOT, COLD, WARM, FROZEN)` | `Gauge` |
+| `weaviate_internal_sample_memberlist_queue_broadcasts` | Memberlist のブロードキャストキューにあるメッセージ数を示します。 | `quantile=0.5, 0.9, 0.99` | `Summary` |
+| `weaviate_internal_timer_memberlist_gossip` | Memberlist で行われる各ゴシップのレイテンシー分布を示します。 | `quantile=0.5, 0.9, 0.99` | `Summary` |
+| `weaviate_internal_counter_raft_apply` | 設定された間隔内のトランザクション数。 | NA | `counter` |
+| `weaviate_internal_counter_raft_state_candidate` | Raft サーバーが選挙を開始した回数。 | NA | `counter` |
+| `weaviate_internal_counter_raft_state_follower` | 設定間隔内で Raft サーバーが follower になった回数。 | NA | `summary` |
+| `weaviate_internal_counter_raft_state_leader` | Raft サーバーが leader になった回数。 | NA | `counter` |
+| `weaviate_internal_counter_raft_transition_heartbeat_timeout` | 最後に認識した leader からのハートビートを受信できず `candidate` 状態へ遷移した回数。 | NA | `Counter` |
+| `weaviate_internal_gauge_raft_commitNumLogs` | 有限状態マシンに適用するために 1 バッチで処理されたログ数。 | NA | `gauge` |
+| `weaviate_internal_gauge_raft_leader_dispatchNumLogs` | 直近のバッチでディスクにコミットされたログ数。 | NA | `gauge` |
+| `weaviate_internal_gauge_raft_leader_oldestLogAge` | リーダーのログストアにある最も古いログが書き込まれてからの経過ミリ秒数。書き込み速度が高くスナップショットが大きい場合、レプリケーションの健全性に影響する可能性があります。フォロワーが再起動後に復元を行う際、この値より復元時間が長いと追従できなくなる可能性があるためです。`raft_fsm_lastRestoreDuration` や `aft_rpc_installSnapshot` と合わせて監視してください。通常は、リーダーでスナップショットが完了してログが切り詰められるまで、このゲージ値は時間とともに線形に増加します。 | NA | `gauge` |
+| `weaviate_internal_gauge_raft_peers` | Raft クラスター構成内のピア数。 | NA | `gauge` |
+| `weaviate_internal_sample_raft_boltdb_logBatchSize` | 1 バッチで DB に書き込まれるログの合計サイズ（バイト）を測定します。 | `quantile=0.5, 0.9, 0.99` | `Summary` |
+| `weaviate_internal_sample_raft_boltdb_logSize` | DB に書き込まれるログのサイズを測定します。 | `quantile=0.5, 0.9, 0.99` | `Summary` |
+| `weaviate_internal_sample_raft_boltdb_logsPerBatch` | DB にバッチ書き込みされるログ数を測定します。 | `quantile=0.5, 0.9, 0.99` | `Summary` |
+| `weaviate_internal_sample_raft_boltdb_writeCapacity` | 1 秒あたりに書き込めるログ数という観点での理論上の書き込み容量。このサンプルは、今後のバッチログ書き込みが今回と同様であった場合の容量を示します。この“同様”には、バッチサイズ、バイトサイズ、ディスク性能、BoltDB 性能の 4 つが含まれます。これらは固定ではなく、サンプルごとに値が変動する可能性が高いですが、より長い時間窓で集約することで、この BoltDB ストアの実力を把握できます。 | `quantile=0.5, 0.9, 0.99` | `Summary` |
+| `weaviate_internal_sample_raft_thread_fsm_saturation` | Raft FSM の goroutine がビジーで新しい作業を受け付けられない時間の割合を概算で測定します。 | `quantile=0.5, 0.9, 0.99` | `Summary` |
+| `weaviate_internal_sample_raft_thread_main_saturation` | Raft のメイン goroutine がビジーで新しい作業を受け付けられない時間の割合（パーセント）を概算で測定します。 | `quantile=0.5, 0.9, 0.99` | `Summary` |
+| `weaviate_internal_timer_raft_boltdb_getLog` | DB からログを読み出すのに要した時間（ms）を測定します。 | `quantile=0.5, 0.9, 0.99` | `Summary` |
+| `weaviate_internal_timer_raft_boltdb_storeLogs` | 指定されたノードに対して最後にエントリ追加を要求してから未処理のログをすべて記録するまでの時間。 | `quantile=0.5, 0.9, 0.99` | `Summary` |
+| `weaviate_internal_timer_raft_commitTime` | リーダーノードで新しいエントリを Raft ログにコミットするのに要した時間。 | `quantile=0.5, 0.9, 0.99` | `summary` |
+| `weaviate_internal_timer_raft_fsm_apply` | 前回のインターバル以降に有限状態マシンがコミットしたログ数。 | `quantile=0.5, 0.9, 0.99` | `summary` |
+| `weaviate_internal_timer_raft_fsm_enqueue` | 有限状態マシンが適用するためにログをバッチでキューに入れるのに要した時間。 | `quantile=0.5, 0.9, 0.99` | `summary` |
+| `weaviate_internal_timer_raft_leader_dispatchLog` | リーダーノードがログエントリをディスクに書き込むのに要した時間。 | `quantile=0.5, 0.9, 0.99` | `Summary` |
+| `weaviate_usage_{gcs\|s3}_operations_total` | モジュールラベルごとの操作総数。 | `operation`: collect/upload, `status`: success/error | `Counter` |
+| `weaviate_usage_{gcs\|s3}_operation_latency_seconds` | 使用状況操作のレイテンシー（秒）。 | `operation`: collect/upload | `Histogram` |
+| `weaviate_usage_{gcs\|s3}_resource_count` | モジュールが追跡しているリソース数。 | `resource_type`: collections/shards/backups | `Gauge` |
+| `weaviate_usage_{gcs\|s3}_uploaded_file_size_bytes` | アップロードされた使用状況ファイルのサイズ（バイト）。 | NA | `Gauge` |
+
+新しいメトリクスで Weaviate を拡張するのは非常に簡単です。新しいメトリクスを提案するには、[コントリビューターガイド](/contributor-guide) をご覧ください。
+
+### バージョニング
+
+メトリクスは他の Weaviate 機能で採用されているセマンティックバージョニングのガイドラインには従わないことにご注意ください。Weaviate のメイン API は安定しており、破壊的変更は非常にまれです。しかし、メトリクスはライフサイクルが短い傾向があります。たとえば、本番環境で特定のメトリクスを監視するコストが高くなり過ぎた場合、互換性のない変更を導入したりメトリクス自体を削除したりする必要が生じることがあります。その結果、Weaviate のマイナーリリースに Monitoring システムへ影響する破壊的変更が含まれる可能性があります。その際には、リリースノートで明確に案内されます。
+
+## サンプルダッシュボード
+
+Weaviate にはデフォルトでダッシュボードは付属していませんが、開発中およびユーザー支援時に各 Weaviate チームが使用しているダッシュボードの一覧を以下に示します。サポートは提供されませんが、参考になるかもしれません。用途に最適化した独自のダッシュボードを設計する際のヒントとしてご活用ください:
+
+| ダッシュボード | 目的 | プレビュー |
+| ----------------------------------------------------------------------------------------------------------------------------- | ----------------------------------------------------------------------------------------------------------------------- | ------------------------------------------------------------------------------------------------------------------ |
+| [Kubernetes でのクラスターワークロード](https://github.com/weaviate/weaviate/blob/main/tools/dev/grafana/dashboards/kubernetes.json) | Kubernetes におけるクラスターワークロード、使用状況、アクティビティを可視化します |  |
+| [Weaviate へのデータインポート](https://github.com/weaviate/weaviate/blob/master/tools/dev/grafana/dashboards/importing.json) | インポート処理（オブジェクトストア、転置インデックス、ベクトルインデックスなどのコンポーネントを含む）の速度を可視化します |  |
+| [オブジェクト操作](https://github.com/weaviate/weaviate/blob/master/tools/dev/grafana/dashboards/objects.json) | GET や PUT など、オブジェクト操作全体の速度を可視化します |  |
+| [ベクトルインデックス](https://github.com/weaviate/weaviate/blob/master/tools/dev/grafana/dashboards/vectorindex.json) | HNSW ベクトルインデックスの現在の状態と操作を可視化します |  |
+| [LSM ストア](https://github.com/weaviate/weaviate/blob/master/tools/dev/grafana/dashboards/lsm.json) | Weaviate 内の各 LSM ストア（セグメントを含む）の内部を分析できます |  |
+| [スタートアップ](https://github.com/weaviate/weaviate/blob/master/tools/dev/grafana/dashboards/startup.json) | リカバリー処理を含む起動プロセスを可視化します |  |
+| [使用状況](https://github.com/weaviate/weaviate/blob/master/tools/dev/grafana/dashboards/usage.json) | インポートされたオブジェクト数などの使用状況メトリクスを取得します |  |
+| [非同期インデックスキュー](https://github.com/weaviate/weaviate/blob/main/tools/dev/grafana/dashboards/index_queue.json) | インデックスキューのアクティビティを監視します |  |
+
+## `nodes` API エンドポイント
+
+コレクションの詳細をプログラムから取得するには、[`nodes`](/deploy/configuration/nodes.md) REST エンドポイントをご利用ください。
+
+import APIOutputs from '/_includes/rest/node-endpoint-info.mdx';
+
+Shards API を使用してください。
+
+## ディスクアクセス方式
+
+:::info Added in `v1.21`
+:::
+
+Weaviate はディスク上のデータをメモリにマッピングします。仮想メモリの使用方法を設定するには、`PERSISTENCE_LSM_ACCESS_STRATEGY` 環境変数を設定します。デフォルト値は `mmap` です。代替として `pread` を使用できます。
+
+これら 2 つの関数は、メモリ管理の内部動作が異なります。`mmap` はメモリマップファイルを使用し、ファイルをプロセスの仮想メモリにマッピングします。`pread` は指定したオフセットからファイルディスクリプタを読み取る関数です。
+
+一般的にはメモリ管理上の利点から `mmap` が推奨されますが、メモリ負荷が高い状況で停止が発生する場合は `pread` を試してみてください。
+
+## 関連ページ
+- [設定: バックアップ](/deploy/configuration/backups.md)
+
+## 質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+
+
+
+
+
+```typescript
+// JS/TS support coming soon
+```
+
+
+
+
+```go
+// Go support coming soon
+```
+
+
+
+
+```java
+// Java support coming soon
+```
+
+
+
+
+
+
+
+
+
+```typescript
+// JS/TS support coming soon
+```
+
+
+
+
+```go
+// Go support coming soon
+```
+
+
+
+
+```java
+// Java support coming soon
+```
+
+
+
+
+
+
+
+
+
+```typescript
+// JS/TS support coming soon
+```
+
+
+
+
+```go
+// Go support coming soon
+```
+
+
+
+
+```java
+// Java support coming soon
+```
+
+
+
+
+
+
+
+
+
+```typescript
+// JS/TS support coming soon
+```
+
+
+
+
+```go
+// Go support coming soon
+```
+
+
+
+
+```java
+// Java support coming soon
+```
+
+
+
+
+
+
+
+
+
+```typescript
+// JS/TS support coming soon
+```
+
+
+
+
+```go
+// Go support coming soon
+```
+
+
+
+
+```java
+// Java support coming soon
+```
+
+
+
+
+## レプリケーション操作の削除
+
+ログからレプリケーション操作を削除します。操作がアクティブな場合、先にキャンセルされます。
+
+
+
+
+
+
+```typescript
+// JS/TS support coming soon
+```
+
+
+
+
+```go
+// Go support coming soon
+```
+
+
+
+
+```java
+// Java support coming soon
+```
+
+
+
+
+## すべてのレプリケーション操作の削除
+
+ログからすべてのレプリケーション操作を削除します。アクティブな操作がある場合は、先にキャンセルされます。
+
+
+
+
+
+
+```typescript
+// JS/TS support coming soon
+```
+
+
+
+
+```go
+// Go support coming soon
+```
+
+
+
+
+```java
+// Java support coming soon
+```
+
+
+
+
+
+## 参考リソース
+
+- [RESTful API：レプリケーションエンドポイント](/docs/weaviate/api/rest.md)
+- [コンセプト：レプリケーションアーキテクチャ](/docs/weaviate/concepts/replication-architecture/consistency.md#replica-movement)
+
+## 質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+RESTful API エンドポイント または [クライアントライブラリを通じたプログラムによる操作](./replica-movement.mdx) により管理できます。
+
+## 関連ページ
+
+- [概念: レプリケーションアーキテクチャ](/weaviate/concepts/replication-architecture/index.md)
+- [非同期レプリケーションの設定](./async-rep.md)
+
+## 質問とフィードバック
+
+import DocsFeedback from '/\_includes/docs-feedback.mdx';
+
+
+
+
+次のコードを `docker-compose.yml` として保存し、匿名アクセスを有効にした状態で Weaviate をダウンロードして実行します。
+
+```yaml
+---
+services:
+ weaviate:
+ command:
+ - --host
+ - 0.0.0.0
+ - --port
+ - '8080'
+ - --scheme
+ - http
+ image: cr.weaviate.io/semitechnologies/weaviate:||site.weaviate_version||
+ ports:
+ - 8080:8080
+ - 50051:50051
+ volumes:
+ - weaviate_data:/var/lib/weaviate
+ restart: on-failure:0
+ environment:
+ QUERY_DEFAULTS_LIMIT: 25
+ AUTHENTICATION_ANONYMOUS_ACCESS_ENABLED: 'true'
+ PERSISTENCE_DATA_PATH: '/var/lib/weaviate'
+ ENABLE_API_BASED_MODULES: 'true'
+ CLUSTER_HOSTNAME: 'node1'
+volumes:
+ weaviate_data:
+...
+```
+
+:::caution
+匿名アクセスは開発または評価用途以外では強く推奨されません。
+:::
+
+
+
+
+次のコードを `docker-compose.yml` として保存し、認証（非匿名アクセス）および認可を有効にした状態で Weaviate をダウンロードして実行します。
+
+```yaml
+---
+services:
+ weaviate:
+ command:
+ - --host
+ - 0.0.0.0
+ - --port
+ - '8080'
+ - --scheme
+ - http
+ image: cr.weaviate.io/semitechnologies/weaviate:||site.weaviate_version||
+ ports:
+ - 8080:8080
+ - 50051:50051
+ volumes:
+ - weaviate_data:/var/lib/weaviate
+ restart: on-failure:0
+ environment:
+ QUERY_DEFAULTS_LIMIT: 25
+ PERSISTENCE_DATA_PATH: '/var/lib/weaviate'
+ ENABLE_API_BASED_MODULES: 'true'
+ CLUSTER_HOSTNAME: 'node1'
+ AUTHENTICATION_ANONYMOUS_ACCESS_ENABLED: 'false'
+ AUTHENTICATION_APIKEY_ENABLED: 'true'
+ AUTHENTICATION_APIKEY_ALLOWED_KEYS: 'user-a-key,user-b-key'
+ AUTHENTICATION_APIKEY_USERS: 'user-a,user-b'
+ AUTHORIZATION_ENABLE_RBAC: 'true'
+ AUTHORIZATION_RBAC_ROOT_USERS: 'user-a'
+volumes:
+ weaviate_data:
+...
+```
+
+この設定では、API キーを用いた[認証](/deploy/configuration/authentication.md)と、ロールベースアクセス制御による[認可](/deploy/configuration/authorization.md)が有効になります。
+
+`user-a` と `user-b` のユーザー、およびそれぞれのキー `user-a-key` と `user-b-key` が定義されており、これが Weaviate インスタンスへの接続時の認証情報となります。
+
+ユーザー `user-a` には **ロールベースアクセス制御 (RBAC)** 方式で管理者権限が付与されています。ユーザー `user-b` には[認可と RBAC ガイド](/deploy/configuration/authorization.md)に従ってカスタムロールを割り当てることができます。
+
+
+
+
+`docker-compose.yml` を編集して環境に合わせてください。[環境変数](#environment-variables)の追加・削除、ポートマッピングの変更、または [Ollama](/weaviate/model-providers/ollama/index.md) や [Hugging Face Transformers](/weaviate/model-providers/transformers/index.md) など追加の[モデルプロバイダー連携](/weaviate/model-providers/index.md)を行うことができます。
+
+Weaviate インスタンスを起動するには、シェルから次のコマンドを実行してください。
+
+```bash
+docker compose up -d
+```
+
+## Configurator
+
+Configurator を使うと `docker-compose.yml` を自動生成できます。ローカルで実行されるベクトライザー（例: `text2vec-transformers`、`multi2vec-clip`）を含む特定の Weaviate モジュールを選択できます。
+
+import DocsConfigGen from '@site/src/components/DockerConfigGen';
+
+
+ region:
+ version: "1.31"
+
+managedNodeGroups:
+ - name: node-group-name
+ labels: { role: worker }
+ instanceType: t3.large # Choose your instance type
+ desiredCapacity: 3 # Number of nodes
+ minSize: 2 # Minimum number of nodes for autoscaling
+ maxSize: 5 # Maximum number of nodes for autoscaling
+ privateNetworking: true # Use private networking
+ volumeSize: 80 # Root volume size in GB
+ volumeType: gp3 # Root volume type
+
+addons:
+ - name: vpc-cni
+ version: latest
+ attachPolicyARNs:
+ - arn:aws:iam::aws:policy/AmazonEKS_CNI_Policy
+ - name: coredns
+ version: latest
+ - name: kube-proxy
+ version: latest
+ - name: aws-ebs-csi-driver
+ version: latest
+ wellKnownPolicies:
+ ebsCSIController: true # Enable EBS CSI driver
+```
+
+これにより、指定したリージョンにオートスケーリング ノードグループを持つ EKS クラスターが作成されます。
+高可用性のために 3 つのノードが用意されており、オートスケーリングを有効にすることで、需要に応じてリソースを動的に調整できます。
+
+#### 次のコマンドを実行して EKS クラスターを作成します:
+
+```bash
+eksctl create cluster -f
+```
+
+#### 新しく作成したクラスターとやり取りできるよう `kubectl` を有効化します:
+
+```bash
+aws eks --region update-kubeconfig --name
+```
+
+#### クラスターが作成され、操作できることを確認します:
+
+```bash
+kubectl get nodes
+```
+
+
+
+### ステップ 2: ストレージクラスの追加
+
+クラスターを作成し操作可能であることを確認した後、`storageclass.yaml` ファイルを作成します:
+
+```yaml
+apiVersion: storage.k8s.io/v1
+kind: StorageClass
+metadata:
+ name:
+provisioner: ebs.csi.aws.com
+parameters:
+ type: gp3
+ encrypted: "true"
+reclaimPolicy: Retain
+volumeBindingMode: Immediate
+allowVolumeExpansion: true
+```
+
+ストレージクラスを作成したら、適用します:
+```bash
+kubectl apply -f .yaml
+```
+
+
+#### ストレージクラスが作成され適用されていることを確認します
+
+```bash
+kubectl get sc
+```
+
+
+
+### ステップ 3: EKS へ Weaviate を追加
+
+クラスターに永続ストレージを追加したら、Weaviate をデプロイできます。
+
+#### Weaviate 用の namespace を作成します:
+
+```bash
+kubectl create namespace weaviate
+```
+
+#### Weaviate Helm チャートを追加します:
+
+```bash
+helm repo add weaviate https://weaviate.github.io/weaviate-helm
+helm repo update
+```
+
+Weaviate Helm チャートを追加したら、クラスターへデプロイする前に `values.yaml` ファイルを設定してください。
+
+```bash
+helm show values weaviate/weaviate > values.yaml
+```
+
+Weaviate をデプロイする前に、`storgeclass` を変更し、`values.yaml` ファイルで Replica 数が指定されていることを確認します。
+
+```yaml
+storage:
+ size: 32Gi
+ storageClassName: ""
+```
+
+```yaml
+replicas: 3
+```
+
+#### クラスターへの Weaviate のデプロイ:
+
+```bash
+helm upgrade --install weaviate weaviate/weaviate \
+ --namespace weaviate \
+ --values values.yaml \
+```
+
+#### デプロイの確認
+
+```bash
+kubectl get pods -n weaviate
+```
+
+
+## 追加リソース
+
+- [Kubernetes の永続ストレージ](https://aws.amazon.com/blogs/storage/persistent-storage-for-kubernetes/)
+
+## 質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+
`XDG_CACHE_HOME` が設定されている場合のデフォルト: `XDG_CACHE_HOME/weaviate-embedded/`
`XDG_CACHE_HOME` が設定されていない場合のデフォルト: `~/.cache/weaviate-embedded` | +| `hostname` | string | 127.0.0.1 | ホスト名または IP アドレス | +| `persistence_data_path` | string | 可変 | データ保存ディレクトリ。
`XDG_DATA_HOME` が設定されている場合のデフォルト: `XDG_DATA_HOME/weaviate/`
`XDG_DATA_HOME` が設定されていない場合のデフォルト: `~/.local/share/weaviate` | +| `port` | integer | 8079 | Weaviate サーバーのリクエストポート | +| `version` | string | 最新安定版 | 次のいずれかでバージョンを指定します。
- `"latest"`
- バージョン番号文字列: `"1.19.6"`
- Weaviate バイナリの URL（[下記参照](/deploy/installation-guides/embedded.md#file-url)） | + +:::warning `XDG_CACHE_HOME` または `XDG_DATA_HOME` を変更しないでください +`XDG_DATA_HOME` と `XDG_CACHE_HOME` の環境変数は多くのシステムで使用されています。これらを変更すると、他のアプリケーションが正常に動作しなくなる可能性があります。 +::: + +## デフォルトモジュール + +次のモジュールがデフォルトで有効になっています: +- `generative-openai` +- `qna-openai` +- `ref2vec-centroid` +- `text2vec-cohere` +- `text2vec-huggingface` +- `text2vec-openai` + +追加のモジュールを有効にするには、インスタンス生成コードにモジュールを追加してください。 + +たとえば、`backup-s3` モジュールを追加する場合は次のようにクライアントを生成します。 + +import EmbeddedInstantiationModule from '/_includes/code/embedded.instantiate.module.mdx'; + +
+ +デプロイ時に `values.yaml` ファイルでバージョンを設定するか、[既定値を上書き](#deploy-install-the-helm-chart) してください。 +::: + +Kubernetes クラスターに Weaviate チャートをインストールする手順は次のとおりです。 + +### ツールセットアップとクラスターアクセスの確認 + +```bash +# Check if helm is installed +helm version +# Make sure `kubectl` is configured correctly and you can access the cluster. +# For example, try listing the pods in the currently configured namespace. +kubectl get pods +``` + +### Helm チャートの取得 + +Weaviate Helm リポジトリを追加します。 + +```bash +helm repo add weaviate https://weaviate.github.io/weaviate-helm +helm repo update +``` + +Weaviate Helm チャートから既定の `values.yaml` 設定ファイルを取得します。 +```bash +helm show values weaviate/weaviate > values.yaml +``` + +### values.yaml の変更 + +環境に合わせて Helm チャートをカスタマイズするには、[`values.yaml`](https://github.com/weaviate/weaviate-helm/blob/master/weaviate/values.yaml) を編集します。既定の `yaml` ファイルには詳細なドキュメントが記載されており、設定の参考になります。 + +#### レプリケーション + +既定の設定では、Weaviate 1 レプリカ クラスターが定義されています。 + +#### ローカルモデル + +`text2vec-transformers`、`qna-transformers`、`img2vec-neural` などのローカルモデルは既定で無効になっています。モデルを有効にするには、各モデルの `enabled` フラグを `true` に設定してください。 + +#### リソース制限 + +Helm チャート バージョン 17.0.1 以降では、パフォーマンス向上のためモジュールリソースの制約がコメントアウトされています。特定モジュールのリソースを制限したい場合は、`values.yaml` に制約を追加してください。 + +#### gRPC サービス設定 + +Helm チャート バージョン 17.0.0 以降では、gRPC サービスが既定で有効です。古い Helm チャートを使用している場合は、`values.yaml` を編集して gRPC を有効にしてください。 + +`enabled` フィールドが `true`、`type` フィールドが `LoadBalancer` になっていることを確認します。これにより、Kubernetes クラスター外部から [gRPC API](https://weaviate.io/blog/grpc-performance-improvements) にアクセスできます。 + +```yaml +grpcService: + enabled: true # ⬅️ Make sure this is set to true + name: weaviate-grpc + ports: + - name: grpc + protocol: TCP + port: 50051 + type: LoadBalancer # ⬅️ Set this to LoadBalancer (from NodePort) +``` + +#### 認証と認可 + +:::tip +Weaviate Helm チャートは、Kubernetes へデプロイされるたびにランダムなユーザー名/パスワードを自動生成します。そのため、Helm チャートでデプロイされた場合、ノード間通信は常に保護されています。 +::: + +認証の例: + +```yaml +authentication: + apikey: + enabled: true + allowed_keys: + - readonly-key + - secr3tk3y + users: + - readonly@example.com + - admin@example.com + anonymous_access: + enabled: false + oidc: + enabled: true + issuer: https://auth.wcs.api.weaviate.io/auth/realms/SeMI + username_claim: email + groups_claim: groups + client_id: wcs +authorization: + admin_list: + enabled: true + users: + - someuser@weaviate.io + - admin@example.com + readonly_users: + - readonly@example.com +``` + +この例では、キー `readonly-key` は `readonly@example.com` として、`secr3tk3y` は `admin@example.com` としてユーザーを認証します。 + +また、OIDC 認証も有効になっており、WCD がトークン発行者/アイデンティティ プロバイダーとして設定されています。WCD アカウントを持つユーザーは認証される可能性があります。この構成では `someuser@weaviate.io` が管理者ユーザーとして設定されているため、当該ユーザーが認証されると読み書き両方の権限が付与されます。 + +import WCDOIDCWarning from '/_includes/wcd-oidc.mdx'; + +::
+ claimRef:
+ namespace:
+ name: weaviate-data-weaviate-0
+```
+
+Fargate で EFS を実行する一般的な情報については、[こちらの AWS ブログ](https://aws.amazon.com/blogs/containers/running-stateful-workloads-with-amazon-eks-on-aws-fargate-using-amazon-efs/) をご参照ください。
+
+### Weaviate で Azure file CSI を使用する
+
+プロビジョナー `file.csi.azure.com` は **サポートされておらず**、ファイル破損を引き起こします。代わりに、`values.yaml` で定義するストレージクラスは必ずプロビジョナー `disk.csi.azure.com` のものにしてください。例:
+
+```yaml
+storage:
+ size: 32Gi
+ storageClassName: managed
+```
+
+クラスタ内で利用可能なストレージクラスの一覧は、次のコマンドで取得できます。
+
+```
+kubectl get storageclasses
+```
+
+## トラブルシューティング
+
+- `No private IP address found, and explicit IP not provided` が表示された場合、Pod のサブネットを次の正しい IP アドレス範囲のいずれかに設定してください。
+
+ ```
+ 10.0.0.0/8
+ 100.64.0.0/10
+ 172.16.0.0/12
+ 192.168.0.0/16
+ 198.19.0.0/16
+ ```
+
+### CLUSTER_HOSTNAME の変更
+
+一部のシステムでは、クラスターのホスト名が時間とともに変わる場合があります。これは単一ノード構成の Weaviate で問題を引き起こすことが知られています。これを避けるために、`values.yaml` 内の `CLUSTER_HOSTNAME` 環境変数にクラスターのホスト名を設定してください。
+
+```yaml
+env:
+ - CLUSTER_HOSTNAME: "node-1"
+```
+
+## 質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+` を実行します。
+
+```sql
+DESCRIBE COMPUTE POOL WEAVIATE_COMPUTE_POOL;
+DESCRIBE COMPUTE POOL TEXT2VEC_COMPUTE_POOL;
+DESCRIBE COMPUTE POOL JUPYTER_COMPUTE_POOL;
+```
+
+コンピュートプールの初期化には数分かかります。プールが `ACTIVE` または `IDLE` 状態になると使用可能です。
+
+### 5. Docker イメージのビルド
+
+ローカルシェルで Docker イメージをビルドします。イメージは 3 つあります。
+
+- Weaviate イメージはデータベースを実行します。
+- `text2vec` イメージは Snowpark を離れることなくデータを処理できます。
+- Jupyter イメージはノートブックを提供します。
+
+Docker ファイルは [このリポジトリ](https://github.com/Snowflake-Labs/sfguide-getting-started-weaviate-on-spcs/tree/main/images) にあります。リポジトリをクローンし、トップレベルディレクトリに移動します。
+
+このサンプルインスタンスを実行するために Dockerfile を変更する必要はありません。ただし、標準以外のポートを使用する場合や、デプロイに応じて変更が必要な場合は、コンテナを作成する前に Dockerfile を編集してください。
+
+```bash
+docker build --rm --no-cache --platform linux/amd64 -t weaviate ./images/weaviate
+docker build --rm --no-cache --platform linux/amd64 -t jupyter ./images/jupyter
+docker build --rm --no-cache --platform linux/amd64 -t text2vec ./images/text2vec
+```
+
+Docker リポジトリにログインします。 Snowpark のアカウント名、ユーザー名、パスワードは `snowsql` の認証情報と同じです。
+
+```bash
+docker login -.registry.snowflakecomputing.com -u YOUR_SNOWFLAKE_USERNAME
+```
+
+Docker リポジトリにログイン後、イメージにタグを付けてリポジトリへプッシュします。
+
+`docker tag` コマンドは次のようになります:
+
+```bash
+docker tag weaviate -.registry.snowflakecomputing.com/weaviate_demo/public/weaviate_repo/weaviate
+docker tag jupyter -.registry.snowflakecomputing.com/weaviate_demo/public/weaviate_repo/jupyter
+docker tag text2vec -.registry.snowflakecomputing.com/weaviate_demo/public/weaviate_repo/text2vec
+```
+
+`docker push` コマンドは次のようになります:
+
+```bash
+docker push -.registry.snowflakecomputing.com/weaviate_demo/public/weaviate_repo/weaviate
+docker push -.registry.snowflakecomputing.com/weaviate_demo/public/weaviate_repo/jupyter
+docker push -.registry.snowflakecomputing.com/weaviate_demo/public/weaviate_repo/text2vec
+```
+
+### 6. サービスのセットアップ
+
+SPCS は `spec files` を使用してサービスを構成します。構成用 spec ファイルも、先ほどクローンした [リポジトリ](https://github.com/Snowflake-Labs/sfguide-getting-started-weaviate-on-spcs/tree/main/specs) にあります。
+
+各サービスのイメージリポジトリを指定するよう `spec files` を編集します。たとえば、`weaviate.yaml` を更新して `weaviate` イメージを参照させます。
+
+```bash
+image: "-.registry.snowflakecomputing.com/weaviate_demo/public/weaviate_repo/weaviate"
+```
+
+`jupyter.yaml` spec ファイルを編集する際は、`SNOW_ACCOUNT` フィールドをお使いの Snowflake アカウント名に更新してください。
+
+```bash
+SNOW_ACCOUNT: -
+```
+
+spec ファイルを更新したら、`snowsql` クライアントを使用してアップロードします。
+
+```sql
+PUT file:///path/to/jupyter.yaml @yaml_stage overwrite=true auto_compress=false;
+PUT file:///path/to/text2vec.yaml @yaml_stage overwrite=true auto_compress=false;
+PUT file:///path/to/weaviate.yaml @yaml_stage overwrite=true auto_compress=false;
+```
+
+### 7. サービスの作成
+
+`snowsql` クライアントを使用して、各コンポーネント用のサービスを作成します。
+
+```sql
+USE ROLE SYSADMIN;
+USE DATABASE WEAVIATE_DEMO;
+USE SCHEMA PUBLIC;
+
+CREATE SERVICE WEAVIATE
+ IN COMPUTE POOL WEAVIATE_COMPUTE_POOL
+ FROM @YAML_STAGE
+ SPEC='weaviate.yaml'
+ MIN_INSTANCES=1
+ MAX_INSTANCES=1;
+
+CREATE SERVICE JUPYTER
+ IN COMPUTE POOL JUPYTER_COMPUTE_POOL
+ FROM @YAML_STAGE
+ SPEC='jupyter.yaml'
+ MIN_INSTANCES=1
+ MAX_INSTANCES=1;
+
+CREATE SERVICE TEXT2VEC
+ IN COMPUTE POOL TEXT2VEC_COMPUTE_POOL
+ FROM @YAML_STAGE
+ SPEC='text2vec.yaml'
+ MIN_INSTANCES=1
+ MAX_INSTANCES=1;
+
+```
+
+### 8. ユーザー権限の付与
+
+`weaviate_role` にサービスの権限を付与します。
+
+```sql
+USE ROLE SECURITYADMIN;
+GRANT USAGE ON SERVICE WEAVIATE_DEMO.PUBLIC.JUPYTER TO ROLE WEAVIATE_ROLE;
+```
+
+### 9. Jupyter Notebook サーバーへのログイン
+
+Jupyter Notebook サーバーへアクセスするための `ingress_url` を取得します。
+
+```sql
+USE ROLE SYSADMIN;
+SHOW ENDPOINTS IN SERVICE WEAVIATE_DEMO.PUBLIC.JUPYTER;
+```
+
+ブラウザで `ingress_url` を開き、`weaviate_user` の認証情報でログインします。
+
+### 10. Weaviate インスタンスへのデータ読み込み
+
+以下の手順に従ってスキーマを作成し、サンプルデータを Weaviate インスタンスに読み込みます。
+
+1. [Jeopardy のサンプル問題セット](https://github.com/weaviate-tutorials/quickstart/blob/main/data/jeopardy_tiny.json) をダウンロードします。
+2. ファイル名を `SampleJSON.json` に変更し、デスクトップに保存します。
+3. ファイルをアップロードします。ブラウザの Jupyter ツリー表示にファイルをドラッグするか、右上の「Upload」ボタンを使用します。
+4. データを Weaviate にコピーします。`TestWeaviate.ipynb` ノートブックを使用し、`SampleJSON.json` から Weaviate へデータをコピーします。
+
+## データのクエリ
+
+データをクエリするには、Jupyter ノートブックで次のクエリを実行します。
+
+```python
+import weaviate
+import json
+import os
+
+client = weaviate.connect_to_custom(
+ http_host="weaviate",
+ http_port=8080,
+ http_secure=False,
+ grpc_host="weaviate",
+ grpc_port=50051,
+ grpc_secure=False
+)
+
+collection = client.collections.use("Questions")
+
+# Simple search
+response = collection.query.near_text(query="animal",limit=2, include_vector=True)
+#confirm vectors exist
+for o in response.objects:
+ print(o.vector)
+
+# Hybrid search client.close()
+response = collection.query.hybrid(
+ query="animals",
+ limit=5
+)
+
+client.close()
+```
+
+## サービスの一時停止と再開
+
+サービスを一時停止または再開するには、`snowsql` クライアントで以下のコードを実行します。
+
+### サービスの一時停止
+```sql
+alter service WEAVIATE suspend;
+alter service TEXT2VEC suspend;
+alter service JUPYTER suspend;
+```
+
+### サービスの再開
+```sql
+alter service WEAVIATE resume;
+alter service TEXT2VEC resume;
+alter service JUPYTER resume;
+```
+
+## クリーンアップと削除
+
+サービスを削除するには、`snowsql` クライアントで以下のコードを実行します。
+
+```sql
+USE ROLE ACCOUNTADMIN;
+DROP USER weaviate_user;
+
+USE ROLE SYSADMIN;
+DROP SERVICE WEAVIATE;
+DROP SERVICE JUPYTER;
+DROP SERVICE TEXT2VEC;
+DROP COMPUTE POOL TEXT2VEC_COMPUTE_POOL;
+DROP COMPUTE POOL WEAVIATE_COMPUTE_POOL;
+DROP COMPUTE POOL JUPYTER_COMPUTE_POOL;
+DROP STAGE DATA;
+DROP STAGE FILES;
+DROP IMAGE REPOSITORY WEAVIATE_DEMO.PUBLIC.WEAVIATE_REPO;
+DROP DATABASE WEAVIATE_DEMO;
+DROP WAREHOUSE WEAVIATE_WAREHOUSE;
+
+USE ROLE ACCOUNTADMIN;
+DROP ROLE WEAVIATE_ROLE;
+DROP SECURITY INTEGRATION SNOWSERVICES_INGRESS_OAUTH;
+```
+
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/deploy/installation-guides/weaviate-cloud.md b/i18n/ja/docusaurus-plugin-content-docs/current/deploy/installation-guides/weaviate-cloud.md
new file mode 100644
index 000000000..390f44b4a
--- /dev/null
+++ b/i18n/ja/docusaurus-plugin-content-docs/current/deploy/installation-guides/weaviate-cloud.md
@@ -0,0 +1,36 @@
+---
+title: Weaviate Cloud
+description: Weaviate Cloud Services のインストール
+sidebar_position: 1
+image: og/docs/installation.jpg
+# tags: ['installation', 'Weaviate Cloud']
+---
+
+import WCDLandingIntro from '/_includes/wcs/wcs-landing-intro.mdx'
+
+` フィルターに名称変更
+* `Get{}` クエリに `nearVector(vector:[])` フィルターを追加
+* `Explore (concepts: ["foo"]){}` クエリは `Explore (near: ... ){}` に変更
+
+#### データスキーマの変更点一覧
+* Things と Actions の削除
+* クラス単位・プロパティ単位の設定がモジュールおよびベクトル インデックス タイプ設定に対応
+
+#### データオブジェクトの変更点一覧
+* データ オブジェクト内の `schema` を `properties` に置換
+
+#### Contextionary
+* Contextionary はモジュール `text2vec-contextionary` に改名
+* `/v1/c11y/concepts` から `/v1/modules/text2vec-contextionary/concepts` へ
+* `/v1/c11y/extensions` から `/v1/modules/text2vec-contextionary/extensions` へ
+* `/v1/c11y/corpus` は削除
+
+#### その他
+* 短・長形式のビーカンから `/things` と `/actions` を削除
+* 分類ボディをモジュール化に合わせて変更
+* `DEFAULT_VECTORIZER_MODULE` という新しい環境変数を追加
+
+### 変更点
+
+#### Things と Actions の削除
+`Things` と `Actions` はデータ スキーマから削除されました。これに伴い、スキーマ定義および API エンドポイントは以下のように変更されます。
+1. **データ スキーマ:** `semantic kind`（`Things` と `Actions`）がスキーマ エンドポイントから削除され、URL が以下のように変わります。
+ * `/v1/schema/things/{ClassName}` から `/v1/schema/{ClassName}`
+ * `/v1/schema/actions/{ClassName}` から `/v1/schema/{ClassName}`
+1. **データ RESTful API エンドポイント:** `semantic kind`（`Things` と `Actions`）がデータ エンドポイントから削除され、名前空間が `/objects` になります。URL は以下のように変わります。
+ * `/v1/things` から `/v1/objects`
+ * `/v1/actions` から `/v1/objects`
+ * `/v1/batching/things` から `/v1/batch/objects` へ（[バッチの名称変更](#renaming-batching-to-batch) も参照）
+ * `/v1/batching/actions` から `/v1/batch/objects` へ（[バッチの名称変更](#renaming-batching-to-batch) も参照）
+1. **GraphQL:** クエリ階層の `Semantic Kind` レベルは置き換え無しで削除されます（`Get` および `Aggregate` クエリ）。
+ ```graphql
+ {
+ Get {
+ Things {
+ ClassName {
+ propName
+ }
+ }
+ }
+ }
+ ```
+
+ は次のようになります
+
+ ```graphql
+ {
+ Get {
+ ClassName {
+ propName
+ }
+ }
+ }
+ ```
+1. **データ ビーカン:** `Semantic Kind` はビーカンから削除されます。
+ * **短形式ビーカン:**
+
+ * `weaviate://localhost/things/4fbacd6e-1153-47b1-8cb5-f787a7f01718`
+
+ から
+
+ * `weaviate://localhost/4fbacd6e-1153-47b1-8cb5-f787a7f01718`
+
+ * **長形式ビーカン:**
+
+ * `weaviate://localhost/things/ClassName/4fbacd6e-1153-47b1-8cb5-f787a7f01718/propName`
+
+ から
+
+ * `weaviate://localhost/ClassName/4fbacd6e-1153-47b1-8cb5-f787a7f01718/propName`
+
+#### /batching/ から /batch/ への名称変更
+
+* `/v1/batching/things` から `/v1/batch/objects`
+* `/v1/batching/actions` から `/v1/batch/objects`
+* `/v1/batching/references` から `/v1/batch/references`
+
+#### データオブジェクトの「schema」から「properties」への変更
+
+データ オブジェクト上の "schema" は直感的ではないため "properties" に置き換えられました。変更例は以下の通りです。
+
+```json
+{
+ "class": "Article",
+ "schema": {
+ "author": "Jane Doe"
+ }
+}
+```
+
+から
+
+```json
+{
+ "class": "Article",
+ "properties": {
+ "author": "Jane Doe"
+ }
+}
+```
+
+#### GraphQL プロパティの大文字小文字の一貫性
+
+以前は、スキーマ定義のリファレンス プロパティは常に小文字でしたが、GraphQL では大文字にする必要がありました。例：`Article { OfAuthor { … on Author { name } } }`（プロパティ定義は ofAuthor）。新バージョンでは GraphQL の大文字小文字がスキーマ定義と完全に一致します。上記の例は `Article { ofAuthor { … on Author { name } } }` となります。
+
+#### GraphQL と RESTful API における追加データプロパティ
+モジュール化により、モジュールはデータ オブジェクトの追加プロパティを提供できるようになりました（固定ではありません）。これらは GraphQL や RESTful API で取得できます。
+1. **REST:** 追加プロパティ（旧 `"underscore"` プロパティ）は `?include=...` で指定して取得します。例：`?include=classification`。アンダースコア付き（例：`?include=_classification`）は非推奨です。Open API 仕様では、すべての追加プロパティが `additional` オブジェクトにまとめられます。例：
+ ```json
+ {
+ "class": "Article",
+ "schema": { ... },
+ "_classification": { … }
+ }
+ ```
+
+ から
+
+ ```json
+ {
+ "class": "Article",
+ "properties": { ... },
+ "additional": {
+ "classification": { ... }
+ }
+ }
+ ```
+2. **GraphQL:** `"underscore"` プロパティは GraphQL クエリ内で `additional` プロパティに名称変更されます。
+ 1. すべての `"underscore"` プロパティ（例：`_certainty`）は `_additional {}` オブジェクトにまとめられます（例：`_additional { certainty }`）。
+ 2. `uuid` プロパティも `_additional {}` に配置され `id` に改名されます（例：`_additional { id }`）。
+ 以下の例は両方の変更を示します。
+
+ 変更前
+
+ ```graphql
+ {
+ Get {
+ Things {
+ Article {
+ title
+ uuid
+ certainty
+ _classification
+ }
+ }
+ }
+ }
+ ```
+
+ 変更後
+
+ ```graphql
+ {
+ Get {
+ Article {
+ title
+ _additional { # leading _ prevents clashes
+ certainty
+ id # replaces uuid
+ classification
+ }
+ }
+ }
+ }
+ ```
+
+#### モジュール RESTful エンドポイント
+Weaviate のモジュール化に伴い、`v1/modules/` エンドポイントが導入されました。
+
+#### GraphQL セマンティック検索
+モジュール化により、非テキストオブジェクトをベクトル化できるようになりました。検索は、Contextionary によるテキストおよびデータオブジェクトのベクトル化に限定されず、非テキストオブジェクトや生の ベクトル に対しても適用可能になります。以前は Get クエリの 'explore' フィルターと GraphQL の 'Explore' クエリはテキストに紐付いていましたが、新しい Weaviate バージョンでは次の変更が加えられました。
+
+1. フィルター `Get ( explore: {} ) {}` は `Get ( near: {} ) {}` にリネームされました。
+ 1. 新機能: `Get ( nearVector: { vector: [.., .., ..] } ) {}` はモジュールに依存せず、常に利用できます。
+ 2. `Get ( explore { concepts: ["foo"] } ) {}` は `Get ( nearText: { concepts: ["foo"] } ) {}` となり、`text2vec-contextionary` モジュールがアタッチされている場合にのみ使用できます。
+
+ From
+
+ ```graphql
+ {
+ Get {
+ Things {
+ Article (explore: { concepts: ["foo"] } ) {
+ title
+ }
+ }
+ }
+ }
+ ```
+
+ to
+
+ ```graphql
+ {
+ Get {
+ Article (near: ... ) {
+ title
+ }
+ }
+ }
+ ```
+
+2. `Get {}` API で使用される explore ソーターと同様に、`Explore {}` API もテキストを前提としています。次の変更が適用されます。
+
+ From
+
+ ```graphql
+ {
+ Explore (concepts: ["foo"]) {
+ beacon
+ }
+ }
+ ```
+
+ to
+
+ ```graphql
+ {
+ Explore (near: ... ) {
+ beacon
+ }
+ }
+ ```
+
+#### データスキーマ設定
+1. **クラス単位の設定**
+
+ モジュール化により、クラスごとにベクトライザー モジュール、モジュール固有のクラス設定、ベクトルインデックスタイプ、およびベクトルインデックスタイプ固有の設定を行えます。
+ * `vectorizer` はベクトル化を担当するモジュール（存在する場合）を示します。
+ * `moduleConfig` はモジュール名ごとの設定を可能にします。
+ * Contextionary 固有のプロパティ設定については [こちら](#text2vec-contextionary) を参照してください。
+ * `vectorIndexType` では使用するベクトルインデックスを選択できます（デフォルトは [HNSW](/weaviate/concepts/indexing/vector-index.md#hierarchical-navigable-small-world-hnsw-index)）。
+ * `vectorIndexConfig` はインデックスに渡される任意の設定オブジェクトです（デフォルト値は [こちら](/weaviate/config-refs/indexing/vector-index.mdx#hnsw-index) を参照）。
+
+ 変更はすべて次の例に示します。
+
+ ```json
+ {
+ "class": "Article",
+ "vectorizeClassName": true,
+ "description": "string",
+ "properties": [ … ]
+ }
+ ```
+
+ は次のようになります。
+
+ ```json
+ {
+ "class": "Article",
+ "vectorIndexType": "hnsw", # defaults to hnsw
+ "vectorIndexConfig": {
+ "efConstruction": 100
+ },
+ "moduleConfig": {
+ "text2vec-contextionary": {
+ "vectorizeClassName": true
+ },
+ "encryptor5000000": { "enabled": true } # example
+ },
+ "description": "string",
+ "vectorizer": "text2vec-contextionary", # default is configurable
+ "properties": [ … ]
+ }
+ ```
+
+2. **プロパティ単位の設定**
+
+ モジュール化により、プロパティごとにモジュール固有の設定を行えるようになり、また、そのプロパティを転置インデックスに含めるかどうかを指定できます。
+ * `moduleConfig` はモジュール名ごとの設定を可能にします。
+ * Contextionary 固有のプロパティ設定については [こちら](#text2vec-contextionary) を参照してください。
+ * `index` は `indexInverted` に変更されます。これは、そのプロパティを転置インデックスに登録するかどうかを示すブール値です。
+
+ 変更はすべて次の例に示します。
+
+ ```json
+ {
+ "dataType": [ "text" ],
+ "description": "string",
+ "cardinality": "string",
+ "vectorizePropertyName": true,
+ "name": "string",
+ "keywords": [ … ],
+ "index": true
+ }
+ ```
+
+ は次のようになります。
+
+ ```json
+ {
+ "dataType": [ "text" ],
+ "description": "string",
+ "moduleConfig": {
+ "text2vec-contextionary": {
+ "skip": true,
+ "vectorizePropertyName": true,
+ }
+ },
+ "name": "string",
+ "indexInverted": true
+ }
+ ```
+
+#### RESTful /meta エンドポイント
+`/v1/meta` オブジェクトには、新しく導入された名前空間 `modules.` プロパティにモジュール固有の情報が含まれるようになりました。
+
+From
+
+```json
+{
+ "hostname": "string",
+ "version": "string",
+ "contextionaryWordCount": 0,
+ "contextionaryVersion": "string"
+}
+```
+
+to
+
+```json
+{
+ "hostname": "string",
+ "version": "string",
+ "modules": {
+ "text2vec-contextionary": {
+ "wordCount": 0,
+ "version": "string"
+ }
+ }
+}
+```
+
+#### モジュール分類
+一部の分類タイプはモジュールに紐付いています（例: 以前の "contextual" 分類は `text2vec-contextionary` モジュールに紐付いています）。常に存在するフィールドと、タイプに依存するフィールドを区別しました。さらに、API では `settings` と `filters` を個別のプロパティにまとめて改善しています。kNN 分類はモジュールに依存せず Weaviate Database で利用できる唯一の分類タイプです。以前の "contextual" 分類は `text2vec-contextionary` モジュールに紐付いており、詳細は [こちら](#text2vec-contextionary) を参照してください。以下は分類 API の POST 本文での変更例です。
+
+From
+
+```json
+{
+ "class": "City",
+ "classifyProperties": ["inCountry"],
+ "basedOnProperties": ["description"],
+ "type": "knn",
+ "k": 3,
+ "sourceWhere": { … },
+ "trainingSetWhere": { … },
+ "targetWhere": { … },
+}
+
+```
+
+To
+
+```json
+{
+ "class": "City",
+ "classifyProperties": ["inCountry"],
+ "basedOnProperties": ["description"],
+ "type": "knn",
+ "settings": {
+ "k": 3
+ },
+ "filters": {
+ "sourceWhere": { … },
+ "trainingSetWhere": { … },
+ "targetWhere": { … },
+ }
+}
+```
+
+そして API GET 本文:
+
+From
+
+```json
+{
+ "id": "ee722219-b8ec-4db1-8f8d-5150bb1a9e0c",
+ "class": "City",
+ "classifyProperties": ["inCountry"],
+ "basedOnProperties": ["description"],
+ "status": "running",
+ "meta": { … },
+ "type": "knn",
+ "k": 3,
+ "sourceWhere": { … },
+ "trainingSetWhere": { … },
+ "targetWhere": { … },
+}
+```
+
+To
+
+```json
+{
+ "id": "ee722219-b8ec-4db1-8f8d-5150bb1a9e0c",
+ "class": "City",
+ "classifyProperties": ["inCountry"],
+ "basedOnProperties": ["description"],
+ "status": "running",
+ "meta": { … },
+ "type": "knn",
+ "settings": {
+ "k": 3
+ },
+ "filters": {
+ "sourceWhere": { … },
+ "trainingSetWhere": { … },
+ "targetWhere": { … },
+ }
+}
+```
+
+#### text2vec-contextionary
+Contextionary は Weaviate における最初のベクトル化モジュールとなり、正式名称は `text2vec-contextionary` になりました。これに伴い、次の変更があります。
+
+1. **RESTful** エンドポイント `/v1/c11y` は `v1/modules/text2vec-contextionary` に変更されました。
+ * `/v1/c11y/concepts` → `/v1/modules/text2vec-contextionary/concepts`
+ * `/v1/c11y/extensions` → `/v1/modules/text2vec-contextionary/extensions`
+ * `/v1/c11y/corpus` は削除されました
+
+2. **データスキーマ:** スキーマ定義に `text2vec-contextionary` 固有のモジュール設定オプションが追加されました
+ 1. **クラス単位** `"vectorizeClassName"` はデータオブジェクトのベクトル計算にクラス名を含めるかどうかを示します。
+
+ ```json
+ {
+ "class": "Article",
+ "moduleConfig": {
+ "text2vec-contextionary": {
+ "vectorizeClassName": true
+ }
+ },
+ "description": "string",
+ "vectorizer": "text2vec-contextionary",
+ "properties": [ … ]
+ }
+ ```
+
+ 2. **プロパティ単位** `skip` はそのプロパティ（値を含む）をデータオブジェクトのベクトル位置から完全に除外するかどうかを示します。`vectorizePropertyName` はプロパティ名をデータオブジェクトのベクトル計算に含めるかどうかを示します。
+
+ ```json
+ {
+ "dataType": [ "text" ],
+ "description": "string",
+ "moduleConfig": {
+ "text2vec-contextionary": {
+ "skip": true,
+ "vectorizePropertyName": true,
+ }
+ },
+ "name": "string",
+ "indexInverted": true
+ }
+ ```
+
+3. **コンテキスト分類** コンテキスト分類は `text2vec-contextionary` モジュールに依存します。`/v1/classifications/` で、分類名 `text2vec-contextionary-contextual` を用いて次のように有効化できます。
+
+From
+
+```json
+{
+ "class": "City",
+ "classifyProperties": ["inCountry"],
+ "basedOnProperties": ["description"],
+ "type": "contextual",
+ "informationGainCutoffPercentile": 30,
+ "informationGainMaximumBoost": 3,
+ "tfidfCutoffPercentile": 80,
+ "minimumUsableWords": 3,
+ "sourceWhere": { … },
+ "trainingSetWhere": { … },
+ "targetWhere": { … },
+}
+```
+
+To
+
+```json
+{
+ "class": "City",
+ "classifyProperties": ["inCountry"],
+ "basedOnProperties": ["description"],
+ "type": "text2vec-contextionary-contextual",
+ "settings": {
+ "informationGainCutoffPercentile": 30,
+ "informationGainMaximumBoost": 3,
+ "tfidfCutoffPercentile": 80,
+ "minimumUsableWords": 3
+ },
+ "filters": {
+ "sourceWhere": { … },
+ "trainingSetWhere": { … },
+ "targetWhere": { … }
+ }
+}
+```
+
+#### デフォルト ベクトライザー モジュール
+スキーマの各データ クラスに毎回指定する必要がないよう、新しい環境変数でデフォルト ベクトライザー モジュールを指定できます。
+その環境変数は `DEFAULT_VECTORIZER_MODULE` で、例えば `DEFAULT_VECTORIZER_MODULE="text2vec-contextionary"` のように設定できます。
+
+### 公式リリースノート
+公式リリースノートは [GitHub](https://github.com/weaviate/weaviate/releases/tag/0.23.0) でご覧いただけます。
+
+## 質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+
+ +1. 現在の Weaviate インスタンスのバックアップを作成します。 +1. [Weaviate リリースページ](https://github.com/weaviate/weaviate/tags) にアクセスし、 + 1. 最新の `v1.26` パッチバージョン（例: `1.26.11`）を探します。 + 1. 最新の `v1.27` パッチバージョン（例: `1.27.5`）を探します。 +1. `v1.26` の最新パッチバージョンへアップグレードします。 +1. 続いて `v1.27` の最新パッチバージョンへアップグレードします。 + +::: + +### Raft マイグレーション (v1.25.0+) + +Weaviate `v1.25.0` では、[クラスタメタデータの合意アルゴリズムとして Raft を導入しました](/weaviate/concepts/replication-architecture/cluster-architecture#metadata-replication-raft)。これにより、クラスタメタデータの一度きりのマイグレーションが必要です。 + +[Docker ベースのセルフホスト環境](/deploy/installation-guides/docker-installation.md) では、マイグレーションは自動で行われます。 + +[Kubernetes ベースのセルフホスト環境](/deploy/installation-guides/k8s-installation.md) では、手動でマイグレーションを実行する必要があります。詳細は [Weaviate `v1.25.0` マイグレーションガイド](./weaviate-1-25.md) を参照してください。 + +これは Weaviate アーキテクチャにおける大きな変更です。そのため、`v1.25.latest` へアップグレードした後、さらにアップグレードを進める前にもう一度バックアップを取得しておくことを推奨します。 + +### バックアップリストアの修正 (v1.23.13+) + +`v1.23.13` より前のバージョンでは、バックアップリストア処理に不具合があり、データが正しく保存されない可能性がありました。 + +`v1.23.13` より前のバージョンからアップグレードする場合は、次の手順を推奨します。 + +1. 現在の Weaviate インスタンスのバックアップを作成します。 +2. 上記の[一般的なアップグレード手順](#一般的なアップグレード手順)に従い、少なくとも `v1.23.13`（可能なら `v1.23.16`）以上へアップグレードします。 +3. アップグレード後のインスタンスにバックアップをリストアします。 + +## ダウングレード + +### RAFT スナップショット (v1.28.13+, v1.29.5+, v1.30.2+) + +`1.28.13+`、`1.29.5+`、`1.30.2+` を実行する複数ノードの Weaviate インスタンスを `v1.27.x`（`1.27.26` より前）へダウングレードすると、データベースでの RAFT スナップショットの保存方式変更によりクラスタが **Ready** 状態に到達しない問題が発生する可能性があります。 + +この問題の修正は `1.27.26` でリリースされ、`1.27` への安全なダウングレードが可能になります。 + +Weaviate を `v1.27.x` にダウングレードする必要がある場合は、`1.27.26` 以上を使用してください。 + +## 質問とフィードバック + +import DocsFeedback from '/_includes/docs-feedback.mdx'; + +
+ +影響を最小限にするため、サービス利用が少ない時間帯に実施するか、メインクラスタを再起動する間にセカンダリクラスタを用意することを推奨します。 +::: + +## アップグレード手順 + +:::note namespace +デプロイが別のネームスペースにある場合は、以下の `-n` オプションを適宜変更してください。たとえば `my_namespace` であれば、最初のコマンドは `kubectl delete sts weaviate -n my_namespace` となります。 +::: + +### （任意）バックアップ + +アップグレード前に Weaviate データベースの [バックアップ](/deploy/configuration/backups.md) を取得することを推奨します。バックアップが難しい場合は、手動で [データをエクスポート](/weaviate/manage-collections/migrate.mdx) するなどの方法も検討してください。 + +### 1. StatefulSet の削除 + +まず、既存の StatefulSet を削除します。これによりネームスペース内のすべての Pod が削除されます。 + +```bash +kubectl delete sts weaviate -n weaviate +``` + +次のような出力が表示されます。 + +```bash +statefulset.apps "weaviate" deleted +``` + +StatefulSet が削除されると、ネームスペース内に Pod は存在しなくなります。 + +```bash +kubectl get pods -n weaviate +``` + +### 2. Helm チャートの更新 + +次に、リポジトリを更新して最新の変更を取得します。 + +```bash +helm repo update weaviate +``` + +以下のように helm チャートのバージョンを確認してください。（ `17.0.0` 以上である必要があります。） + +```bash +helm search repo weaviate +``` + +### 3. Weaviate のデプロイ + +続いて、以下のように Weaviate を再デプロイします。既存の設定ファイル `values.yaml` を適用し、新しい合意アルゴリズム（Raft）の下でクラスタを再起動します。 + +ここではイメージタグを `1.25.0` に上書きしています。 `values.yaml` 内で直接この値を変更しても構いません。 + +```bash +helm upgrade weaviate weaviate/weaviate \ + --namespace weaviate \ + --values ./values.yaml \ + --set image.tag="1.25.0" \ +``` + +### 4. 更新の確認 + +Pod が再度起動して稼働するまでに少し時間がかかる場合があります。クラスタが稼働しているかどうかは、 `v1/cluster/statistics` エンドポイントで確認できます。 + +たとえば、 `curl` （および整形用に `jq` ）を使ってクラスタの状態を確認できます。（ `localhost:8080` は実際の URL とポートに置き換えてください。） + +```bash +curl -s localhost:8080/v1/cluster/statistics | jq +``` + +成功すると、次のようなレスポンスが得られます。 + +```json +{ + "statistics": [ + { + // ... + "leaderAddress": "10.244.2.3:8300", + "leaderId": "weaviate-0", + "name": "weaviate-0", + "open": true, + "raft": {}, + "ready": true, + "status": "HEALTHY" + }, + { + // ... + "leaderAddress": "10.244.1.3:8300", + "leaderId": "weaviate-1", + "name": "weaviate-1", + "open": true, + "raft": {}, + "ready": true, + "status": "HEALTHY" + }, + { + // ... + "leaderAddress": "10.244.0.4:8300", + "leaderId": "weaviate-2", + "name": "weaviate-2", + "open": true, + "raft": {}, + "ready": true, + "status": "HEALTHY" + } + ], + // highlight-start + "synchronized": true + // highlight-end +} +``` + +`statistics` 内のオブジェクト数が `values.yaml` で設定したレプリカ数と一致し、 `synchronized` フラグが `true` であれば、クラスタは正常に稼働しています。 + +## ダウングレード手順 + +`1.25` から pre-`1.25` バージョンへダウングレードする場合は、まず `v1/cluster/schema-v1` へ `POST` リクエスト（ペイロード不要）を送り、クラスターメタデータをダウングレードする必要があります。 + +### 1. クラスターメタデータのダウングレード + +次のリクエストを実行してクラスターメタデータをダウングレードします。これにより、pre-`1.25` バージョンへのダウングレード準備が整います。（ `localhost:8080` は実際の URL とポートに置き換えてください。） + +```bash +curl -X POST -s -o /dev/null -w "%{http_code}" localhost:8080/v1/cluster/schema-v1 +``` + +`200` ステータスコードが返されるはずです。 + +### 2. StatefulSet の削除 + +メタデータをダウングレードした後、既存の StatefulSet を削除します。これによりネームスペース内のすべての Pod が削除されます。 + +```bash +kubectl delete sts weaviate -n weaviate +``` + +### 3. Weaviate のダウングレード + +では、 Weaviate をダウングレードします。たとえば、バージョン `1.24.10` へダウングレードするには、次のコマンドを実行してください。 + +```bash +helm upgrade weaviate weaviate/weaviate \ + --namespace weaviate \ + --values ./values.yaml \ + --set image.tag="1.24.10" +``` + +これにより、クラスターは指定した `1.25` 以前のバージョンに戻ります。 + +## 質問とフィードバック + +import DocsFeedback from '/_includes/docs-feedback.mdx'; + +:</debug/index/rebuild/inverted/status?collection=
+ ```
+
+:::note
+
+置き換える項目:
+- ``: Weaviate ノード名
+- ``: 実際のポート（デフォルトは `6060`）
+- ``: 移行対象コレクション名
+
+:::
+
+3. 返却される JSON で移行ステータスを追跡します。
+ - 最初は `collection not found or not ready` と表示されることがあります
+ - 移行中は `in progress` になります
+ - 進行状況は `latest_snapshot` フィールドに約 5 分ごとに更新されます。更新がない場合は、エラーが発生している可能性があるため、ログを確認してください。
+ ```json
+ {
+ "shards": [
+ {
+ "latest_snapshot": "2025-03-31T16:34:08.477558Z, 00000000-0000-0000-0000-00000003b38f, all 241446, idx 241446",
+ "message": "migration started recently, no snapshots yet",
+ "properties": "",
+ "shard": "",
+ "snapshot_count": "1",
+ "objects_migrated": "241446",
+ "start_time": "2025-03-31T16:33:20.21005Z",
+ "status": "in progress"
+ }
+ ]
+ }
+ ```
+ - 再インデックス化が完了すると、`status` フィールドが `reindexed` に変わり、メッセージが `reindexing done, merging buckets` になります
+
+### ステージ 2: 置き換え
+
+:::info
+
+このステージでは次の動作が行われます。
+
+- システムが BlockMax 形式を使用し始めます
+- ダブルライトは継続します
+- 旧形式データはディスクに保持されます
+- 旧形式へのロールバックが可能です
+
+:::
+
+再インデックス化が終了し（`status` が `reindexed`）、バケットを置き換えるには次を行います。
+
+1. 以下の設定で Weaviate インスタンスを再起動します。
+
+```
+REINDEX_MAP_TO_BLOCKMAX_AT_STARTUP=weaviate
+REINDEX_MAP_TO_BLOCKMAX_SWAP_BUCKETS=weaviate
+```
+
+2. 再起動後、ステータスエンドポイントを再度確認します。
+
+ - ステータスは一時的に `merged` に変わります（ログで確認できないほど速い場合があります）
+ - その後 `done` と表示されます
+
+3. この時点で、キーワード検索はデフォルトで BlockMax WAND を使用します。
+ - 次のステージに進む前に、BM25 およびハイブリッド検索のパフォーマンスと結果をテストすることを推奨します
+
+### ステージ 3: クリーンアップ
+
+:::caution
+
+移行が正常に完了したことを詳細に検証・確認した後にのみ、このステップを実行してください。このステップの後はロールバックできません。
+
+:::
+
+:::info
+
+このステージでは次の動作が行われます。
+
+- ダブルライトが無効化され、BlockMax 形式のみを使用します
+- 旧形式データがディスクから削除されます
+
+:::
+
+すべてが期待どおりに動作し、キーワード検索機能を確認できたら、次のコマンドですべてのノードを再起動します。
+
+```
+REINDEX_MAP_TO_BLOCKMAX_AT_STARTUP=true
+REINDEX_MAP_TO_BLOCKMAX_TIDY_BUCKETS=true
+```
+
+## マルチノード展開
+
+同一設定でデプロイされたマルチノードサーバーでは、サーバーを 1 台ずつ移行できます。
+
+1. 移行中の現在のノード名を設定します。
+2. すでに移行済みのノードをカンマ区切りで列挙します。
+
+現在移行中のノード（ `` ）と、すでに移行されたノード（ `` ）の場合:
+
+```
+REINDEX_MAP_TO_BLOCKMAX_AT_STARTUP=,
+REINDEX_MAP_TO_BLOCKMAX_SWAP_BUCKETS=,
+```
+
+:</debug/index/rebuild/inverted/abort
+ ```
+
+2. 完全に停止し、データを初期段階に戻すにはサーバーを以下で再起動します:
+ ```
+ REINDEX_MAP_TO_BLOCKMAX_AT_STARTUP=true
+ REINDEX_MAP_TO_BLOCKMAX_ROLLBACK=true
+ ```
+
+:::caution
+
+クリーンアップ前にのみロールバックが可能です！
+
+:::
+
+## 環境変数リファレンス
+
+- `REINDEX_MAP_TO_BLOCKMAX_AT_STARTUP=`: `property__searchable` を mapcollection から inverted/`blockmax` 形式へ変換する移行プロセスを有効化して開始します (二重書き込みを行います)。ほかの `REINDEX_MAP_TO_BLOCKMAX_*` 変数を機能させるために必要です
+- `REINDEX_MAP_TO_BLOCKMAX_SWAP_BUCKETS=`: `mapcollection` バケットを inverted/`blockmax` にスワップし、二重書き込みを継続します。再起動時にのみ実行され、移行が完了している場合に限ります
+- `REINDEX_MAP_TO_BLOCKMAX_UNSWAP_BUCKETS=`: inverted/`blockmax` バケットを `mapcollection` にアン スワップし、二重書き込みを継続します。再起動時にのみ実行され、バケットが既にスワップされている場合に限ります
+- `REINDEX_MAP_TO_BLOCKMAX_TIDY_BUCKETS=`: `mapcollection` バケットを削除し、二重書き込みを停止します
+- `REINDEX_MAP_TO_BLOCKMAX_ROLLBACK=`: 移行プロセスをロールバックし、`mapcollection` バケット (まだ削除されていない場合) を復元し、作成された inverted/`blockmax` バケットを削除します
+
+## `v1.29` での BlockMax WAND の使用 (技術プレビュー)
+
+:::caution BlockMax WAND technical preview
+
+BlockMax WAND アルゴリズムは `v1.29` で **技術プレビュー** として提供されています。**本バージョンを本番環境で使用することは推奨しません。`v1.30+` のご利用をおすすめします。**
+
+:::
+
+**Weaviate `v1.29` で BlockMax WAND を使用するには、コレクションを作成する前に有効化する必要があります。** このバージョンでは、既存のコレクションを BlockMax WAND に移行することはできません。
+
+BlockMax WAND を有効にするには、環境変数 `USE_BLOCKMAX_WAND` と `USE_INVERTED_SEARCHABLE` を `true` に設定します。
+
+これで、Weaviate に追加される新しいデータはすべて BM25 およびハイブリッド検索で BlockMax WAND を使用します。ただし、既存のデータは引き続きデフォルトの WAND アルゴリズムを使用します。
+
+
+## 質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+
+
+## 質問とフィードバック + +import DocsFeedback from '/_includes/docs-feedback.mdx'; + +
+
+
+
+
+
+
+```go
+// Go support coming soon
+```
+
+
+
+
+```java
+// Java support coming soon
+```
+
+
+
+
+
+
+### ステップ 2: カスタム権限を持つ新しいロールの作成
+
+これにより、`TargetCollection` で始まるコレクションに対する読み取りおよび書き込み権限と、ノードおよびクラスター メタデータに対する読み取り権限が付与されます。
+
+
+
+
+
+
+
+
+```go
+// Go support coming soon
+```
+
+
+
+
+```java
+// Java support coming soon
+```
+
+
+
+
+### ステップ 3: 新しいユーザーへのロール割り当て
+
+まず、新しいユーザー `custom-user` を作成します:
+
+
+
+
+
+
+```ts
+// TS support coming soon
+```
+
+
+
+
+```go
+// Go support coming soon
+```
+
+
+
+
+```java
+// Java support coming soon
+```
+
+
+
+
+次に、`rw_role` ロールを `custom-user` に割り当てます:
+
+
+
+
+
+
+
+
+```go
+// Go support coming soon
+```
+
+
+
+
+```java
+// Java support coming soon
+```
+
+
+
+
+## ビューアー権限
+
+### ステップ 1: Weaviate への接続
+
+ロールを管理するための十分な権限を持つユーザーで Weaviate に接続していることを確認してください。
+これは、[Weaviate の設定](/deploy/configuration/configuring-rbac) 時にあらかじめ定義されている `root` ロールを使用するか、ユーザーに [`manage_roles` permission](/weaviate/configuration/rbac/manage-roles#role-management) を付与することで実現できます。
+
+
+
+
+
+
+
+
+```go
+// Go support coming soon
+```
+
+
+
+
+```java
+// Java support coming soon
+```
+
+
+
+
+
+### ステップ 2: カスタム権限を持つ新しいロールの作成
+
+これにより、`TargetCollection` で始まるコレクションに対して viewer 権限が付与されます。
+
+
+
+
+
+
+
+
+```go
+// Go support coming soon
+```
+
+
+
+
+```java
+// Java support coming soon
+```
+
+
+
+
+### ステップ 3: 新しいユーザーへのロール割り当て
+
+まず、新しいユーザー `custom-user` を作成します:
+
+
+
+
+
+
+```ts
+// TS support coming soon
+```
+
+
+
+
+```go
+// Go support coming soon
+```
+
+
+
+
+```java
+// Java support coming soon
+```
+
+
+
+
+次に、`viewer_role` を `custom-user` に割り当てます:
+
+
+
+
+
+
+
+
+```go
+// Go support coming soon
+```
+
+
+
+
+```java
+// Java support coming soon
+```
+
+
+
+
+## テナント権限
+
+### ステップ 1: Weaviate への接続
+
+ロールを管理できる十分な権限を持つユーザーで Weaviate に接続していることを確認してください。
+これは、[Weaviate の設定](/deploy/configuration/configuring-rbac.md) 時にあらかじめ用意されている `root` ロールを使用するか、
+ユーザーに [`manage_roles` 権限](/weaviate/configuration/rbac/manage-roles.mdx#role-management-permissions) を付与することで実現できます。
+
+
+
+
+
+
+
+
+```go
+// Go support coming soon
+```
+
+
+
+
+```java
+// Java support coming soon
+```
+
+
+
+
+
+### ステップ 2: カスタム権限を持つ新しいロールの作成
+
+これにより、次の権限が付与されます:
+- `TargetCollection` で始まるコレクション内の `TargetTenant` で始まるテナントを完全に管理できます。
+- `TargetCollection` で始まるコレクション内の `TargetTenant` で始まるテナントのデータを作成・読み取り・更新・削除できます。
+
+
+
+
+
+
+
+
+```go
+// Go support coming soon
+```
+
+
+
+
+```java
+// Java support coming soon
+```
+
+
+
+
+### ステップ 3: 新しいユーザーへのロール割り当て
+
+まず、新しいユーザー `custom-user` を作成します:
+
+
+
+
+
+
+```ts
+// TS support coming soon
+```
+
+
+
+
+```go
+// Go support coming soon
+```
+
+
+
+
+```java
+// Java support coming soon
+```
+
+
+
+
+これで、`custom-user` にロール `tenant_manager` を割り当てることができます:
+
+
+
+
+
+
+
+
+```go
+// Go support coming soon
+```
+
+
+
+
+```java
+// Java support coming soon
+```
+
+
+
+
+## まとめ
+
+本チュートリアルは、 Weaviate における RBAC 設定の包括的なガイドを提供し、カスタマイズしたロールと権限によってユーザー アクセスを管理し、ベクトル データベースを安全に保護する方法を説明します。
+
+まず、ロール管理権限を持つユーザーで Weaviate に接続する手順を説明し、その後にアクセス レベルごとのカスタム ロールを作成する方法を示します。コレクションとデータを管理するための読み取り・書き込み権限を持つロールの設定、閲覧専用アクセスのための viewer 権限の設定、テナント操作を管理するためのテナント権限の構成について学ぶことができます。
+
+## 追加リソース
+
+- [RBAC：設定](/deploy/configuration/configuring-rbac.md)
+- [RBAC：ロールの管理](/weaviate/configuration/rbac/manage-roles.mdx)
+- [RBAC：ユーザーの管理](/weaviate/configuration/rbac/manage-users.mdx)
+
+## 質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+.default})
+
+
+## カテゴリーについて
+エコシステムは次のカテゴリーに分かれています:
+
+* **クラウド ハイパースケーラー** - 大規模な計算とストレージ
+* **コンピュート インフラストラクチャ** - コンテナ化されたアプリケーションの実行とスケール
+* **データ プラットフォーム** - データ取り込みと Web スクレイピング
+* **LLM と エージェント フレームワーク** - エージェントおよび生成 AI アプリケーションの構築
+* **オペレーション** - 生成 AI ワークフローの監視と分析ツール
+
+
+
+## 企業一覧
+
+| 企業カテゴリー | 企業 |
+|------------------|-----------|
+| クラウド ハイパースケーラー | [AWS](/integrations/cloud-hyperscalers/aws), [Google](/integrations/cloud-hyperscalers/google)|
+| コンピュート インフラストラクチャ | [Modal](/integrations/compute-infrastructure/modal), [Replicate](/integrations/compute-infrastructure/replicate), [Replicated](/integrations/compute-infrastructure/replicated) |
+| データ プラットフォーム |[Airbyte](/integrations/data-platforms/airbyte), [Aryn](/integrations/data-platforms/aryn/), [Boomi](/integrations/data-platforms/boomi/), [Box](/integrations/data-platforms/box/), [Confluent](/integrations/data-platforms/confluent), [Astronomer](/integrations/data-platforms/astronomer), [Context Data](/integrations/data-platforms/context-data/), [Databricks](/integrations/data-platforms/databricks/), [Firecrawl](/integrations/data-platforms/firecrawl), [IBM](/integrations/data-platforms/ibm/), [Unstructured](/integrations/data-platforms/unstructured) |
+| LLM と エージェント フレームワーク | [Agno](/integrations/llm-agent-frameworks/agno/) , [Composio](/integrations/llm-agent-frameworks/composio/), [CrewAI](/integrations/llm-agent-frameworks/crewai/), [DSPy](/integrations/llm-agent-frameworks/dspy/), [Dynamiq](/integrations/llm-agent-frameworks/dynamiq/), [Haystack](/integrations/llm-agent-frameworks/haystack/), [LangChain](/integrations/llm-agent-frameworks/langchain/), [LlamaIndex](/integrations/llm-agent-frameworks/llamaindex/), [N8n](/integrations/llm-agent-frameworks/n8n/), [Semantic Kernel](/integrations/llm-agent-frameworks/semantic-kernel/) |
+| オペレーション | [AIMon](/integrations/operations/aimon/), [Arize](/integrations/operations/arize/), [Cleanlab](/integrations/operations/cleanlab/), [Comet](/integrations/operations/comet/), [DeepEval](/integrations/operations/deepeval/), [Langtrace](/integrations/operations/langtrace/), [LangWatch](/integrations/operations/langwatch/), [Nomic](/integrations/operations/nomic/), [Patronus AI](/integrations/operations/patronus/), [Ragas](/integrations/operations/ragas/), [TruLens](/integrations/operations/trulens/), [Weights & Biases](/integrations/operations/wandb/) |
+
+## モデル プロバイダーとのインテグレーション
+Weaviate は、さまざまなプロバイダーが提供するセルフホスト型および API ベースのエンベディング モデルと連携します。
+
+モデル プロバイダーの全リストについては、[ドキュメント ページ](/weaviate/model-providers)をご覧ください。
+
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/integrations/llm-agent-frameworks/agno/index.md b/i18n/ja/docusaurus-plugin-content-docs/current/integrations/llm-agent-frameworks/agno/index.md
new file mode 100644
index 000000000..717562c70
--- /dev/null
+++ b/i18n/ja/docusaurus-plugin-content-docs/current/integrations/llm-agent-frameworks/agno/index.md
@@ -0,0 +1,45 @@
+---
+title: Agno
+sidebar_position: 1
+---
+
+[Agno](https://docs.agno.com/introduction) は、マルチモーダル エージェント を構築するための軽量ライブラリです。LLM を統一された API として公開し、メモリ、ナレッジ、tools、推論といったスーパーパワーを付与します。
+
+
+## Agno と Weaviate
+Weaviate は Agno で [サポートされている ベクトル データベース](https://docs.agno.com/vectordb/weaviate) です。まずは次のようにして ベクトル ストア を作成します。
+
+```python
+from agno.agent import Agent
+from agno.knowledge.pdf_url import PDFUrlKnowledgeBase
+from agno.vectordb.search import SearchType
+from agno.vectordb.weaviate import Distance, VectorIndex, Weaviate
+
+vector_db = Weaviate(
+ collection="recipes",
+ search_type=SearchType.hybrid,
+ vector_index=VectorIndex.HNSW,
+ distance=Distance.COSINE,
+ local=True, # Set to False if using Weaviate Cloud and True if using local instance
+)
+```
+
+次に、エージェント のためのナレッジベースを作成します。
+
+```python
+knowledge_base = PDFUrlKnowledgeBase(
+ urls=["https://agno-public.s3.amazonaws.com/recipes/ThaiRecipes.pdf"],
+ vector_db=vector_db,
+)
+```
+
+## 当社リソース
+[**Hands on Learning**](#hands-on-learning): エンドツーエンドのチュートリアルで技術的理解を深めましょう。
+
+### Hands on Learning
+
+| トピック | 説明 | リソース |
+| --- | --- | --- |
+| Weaviate Query Agent with Agno | このノートブックでは、Agno を通じて Weaviate Query Agent を tool として定義する方法を紹介します。 | [ノートブック](https://github.com/weaviate/recipes/blob/main/integrations/llm-agent-frameworks/agno/agno-weaviate-query-agent.ipynb) |
+
+
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/integrations/llm-agent-frameworks/composio/index.md b/i18n/ja/docusaurus-plugin-content-docs/current/integrations/llm-agent-frameworks/composio/index.md
new file mode 100644
index 000000000..12c4f74f4
--- /dev/null
+++ b/i18n/ja/docusaurus-plugin-content-docs/current/integrations/llm-agent-frameworks/composio/index.md
@@ -0,0 +1,23 @@
+[Composio](https://docs.composio.dev/introduction/intro/overview) は、function calling を使用してツールを言語モデルや AI エージェントと連携・統合します。
+
+## Composio と Weaviate
+Weaviate の検索機能を利用することで、エージェントをパーソナライズし、よりコンテキストを把握させることができます。
+
+この統合は、LangChain ベクトルストアを介してサポートされています。
+
+統合を設定するには、ベクトルストアを作成し、ご使用の Weaviate インスタンスに接続します:
+```python
+WeaviateVectorStore.from_documents( )
+```
+
+ベクトルストアの作成方法については [こちら](https://python.langchain.com/v0.2/docs/integrations/vectorstores/weaviate/#step-1-data-import) をご覧ください。
+
+## 参考リソース
+[ **Hands on Learning**](#hands-on-learning): エンドツーエンドのチュートリアルで技術的理解を深めましょう。
+
+### ハンズオン学習
+
+| トピック | 説明 | リソース |
+| --- | --- | --- |
+| Gmail エージェント | Composio の Gmail ツールを Weaviate と統合し、新着メッセージに返信するエージェントを作成します。 | [Notebook](https://github.com/weaviate/recipes/blob/main/integrations/llm-agent-frameworks/function-calling/composio/agent.ipynb) |
+
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/integrations/llm-agent-frameworks/crewai/index.md b/i18n/ja/docusaurus-plugin-content-docs/current/integrations/llm-agent-frameworks/crewai/index.md
new file mode 100644
index 000000000..b9977f8e3
--- /dev/null
+++ b/i18n/ja/docusaurus-plugin-content-docs/current/integrations/llm-agent-frameworks/crewai/index.md
@@ -0,0 +1,43 @@
+---
+title: CrewAI
+sidebar_position: 1
+---
+
+[CrewAI](https://www.crewai.com/) はマルチ エージェント アプリケーションを構築するためのフレームワークです。
+
+## CrewAI と Weaviate
+Weaviate は CrewAI で [サポートされている ベクトル 検索ツール](https://docs.crewai.com/tools/weaviatevectorsearchtool) です。これにより、Weaviate クラスターに保存されているドキュメントに対してセマンティック検索クエリを実行できます。
+
+次のようにツールを初期化できます:
+
+```python
+from crewai_tools import WeaviateVectorSearchTool
+
+# Initialize the tool
+tool = WeaviateVectorSearchTool(
+ collection_name='example_collections',
+ limit=3,
+ weaviate_cluster_url="https://your-weaviate-cluster-url.com",
+ weaviate_api_key="your-weaviate-api-key",
+)
+```
+
+## リソース
+リソースは 2 つのカテゴリーに分かれています:
+1. [**ハンズオン学習**](#hands-on-learning) : エンドツーエンドのチュートリアルで技術的な理解を深めます。
+2. [**読み物と動画**](#read-and-listen) : これらの技術について概念的な理解を深めます。
+
+### ハンズオン学習
+
+| トピック | 説明 | リソース |
+| --- | --- | --- |
+| Weaviate Query Agent with Crew AI | Crew AI を通じて Weaviate Query Agent をツールとして定義する方法を示します。 | [Notebook](https://github.com/weaviate/recipes/blob/main/integrations/llm-agent-frameworks/crewai/crewai-query-agent-as-tool.ipynb) |
+
+### 読み物と動画
+
+| トピック | 説明 | リソース |
+| --- | --- | --- |
+| Practical Multi Agent RAG using CrewAI, Weaviate, Groq and ExaTool | code_interpretation、rag、memory、カスタムツールを可能にする RAG 搭載 CrewAI エージェントの構築方法を学びます。 | [Blog](https://lorenzejay.dev/articles/practical-agentic-rag) |
+| Rag Techniques Tutorial for Agentic Rag | RAG 初心者向けのテクニックを解説する動画です。 | [Video](https://youtu.be/zXBlvpaFNxE?si=KkE14m1KngPZvu_W) |
+| How to Build an Agentic RAG Recommendation Engine | Knowledge を活用して、エージェントのクルーに関連するコンテキストと情報へアクセスさせる方法を学びます。 | [Video](https://youtu.be/2Fu_GgS-Q4s?si=ZnDeucXrGnG7UaQY) |
+
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/integrations/llm-agent-frameworks/dspy/index.md b/i18n/ja/docusaurus-plugin-content-docs/current/integrations/llm-agent-frameworks/dspy/index.md
new file mode 100644
index 000000000..ac73a4f82
--- /dev/null
+++ b/i18n/ja/docusaurus-plugin-content-docs/current/integrations/llm-agent-frameworks/dspy/index.md
@@ -0,0 +1,68 @@
+---
+title: DSPy
+sidebar_position: 1
+image: og/docs/more-resources.jpg
+---
+
+[DSPy](https://github.com/stanfordnlp/dspy) は、Stanford NLP 発の言語モデルプログラミングフレームワークです。
+
+DSPy では 2 つの重要なコンセプト、**プログラミングモデル** と **オプティマイザー** が導入されています。
+
+- **プログラミングモデル**: プログラミングモデルでは、言語モデルにリクエストを送る一連のコンポーネントを定義できます。コンポーネントには、入力フィールド・出力フィールド・タスク説明・Weaviate のような ベクトル データベースへの呼び出しなどが含まれます。
+
+- **オプティマイザー**: オプティマイザーは DSPy プログラムをコンパイルし、言語モデルのプロンプトや重みをチューニングします。
+
+## DSPy と Weaviate
+
+Weaviate はリトリーバーモデル経由で DSPy と統合されています。
+
+Weaviate クラスター（WCD またはローカルインスタンス）を DSPy に接続し、[リトリーバーモジュール](https://github.com/stanfordnlp/dspy/blob/6270e951b1f20b2cb02a3fdc769156e7e16dbd26/dspy/retrieve/weaviate_rm.py#L17) を使用してコレクションを渡します。
+
+```python
+weaviate_client = weaviate.Client("http://localhost:8080") # or pass in your WCD cluster url
+
+retriever_module = WeaviateRM("WeaviateBlogChunk", # collection name
+ weaviate_client=weaviate_client)
+```
+
+## リソース
+以下は、DSPy の活用方法について Weaviate チームが提供するリソースです。
+
+リソースは 2 つのカテゴリに分かれています。
+1. [**Hands on Learning**](#hands-on-learning): エンドツーエンドのチュートリアルで技術的理解を深める
+2. [**Read and Listen**](#read-and-listen): コンセプト面の理解を深める
+
+### Hands on Learning
+
+| Topic | Description | Resource |
+| --- | --- | --- |
+| DSPy での RAG 入門 | DSPy の概要とプログラムの構築方法を学習: インストール、設定、データセット、LLM メトリクス、DSPy プログラミングモデル、最適化。 | [Notebook](https://github.com/weaviate/recipes/blob/main/integrations/llm-agent-frameworks/dspy/1.Getting-Started-with-RAG-in-DSPy.ipynb)、[Video](https://youtu.be/CEuUG4Umfxs?si=4Gp8gR9glmoMJNaU) |
+| DSPy + Weaviate で次世代 LLM アプリを構築 | クエリからブログ記事を生成する 4 レイヤーの DSPy プログラムを構築。 | [Notebook](https://github.com/weaviate/recipes/blob/main/integrations/llm-agent-frameworks/dspy/2.Writing-Blog-Posts-with-DSPy.ipynb)、[Video](https://youtu.be/ickqCzFxWj0?si=AxCbD9tq2cbAH6bB)|
+| Persona 付き RAG | DSPy・Cohere・Weaviate を用いて、言語モデルにパーソナを追加する複合 AI システムを構築。 | [Notebook](https://github.com/weaviate/recipes/blob/main/integrations/llm-agent-frameworks/dspy/fullstack-recipes/RAGwithPersona/4.RAG-with-Persona.ipynb)、[Post](https://twitter.com/ecardenas300/status/1765444492348243976)|
+| RAG プログラムに深みを追加 | 独自の入出力例や複数 LLM を統合して DSPy プログラムを強化。 | [Notebook](https://github.com/weaviate/recipes/blob/main/integrations/llm-agent-frameworks/dspy/3.Adding-Depth-to-RAG-Programs.ipynb)、[Video](https://youtu.be/0c7Ksd6BG88?si=YUF2wm1ncUTkSuPQ) |
+| Hurricane: 生成フィードバックループでブログ記事を作成 | ブログ記事の生成フィードバックループをデモする Web アプリ Hurricane の紹介。 | [Notebook](https://github.com/weaviate-tutorials/Hurricane)、[Blog](https://weaviate.io/blog/hurricane-generative-feedback-loops) |
+| DSPy での構造化出力 | DSPy プログラムで出力を構造化する 3 つの方法。 | [Notebook](https://github.com/weaviate/recipes/blob/main/integrations/llm-agent-frameworks/dspy/4.Structured-Outputs-with-DSPy.ipynb)、[Video](https://youtu.be/tVw3CwrN5-8?si=P7fWeXzQ7p-2SFYF) |
+| Cohere の Command R+ と DSPy・Weaviate で RAG 構築 | Command R+ の概要と DSPy での簡単な RAG デモ。 | [Notebook](https://github.com/weaviate/recipes/blob/main/integrations/llm-agent-frameworks/dspy/llms/Command-R-Plus.ipynb)、[Video](https://youtu.be/6dgXALb_5Ag?si=nSX2AnmpbUau_2JF) |
+| DSPy の高度なオプティマイザー | さまざまな手法で DSPy プログラムを最適化。 | [Notebook](https://github.com/weaviate/recipes/blob/main/integrations/llm-agent-frameworks/dspy/5.Advanced-Optimizers.ipynb) |
+| Llama 3 RAG デモ: DSPy 最適化・Ollama・Weaviate | Llama 3 を DSPy に統合し、MIPRO でプロンプトを最適化。 | [Notebook](https://github.com/weaviate/recipes/blob/main/integrations/llm-agent-frameworks/dspy/llms/Llama3.ipynb)、[Video](https://youtu.be/1h3_h8t3L14?si=G4d-aY5Ynpv8ckea)|
+| BigQuery と Weaviate を DSPy でオーケストレーション | BigQuery と Weaviate を使用したエンドツーエンドの RAG パイプラインを DSPy で構築。 | [Notebook](https://github.com/weaviate/recipes/blob/main/integrations/cloud-hyperscalers/google/bigquery/BigQuery-Weaviate-DSPy-RAG.ipynb)|
+| DSPy と Weaviate Query Agent | Query Agent を DSPy の Tool として利用 | [Notebook](https://github.com/weaviate/recipes/blob/main/integrations/llm-agent-frameworks/dspy/Query-Agent-as-a-Tool.ipynb) |
+
+### Read and Listen
+
+| Topic | Description | Resource |
+| --- | --- | --- |
+| DSPy と ColBERT - Omar Khattab 登場！Weaviate Podcast #85 | Omar Khattab が登場し、DSPy と ColBERT について語ります。 | [Video](https://www.youtube.com/watch?v=CDung1LnLbY) |
+| DSPy Explained | DSPy のコアコンセプトを学習。イントロノートブックで Retrieve-Then-Read RAG と Multi-Hop RAG を実装。 | [Video](https://youtu.be/41EfOY0Ldkc?si=sFieUeHc9rXRn6uk)|
+| XMC.dspy - Karel D'Oosterlinck 登場！Weaviate Podcast #87 | Karel D'Oosterlinck が IReRa（Infer-Retrieve-Rank）を解説。 | [Video](https://youtu.be/_ye26_8XPcs?si=ZBodgHbOcaq2Kwky)
+| Intro to DSPy: Goodbye Prompting, Hello Programming | DSPy の概要と、LLM アプリにおける脆弱性問題の解決方法。 | [Blog](https://towardsdatascience.com/intro-to-dspy-goodbye-prompting-hello-programming-4ca1c6ce3eb9)|
+| Fine-Tuning Cohere’s Reranker | DSPy で合成データを生成し、Cohere の reranker モデルをファインチューニング。 |[Blog](https://weaviate.io/blog/fine-tuning-coheres-reranker)|
+| Your Language Model Deserves Better Prompting | プロンプトチューニング用 DSPy オプティマイザーの概要。 | [Blog](https://weaviate.io/blog/dspy-optimizers)|
+
+
+## 質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+, _content=[ToolCall(tool_name='weaviate_query_agent_tool', arguments={'query': 'How to run Weaviate with Docker?'}, id='call_fpBdeb9qHLiifdfFZ5OnmPoE')], _name=None, _meta={'model': 'gpt-4o-mini-2024-07-18', 'index': 0, 'finish_reason': 'tool_calls', 'usage': {'completion_tokens': 27, 'prompt_tokens': 83, 'total_tokens': 110, 'completion_tokens_details': CompletionTokensDetails(accepted_prediction_tokens=0, audio_tokens=0, reasoning_tokens=0, rejected_prediction_tokens=0), 'prompt_tokens_details': PromptTokensDetails(audio_tokens=0, cached_tokens=0)}})]
+
+/Library/Frameworks/Python.framework/Versions/3.10/lib/python3.10/site-packages/weaviate/warnings.py:314: ResourceWarning: Con004: The connection to Weaviate was not closed properly. This can lead to memory leaks.
+ Please make sure to close the connection using `client.close()`.
+ warnings.warn(
+
+tool messages: [ChatMessage(_role=, _content=[ToolCallResult(result='To run Weaviate with Docker, you need to follow these steps:\n\n1. **Install Docker and Docker Compose**: Make sure you have both Docker and Docker Compose installed on your computer. Installation instructions vary depending on your operating system:\n - [Docker Desktop for Mac](https://docs.docker.com/desktop/install/mac-install/)\n - [Docker Desktop for Windows](https://docs.docker.com/desktop/install/windows-install/)\n - [Docker for Ubuntu Linux](https://docs.docker.com/engine/install/ubuntu/) for Docker installation, and [Docker Compose for Ubuntu Linux](https://docs.docker.com/compose/install) for Compose installation.\n\n2. **Obtain the Docker Compose File**: You can obtain a `docker-compose.yml` file directly from the Weaviate documentation. This file defines the services that will be created for Weaviate.\n - Use the Weaviate configuration tool available on their website to customize and download this file according to your needs.\n\n3. **Run Docker Compose**:\n - Ensure you are in the directory where the `docker-compose.yml` file is located.\n - Run the command `docker compose up -d`. The `-d` flag means "detach", so your terminal will not attach to the logs and you can continue using it for other commands.\n\n4. **Check Weaviate\'s Readiness**:\n - Weaviate has a readiness check endpoint which can be accessed at `GET /v1/.well-known/ready` on the service address. You can use a command like `curl` to check if Weaviate is up, e.g., `curl --fail -s localhost:8080/v1/.well-known/ready`. The service is ready if you receive a `2xx` HTTP status code.\n\nThis setup is suitable for local development and testing. For production environments, running Weaviate on Kubernetes is recommended.', origin=ToolCall(tool_name='weaviate_query_agent_tool', arguments={'query': 'How to run Weaviate with Docker?'}, id='call_fpBdeb9qHLiifdfFZ5OnmPoE'), error=False)], _name=None, _meta={})]
+final assistant messages: [ChatMessage(_role=, _content=[TextContent(text="To run Weaviate with Docker, follow these steps:\n\n1. **Install Docker and Docker Compose**:\n - Make sure you have both Docker and Docker Compose installed on your computer. Installation instructions can be found on their respective websites:\n - [Docker Desktop for Mac](https://docs.docker.com/desktop/install/mac-install/)\n - [Docker Desktop for Windows](https://docs.docker.com/desktop/install/windows-install/)\n - [Docker for Ubuntu Linux](https://docs.docker.com/engine/install/ubuntu/) for Docker and [Docker Compose for Ubuntu Linux](https://docs.docker.com/compose/install) for Compose.\n\n2. **Obtain the Docker Compose File**:\n - Get a `docker-compose.yml` file from Weaviate's documentation or use their configuration tool to customize and download it as per your requirements.\n\n3. **Run Docker Compose**:\n - Navigate to the directory containing the `docker-compose.yml` file.\n - Execute the command `docker compose up -d`. The `-d` flag runs it in detached mode, allowing you to continue using the terminal.\n\n4. **Check Weaviate's Readiness**:\n - Use the readiness check endpoint available at `GET /v1/.well-known/ready`. You can use a command like `curl` to verify if Weaviate is ready: `curl --fail -s localhost:8080/v1/.well-known/ready`. A `2xx` HTTP status code indicates that the service is ready.\n\nThis setup is ideal for local development and testing; for production, consider deploying Weaviate on Kubernetes.")], _name=None, _meta={'model': 'gpt-4o-mini-2024-07-18', 'index': 0, 'finish_reason': 'stop', 'usage': {'completion_tokens': 334, 'prompt_tokens': 511, 'total_tokens': 845, 'completion_tokens_details': CompletionTokensDetails(accepted_prediction_tokens=0, audio_tokens=0, reasoning_tokens=0, rejected_prediction_tokens=0), 'prompt_tokens_details': PromptTokensDetails(audio_tokens=0, cached_tokens=0)}})]
+```
+
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/api/graphql/additional-operators.md b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/api/graphql/additional-operators.md
new file mode 100644
index 000000000..25265cc39
--- /dev/null
+++ b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/api/graphql/additional-operators.md
@@ -0,0 +1,654 @@
+---
+title: 追加オペレーター
+sidebar_position: 40
+description: "クエリ機能を拡張する追加オペレーター（ limit 、 sort 、 group など）の構文リファレンスです。"
+image: og/docs/api.jpg
+# tags: ['graphql', 'additional operators']
+---
+import Tabs from '@theme/Tabs';
+import TabItem from '@theme/TabItem';
+import TryEduDemo from '/_includes/try-on-edu-demo.mdx';
+import FilteredTextBlock from '@site/src/components/Documentation/FilteredTextBlock';
+import AutocutPyCode from '!!raw-loader!/_includes/code/howto/search.similarity.py';
+import AutocutPyCodeV3 from '!!raw-loader!/_includes/code/howto/search.similarity-v3.py';
+import AutocutTSCode from '!!raw-loader!/_includes/code/howto/search.similarity.ts';
+import PyCode from '!!raw-loader!/_includes/code/graphql.additional.py';
+import PyCodeV3 from '!!raw-loader!/_includes/code/graphql.additional-v3.py';
+import TSCode from '!!raw-loader!/_includes/code/graphql.additional.ts';
+import GoCode from '!!raw-loader!/_includes/code/graphql.additional.go';
+import JavaCode from '!!raw-loader!/_includes/code/graphql.additional.java';
+import CurlCode from '!!raw-loader!/_includes/code/graphql.additional.sh';
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+`、`bm25`、`hybrid` などの検索や、フィルターとの併用には対応していません。これらの用途では、`offset` と `limit` を用いたページネーションを使用してください。
+
+import GraphQLFiltersAfter from '/_includes/code/graphql.filters.after.mdx';
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+#### メタデータプロパティ
+
+メタデータでソートするには、プロパティ名の前にアンダースコアを追加します。
+
+| プロパティ名 | ソート用プロパティ名 |
+| :- | :- |
+| `id` | `_id` |
+| `creationTimeUnix` | `_creationTimeUnix` |
+| `lastUpdateTimeUnix` | `_lastUpdateTimeUnix` |
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
`0` から `1` の間で指定します。`0` は移動なし、`1` は最大移動です。 | + +### 例 + +import GraphQLFiltersGroup from '/_includes/code/graphql.filters.group.mdx'; + +分類の対象になった 場合、次のコマンドを実行するとオブジェクトがどのように分類されたかの追加情報を取得できます。
+
+import GraphQLUnderscoreClassification from '/_includes/code/graphql.underscoreproperties.classification.mdx';
+
+ ( groupBy: [""] ) {
+ groupedBy {
+ path
+ value
+ }
+ meta {
+ count
+ }
+ {
+ count
+ }
+ }
+ }
+}
+```
+
+次の例では、記事を発行元を表す `inPublication` プロパティでグループ化しています。
+
+import GraphQLAggGroupby from '/_includes/code/graphql.aggregate.groupby.mdx';
+
+` が利用できます。
+
+#### nearObject
+
+import GraphQLAggNearObject from '/_includes/code/graphql.aggregate.nearObject.mdx';
+
+, # The maximum amount of objects to return
+ nearText: { # Either this or 'nearVector' is required
+ concepts: []!, # Required - An array of search items. If the text2vec-contextionary is the vectorization module, the concepts should be present in the Contextionary.
+ certainty: , # Minimal level of certainty, computed by normalized distance
+ moveTo: { # Optional - Giving directions to the search
+ concepts: []!, # List of search items
+ force: ! # The force to apply for a particular movement. Must be between 0 (no movement) and 1 (largest possible movement).
+ },
+ moveAwayFrom: { # Optional - Giving directions to the search
+ concepts: []!, # List of search items
+ force: ! # The force to apply for a particular movement. Must be between 0 (no movement) and 1 (largest possible movement).
+ }
+ },
+ nearVector: { # Either this or 'nearText' is required
+ vector: []!, # Required - An array of search items, which length should match the vector space
+ certainty: # Minimal level of certainty, computed by normalized distance
+ }
+ ) {
+ beacon
+ certainty # certainty value based on a normalized distance calculation
+ className
+ }
+}
+```
+
+クエリ例:
+
+import GraphQLExploreVec from '/_includes/code/graphql.explore.vector.mdx';
+
+(
+ where: {
+ operator: ,
+ valueInt: ,
+ path: ["len()"]
+ }
+ )
+ }
+}
+```
+
+サポートされるオペレーターは `(not) equal` と `greater/less than (equal)` で、値は 0 以上である必要があります。
+
+`path` の値は文字列であり、プロパティ名を `len()` でラップします。たとえば `title` プロパティの長さでフィルターする場合は `path: ["len(title)"]` を使用します。
+
+`Article` クラスのオブジェクトで `title` の長さが 10 文字を超えるものを取得するには、次のようにします。
+
+```graphql
+{
+ Get {
+ Article(
+ where: {
+ operator: GreaterThan,
+ valueInt: 10,
+ path: ["len(title)"]
+ }
+ )
+ }
+}
+```
+
+:::note
+プロパティ長でのフィルターには、対象クラスで [プロパティ長のインデックス](/weaviate/config-refs/indexing/inverted-index.mdx#indexpropertylength) を有効化している必要があります。
+:::
+
+### クロスリファレンスでのフィルター
+
+クロスリファレンス（ビーコン）先のプロパティ値でも検索できます。
+
+例えば、`inPublication` が New Yorker に設定されている `Article` クラスを対象にフィルターする場合は次のようになります。
+
+import GraphQLFiltersWhereBeacon from '/_includes/code/graphql.filters.where.beacon.mdx';
+
+(where: {
+ operator: IsNull,
+ valueBoolean:
+ path: []
+ }
+}
+```
+
+:::note
+null 状態でのフィルタリングを行うには、対象クラスがこれをインデックス化するように設定されている必要があります。詳細は [こちら](../../config-refs/indexing/inverted-index.mdx#indexnullstate) を参照してください。
+:::
+
+
+## 関連ページ
+
+- [検索方法: フィルター](../../search/filters.md)
+
+
+
+## 質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+
(No if using gRPC API) | +| Cross-references | 取得するクロスリファレンス | No | +| [メタデータ](./additional-properties.md) | 取得するメタデータ（追加プロパティ） | No | +| [条件フィルター](./filters.md) | 取得するオブジェクトをフィルタリング | No | +| [検索オペレーター](./search-operators.md) | 検索戦略を指定（例: near text、hybrid、bm25） | No | +| [追加オペレーター](./additional-operators.md) | 追加オペレーターを指定（例: limit、offset、sort） | No | +| [Tenant name](#multi-tenancy) | テナント名を指定 | Yes, if multi-tenancy enabled. ([詳細: マルチテナンシーとは?](../../concepts/data.md#multi-tenancy)) | +| [Consistency level](#consistency-levels) | コンシステンシーレベルを指定 | No | + + +#### 使用例 + +import GraphQLGetSimple from '/_includes/code/graphql.get.simple.mdx'; + +(
+ # e.g. nearVector, nearObject, nearText
+ groupBy:{
+ path: [] # Property to group by (only one property or cross-reference)
+ groups: # Max. number of groups
+ objectsPerGroup: # Max. number of objects per group
+ }
+ ) {
+ _additional {
+ group {
+ id # An identifier for the group in this search
+ groupedBy{ value path } # Value and path of the property grouped by
+ count # Count of objects in this group
+ maxDistance # Maximum distance from the group to the query vector
+ minDistance # Minimum distance from the group to the query vector
+ hits { # Where the actual properties for each grouped objects will be
+ # Properties of the individual object
+ _additional {
+ id # UUID of the individual object
+ vector # The vector of the individual object
+ distance # The distance from the individual object to the query vector
+ }
+ }
+ }
+ }
+ }
+ }
+}
+```
+
+#### 使用例:
+
+
+import GraphQLGroupBy from '/_includes/code/graphql.get.groupby.mdx';
+
+ {
+ {
+
+ _
+ }
+ }
+}
+```
+
+### 制限事項
+
+GraphQL の _integer_ データは現在 `int32` のみをサポートし、`int64` には対応していません。そのため、Weaviate の _integer_ フィールドに `int32` を超える値が入っている場合、GraphQL クエリでは返されません。この[課題](https://github.com/weaviate/weaviate/issues/1563)に取り組んでいます。現時点での回避策としては `string` を使用してください。
+
+### 整合性レベル
+
+GraphQL（`Get`）クエリは、可変の [整合性レベル](../../concepts/replication-architecture/consistency.md#tunable-read-consistency)で実行されます。
+
+## gRPC API
+
+Weaviate v1.19.0 から、gRPC インターフェースが段階的に追加されています。
+
+gRPC は高性能でオープンソースの汎用 RPC フレームワークで、契約ベースであらゆる環境で利用できます。HTTP/2 と Protocol Buffers を基盤としているため、高速かつ効率的です。
+
+gRPC API の詳細は[こちら](../grpc.md)をご覧ください。
+
+
+## 質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+//id` |
+| `distance` | no | `float` | 指定した検索入力に対して許容される最大距離。 `certainty` 変数と同時には使用できません。距離値の解釈は [使用している距離メトリック](/weaviate/config-refs/distances.md) に依存します。 |
+| `certainty` | no | `float` | 結果アイテムと検索ベクトル間の正規化された距離。0（完全に反対）〜 1（同一ベクトル）の範囲に正規化されます。 `distance` 変数と同時には使用できません。 |
+
+#### 例
+
+import GraphQLFiltersNearObject from '/_includes/code/graphql.filters.nearObject.mdx';
+
+
+
+
+#### QPS vs Recall for DBPedia OpenAI
+
+
+
+
+
+
+
+
+
+
+
+#### QPS vs Recall for SIFT1M
+
+
+
+
+
+
+
+
+import AnnReadResultsTable from '/_includes/ann-read-results-table.mdx';
+
+
+
+
+#### QPS vs Recall for MSMARCO Snowflake
+
+
+
+
+
+
+
+
+
+
+
+#### QPS vs Recall for Sphere DPR
+
+
+
+
+
+
+
+
+
+
+
+
+## Benchmark Setup
+
+### Scripts
+
+This benchmark is [open source](https://github.com/weaviate/weaviate-benchmarking), so you can reproduce the results yourself.
+
+### Hardware
+
+
+
+This benchmark test uses one GCP instances to run both Weaviate and the Benchmark scripts:
+
+* a `n4-highmem-16` instance with 16 vCPU cores and 128 GB memory.
+
+:::info Here's why we chose the `n4-highmem-16`:
+
+* It is large enough to show that Weaviate is a highly concurrent [vector search engine](https://weaviate.io/blog/what-is-a-vector-database).
+* It scales well while running thousands of searches across multiple threads.
+* It is small enough to represent a typical production case without inducing
+ high costs.
+:::
+
+Based on your throughput requirements, it is very likely that you will run Weaviate
+on a considerably smaller or larger machine in production.
+
+We have outlined in the [Benchmark FAQs](#what-happens-if-i-run-with-fewer-or-more-cpu-cores-than-on-the-example-test-machine)
+ what you should expect when altering the configuration or
+setup parameters.
+
+### Experiment Setup
+
+We modeled our dataset selection after
+[ann-benchmarks](https://github.com/erikbern/ann-benchmarks). The same test
+queries are used to test speed, throughput, and recall. The provided ground
+truths are used to calculate the recall.
+
+We use Weaviate's Golang client to import data.
+We use Go to measure the concurrent (multi-threaded) queries.
+Each language has its own performance characteristics.
+You may get different results if you use a different language to send your queries.
+
+For maximum throughput, we recommend using the [Go](/weaviate/client-libraries/go.md) or
+[Java](/weaviate/client-libraries/java.md) client libraries.
+
+The complete import and test scripts are available [here](https://github.com/weaviate/weaviate-benchmarking).
+
+## Benchmark FAQ
+
+### How can I get the most performance for my use case?
+If your use case is similar to one of the benchmark tests, use the recommended HNSW parameter configurations to start tuning.
+
+For more instructions on how to tune your configuration for best performance, see [HNSW Configuration Tips](/weaviate/config-refs/indexing/vector-index.mdx#hnsw-configuration-tips).
+
+### What is the difference between latency and throughput?
+
+The latency refers to the time it takes to complete a single request. This
+is typically measured by taking a mean or percentile distribution of all
+requests. For example, a mean latency of 5ms means that a single request takes, on average, 5ms to complete. This does not say anything about how many queries
+can be answered in a given timeframe.
+
+If Weaviate were single-threaded, the throughput per second would roughly equal
+to 1s divided by mean latency. For example, with a mean latency of 5ms, this
+would mean that 200 requests can be answered in a second.
+
+However, in reality, you often don't have a single user sending one query after
+another. Instead, you have multiple users sending queries. This makes the
+querying side concurrent. Similarly, Weaviate can handle concurrent incoming
+requests. We can identify how many concurrent requests can be served by measuring
+the throughput.
+
+We can take our single-thread calculation from before and multiply it with the
+number of server CPU cores. This will give us a rough estimate of what the
+server can handle concurrently. However, it would be best never to trust this
+calculation alone and continuously measure the actual throughput. This is because
+such scaling may not always be linear. For example, there may be synchronization
+mechanisms used to make concurrent access safe, such as locks. Not only do
+these mechanisms have a cost themselves, but if implemented incorrectly, they
+can also lead to congestion, which would further decrease the concurrent
+throughput. As a result, you cannot perform a single-threaded benchmark and
+extrapolate what the numbers would be like in a multi-threaded setting.
+
+All throughput numbers ("QPS") outlined in this benchmark are actual
+multi-threaded measurements on a 30-core machine, not estimations.
+
+### What is a p99 latency?
+
+The mean latency gives you an average value of all requests measured. This is a
+good indication of how long a user will have to wait on average for
+their request to be completed. Based on this mean value, you cannot make any
+promises to your users about wait times. 90 out of 100 users might see a
+considerably better time, but the remaining 10 might see a significantly worse
+time.
+
+Percentile-based latencies are used to give a more precise indication. A
+99th-percentile latency - or "p99 latency" for short - indicates the slowest
+request that 99% of requests experience. In other words, 99% of your users will
+experience a time equal to or better than the stated value. This is a much
+better guarantee than a mean value.
+
+In production settings, requirements - as stated in support plans - are often a
+combination of throughput and a percentile latency. For example, the statement
+"3000 QPS at p95 latency of 20ms" conveys the following meaning.
+
+- 3000 requests need to be successfully completed per second
+- 95% of users must see a latency of 20ms or lower.
+- There is no assumption about the remaining 5% of users, implicitly tolerating
+ that they will experience higher latencies than 20ms.
+
+The higher the percentile (e.g. p99 over p95) the "safer" the quoted
+latency becomes. We have thus decided to use p99-latencies instead of
+p95-latencies in our measurements.
+
+### What happens if I run with fewer or more CPU cores than on the example test machine?
+
+The benchmark outlines a QPS per core measurement. This can help you make a
+rough estimation of how the throughput would vary on smaller or larger
+machines. If you do not need the stated throughput, you can run with fewer CPU
+cores. If you need more throughput, you can run with more CPU cores.
+
+Adding more CPUs reaches a point of diminishing returns because of synchronization mechanisms, disk, and memory bottlenecks. Beyond that point, you should scale horizontally instead of vertically. Horizontal scaling with replication is also available.
+
+### What are `ef`, `efConstruction`, and `maxConnections`?
+
+These parameters refer to the [HNSW build and query
+parameters](/weaviate/config-refs/indexing/vector-index.mdx#hnsw-index).
+They represent a trade-off between recall, latency & throughput, index size, and
+memory consumption. This trade-off is highlighted in the benchmark results.
+
+### I can't match the same latencies/throughput in my own setup. How can I debug this?
+
+If you are encountering other numbers in your own dataset, here are a couple of
+hints to look at:
+
+* What CPU architecture are you using? The benchmarks above were run on a GCP
+ `c2` CPU type, which is based on `amd64` architecture. Weaviate also supports
+ `arm64` architecture, but not all optimizations are present. If your machine
+ shows maximum CPU usage but you cannot achieve the same throughput, consider
+ switching the CPU type to the one used in this benchmark.
+
+* Are you using an actual dataset or random vectors? HNSW is known to perform
+ considerably worse with random vectors than with real-world datasets. This is due
+ to the distribution of points in real-world datasets compared to randomly
+ generated vectors. If you cannot achieve the performance (or recall)
+ outlined above with random vectors, switch to an actual dataset.
+
+* Are your disks fast enough? While the ANN search itself is CPU-bound, the objects
+ must be read from disk after the search has been completed. Weaviate
+ uses memory-mapped files to speed this process up. However, if not enough
+ memory is present or the operating system has allocated the cached pages
+ elsewhere, a physical disk read needs to occur. If your disk is slow,
+ it could then be that your benchmark is bottlenecked by those disks.
+
+* Are you using more than 2 million vectors? If yes, make sure to set the
+ [vector cache large enough](/weaviate/concepts/resources.md#vector-cache)
+ for maximum performance.
+
+### Where can I find the scripts to run this benchmark myself?
+
+The [repository is located here](https://github.com/weaviate/weaviate-benchmarking).
+
+
+## Questions and feedback
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+
+ +もし上記のコードサンプルが十分でない場合、次の方法をお試しください。 + +- Weaviate ドキュメントの該当セクションからコードサンプルを収集する。 +- Weaviate ドキュメントの `Ask AI` 機能で具体的なタスク方法を検索し、そこで得たコードをプロンプトに使用する。 + +:::tip 小規模モデル +一般に、小規模モデルはゼロショットのコード生成が得意ではありません。しかし Anthropic の `claude-3-5-haiku-20241022` と OpenAI の `gpt-4.1` / `gpt-4.1-mini` は、インコンテキストサンプルがあれば良質なコードを生成できました。 +::: + +## 一般的なヒント + +上記の具体的推奨事項に加え、以下の一般的なヒントもご覧ください。 + +### 最新モデルを使用する + +すでに好みのモデルプロバイダーがある場合でも、最新モデルを試してみてください。 + +後発モデルはより新しいデータで学習されているため、ゼロショットのコード生成性能が高い可能性があります。これは、2024 年に書き換えられた Weaviate Python クライアントのようにコードベースが大幅に更新されたケースで特に重要です。 + +### 指示追従性の高いモデルを探す + +モデルによっては、インコンテキストの指示をより忠実に守るものがあります。 + +そのようなモデルは、最新のインコンテキストサンプルをより尊重してくれます。 + +### 生成コードをハルシネーションチェックする + +生成されたコードにハルシネーションの兆候がないか確認しましょう。 + +Weaviate Python クライアントの場合、`weaviate.Client` クラスを用いて接続しようとしているコードは、旧バージョン（ v3 ）の書き方であり、 v4 では存在しません。これはハルシネーションまたは古い情報に基づくコードの典型例です。 + +最新の Weaviate Python クライアントでは、`WeaviateClient` クラスと `weaviate.connect_to_xyz()` の各ヘルパー関数で接続します。 + +### 追加ドキュメントをインデックスする + +Cursor など一部の AI 支援コード生成ツールでは、追加ドキュメントをインデックスできます。これにより、コード生成に必要なコンテキストを拡充できます。 IDE にインデックスしたドキュメントを基にコード生成を促すことも可能です。 + +お使いの IDE がこの機能を備えているか、またその利用方法を確認してください。 + +### Weaviate エージェントの利用を検討する + +[Weaviate エージェント](/agents) は、[クエリ](/agents/query)、[データ変換](/agents/transformation/)、[コンテンツのパーソナライズ](/agents/personalization) など特定タスク向けに設計されたエージェント型サービスです。 + +Weaviate Cloud ユーザーは、自然言語でインスタンスと対話できるエージェントを利用できます。ユースケースによっては、 AI 支援コード生成ツールより適している場合があります。 + +## このページの改善にご協力ください + +上記の推奨事項は、生成型 AI モデルを使ったコード生成の経験に基づいています。 + +このページのために体系的なデータを収集する目的で、[こちらのリポジトリ](https://github.com/weaviate-tutorials/weaviate-vibe-eval) で一連の評価を実施しました。 + +テストでは、さまざまな LLM を用いて Weaviate Python クライアント v4 のコードを生成し、実行可能かどうかを確認しました。各タスクはゼロショットで一度、インコンテキストサンプル付きで少なくとも一度実行しました。 + +一部の結果は [このディレクトリ](https://github.com/weaviate-tutorials/weaviate-vibe-eval/tree/main/example_results) に掲載しています。 + +ご注意: これはガイドライン提供を目的とした小規模評価です。独自の評価を実施したい場合は、ぜひリポジトリをご覧ください。 + +質問やフィードバックがありましたら、[GitHub](https://github.com/weaviate-tutorials/weaviate-vibe-eval/issues) で Issue を開いてお知らせください。 + +## 質問とフィードバック + +import DocsFeedback from '/_includes/docs-feedback.mdx'; + +
+ }
+ }
+ ```
+ または
+
+ ```json
+ {
+ "url": "http://localhost:8080",
+ "auth": {
+ "type": "username_and_password",
+ "user": ,
+ "pass":
+ }
+ }
+ ```
+ または
+
+ ```json
+ {
+ "url": "http://localhost:8080",
+ "auth": {
+ "type": "api_key",
+ "api_key":
+ }
+ }
+ ```
+
+現在の設定は次のコマンドで確認できます。
+
+```sh
+weaviate config view
+```
+
+### Ping
+接続先の Weaviate URL に Ping を送るには次を実行します。
+```sh
+weaviate ping
+```
+
+接続が正しく確立されている場合、`Weaviate is reachable!` が返ります。
+
+### スキーマ
+スキーマに関しては、[インポート](#import)、[エクスポート](#export)、[ truncate ](#truncate) の 3 つの操作が利用できます。
+
+#### インポート
+
+スキーマを追加するには次を実行します。
+
+```sh
+weaviate schema import my_schema.json
+```
+
+`my_schema.json` には [こちら](../starter-guides/managing-collections/index.mdx) で説明されているスキーマを含めてください。
+
+スキーマを上書きしたい場合は `--force` フラグを付けることで、インデックスをクリアしてスキーマを置き換えられます。
+
+```sh
+weaviate schema import --force my_schema.json # using --force will delete your data
+```
+
+#### エクスポート
+Weaviate インスタンスに存在するスキーマを JSON ファイルとしてエクスポートするには次を実行します。
+
+```sh
+weaviate schema export my_schema.json
+```
+
+`my_schema.json` は任意のファイル名およびローカルパスに変更できます。もちろん、Weaviate にスキーマが存在する場合のみ指定した場所にスキーマが出力されます。
+
+#### Truncate
+
+`delete` を使うと、スキーマとそれに紐付くすべてのデータを削除できます。`--force` フラグを付けない限り、実行前に確認が求められます。
+
+```sh
+weaviate schema delete
+```
+
+### データ
+
+#### インポート
+`import` 機能は JSON ファイルからのデータインポートを実行します。`--fail-on-error` フラグを付けると、データオブジェクトのロード中に Weaviate がエラーを返した場合、コマンド実行が失敗します。
+
+```sh
+weaviate data import my_data_objects.json
+```
+
+コマンドで指定した JSON ファイルとパスを読み込みます。ファイルは Weaviate のデータスキーマに従ってフォーマットされている必要があります。例:
+
+```json
+{
+ "classes": [
+ {
+ "class": "Publication",
+ "id": "f81bfe5e-16ba-4615-a516-46c2ae2e5a80",
+ "properties": {
+ "name": "New York Times"
+ }
+ },
+ {
+ "class": "Author",
+ "id": "36ddd591-2dee-4e7e-a3cc-eb86d30a4303",
+ "properties": {
+ "name": "Jodi Kantor",
+ "writesFor": [{
+ "beacon": "weaviate://localhost/f81bfe5e-16ba-4615-a516-46c2ae2e5a80",
+ "href": "/v1/f81bfe5e-16ba-4615-a516-46c2ae2e5a80"
+ }]
+ }
+ }
+ ]
+}
+```
+
+#### 空にする
+`delete` を使うと、Weaviate 内のすべてのデータオブジェクトを削除できます。`--force` フラグを付けない限り、実行前に確認が求められます。
+
+```sh
+weaviate data delete
+```
+
+## 変更履歴
+
+最新の `CLI` 変更については [GitHub の変更履歴](https://github.com/weaviate/weaviate-cli/releases) をご確認ください。
+
+## 質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+
[統合テスト](https://github.com/Unipisa/WeaviateNET/tree/master/src/WeaviateNET.Test) | [MIT](https://github.com/Unipisa/WeaviateNET/blob/master/LICENSE.txt) | +| .NET/C# | Stuart Cam
[Search Pioneer](https://searchpioneer.com/) | [GitHub](https://github.com/searchpioneer/weaviate-dotnet-client) | [NuGet](https://www.nuget.org/packages/SearchPioneer.Weaviate.Client) | [GitHub README](https://github.com/searchpioneer/weaviate-dotnet-client)
[統合テスト](https://github.com/searchpioneer/weaviate-dotnet-client/tree/main/tests-integration/SearchPioneer.Weaviate.Client.IntegrationTests/Api) | [Apache 2.0](https://github.com/searchpioneer/weaviate-dotnet-client/blob/main/license.txt) | +| PHP | [Tim Kleyersburg](https://www.tim-kleyersburg.de/) | [GitHub](https://github.com/timkley/weaviate-php) | [Packagist](https://packagist.org/packages/timkley/weaviate-php) | [GitHub README](https://github.com/timkley/weaviate-php) | [MIT](https://github.com/timkley/weaviate-php/blob/main/LICENSE.md) | +| Ruby | Andrei Bondarev
[Source Labs](https://www.sourcelabs.io/) | [GitHub](https://github.com/andreibondarev/weaviate-ruby) | [RubyGems](https://rubygems.org/gems/weaviate-ruby) | [RubyDoc](https://rubydoc.info/gems/weaviate-ruby) | [MIT](https://github.com/andreibondarev/weaviate-ruby/blob/main/LICENSE.txt) | + +## 貢献方法 + +これらのライブラリに貢献したい場合は、メンテナーに直接ご連絡ください。 + +ここに追加したい Weaviate クライアントライブラリをお持ちの場合は、フォーラムまたは Slack でお知らせください。 + +## 質問とフィードバック + +import DocsFeedback from '/_includes/docs-feedback.mdx'; + +
+
+ +import ClientCapabilitiesOverview from "/_includes/client.capabilities.mdx"; + +
+ io.weaviate
+ client
+ 4.7.0
+
+```
+
+この API クライアントは Java 8 以降と互換性があります。
+
+プロジェクト内でのクライアントの使用例は次のとおりです。
+
+```java
+package io.weaviate;
+
+import io.weaviate.client.Config;
+import io.weaviate.client.WeaviateClient;
+import io.weaviate.client.base.Result;
+import io.weaviate.client.v1.misc.model.Meta;
+
+public class App {
+ public static void main(String[] args) {
+ Config config = new Config("http", "localhost:8080");
+ WeaviateClient client = new WeaviateClient(config);
+ Result meta = client.misc().metaGetter().run();
+ if (meta.getError() == null) {
+ System.out.printf("meta.hostname: %s\n", meta.getResult().getHostname());
+ System.out.printf("meta.version: %s\n", meta.getResult().getVersion());
+ System.out.printf("meta.modules: %s\n", meta.getResult().getModules());
+ } else {
+ System.out.printf("Error: %s\n", meta.getError().getMessages());
+ }
+ }
+}
+```
+
+## 認証
+
+import ClientAuthIntro from '/docs/weaviate/client-libraries/_components/client.auth.introduction.mdx'
+
+ headers = new HashMap() { {
+ put("header_key", "value");
+ } };
+ Config config = new Config("http", "localhost:8080", headers);
+ WeaviateClient client = new WeaviateClient(config);
+ }
+}
+```
+
+## 参照
+
+すべての [RESTful エンドポイント](/weaviate/api/rest) と [GraphQL 関数](../api/graphql/index.md) のリファレンスは Java クライアントでサポートされており、各リファレンスページのコードブロックで解説しています。
+
+## 型付き GraphQL 応答
+
+Weaviate Java クライアントは、GraphQL クエリの応答を自動的に Java オブジェクトへデシリアライズします。これにより手動で JSON を解析する必要がなくなり、コレクションデータを扱う際にコンパイル時の型安全性が得られます。
+
+たとえば、次のクエリの応答を受け取るために `Pizzas` クラスを定義できます。
+
+```java
+@Getter
+public static class Pizzas {
+ @SerializedName(value = "Pizza")
+ List pizzas;
+
+ @Getter
+ public static class Pizza extends GraphQLGetBaseObject {
+ String name;
+ String description;
+ String bestBefore;
+ Float price;
+ }
+}
+
+try (WeaviateAsyncClient asyncClient = client.async()) {
+ return asyncClient.graphQL().get()
+ .withClassName("Pizza")
+ .withFields(Field.builder().name("name").build(), Field.builder().name("description").build())
+ .run(Pizzas.class)
+ .get();
+}
+```
+
+返却される応答は `GraphQLTypedResponse` オブジェクトになります。
+
+```java
+Result> result = getResults();
+
+List pizzas = result.getResult().getData().getObjects().getPizzas();
+
+Pizzas.Pizza pizza = pizzas.get(0);
+
+// access Pizza specific properties
+Float price = pizza.getPrice();
+
+// access _additional values like vector (and others)
+Float[] vector = pizza.getAdditional().getVector();
+Float certainty = pizza.getAdditional().getCertainty();
+```
+
+## 設計
+
+### ビルダー パターン
+
+Java クライアントの各関数は「 Builder パターン」で設計されています。 このパターンは複雑なクエリ オブジェクトを構築するために使用されます。 つまり、（ RESTful の GET リクエストに似たリクエストで Weaviate からデータを取得する場合や、より複雑な GraphQL クエリを行う場合など）1 つ 1 つのオブジェクトを組み合わせて関数を構築し、複雑さを低減します。 ビルダー オブジェクトの中にはオプションのものもあれば、特定の機能を実行するために必須のものもあります。 詳細は [RESTful API リファレンス](/weaviate/api/rest) と [GraphQL リファレンス](../api/graphql/index.md) に記載されています。
+
+上記のコード スニペットは、`RESTful GET /v1/meta` に相当するシンプルなクエリを示しています。 クライアントはパッケージをインポートし、起動中のインスタンスへ接続することで初期化します。 その後、`.misc()` に対して `.metaGetter()` を呼び出してクエリを構築します。 クエリは `.run()` 関数で送信されるため、このオブジェクトは作成して実行したいすべての関数で必須になります。
+
+## 移行ガイド
+
+### `3.x.x` から `4.0.0` への移行
+
+#### `technology.semi.weaviate` から `io.weaviate` パッケージへ移動
+
+Before:
+```java
+package technology.semi.weaviate;
+import technology.semi.weaviate.client.*;
+```
+
+After:
+```java
+package io.weaviate;
+import io.weaviate.client.*;
+```
+
+### `2.4.0` から `3.0.0` への移行
+
+#### 非推奨 (@Deprecated) メソッド `Aggregate::withFields(Fields fields)` を削除
+
+Before:
+```java
+// import io.weaviate.client.v1.graphql.query.fields.Field;
+// import io.weaviate.client.v1.graphql.query.fields.Fields;
+
+Fields fields = Fields.builder().fields(new Field[]{name, description}).build();
+client.graphQL().aggregate().withFields(fields)...
+```
+
+After:
+```java
+client.graphQL().aggregate().withFields(name, description)...
+```
+
+#### 非推奨 (@Deprecated) メソッド `Get::withFields(Fields fields)` を削除
+
+Before:
+```java
+// import io.weaviate.client.v1.graphql.query.fields.Field;
+// import io.weaviate.client.v1.graphql.query.fields.Fields;
+
+Fields fields = Fields.builder().fields(new Field[]{name, description}).build();
+client.graphQL().get().withFields(fields)...
+```
+
+After:
+```java
+client.graphQL().get().withFields(name, description)...
+```
+
+#### 非推奨 (@Deprecated) メソッド `Get::withNearVector(Float[] vector)` を削除
+
+Before:
+```java
+client.graphQL().get().withNearVector(new Float[]{ 0f, 1f, 0.8f })...
+```
+
+After:
+```java
+// import io.weaviate.client.v1.graphql.query.argument.NearVectorArgument;
+
+NearVectorArgument nearVector = NearVectorArgument.builder().vector(new Float[]{ 0f, 1f, 0.8f }).certainty(0.8f).build();
+client.graphQL().get().withNearVector(nearVector)...
+```
+
+#### すべての `where` フィルターが同一実装を使用
+
+`batch delete` 機能の導入に伴い、`filters.WhereFilter` の統一実装が追加され、`classifications.WhereFilter`、`graphql.query.argument.WhereArgument`、`graphql.query.argument.WhereFilter` を置き換えました。
+
+##### GraphQL
+
+Before:
+```java
+// import io.weaviate.client.v1.graphql.query.argument.GeoCoordinatesParameter;
+// import io.weaviate.client.v1.graphql.query.argument.WhereArgument;
+// import io.weaviate.client.v1.graphql.query.argument.WhereOperator;
+
+GeoCoordinatesParameter geo = GeoCoordinatesParameter.builder()
+ .latitude(50.51f)
+ .longitude(0.11f)
+ .maxDistance(3000f)
+ .build();
+WhereArgument where = WhereArgument.builder()
+ .valueGeoRange(geo)
+ .operator(WhereOperator.WithinGeoRange)
+ .path(new String[]{ "add "})
+ .build();
+
+client.graphQL().aggregate().withWhere(where)...
+```
+
+After:
+```java
+// import io.weaviate.client.v1.filters.Operator;
+// import io.weaviate.client.v1.filters.WhereFilter;
+
+WhereFilter where = WhereFilter.builder()
+ .valueGeoRange(WhereFilter.GeoRange.builder()
+ .geoCoordinates(WhereFilter.GeoCoordinates.builder()
+ .latitude(50.51f)
+ .longitude(0.11f)
+ .build()
+ )
+ .distance(WhereFilter.GeoDistance.builder()
+ .max(3000f)
+ .build()
+ )
+ .build()
+ )
+ .operator(Operator.WithinGeoRange)
+ .path(new String[]{ "add" })
+ .build();
+
+client.graphQL().aggregate().withWhere(where)...
+```
+
+Before:
+```java
+// import io.weaviate.client.v1.graphql.query.argument.WhereArgument;
+// import io.weaviate.client.v1.graphql.query.argument.WhereOperator;
+
+WhereArgument where = WhereArgument.builder()
+ .valueText("txt")
+ .operator(WhereOperator.Equal)
+ .path(new String[]{ "add" })
+ .build();
+
+client.graphQL().aggregate().withWhere(where)...
+```
+
+After:
+```java
+// import io.weaviate.client.v1.filters.Operator;
+// import io.weaviate.client.v1.filters.WhereFilter;
+
+WhereFilter where = WhereFilter.builder()
+ .valueText("txt")
+ .operator(Operator.Equal)
+ .path(new String[]{ "add" })
+ .build();
+
+client.graphQL().aggregate().withWhere(where)...
+```
+
+Before:
+```java
+// import io.weaviate.client.v1.graphql.query.argument.WhereArgument;
+// import io.weaviate.client.v1.graphql.query.argument.WhereFilter;
+// import io.weaviate.client.v1.graphql.query.argument.WhereOperator;
+
+WhereArgument where = WhereArgument.builder()
+ .operands(new WhereFilter[]{
+ WhereFilter.builder()
+ .valueInt(10)
+ .path(new String[]{ "wordCount" })
+ .operator(WhereOperator.LessThanEqual)
+ .build(),
+ WhereFilter.builder()
+ .valueText("word")
+ .path(new String[]{ "word" })
+ .operator(WhereOperator.LessThan)
+ .build()
+ })
+ .operator(WhereOperator.And)
+ .build();
+
+client.graphQL().aggregate().withWhere(where)...
+```
+
+After:
+```java
+// import io.weaviate.client.v1.filters.Operator;
+// import io.weaviate.client.v1.filters.WhereFilter;
+
+WhereFilter where = WhereFilter.builder()
+ .operands(new WhereFilter[]{
+ WhereFilter.builder()
+ .valueInt(10)
+ .path(new String[]{ "wordCount" })
+ .operator(Operator.LessThanEqual)
+ .build(),
+ WhereFilter.builder()
+ .valueText("word")
+ .path(new String[]{ "word" })
+ .operator(Operator.LessThan)
+ .build(),
+ })
+ .operator(Operator.And)
+ .build();
+
+client.graphQL().aggregate().withWhere(where)...
+```
+
+##### 分類
+
+Before:
+```java
+// import io.weaviate.client.v1.classifications.model.GeoCoordinates;
+// import io.weaviate.client.v1.classifications.model.Operator;
+// import io.weaviate.client.v1.classifications.model.WhereFilter;
+// import io.weaviate.client.v1.classifications.model.WhereFilterGeoRange;
+// import io.weaviate.client.v1.classifications.model.WhereFilterGeoRangeDistance;
+
+WhereFilter where = WhereFilter.builder()
+ .valueGeoRange(WhereFilterGeoRange.builder()
+ .geoCoordinates(GeoCoordinates.builder()
+ .latitude(50.51f)
+ .longitude(0.11f)
+ .build())
+ .distance(WhereFilterGeoRangeDistance.builder()
+ .max(3000d)
+ .build())
+ .build())
+ .operator(Operator.WithinGeoRange)
+ .path(new String[]{ "geo" })
+ .build();
+
+client.classifications().scheduler().withTrainingSetWhereFilter(where)...
+```
+
+After:
+```java
+// import io.weaviate.client.v1.filters.Operator;
+// import io.weaviate.client.v1.filters.WhereFilter;
+
+WhereFilter where = WhereFilter.builder()
+ .valueGeoRange(WhereFilter.GeoRange.builder()
+ .geoCoordinates(WhereFilter.GeoCoordinates.builder()
+ .latitude(50.51f)
+ .longitude(0.11f)
+ .build())
+ .distance(WhereFilter.GeoDistance.builder()
+ .max(3000f)
+ .build())
+ .build())
+ .operator(Operator.WithinGeoRange)
+ .path(new String[]{ "geo" })
+ .build();
+
+client.classifications().scheduler().withTrainingSetWhereFilter(where)...
+```
+
+## リリース
+
+Java クライアント ライブラリのリリース履歴については、[GitHub のリリース ページ](https://github.com/weaviate/java-client/releases) をご覧ください。
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+### 明示的なインスタンス化
+
+カスタムパラメーターを渡す必要がある場合は、`weaviate.WeaviateAsyncClient` クラスを使用してクライアントをインスタンス化します。これはクライアントオブジェクトを生成する最も柔軟な方法です。
+
+.data.insert_many()`: オブジェクトのリストをコレクションに追加
+
+
+
+### 同期メソッドの例
+
+ローカルコンテキストで実行されるメソッドは同期である場合が多いです。例えば、次の操作はいずれも同期関数です。
+
+- `async_client.collections.use("")`: 既存のコレクションと対話するための Python オブジェクトを作成します（コレクションを作成するわけではありません）
+- `async_client.is_connected()`: Weaviate サーバーへの最新の接続状況を確認します
+
+## コンテキストマネージャー
+
+async クライアントは、非同期コンテキストマネージャー内で次のようなパターンで使用できます。
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+`v4` クライアントのヘルパー関数には、クライアントをカスタマイズするためのオプションパラメーターがあります。
+
+- [外部 API キーの指定](#external-api-keys)
+- [タイムアウト値の指定](#timeout-values)
+- [認証情報の指定](#authentication)
+
+#### 外部 API キー
+
+Cohere や OpenAI などのサービス向け API キーを追加するには、`headers` パラメーターを使用します。
+
+
`generate` サブモジュールは、大規模言語モデルを使用してテキストを生成します。このサブモジュールは、言語モデルおよびその API の応答速度に依存します。 +
タイムアウト値を長く設定することで、クライアントが言語モデルの応答をより長く待機できるようになります。 +::: + +#### 認証 + +いくつかの `connect` ヘルパー関数は認証情報を受け取ります。たとえば、`connect_to_weaviate_cloud` は WCD API キーまたは OIDC 認証情報を受け付けます。 + +
+
+
+
+
+
+
+
+
+Client Credentials フローで OIDC 認証を行う場合は、`AuthClientCredentials` クラスを使用します。
+
+Refresh Token フローで OIDC 認証を行う場合は、`AuthBearerToken` クラスを使用します。
+
+ヘルパー関数で必要なカスタマイズが行えない場合は、[`WeaviateClient`](#explicit-instantiation) クラスを使用してクライアントを生成してください。
+
+### 明示的なインスタンス化
+
+カスタムパラメーターを渡す必要がある場合は、`weaviate.WeaviateClient` クラスを使用してクライアントをインスタンス化してください。これがクライアントオブジェクトをインスタンス化する最も柔軟な方法です。
+
+接続を直接インスタンス化した場合は、サーバーへ接続するために `.connect()` メソッドを呼び出す必要があります。
+
+)` です。`client.collections.get()` と同じ動作ですが、`use()` はネットワークリクエストを行わないことがより明確に示されています。
+
+`client.collections.get()` はコレクションスキーマをサーバーから取得するメソッドと誤解されやすいため、この変更を行いました。
+
+将来的に `client.collections.get()` は非推奨になる可能性があります。
+
+## バッチインポート
+
+ `v4` クライアントでは、バッチインポートを実行する方法が 2 つあります。クライアントオブジェクトから直接行う方法と、コレクションオブジェクトから行う方法です。
+
+単一のコレクションまたはテナントに対してバッチインポートを行う場合は、コレクションオブジェクトを使用することを推奨します。マルチテナンシー構成などで複数コレクションにわたってオブジェクトをインポートする場合は、`client.batch` を使用すると便利です。
+
+### バッチサイズ設定
+
+バッチ動作を構成する方法は `dynamic`、`fixed_size`、`rate_limit` の 3 つがあります。
+
+| Method | Description | When to use |
+| :-- | :-- | :-- |
+| `dynamic` | インポート中にサーバー負荷に応じてバッチサイズと同時リクエスト数が動的に調整されます。 | 推奨される開始ポイントです。 |
+| `fixed_size` | バッチサイズと同時リクエスト数をユーザーが指定した固定値にします。 | 固定パラメーターを指定したい場合。 |
+| `rate_limit` | Weaviate へ送信するオブジェクト数をレート制限します（n_objects / 分で指定）。 | サードパーティのベクトライゼーション API のレート制限を回避したい場合。 |
+
+#### 使用方法
+
+以下のようにコンテキストマネージャーを使用することを推奨します。
+
+これらのメソッドは、バッチごとに新しいコンテキストマネージャーを返します。`failed_objects` や `failed_references` など、あるバッチから返された属性は後続の呼び出しには含まれません。
+
+
+
+
+
+
+
+
+
+
+
+
+
+バッチ送信を担当するバックグラウンドスレッドがバッチ処理中に例外を送出した場合、そのエラーはメインスレッドへ伝搬します。
+
+### エラーハンドリング
+
+バッチインポート中に失敗したオブジェクトやリファレンスは保存され、後で取得できます。また、失敗したオブジェクトとリファレンスの実行中のカウントも保持されます。
+
+コンテキストマネージャー内では `batch.number_errors` でカウンターにアクセスできます。
+
+失敗したオブジェクトの一覧は `batch.failed_objects`、失敗したリファレンスの一覧は `batch.failed_references` から取得できます。
+
+これらのリストは新しいバッチ処理を開始するとリセットされます。したがって、新しいバッチインポートブロックを開始する前に必ず取得してください。
+
+
+
+
+
+
+ベクトル化 の設定を変更するには、クライアント オブジェクトを更新します。次の例では複数の ベクトライザー を追加しています。
+
+- **Cohere**: サービス API キーを設定します。リクエスト レートを設定します。
+- **OpenAI**: サービス API キーを設定します。ベース URL を設定します。
+- **VoyageAI**: サービス API キーを設定します。
+
+
+
+
+
+
+## ヘルパー クラス
+
+クライアント ライブラリには、IDE 支援と型ヒントを提供する多数の追加 Python クラスがあります。以下のように個別にインポートできます。
+
+```
+from weaviate.classes.config import Property, ConfigFactory
+from weaviate.classes.data import DataObject
+from weaviate.classes.query import Filter
+```
+
+しかし、次のようにクラス全体をまとめてインポートすると便利な場合もあります。ドキュメントでは両方の使用スタイルが登場します。
+
+```
+import weaviate.classes as wvc
+```
+
+探索しやすいように、これらのクラスはサブモジュールに整理されています。
+
+
+ +`v4.10.0` 以降、[Weaviate Python クライアントのインストール](https://pypi.org/project/weaviate-client/)には `v3` API（つまり `weaviate.Client` クラス）が含まれません。これにより、開発者体験を最適化し、最新の Weaviate 機能をサポートできるようになりました。 +
+ +`v3` クライアントには、今後もしばらくの間は重大なセキュリティアップデートとバグ修正が提供されますが、新機能の追加は行われません。 +
+ +**これは何を意味するのでしょうか？** +
+ +最新の Weaviate Database の開発成果を利用するために、コードベースを [`v4` クライアント API](./index.mdx) へ移行することを推奨します。 +
+ +ドキュメントには[移行ガイド](./v3_v4_migration.md)があり、多くのコード例で `v3` と `v4` の構文を併記しています。今後も移行を容易にする専用リソースを追加していく予定です。 +
+ +既存のコードベースと Weaviate Database を当面変更しない予定の場合は、`requirements.txt` などの要件ファイルでバージョンを固定してください。例: + +```bash + weaviate-client>=3.26.7,<4.0.0 +``` + +コード移行は手間がかかることがありますが、最終的な体験と機能セットがその価値を十分に上回ると確信しています。 +
+ +移行ドキュメントやリソースに関する具体的な要望がございましたら、[GitHub リポジトリ](https://github.com/weaviate/docs/issues)までお気軽にお知らせください。 +::: + +## インストールとセットアップ + +### 要件 + +`v3` クライアントは、Weaviate `1.22` で導入された gRPC API とは併用できません。Weaviate `1.22` 以降でも `v3` クライアントを使用できますが、gRPC API による改善の恩恵は受けられません。gRPC API を利用する場合は `v4` クライアントをご使用ください。 + +### インストール + +`v3` Python ライブラリは [PyPI.org](https://pypi.org/project/weaviate-client/) で利用可能です。パッケージは [pip](https://pypi.org/project/pip/) を使用してインストールできます。クライアントは Python 3.7 以上で開発・テストされています。 + +```bash +pip install "weaviate-client==3.*" +``` + +### セットアップ + +Python スクリプト内では次のようにクライアントを使用できます。 + +```python +import weaviate + +client = weaviate.Client("https://WEAVIATE_INSTANCE_URL") # Replace WEAVIATE_INSTANCE_URL with your instance URL. + +assert client.is_ready() # Will return True if the client is connected & the server is ready to accept requests +``` + +あるいは、以下のような追加引数を指定することも可能です。 + +```python +import weaviate + +client = weaviate.Client( + url="https://WEAVIATE_INSTANCE_URL", # URL of your Weaviate instance + auth_client_secret=auth_config, # (Optional) If the Weaviate instance requires authentication + timeout_config=(5, 15), # (Optional) Set connection timeout & read timeout time in seconds + additional_headers={ # (Optional) Any additional headers; e.g. keys for API inference services + "X-Cohere-Api-Key": "YOUR-COHERE-API-KEY", # Replace with your Cohere key + "X-HuggingFace-Api-Key": "YOUR-HUGGINGFACE-API-KEY", # Replace with your Hugging Face key + "X-OpenAI-Api-Key": "YOUR-OPENAI-API-KEY", # Replace with your OpenAI key + } +) + +assert client.is_ready() # Will return True if the client is connected & the server is ready to accept requests +``` + +## 認証 + +import ClientAuthIntro from '/docs/weaviate/client-libraries/_components/client.auth.introduction.mdx' + +
値 | 目的 | +| :- | :- | :- | :- | +| `batch_size` | integer | 50 - 200 | 初期バッチサイズ | +| `num_workers` | integer | 1 - 2 | 同時実行ワーカーの最大数 | +| `dynamic` | boolean | True | `batch_size` に基づきバッチサイズを動的に調整するか | + +### マルチスレッドバッチインポート + +:::info Weaviate Python クライアント バージョン `3.9.0` で追加されました。 +::: + +マルチスレッドバッチインポートは `Auto-batching` と `Dynamic-batching` の両方で動作します。 + +利用するには、`.configure(...)`（`.__call__(...)` と同じ）でバッチ設定の引数 `num_workers` にワーカー（スレッド）の数を指定します。詳しくは後述の [Batch configuration](#batch-configuration) をご覧ください。 + +:::warning +マルチスレッドはデフォルトでは無効（`num_workers=1`）です。ご利用の Weaviate インスタンスを過負荷にしないようご注意ください。 +::: + +**Example** + +```python +client.batch( # or client.batch.configure( + batch_size=100, + dynamic=True, + num_workers=4, +) +``` + +### Auto-batching + +この方法では、Python クライアントが `object` と `reference` のインポート／作成をすべて処理します。つまり、オブジェクトやクロスリファレンスを明示的に作成する必要はありません。インポート／作成したいものをすべて `Batch` に追加するだけで、`Batch` がオブジェクトとクロスリファレンスの作成を行います。Auto-batching を有効にするには、`batch_size` を正の整数（デフォルトは `None`）に設定します（詳細は [Batch configuration](#batch-configuration) を参照）。`Batch` は「オブジェクト数 + リファレンス数 == `batch_size`」になったタイミングで、オブジェクトを作成し、その後クロスリファレンスを作成します。例を以下に示します。 + +```python +import weaviate +from weaviate.util import generate_uuid5 +client = weaviate.Client("http://localhost:8080") + +# create schema +schema = { + "classes": [ + { + "class": "Author", + "properties": [ + { + "name": "name", + "dataType": ["text"] + }, + { + "name": "wroteBooks", + "dataType": ["Book"] + } + ] + }, + { + "class": "Book", + "properties": [ + { + "name": "title", + "dataType": ["text"] + }, + { + "name": "ofAuthor", + "dataType": ["Author"] + } + ] + } + ] +} + +client.schema.create(schema) + +author = { + "name": "Jane Doe", +} +book_1 = { + "title": "Jane's Book 1" +} +book_2 = { + "title": "Jane's Book 2" +} + +client.batch.configure( + batch_size=5, # int value for batch_size enables auto-batching, see Batch configuration section below +) + +with client.batch as batch: + # add author + uuid_author = generate_uuid5(author, "Author") + batch.add_data_object( + data_object=author, + class_name="Author", + uuid=uuid_author, + ) + # add book_1 + uuid_book_1 = generate_uuid5(book_1, "Book") + batch.add_data_object( + data_object=book_1, + class_name="Book", + uuid=uuid_book_1, + ) + # add references author ---> book_1 + batch.add_reference( + from_object_uuid=uuid_author, + from_object_class_name="Author", + from_property_name="wroteBooks", + to_object_uuid=uuid_book_1, + to_object_class_name="Book", + ) + # add references author <--- book_1 + batch.add_reference( + from_object_uuid=uuid_book_1, + from_object_class_name="Book", + from_property_name="ofAuthor", + to_object_uuid=uuid_author, + to_object_class_name="Author", + ) + # add book_2 + uuid_book_2 = generate_uuid5(book_2, "Book") + batch.add_data_object( + data_object=book_2, + class_name="Book", + uuid=uuid_book_2, + ) + # add references author ---> book_2 + batch.add_reference( + from_object_uuid=uuid_author, + from_object_class_name="Author", + from_property_name="wroteBooks", + to_object_uuid=uuid_book_2, + to_object_class_name="Book", + ) + # add references author <--- book_2 + batch.add_reference( + from_object_uuid=uuid_book_2, + from_object_class_name="Book", + from_property_name="ofAuthor", + to_object_uuid=uuid_author, + to_object_class_name="Author", + ) + +# NOTE: When exiting context manager the method `batch.flush()` is called +# done, everything is imported/created +``` + +### Dynamic-batching + +この方法も、Python クライアントがオブジェクトとクロスリファレンスのインポート／作成を動的に処理します（[Auto-batching](#auto-batching) と同様、ユーザーが明示的に行う必要はありません）。Dynamic-batching を有効にするには、`batch_size` を正の整数（デフォルトは `None`）に設定し、さらに `dynamic` を `True`（デフォルトは `False`）にします（詳細は [Batch configuration](#batch-configuration) を参照）。この方法では、最初の `Batch` 作成後に `recommended_num_objects` と `recommended_num_references` が計算され、その初期値として `batch_size` が使用されます。`Batch` は現在のオブジェクト数が `recommended_num_objects` に達するか、リファレンス数が `recommended_num_references` に達した時点で、オブジェクトまたはリファレンスを作成します。例を以下に示します。 + +```python +import weaviate +from weaviate.util import generate_uuid5 +client = weaviate.Client("http://localhost:8080") + +# create schema +schema = { + "classes": [ + { + "class": "Author", + "properties": [ + { + "name": "name", + "dataType": ["text"] + }, + { + "name": "wroteBooks", + "dataType": ["Book"] + } + ] + }, + { + "class": "Book", + "properties": [ + { + "name": "title", + "dataType": ["text"] + }, + { + "name": "ofAuthor", + "dataType": ["Author"] + } + ] + } + ] +} + +client.schema.create(schema) + +author = { + "name": "Jane Doe", +} +book_1 = { + "title": "Jane's Book 1" +} +book_2 = { + "title": "Jane's Book 2" +} + +client.batch.configure( + batch_size=5, # int value for batch_size enables auto-batching, see Batch configuration section below + dynamic=True, # makes it dynamic +) + +with client.batch as batch: + # add author + uuid_author = generate_uuid5(author, "Author") + batch.add_data_object( + data_object=author, + class_name="Author", + uuid=uuid_author, + ) + # add book_1 + uuid_book_1 = generate_uuid5(book_1, "Book") + batch.add_data_object( + data_object=book_1, + class_name="Book", + uuid=uuid_book_1, + ) + # add references author ---> book_1 + batch.add_reference( + from_object_uuid=uuid_author, + from_object_class_name="Author", + from_property_name="wroteBooks", + to_object_uuid=uuid_book_1, + to_object_class_name="Book", + ) + # add references author <--- book_1 + batch.add_reference( + from_object_uuid=uuid_book_1, + from_object_class_name="Book", + from_property_name="ofAuthor", + to_object_uuid=uuid_author, + to_object_class_name="Author", + ) + # add book_2 + uuid_book_2 = generate_uuid5(book_2, "Book") + batch.add_data_object( + data_object=book_2, + class_name="Book", + uuid=uuid_book_2, + ) + # add references author ---> book_2 + batch.add_reference( + from_object_uuid=uuid_author, + from_object_class_name="Author", + from_property_name="wroteBooks", + to_object_uuid=uuid_book_2, + to_object_class_name="Book", + ) + # add references author <--- book_2 + batch.add_reference( + from_object_uuid=uuid_book_2, + from_object_class_name="Book", + from_property_name="ofAuthor", + to_object_uuid=uuid_author, + to_object_class_name="Author", + ) +# NOTE: When exiting context manager the method `batch.flush()` is called +# done, everything is imported/created +``` + +### Manual-batching + +この方法では、`Batch` の操作をすべてユーザーが制御します。つまり、`Batch` はインポート／作成を自動では行わず、全てユーザーに委ねます。例を以下に示します。 + +```python +import weaviate +from weaviate.util import generate_uuid5 +client = weaviate.Client("http://localhost:8080") + +# create schema +schema = { + "classes": [ + { + "class": "Author", + "properties": [ + { + "name": "name", + "dataType": ["text"] + }, + { + "name": "wroteBooks", + "dataType": ["Book"] + } + ] + }, + { + "class": "Book", + "properties": [ + { + "name": "title", + "dataType": ["text"] + }, + { + "name": "ofAuthor", + "dataType": ["Author"] + } + ] + } + ] +} + +client.schema.create(schema) + +author = { + "name": "Jane Doe", +} +book_1 = { + "title": "Jane's Book 1" +} +book_2 = { + "title": "Jane's Book 2" +} + +client.batch.configure( + batch_size=None, # None disable any automatic functionality +) + +with client.batch as batch: + # add author + uuid_author = generate_uuid5(author, "Author") + batch.add_data_object( + data_object=author, + class_name="Author", + uuid=uuid_author, + ) + # add book_1 + uuid_book_1 = generate_uuid5(book_1, "Book") + batch.add_data_object( + data_object=book_1, + class_name="Book", + uuid=uuid_book_1, + ) + result = batch.create_objects() # <----- implicit object creation + + # add references author ---> book_1 + batch.add_reference( + from_object_uuid=uuid_author, + from_object_class_name="Author", + from_property_name="wroteBooks", + to_object_uuid=uuid_book_1, + to_object_class_name="Book", + ) + # add references author <--- book_1 + batch.add_reference( + from_object_uuid=uuid_book_1, + from_object_class_name="Book", + from_property_name="ofAuthor", + to_object_uuid=uuid_author, + to_object_class_name="Author", + ) + result = batch.create_references() # <----- implicit reference creation + + + # add book_2 + uuid_book_2 = generate_uuid5(book_2, "Book") + batch.add_data_object( + data_object=book_2, + class_name="Book", + uuid=uuid_book_2, + ) + result = batch.create_objects() # <----- implicit object creation + + # add references author ---> book_2 + batch.add_reference( + from_object_uuid=uuid_author, + from_object_class_name="Author", + from_property_name="wroteBooks", + to_object_uuid=uuid_book_2, + to_object_class_name="Book", + ) + # add references author <--- book_2 + batch.add_reference( + from_object_uuid=uuid_book_2, + from_object_class_name="Book", + from_property_name="ofAuthor", + to_object_uuid=uuid_author, + to_object_class_name="Author", + ) + result = batch.create_references() # <----- implicit reference creation + +# NOTE: When exiting context manager the method `batch.flush()` is called +# done, everything is imported/created +``` + +### Batch configuration + +`Batch` オブジェクトは `batch.configure()` メソッド、または `batch()`（`__call__`）メソッドで設定できます。両者は同じ関数です。上記の例では `batch_size` と `dynamic` を設定しましたが、利用可能なパラメーターは以下のとおりです。 + +- `batch_size` - (`int` または `None`、デフォルト `None`): `int` を指定すると Auto／Dynamic-batching が有効になります。Auto-batching では「オブジェクト数 + リファレンス数 == `batch_size`」になるとオブジェクト → リファレンスの順で作成します（詳細は [Auto-batching](#auto-batching) を参照）。Dynamic-batching では初期値として `recommended_num_objects` と `recommended_num_references` に使用されます（詳細は [Dynamic-batching](#dynamic-batching) を参照）。`None` の場合は Manual-batching となり、自動作成は行われません。 +- `dynamic` - (`bool`, デフォルト `False`): Dynamic-batching の有効／無効を切り替えます。`batch_size` が `None` の場合は無効です。 +- `creation_time` - (`int` または `float`, デフォルト `10`): バッチのインポート／作成を行う時間間隔（秒）です。`recommended_num_objects` と `recommended_num_references` の計算に使用され、Dynamic-batching に影響します。 +- `callback` (Optional[Callable[[dict], None]], デフォルト `weaviate.util.check_batch_result`): `batch.create_objects()` と `batch.create_references()` の結果に対して呼び出されるコールバック関数です。Auto／Dynamic-batching におけるエラーハンドリングに使用されます。`batch_size` が `None` の場合は影響しません。 +- `timeout_retries` - (`int`, デフォルト `3`): `TimeoutError` になる前にバッチのインポート／作成を再試行する回数です。 +- `connection_error_retries` - (`int`, デフォルト `3`): `ConnectionError` になる前にバッチのインポート／作成を再試行する回数です。**注:** `weaviate-client 3.9.0` で追加されました。 +- `num_workers` - (`int`, デフォルト `1`): バッチインポートを並列化する最大スレッド数です。Manual-batching 以外（AUTO または DYNAMIC）のみで使用されます。***Weaviate インスタンスを過負荷にしないようご注意ください。*** **注:** `weaviate-client 3.9.0` で追加されました。 + +NOTE: このメソッドを呼び出すたびに、必要な設定をすべて指定してください。指定しない設定はデフォルト値に置き換えられます。 +```python +client.batch( + batch_size=100, + dynamic=False, + creation_time=5, + timeout_retries=3, + connection_error_retries=5, + callback=None, + num_workers=1, +) +``` + +### ヒント & コツ + +* コミット／作成前にバッチへ追加できるオブジェクト／リファレンスの数に制限はありません。ただし、バッチが大きすぎると TimeOut エラーが発生する場合があります。これは、Weaviate が指定された時間内にバッチ内のすべてのオブジェクトを処理・作成できなかったことを意味します（タイムアウト設定は [こちら](https://weaviate-python-client.readthedocs.io/en/latest/weaviate.html#weaviate.Client) や [こちら](https://weaviate-python-client.readthedocs.io/en/latest/weaviate.html#weaviate.Client.timeout_config) を参照）。タイムアウト設定を 60 秒以上にする場合は docker-compose.yml／Helm chart の変更が必要です。 +* Python クライアントの `batch` クラスは次の 3 通りの使い方ができます。 + * ケース 1: すべてユーザーが実行。ユーザーはオブジェクト／オブジェクト参照を追加し、任意のタイミングで作成します。データ型を作成するには `create_objects`、`create_references`、`flush` を使用します。この場合、Batch インスタンスの `batch_size` は `None` です（`configure` または `__call__` のドキュメントを参照）。コンテキストマネージャでも使用できます。 + * ケース 2: バッチが満杯になると自動作成。Batch インスタンスの `batch_size` を正の整数に設定します（`configure` または `__call__` を参照）。このとき `batch_size` は追加されたオブジェクトとリファレンスの合計に対応します。ユーザーによるバッチ作成は必須ではありませんが、行うことも可能です。要件を満たさない最後のバッチを作成するには `flush` を使用します。コンテキストマネージャでも使用できます。 + * ケース 3: ケース 2 と似ていますが、Dynamic-batching を使用します。すなわち、オブジェクトまたはリファレンスのいずれかが `recommended_num_objects` または `recommended_num_references` に達した時点で自動作成されます。設定方法は `configure` または `__call__` のドキュメントを参照してください。 + * **コンテキストマネージャ対応**: `with` 文と共に使用できます。コンテキストを抜ける際に `flush` を自動で呼び出します。`configure` または `__call__` と組み合わせて、上記の任意のケースに設定できます。 + +### エラー処理 + +`Batch` でオブジェクトを作成する方が、オブジェクト／リファレンスを個別に作成するより高速ですが、その分いくつかのバリデーションステップをスキップします。バリデーションをスキップすると、作成に失敗するオブジェクトや、追加に失敗するリファレンスが発生する場合があります。このとき `Batch` 自体は失敗しませんが、個々のオブジェクト／リファレンスが失敗する可能性があります。そのため、`batch.create_objects()` や `batch.create_references()` の戻り値をチェックし、すべてがエラーなくインポート／作成されたか確認することを推奨します。以下に、個々の `Batch` オブジェクト／リファレンスでエラーを検出・処理する方法を示します。 + +まず、エラーをチェックして出力する関数を定義します。 +```python +def check_batch_result(results: dict): + """ + Check batch results for errors. + + Parameters + ---------- + results : dict + The Weaviate batch creation return value. + """ + + if results is not None: + for result in results: + if "result" in result and "errors" in result["result"]: + if "error" in result["result"]["errors"]: + print(result["result"]) +``` + +次に、この関数を使用してアイテム（オブジェクト／リファレンス）レベルのエラーメッセージを出力します。Auto／Dynamic-batching を用い、`create` メソッドを暗黙的に呼び出さない場合の例を示します。 + +```python +client.batch( + batch_size=100, + dynamic=True, + creation_time=5, + timeout_retries=3, + connection_error_retries=3, + callback=check_batch_result, +) + +# done, easy as that +``` + +Manual-batching では、戻り値に対してこの関数を呼び出せます。 +```python +# on objects +result = client.batch.create_object() +check_batch_result(result) + +# on references +result = client.batch.create_references() +check_batch_result(result) +``` + + +
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+## 主な変更点
+
+` v4 ` クライアント API は ` v3 ` API とは大きく異なります。` v4 ` クライアントの主なユーザー向け変更点は次のとおりです。
+
+- ヘルパー クラスの大幅な活用
+- コレクションとのやり取り
+- ビルダー パターンの廃止
+
+### ヘルパー クラス
+
+` v4 ` クライアントはヘルパー クラスを広範に利用します。これらのクラスは強い型付けを提供し、静的型チェックを可能にします。また、IDE の自動補完機能を通じてコーディングを容易にします。
+
+コーディング中はオートコンプリートを頻繁に確認してください。API の変更点やクライアント オプションに関する有用なガイダンスが得られます。
+
+import QuickStartCode from '!!raw-loader!/_includes/code/graphql.filters.nearText.generic.py';
+
+
+
+
+
+
+
+
+
+
+`wvc` 名前空間は、` v4 ` API でよく使用されるクラスを公開しています。この名前空間は主な用途に基づいてさらにサブモジュールに分かれています。
+
+
+
+
+
+
+
+
+
+### 用語の変更（例: class → collection）
+
+Weaviate エコシステム内のいくつかの用語が変更され、それに合わせてクライアントも更新されました。
+
+- Weaviate の「Class」は「Collection」と呼ばれるようになりました。コレクションはデータオブジェクトとそのベクトル埋め込みをまとめて格納します。
+- 「Schema」は「Collection Configuration」と呼ばれるようになり、コレクション名、ベクトライザー、インデックス設定、プロパティ定義などを含む設定の集合です。
+
+アーキテクチャおよび用語の変更に伴い、API の大部分が変更されました。Weaviate とのやり取り方法に違いがあると考えてください。
+
+たとえば、`client.collections.list_all()` は `client.schema.get()` の置き換えです。
+
+[コレクションの管理](../../manage-collections/index.mdx) には、コレクションを扱うための詳細と追加サンプルコードがあります。各種クエリやフィルターについては [検索](../../search/index.mdx) を参照してください。
+
+### JSON からのコレクション作成
+
+JSON 定義からコレクションを作成することは引き続き可能です。既存データを移行する際などに便利でしょう。たとえば、[既存の定義を取得](../../manage-collections/collection-operations.mdx#read-a-single-collection-definition) し、それを用いて新しいコレクションを作成できます。
+
+
+
+
+
+
+
+
+
+さらに、多くの引数は `MetadataQuery` や `Filter` などのヘルパークラスを用いて構築されるようになり、IDE の支援や静的解析によって利用が容易になり、エラーも減少します。
+
+## コード移行の方法
+
+移行ではコードベースに大幅な変更が必要になる可能性があります。まずは [Python クライアントライブラリのドキュメント](./index.mdx) を確認し、インスタンス化の詳細や各サブモジュールを把握してください。
+
+その後、[コレクション管理](../../manage-collections/index.mdx) や [クエリ](../../search/index.mdx) のハウツーガイドを参照してください。
+
+特に次のページをご覧ください。
+
+- [コレクションの管理](../../manage-collections/index.mdx)
+- [バッチインポート](../../manage-objects/import.mdx)
+- [クロスリファレンス](../../manage-collections/cross-references.mdx)
+- [基本検索](../../search/basics.md)
+- [類似検索](../../search/similarity.md)
+- [フィルター](../../search/filters.md)
+
+## 質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+
+
+
+```ts
+import weaviate from "weaviate-client";
+```
+
+
+
+
+```ts
+const weaviate = require("weaviate-client").default;
+```
+
+
+
+
+#### TypeScript のセットアップ
+
+以下の変更をプロジェクトの設定ファイルに加えてください:
+
+- `package.json` に `"type": "module"` を追加します
+- [`tsconfig.json`](https://www.typescriptlang.org/docs/handbook/tsconfig-json.html) に次のコードを追加します
+
+
+
+
+```ts
+import weaviate from "weaviate-client";
+
+const client = await weaviate.connectToWeaviateCloud("WEAVIATE_INSTANCE_URL", {
+ // Replace WEAVIATE_INSTANCE_URL with your instance URL
+ authCredentials: new weaviate.ApiKey("WEAVIATE_INSTANCE_API_KEY"),
+ headers: {
+ "X-OpenAI-Api-Key": process.env.OPENAI_API_KEY || "", // Replace with your inference API key
+ },
+});
+
+console.log(client);
+```
+
+
+
+
+```ts
+import weaviate from "weaviate-client";
+
+const client = await weaviate.connectToLocal();
+
+console.log(client);
+```
+
+
+
+
+```ts
+import weaviate from "weaviate-client";
+
+const client = await weaviate.connectToCustom({
+ httpHost: "localhost",
+ httpPort: 8080,
+ grpcHost: "localhost",
+ grpcPort: 50051,
+ grpcSecure: true,
+ httpSecure: true,
+ authCredentials: new weaviate.ApiKey("WEAVIATE_INSTANCE_API_KEY"),
+ headers: {
+ "X-Cohere-Api-Key": process.env.COHERE_API_KEY || "", // Replace with your inference API key
+ },
+});
+
+console.log(client);
+```
+
+
+
+
+### クライアントのクローズ メソッド
+
+import TSClientClose from "/_includes/clients/ts-client-close.mdx";
+
+
`generate` サブモジュールは、大規模言語モデルを用いてテキストを生成します。このサブモジュールは、言語モデルおよびそれを提供する API の速度に依存します。
タイムアウト値を増やすことで、クライアントが言語モデルからの応答をより長く待機できるようになります。 +::: + + diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/client-libraries/typescript/typescript-v2.mdx b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/client-libraries/typescript/typescript-v2.mdx new file mode 100644 index 000000000..25909c583 --- /dev/null +++ b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/client-libraries/typescript/typescript-v2.mdx @@ -0,0 +1,440 @@ +--- +title: JS/TS クライアント v2 +sidebar_position: 20 +description: "既存のアプリケーションの保守および互換性のためのレガシー TypeScript クライアント v2 のドキュメント." +image: og/docs/client-libraries.jpg +# tags: ['TypeScript', 'client library'] +--- + +import Tabs from '@theme/Tabs'; +import TabItem from '@theme/TabItem'; + +:::note TypeScript client version +TypeScript クライアントのバージョンは `v||site.typescript_client_version||` です。新しいプロジェクトでは [TypeScript v3 クライアント](./index.mdx) をご利用ください。 +::: + +TypeScript クライアントは、 JavaScript および TypeScript のスクリプトの両方で使用できます。 + +## インストールとセットアップ + +TypeScript クライアントライブラリをインストールするには、 [npm](https://www.npmjs.com/) を使用します。 + +```bash +npm install weaviate-ts-client +``` + +## 使い方と型定義 + +インストール後、以下の例のように TypeScript と JavaScript のスクリプトでクライアントを使用できます。 + +### 使い方 + +
+
+
+```js
+const { default: weaviate } = require('weaviate-ts-client');
+
+const client = weaviate.client({
+ scheme: 'https',
+ host: 'WEAVIATE_INSTANCE_URL', // Replace with your Weaviate endpoint
+});
+
+client
+ .schema
+ .getter()
+ .do()
+ .then(res => {
+ console.log(res);
+ })
+ .catch(err => {
+ console.error(err)
+ });
+```
+
+
+
+
+```ts
+import weaviate from 'weaviate-ts-client';
+
+const client = weaviate.client({
+ scheme: 'https',
+ host: 'WEAVIATE_INSTANCE_URL', // Replace with your Weaviate endpoint
+});
+
+const response = await client
+ .schema
+ .getter()
+ .do();
+console.log(response);
+```
+
+
+
+
+:::tip Troubleshooting imports with TypeScript
+TypeScript で import 文に問題がある場合 (例: `weaviate` が `undefined` になるなど)、 `tsconfig.json` の `"compilerOptions"` に `"esModuleInterop": true` を追加してみてください。
+:::
+
+### 型定義
+
+型定義はパッケージの `types` サブディレクトリにある `*.d.ts` ファイルに含まれています。例としては [npm パッケージページ](https://www.npmjs.com/package/weaviate-ts-client?activeTab=code) をご参照ください。
+
+## 認証
+
+import ClientAuthIntro from '/docs/weaviate/client-libraries/_components/client.auth.introduction.mdx'
+
+
+
+
+```js
+const { default: weaviate } = require('weaviate-ts-client');
+
+// Instantiate the client with the auth config
+const client = weaviate.client({
+ scheme: 'https',
+ host: 'edu-demo.weaviate.network', // Replace with your Weaviate endpoint
+ apiKey: new weaviate.ApiKey('learn-weaviate'), // Replace with your Weaviate instance API key
+});
+```
+
+
+
+
+```ts
+import weaviate, { WeaviateClient, ApiKey } from 'weaviate-ts-client';
+
+// Instantiate the client with the auth config
+const client: WeaviateClient = weaviate.client({
+ scheme: 'https',
+ host: 'edu-demo.weaviate.network', // Replace with your Weaviate endpoint
+ apiKey: new ApiKey('learn-weaviate'), // Replace with your Weaviate instance API key
+});
+```
+
+
+
+
+### OIDC 認証
+
+import ClientAuthOIDCIntro from '/docs/weaviate/client-libraries/_components/client.auth.oidc.introduction.mdx'
+
+
+
+
+```js
+const { default: weaviate } = require('weaviate-ts-client');
+
+const client = weaviate.client({
+ scheme: 'https',
+ host: 'WEAVIATE_INSTANCE_URL', // Replace with your instance URL
+ authClientSecret: new weaviate.AuthUserPasswordCredentials({
+ username: 'user123',
+ password: 'password',
+ silentRefresh: true, // Default: true - if false, you must refresh the token manually; if true, this background process will prevent a script from exiting.
+ scopes: ['offline_access'] // optional, depends on the configuration of your identity provider (not required with WCD)
+ })
+});
+```
+
+
+
+
+```ts
+import weaviate, { WeaviateClient, AuthUserPasswordCredentials } from 'weaviate-ts-client';
+
+const client: WeaviateClient = weaviate.client({
+ scheme: 'https',
+ host: 'WEAVIATE_INSTANCE_URL', // Replace with your instance URL
+ authClientSecret: new AuthUserPasswordCredentials({
+ username: 'user123',
+ password: 'password',
+ silentRefresh: true, // Default: true - if false, you must refresh the token manually; if true, this background process will prevent a script from exiting.
+ scopes: ['offline_access'] // optional, depends on the configuration of your identity provider (not required with WCD)
+ })
+});
+```
+
+
+
+
+#### Client Credentials フロー
+
+import ClientAuthFlowClientCredentials from '/docs/weaviate/client-libraries/_components/client.auth.flow.client.credentials.mdx'
+
+
+
+
+```js
+const { default: weaviate } = require('weaviate-ts-client');
+
+const client = weaviate.client({
+ scheme: 'https',
+ host: 'WEAVIATE_INSTANCE_URL', // Replace with your instance URL
+ authClientSecret: new weaviate.AuthClientCredentials({
+ clientSecret: 'supersecuresecret',
+ silentRefresh: true, // Default: true - if false, you must refresh the token manually; if true, this background process will prevent a script from exiting.
+ scopes: ['scope1', 'scope2'] // optional, depends on the configuration of your identity provider
+ })
+});
+```
+
+
+
+
+```ts
+import weaviate, { WeaviateClient, AuthClientCredentials } from 'weaviate-ts-client';
+
+const client: WeaviateClient = weaviate.client({
+ scheme: 'https',
+ host: 'WEAVIATE_INSTANCE_URL', // Replace with your instance URL
+ authClientSecret: new AuthClientCredentials({
+ clientSecret: 'supersecuresecret',
+ silentRefresh: true, // Default: true - if false, you must refresh the token manually; if true, this background process will prevent a script from exiting.
+ scopes: ['scope1', 'scope2'] // optional, depends on the configuration of your identity provider
+ })
+});
+```
+
+
+
+
+
+#### リフレッシュトークンフロー
+
+import ClientAuthBearerToken from '/docs/weaviate/client-libraries/_components/client.auth.bearer.token.mdx'
+
+
+
+
+```js
+const { default: weaviate } = require('weaviate-ts-client');
+
+const client = weaviate.client({
+ scheme: 'https',
+ host: 'WEAVIATE_INSTANCE_URL', // Replace with your instance URL
+ authClientSecret: new weaviate.AuthAccessTokenCredentials({
+ accessToken: 'abcd1234',
+ expiresIn: 900,
+ refreshToken: 'efgh5678',
+ silentRefresh: true, // Default: true - if false, you must refresh the token manually; if true, this background process will prevent a script from exiting.
+ })
+});
+```
+
+
+
+
+```ts
+import weaviate, { WeaviateClient, AuthAccessTokenCredentials } from 'weaviate-ts-client';
+
+const client: WeaviateClient = weaviate.client({
+ scheme: 'https',
+ host: 'WEAVIATE_INSTANCE_URL', // Replace with your instance URL
+ authClientSecret: new AuthAccessTokenCredentials({
+ accessToken: 'abcd1234',
+ expiresIn: 900,
+ refreshToken: 'efgh5678',
+ silentRefresh: true, // Default: true - if false, you must refresh the token manually; if true, this background process will prevent a script from exiting.
+ })
+});
+```
+
+
+
+
+## カスタムヘッダー
+
+クライアントにはカスタムヘッダーを渡すことができ、初期化時に追加されます。
+
+
+
+
+```js
+const { default: weaviate } = require('weaviate-ts-client');
+
+const client = weaviate.client({
+ scheme: 'https',
+ host: 'WEAVIATE_INSTANCE_URL', // Replace with your instance URL
+ headers: { headerName: 'HeaderValue' }
+});
+```
+
+
+
+
+```ts
+import weaviate, { WeaviateClient } from 'weaviate-ts-client';
+
+const client: WeaviateClient = weaviate.client({
+ scheme: 'https',
+ host: 'WEAVIATE_INSTANCE_URL', // Replace with your instance URL
+ headers: { headerName: 'HeaderValue' }
+});
+```
+
+
+
+
+これらのヘッダーは、クライアントが行うすべてのリクエストに含まれます。
+
+## 参照
+
+:::note JS to TS migration
+一部の古いコード例は JavaScript で書かれており、まだ更新されていません。新しいコード例は TypeScript を使用しています。
+:::
+
+TypeScript クライアントで扱われる [RESTful エンドポイント](/weaviate/api/rest) と [GraphQL 機能](/weaviate/api) のコードブロックは、現在 JavaScript の例が掲載されています。
+
+## 設計
+
+### ビルダーパターン
+
+TypeScript クライアントは [Builder パターン](https://en.wikipedia.org/wiki/Builder_pattern) に従って設計されています。このパターンは複雑なクエリオブジェクトを構築するために使用されます。つまり、（RESTful の GET リクエストでデータを取得したり、より複雑な GraphQL クエリを実行したりする際に）呼び出しをチェーンさせることで複雑さを軽減します。ビルダーオブジェクトには任意のものと、特定の機能を実行するために必須のものがあります。ビルダーの例は [RESTful API リファレンス](/weaviate/api/rest) と [GraphQL リファレンス](/weaviate/api) に掲載されています。
+
+このページ冒頭のコードスニペットは、RESTful リクエスト `GET /v1/schema` に対応するシンプルなクエリを示しています。パッケージを読み込みローカルインスタンスへ接続してクライアントを初期化します。その後 `.schema` を `.getter()` で取得してクエリを構築します。クエリは `.do()` 呼び出しで送信されます。`do()` は構築して実行したいあらゆる関数で必須です。
+
+### 一般的な注意事項
+- すべてのメソッドは ES6 Promise を使用して非同期コードを扱います。そのため、関数呼び出し後に `.then()` を使用するか、`async` / `await` をサポートする必要があります。
+- エラーが発生した場合、Promise はそのエラーメッセージで reject されます。（`async` / `await` を使用している場合、reject された Promise は throw された例外と同様に扱われます）
+- クライアント内部では `isomorphic-fetch` を使用して REST 呼び出しを行いますので、ブラウザと NodeJS アプリケーションのどちらでも変更なしで動作します。
+
+## JavaScript ユーザーのための TypeScript
+
+TypeScript は JavaScript のスーパーセットです。しかし、いくつかの違いがあります。このセクションでは、 TypeScript を初めて使用する JavaScript ユーザー向けにヒントを紹介します。
+
+### TypeScript ファイルの実行
+
+TypeScript ファイルを実行するには、まず JavaScript に変換します。`npm` の `typescript` パッケージには `tsc` ユーティリティが含まれています。`tsc` を使用して TypeScript ファイルを変換（トランスパイル）します。
+
+`typescript` パッケージをインストールします。グローバルに利用したい場合は `-g` フラグを追加してください。
+
+```bash
+npm install typescript
+```
+
+Weaviate TypeScript クライアントのように、追加の設定が必要なパッケージもあります。TypeScript プロジェクトのルートディレクトリには `tsconfig.json` ファイルがあります。以下を `tsconfig.json` に追加してください。
+
+- コンパイラオプション
+ - `"target": "esnext"`
+ - `"module": "esnext"`
+ - `"moduleResolution": "node"`
+- `"include": ["*.ts"]`（または特定のファイル）
+- `"lib": [ "es2018" ]`
+
+`tsconfig.json` を使用する場合、コマンドラインでファイル名を指定しないでください。TypeScript ファイルは `tsconfig.json` に指定します。`tsc` は単体で実行したときのみ `tsconfig.json` を読み込みます。
+
+```bash
+tsc
+```
+
+`node` はモジュール内でのみ `import` 文を許可します。`import` 文を使用できるように、`package.json` に以下を追加してください。
+
+```json
+{
+ "type": "module"
+}
+```
+
+### 例
+
+この例を実行するには、次の手順を完了してください。
+
+- `typescript` パッケージをインストールする。
+- `tsconfig.json` と `package.json` を前述のとおり更新する。
+- サンプルコードをコピーする。
+- コードを `sample.ts` として `tsconfig.json` と `package.json` と同じディレクトリに保存する。
+- コードを変換し、実行する。
+
+`sample.ts` を作成するために次のコードを使用します。
+
+
+
+
+
+
+
+
+
+
+## v3 の変更点
+
+このセクションでは、TypeScript クライアント v3 の主な特徴を紹介します。
+
+### 設計方針
+
+v3 クライアントは、コレクションを通じて Weaviate データベース内のオブジェクトを操作することを中心に設計されています。
+
+アプリケーションコードはコレクションを表すオブジェクトを作成し、そのオブジェクトを通じて検索や CRUD 操作を実行します。
+
+次の例は `JeopardyQuestion` コレクションからオブジェクトを取得します。
+
+```js
+const myCollection = client.collections.use('JeopardyQuestion');
+
+const result = await myCollection.query.fetchObjects()
+
+console.log(JSON.stringify(result, null, 2));
+```
+
+### Node のみ対応
+
+gRPC プロトコルは高速で、内部的にも多くの利点があります。しかし残念ながら、gRPC はブラウザベースのクライアント開発をサポートしていません。
+
+v3 クライアントは gRPC を使用して Weaviate インスタンスへ接続します。そのため、クライアントは Node.js を用いたサーバーサイド開発をサポートし、ブラウザベースの Web クライアント開発はサポートしていません。
+
+ブラウザベースのアプリケーションを開発する場合は、[v2 クライアント](/weaviate/client-libraries/typescript/typescript-v2) をご利用ください。
+
+### コレクションの操作
+
+v2 クライアントでは CRUD や検索操作に `client` オブジェクトを使用します。v3 クライアントでは、`client` オブジェクトの代わりに `collection` オブジェクトを使用します。
+
+接続を作成した後は、各操作でコレクションを指定する必要がありません。これによりミスを減らせます。
+
+
+
+
+
+
+
+
+`collection` オブジェクトはコードベース全体で再利用できます。
+
+
+
+### ビルダー パターンの廃止
+
+v2 クライアントはビルダー パターンを使用してクエリを構築します。ビルダー パターンはわかりにくく、無効なクエリを引き起こす可能性があります。
+
+v3 クライアントではビルダー パターンを使用しません。その代わり、特定のメソッドとメソッド パラメーターを使用します。
+
+
+
+
+
+
+
+
+### バッチ挿入
+
+`insertMany()` メソッドは `objectBatcher()` を置き換え、バッチ挿入を簡単にします。
+
+5,000 件を超えるオブジェクトを挿入する場合は、バッチ処理の一部として `insertMany()` を使用してください。
+
+バッチ処理の詳細については、[バッチ挿入](../../manage-objects/import.mdx) を参照してください。
+
+
+
+
+
+
+
+
+### クライアントの Close メソッド
+
+import TSClientClose from '/_includes/clients/ts-client-close.mdx';
+
+
+
+
+
+
+
+
+### generate 名前空間
+
+v3 クライアントでは生成クエリ用に新しい名前空間 `generate` が追加されました。これにより、生成クエリとベクトル検索を区別しやすくなります。
+
+
+
+
+
+
+
+
+### 返却オブジェクト
+
+新しいクライアントでは返却オブジェクトがよりシンプルになりました。オブジェクトの UUID、メタデータ、生成クエリの結果などの重要な情報に簡単にアクセスできます。
+
+
+
+
+
+
+
+
+
+
+## コード比較
+
+これらのサンプルでは、クライアント v2 コードと v3 コードを比較します。
+
+比較用サンプルでは、両クライアントで共通するコード部分を省略しています。完全な v2 と v3 のクライアントスクリプトは[こちら](#sample-scripts)にあります。
+
+### インポート
+
+
+
+
+
+
+
+
+### Weaviate Cloud への接続
+
+
+
+
+
+
+
+
+### コレクションの作成
+
+
+
+
+
+
+
+
+### バッチ挿入
+
+
+
+
+
+
+
+
+### データのクエリ実行
+
+
+
+
+
+
+
+
+### コレクションの削除
+
+
+
+
+
+
+
+
+
+### サンプルスクリプト
+
+このセクションのクライアント比較コードを、完全な形で示したスクリプトです。
+
+
+
+
+
+
+
+
+その他のコード例については、以下を参照してください。
+
+- [検索](/weaviate/search)
+- [コレクション管理](/weaviate/manage-collections)
+- [Weaviate への接続](/weaviate/connections)
+
+## コードの移行方法
+
+v2 クライアントコードを v3 に更新するには、次の手順を行います。
+
+1. [ v3 クライアントパッケージ](https://www.npmjs.com/package/weaviate-client) をインストールします。
+1. v2 コードを編集し、v3 クライアントパッケージを [インポート](/weaviate/client-libraries/typescript#import-the-client) します。
+1. v2 の [クライアント生成](/weaviate/client-libraries/typescript) コードを編集します。
+1. コードを編集し、[ collection first](#design-philosophy) のクライアント指向を反映させます。
+
+v2 のコードを v3 相当へすべて置き換えるまで、順次更新してください。
+
+## クライアントの変更ログ
+
+各リリースのクライアント [変更ログ](https://github.com/weaviate/typescript-client/releases) は GitHub で確認できます。
+
+## 質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+
Kubernetes ユーザーの場合は、アップグレード前に [`1.25 移行ガイド`](/deploy/migration/weaviate-1-25.md) をご覧ください。 アップグレードするには、既存の StatefulSet を削除する必要があります。 +* `v1.8.0` 以降、クラスタ全体にスキーマ変更をブロードキャストするプロセスでは、二相トランザクションの形式が使用されていますが、現時点ではトランザクションの実行中にノード障害が発生すると耐えられません。 +* `v1.8.0` 以降、クラスタの動的スケーリングはまだ完全にはサポートされていません。 既存のクラスタに新しいノードを追加することは可能ですが、シャードの所有権には影響しません。 データが存在する場合、ノードを削除する前にシャードが他のノードへ移動されないため、既存のノードはまだ削除できません。 + +## 質問とフィードバック + +import DocsFeedback from '/_includes/docs-feedback.mdx'; + +
(e.g. data schema,
embedding model integration,
index configurations,
replication config, etc.)"] + end + + subgraph search ["Indexes"] + direction LR + Indexes["Indexes"] + + subgraph vector ["Vector Search"] + direction TB + VectorIndex["Vector Index"] + IndexStructure["Index Structure"] + VectorCache["Vector Cache"] + end + + subgraph text ["Filtering / Text Search"] + direction LR + InvertedIndex["Inverted Index"] + BM25Index["BM25 Index"] + FilterIndex["Filter Index"] + end + end + + subgraph storage ["Data Storage"] + direction TB + ObjectStore["Object Store"] + ObjectData["Object Data / Metadata"] + VectorData["Vector Data"] + end + + %% Connections + Collection --> Indexes + Collection --> ObjectStore + + Indexes --> VectorIndex + Indexes --> InvertedIndex + + VectorIndex --> IndexStructure + VectorIndex --> VectorCache + + InvertedIndex --> BM25Index + InvertedIndex --> FilterIndex + + ObjectStore --> ObjectData + ObjectStore --> VectorData + + %% Style Collection node + style Collection fill:#ffffff,stroke:#130C49,color:#130C49,stroke-width:2px + + %% Style Config components (purple color) + style CollectionConfig fill:#f5f5f5,stroke:#9575CD,color:#130C49 + + %% Style Memory components (warm color) + style Indexes fill:#FFF3E0,stroke:#FFB74D,color:#130C49 + style VectorIndex fill:#FFF3E0,stroke:#FFB74D,color:#130C49 + style InvertedIndex fill:#FFF3E0,stroke:#FFB74D,color:#130C49 + style VectorCache fill:#FFF3E0,stroke:#FFB74D,color:#130C49 + style IndexStructure fill:#FFF3E0,stroke:#FFB74D,color:#130C49 + style BM25Index fill:#FFF3E0,stroke:#FFB74D,color:#130C49 + style FilterIndex fill:#FFF3E0,stroke:#FFB74D,color:#130C49 + + %% Style Disk components (cool color) + style ObjectStore fill:#E3F2FD,stroke:#64B5F6,color:#130C49 + style ObjectData fill:#E3F2FD,stroke:#64B5F6,color:#130C49 + style VectorData fill:#E3F2FD,stroke:#64B5F6,color:#130C49 + + %% Style subgraphs + style search fill:#ffffff,stroke:#7AD6EB,stroke-width:2px,color:#130C49 + style vector fill:#ffffff,stroke:#61BD73,stroke-width:2px,color:#130C49 + style text fill:#ffffff,stroke:#61BD73,stroke-width:2px,color:#130C49 + style storage fill:#ffffff,stroke:#7AD6EB,stroke-width:2px,color:#130C49 +``` + +import InitialCaps from '/_includes/schemas/initial-capitalization.md' + +
(e.g. data schema,
embedding model integration,
index configurations,
replication config, etc.)"] + end + + ShardA["Tenant A Shard"] + IndexA["Indexes"] + StoreA["Object Store"] + + ShardB["Tenant B Shard"] + IndexB["Indexes"] + StoreB["Object Store"] + + ShardC["Tenant C Shard"] + IndexC["Indexes"] + StoreC["Object Store"] + + MTCollection --> ShardA + MTCollection --> ShardB + MTCollection --> ShardC + + ShardA --> IndexA + ShardA --> StoreA + + ShardB --> IndexB + ShardB --> StoreB + + ShardC --> IndexC + ShardC --> StoreC + end + + subgraph SingleDB ["Single Collection"] + direction LR + subgraph SingleCollection["🗄️ Collection"] + direction LR + SingleCollectionConfig["Collection Configuration
(e.g. data schema,
embedding model integration,
index configurations,
replication config, etc.)"] + end + + SingleIndexes["Indexes"] + SingleStore["Object Store"] + + SingleCollection --> SingleIndexes + SingleCollection --> SingleStore + end + + %% Style nodes - Single tenant + style SingleCollection fill:#ffffff,stroke:#130C49,color:#130C49,stroke-width:2px + style SingleIndexes fill:#FFF3E0,stroke:#FFB74D,color:#130C49 + style SingleStore fill:#E3F2FD,stroke:#64B5F6,color:#130C49 + + %% Style nodes - Multi tenant + style MTCollection fill:#ffffff,stroke:#130C49,color:#130C49,stroke-width:2px + style ShardA fill:#ffffff,stroke:#130C49,color:#130C49,stroke-width:2px + style ShardB fill:#ffffff,stroke:#130C49,color:#130C49,stroke-width:2px + style ShardC fill:#ffffff,stroke:#130C49,color:#130C49,stroke-width:2px + + %% Style tenant resources + style IndexA fill:#FFF3E0,stroke:#FFB74D,color:#130C49 + style IndexB fill:#FFF3E0,stroke:#FFB74D,color:#130C49 + style IndexC fill:#FFF3E0,stroke:#FFB74D,color:#130C49 + style StoreA fill:#E3F2FD,stroke:#64B5F6,color:#130C49 + style StoreB fill:#E3F2FD,stroke:#64B5F6,color:#130C49 + style StoreC fill:#E3F2FD,stroke:#64B5F6,color:#130C49 + + %% Style subgraphs + style SingleDB fill:transparent,stroke:#7AD6EB,stroke-width:2px,color:#130C49 + style MultiDB fill:transparent,stroke:#7AD6EB,stroke-width:2px,color:#130C49 + style MTCollectionConfig fill:#f5f5f5,stroke:#130C49,color:#130C49,stroke-width:2px + style SingleCollectionConfig fill:#f5f5f5,stroke:#130C49,color:#130C49,stroke-width:2px +``` + +シャーディングの利点: + +- データの分離 +- 高速で効率的なクエリ +- シンプルかつ堅牢なセットアップとクリーンアップ + +テナント シャード は軽量です。1 ノードあたり 50,000 個以上の アクティブ シャード を簡単に扱えます。つまり、およそ 20 ノード で 同時に 1M の アクティブ テナント をサポートできます。 + +マルチテナンシー は、複数の顧客のデータを保存したい場合や、複数のプロジェクトのデータを保存したい場合に特に有用です。 + +:::caution テナント削除 ＝ テナントデータ削除 +テナントを削除すると、そのテナントに対応するシャードが削除されます。結果として、テナントを削除すると そのテナントのすべてのオブジェクトも削除されます。 +::: + +### テナント 状態 + +:::info Multi-tenancy availability +- テナントのアクティビティ ステータス設定は `v1.21` で追加 +- `OFFLOADED` ステータスは `v1.26` で追加 +::: + +テナントには、その利用可否と保存場所を示す アクティビティ ステータス (テナント状態) があります。テナントは `ACTIVE`、`INACTIVE`、`OFFLOADED`、`OFFLOADING`、`ONLOADING` のいずれかです。 + +- `ACTIVE` テナントは読み書きが可能な状態でロードされています。 +- その他の状態では、テナントは読み書き不可で、アクセスしようとするとエラーになります。 + - `INACTIVE` テナントはローカル ディスクに保存され、すぐにアクティブ化できます。 + - `OFFLOADED` テナントはクラウド ストレージに保存されます。頻繁にアクセスしないテナントの長期保存に便利です。 + - `OFFLOADING` テナントはクラウド ストレージへ移動中です。一時的な状態で、ユーザーは指定できません。 + - `ONLOADING` テナントはクラウド ストレージからロード中です。一時的な状態で、ユーザーは指定できません。`ONLOADING` テナントは `ACTIVE` または `INACTIVE` へウォームアップされている最中かもしれません。 + +テナントの管理詳細は [Multi-tenancy operations](../manage-collections/multi-tenancy.mdx) をご覧ください。 + +| Status | 利用可 | 説明 | ユーザー指定可 | +| :-- | :-- | :-- | :-- | +| `ACTIVE` | Yes | 読み書き可能な状態でロードされています。 | Yes | +| `INACTIVE` | No | ローカル ディスクに保存され、読み書き不可。アクセスするとエラーになります。 | Yes | +| `OFFLOADED` | No | クラウド ストレージに保存され、読み書き不可。アクセスするとエラーになります。 | Yes | +| `OFFLOADING` | No | クラウド ストレージへ移動中で、読み書き不可。アクセスするとエラーになります。 | No | +| `ONLOADING` | No | クラウド ストレージからロード中で、読み書き不可。アクセスするとエラーになります。 | No | + +:::info Tenant status renamed in `v1.26` +`v1.26` で `HOT` は `ACTIVE` に、`COLD` は `INACTIVE` に名称変更されました。 +::: + +:::info テナント状態の伝播 +テナント状態の変更がクラスタ全体に行き渡るまで、特にマルチノード クラスタでは時間がかかることがあります。 + +
+ +たとえば、オフロードされたテナントを再アクティブ化した後でも、データがすぐには利用可能にならない場合があります。同様に、テナントをオフロードした直後にデータがすぐに利用不可にならない場合もあります。これは、[テナント状態は最終的整合性](../concepts/replication-architecture/consistency.md#tenant-states-and-data-objects) を持ち、変更がクラスタ内のすべてのノードへ伝播する必要があるためです。 +::: + +#### オフロードされたテナント + +:::info Added in `v1.26.0` +::: + +import OffloadingLimitation from '/_includes/offloading-limitation.mdx'; + +` モジュールが Weaviate クラスタで [有効化](../configuration/modules.md) されている必要があります。
+
+テナントをオフロードすると、そのテナント シャード 全体がクラウド ストレージへ移動します。これは、頻繁にアクセスしないテナントを長期保存するのに便利です。オフロードされたテナントは、クラスタへ再ロードされるまで読み書きできません。
+
+### バックアップ
+
+:::caution バックアップには Inactive または Offloaded テナントは含まれません
+マルチテナント コレクションのバックアップには `active` テナントのみが含まれ、`inactive` や `offloaded` テナントは含まれません。すべてのデータを含めるには、バックアップ作成前に [テナントをアクティブ化](../manage-collections/multi-tenancy.mdx#manage-tenant-states) してください。
+:::
+
+### テナンシー と ID
+
+各テナンシーは名前空間のようなものです。そのため、異なるテナントが同じオブジェクト ID を持つことも理論上は可能です。命名衝突を避けるため、マルチテナント クラスタではオブジェクト ID に テナント ID を組み合わせ、テナントをまたいで一意となる ID を生成します。
+
+### テナンシー と クロスリファレンス
+
+マルチテナンシー では、一部のクロスリファレンスがサポートされています。
+
+サポートされるクロスリファレンス:
+
+- マルチテナンシー オブジェクト から 非マルチテナンシー オブジェクト への参照
+- 同一テナント内での、マルチテナンシー オブジェクト 同士の参照
+
+サポートされないクロスリファレンス:
+
+- 非マルチテナンシー オブジェクト から マルチテナンシー オブジェクト への参照
+- 異なるテナント間の マルチテナンシー オブジェクト 同士の参照
+
+### 主な機能
+
+- 各テナントは専用の高性能 ベクトル インデックスを持ちます。専用インデックスにより、共有インデックス空間を検索するのではなく、各テナントがクラスタ上で唯一のユーザーであるかのように高速に応答します。
+- 各テナントのデータは専用シャードに隔離されます。これにより、削除が高速で、他のテナントに影響しません。
+- スケールアウトするには、クラスタにノードを追加するだけです。Weaviate は既存テナントを再分散しませんが、新しいテナントは最もリソース使用率の低いノードに配置されます。
+
+:::info 関連ページ
+- [How-to: Manage Data | Multi-tenancy operations](../manage-collections/multi-tenancy.mdx)
+- [Multi-tenancy ブログ](https://weaviate.io/blog/multi-tenancy-vector-search)
+:::
+
+### 監視メトリクス
+
+モニタリング用にテナントをグループ化するには、システム設定ファイルで [`PROMETHEUS_MONITORING_GROUP = true`](/deploy/configuration/env-vars/index.md) を設定します。
+
+### ノードあたりのテナント数
+
+ノードあたりのテナント数は、オペレーティングシステムの制約によって決まります。テナント数は、プロセスごとの Linux の open file 制限を超えることはできません。
+
+たとえば、`n1-standard-8` マシンで構築した 9 ノードのテストクラスターでは、約 170k のアクティブテナントを保持できます。ノードあたり 18,000 ～ 19,000 のテナントが存在します。
+
+これらの数値はアクティブテナントにのみ関係します。未使用のテナントを [`inactive` に設定](../manage-collections/multi-tenancy.mdx#manage-tenant-states) した場合、プロセスごとの open file 制限は適用されません。
+
+## 関連ページ
+
+以下もご参照ください。
+
+- [How-to: マルチテナンシー操作](../manage-collections/multi-tenancy.mdx)
+- リファレンス: REST API: Schema
+- [How-to: コレクションを管理する](../manage-collections/index.mdx)
+
+## まとめ
+
+* スキーマはコレクションとプロパティを定義します。
+* コレクションには JSON ドキュメントで記述されたデータオブジェクトが含まれます。
+* データオブジェクトには ベクトル とプロパティを含めることができます。
+* ベクトル は機械学習モデルから生成されます。
+* 異なるコレクションは異なる ベクトル 空間を表します。
+* クロスリファレンスはスキーマ間でオブジェクトをリンクします。
+* マルチテナンシーは各テナントのデータを分離します。
+
+## ご質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+
+ +`v1.28` 以降、この機能は単一オブジェクトのインポート、削除、更新にも拡張されました。加えて、インメモリキューは永続的なオンディスクキューに置き換えられました。この変更により、インデクシング操作の堅牢性が向上し、ロック競合とメモリ使用量の削減によってパフォーマンスも改善されます。 +
+ +オンディスクキューの使用によりディスク使用量がわずかに増加する場合がありますが、総ディスク使用量に対してはごく小さな割合であると想定されます。 +::: + +## フラット インデックス + +:::info Added in `v1.23` +::: + +**フラット インデックス**は、データベースにおけるベクトル インデックス実装の基本的な方法の一つです。その名のとおりシンプルで軽量、構築が高速でメモリ使用量もごく小さく済みます。このインデックスは、たとえば SaaS 製品や分離されたレコードセットのデータベースなど、各エンドユーザー（テナント）が独自の隔離されたデータセットを持つユースケースに適しています。 + +フラット インデックスはディスク上に 1 層でデータオブジェクトを保持するため、メモリフットプリントが非常に小さいのが特徴です。マルチテナンシー ユースケースのような小規模コレクションに適した選択肢です。 + +一方でフラット インデックスは、`hnsw` インデックスの対数時間計算量とは異なり、データオブジェクト数に対して線形時間計算量を持つため、大規模コレクションへのスケールには向きません。 + +## 動的インデックス + +:::caution Experimental feature +`v1.25` から利用可能です。これは実験的機能のため、慎重にご利用ください。 +::: + +import DynamicAsyncRequirements from '/_includes/dynamic-index-async-req.mdx'; + + {
+ {
+
+
+ {
+ ... on {
+
+ }
+ }
+
+ _ {
+
+ }
+ }
+ }
+}
+```
+
+* **データベース設定に依存するクエリフィルター (検索引数)**
+ オブジェクトをフィルターするためにクラスレベルでフィルターを追加できます。スカラー (`where` フィルター) と ベクトル (`near<...>`) フィルターを組み合わせることが可能です。Weaviate のセットアップ (接続しているモジュール) に応じて、追加のフィルターが使用できます。以下は [`qna-transformers` モジュール](/weaviate/modules/qna-transformers.md) を使用したフィルターの例です:
+
+```graphql
+{
+ Get {
+ Article(
+ ask: {
+ question: "Who is the king of the Netherlands?",
+ properties: ["summary"]
+ },
+ limit: 1
+ ) {
+ title
+ _additional {
+ answer {
+ result
+ }
+ }
+ }
+ }
+}
+```
+
+### GraphQL メイン関数の設計
+
+1. **データ検索: `Get {}`**
+ データオブジェクトのクラス名が分かっている場合に検索します。
+2. **探索的 & ファジー検索: `Explore {}`**
+ データスキーマやクラス名が分からない場合にファジー検索を行います。
+3. **データ解析 (メタデータ): `Aggregate {}`**
+ メタデータを検索し、データ集計の解析を行います。
+
+## gRPC API サポート
+
+バージョン `1.19` から、Weaviate は gRPC (gRPC Remote Procedure Calls) API のサポートを導入し、時間とともにさらに高速化を図っています。
+
+これによりユーザー向け API の変更は発生しません。2023 年 5 月時点で、gRPC はごく小規模に追加されており、今後コアライブラリおよびクライアントへの展開が予定されています。
+
+## Weaviate Console
+
+[Weaviate Console](https://console.weaviate.cloud) は、WCD から Weaviate クラスターを管理し、他の場所で稼働する Weaviate インスタンスへアクセスするためのダッシュボードです。GraphQL クエリを実行するために Query Module を使用できます。
+
+
+
+## Weaviate クライアント
+
+Weaviate には [Go](/weaviate/client-libraries/go.md)、[Java](/weaviate/client-libraries/java.md)、[Python](/weaviate/client-libraries/python/index.mdx)、[TypeScript/JavaScript](/weaviate/client-libraries/typescript/index.mdx) のクライアントライブラリがあります。すべての言語向けクライアントライブラリは全 API 機能をサポートしています。一部のクライアント (例: Python クライアント) では、完全なスキーマ管理やバッチ処理などの追加機能も提供されています。これにより、Weaviate はカスタムプロジェクトで簡単に利用でき、API も直感的なため既存のデータ環境への統合が容易です。
+
+## さらなるリソース
+:::info 関連ページ
+- [リファレンス: GraphQL API](../api/graphql/index.md)
+- [リファレンス: RESTful API](/weaviate/api/rest)
+- [リファレンス: クライアントライブラリ](../client-libraries/index.mdx)
+:::
+
+
+## 質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+
+ +メモリ消費を抑えるにはハッシュツリーの高さを下げてください。ただし、その分ハッシュ処理が遅くなり、レプリケーションも遅くなる可能性があります。 +::: + +クイックリファレンスとして、以下の計算式と例を利用してください。 + +##### メモリ計算 + +- **ハッシュツリー内の総ノード数:** + 高さ `H` のハッシュツリーにおける総ノード数は次のとおりです: + ``` + Number of hash tree nodes = 2^(H+1) - 1 ≈ 2^(H+1) + ``` + +- **必要な総メモリ (各ノードの各シャード / テナント):** + 各ハッシュツリーノードは約 **16 バイト** のメモリを使用します。 + ``` + Memory Required ≈ 2^(H+1) * 16 bytes + ``` + +##### 例 + +- 高さ `16` のハッシュツリー: + - `総ノード数 ≈ 2^(16+1) = 131,072` + - `必要メモリ ≈ 131072 * 16 bytes ≈ 2,097,152 bytes (~2 MB)` + +- 高さ `20` のハッシュツリー: + - `総ノード数 ≈ 2^(20+1) = 2,097,152` + - `必要メモリ ≈ 2,097,152 * 16 bytes ≈ 33,554,432 bytes (~33 MB)` + +##### パフォーマンスの考慮: 葉ノードの数 + +シャード (例: テナント) 内のオブジェクトはハッシュツリーの葉ノードに分散されます。ツリーが大きいほど、各葉ノードがハッシュするデータ量が減り、比較とレプリケーションが高速化されます。 + +- **ハッシュツリーの葉ノード数:** + ``` + Number of leaves = 2^H + ``` + +##### 例 + +- 高さ `16` のハッシュツリー: + - `葉ノード数 = 2^16 = 65,536` + +- 高さ `20` のハッシュツリー: + - `葉ノード数 = 2^20 = 1,048,576` + +:::note デフォルト設定 +デフォルトのハッシュツリー高さ `16` は、メモリ消費とレプリケーション性能のバランスを取るために選定されています。クラスタノードの利用可能リソースと性能要件に応じて調整してください。 +::: + +### 削除解決戦略 + +:::info `v1.28` で追加 +::: + +オブジェクトが一部のレプリカに存在し、別のレプリカには存在しない場合、それは作成がまだ全レプリカに伝播されていないか、削除がまだ全レプリカに伝播されていないかのいずれかです。この 2 つを区別することが重要です。 + +削除解決は、非同期レプリケーションおよび repair-on-read と連携し、クラスタ全体で削除されたオブジェクトを一貫して扱います。各コレクションに対して、以下の削除解決戦略のいずれかを [設定できます](../../manage-collections/multi-node-setup.mdx#replication-settings): + +- `NoAutomatedResolution` +- `DeleteOnConflict` +- `TimeBasedResolution` + +削除解決戦略は可変です。[コレクション定義の更新方法](../../manage-collections/collection-operations.mdx#update-a-collection-definition) を参照してください。 +#### `NoAutomatedResolution` + +これはデフォルト設定であり、 `v1.28` より前の Weaviate バージョンで利用できる唯一の設定です。このモードでは、削除の競合を特別扱いしません。あるオブジェクトが一部のレプリカに存在し、他のレプリカに存在しない場合、Weaviate は欠落しているレプリカに対してオブジェクトを復元する可能性があります。 + +#### `DeleteOnConflict` + +`deleteOnConflict` での削除競合は、常にすべてのレプリカからオブジェクトを削除することで解決されます。 + +そのために、Weaviate は削除リクエストを受け取った際にオブジェクトを完全に消去するのではなく、削除済みオブジェクトとしてマークします。 + +#### `TimeBasedResolution` + +`timeBasedResolution` では、削除リクエストのタイムスタンプと、その後に行われた作成や更新などのオブジェクト操作のタイムスタンプを比較して競合を解決します。 + +削除リクエストのタイムスタンプが後であれば、すべてのレプリカでオブジェクトが削除されます。削除リクエストのタイムスタンプが前であれば、その後の更新がすべてのレプリカに適用されます。 + +例: +- オブジェクトがタイムスタンプ 100 で削除され、その後タイムスタンプ 90 で再作成された場合、再作成が優先されます +- オブジェクトがタイムスタンプ 100 で削除され、その後タイムスタンプ 110 で再作成された場合、削除が優先されます + +#### 選択の指針 + +- 競合を手動で管理し、最大限のコントロールを得たい場合は `NoAutomatedResolution` を使用します +- 削除を必ず反映させたい場合は `DeleteOnConflict` を使用します +- 最新の操作を優先させたい場合は `TimeBasedResolution` を使用します + +### Repair-on-read + +:::info v1.18 で追加 +::: + +読み取り整合性を `All` もしくは `Quorum` に設定している場合、リードコーディネーターは複数のレプリカから応答を受け取ります。応答が異なる場合、コーディネーターは不整合を修復しようとします。これを「repair-on-read」または「read repair」と呼びます。 + +| 問題 | 対応 | +| :- | :- | +| オブジェクトが一部のレプリカに存在しない | 欠落しているレプリカへオブジェクトを伝搬します | +| オブジェクトが古い | ステールなレプリカを更新します | +| オブジェクトが一部のレプリカで削除されている | エラーを返します。削除が失敗したか、オブジェクトが部分的に再作成された可能性があります | + +リードリペアは、使用する読み取りおよび書き込み整合性レベルにも依存します。 + +| 書き込み整合性レベル | 読み取り整合性レベル | 対応 | +| :- | :- | +| `ONE` | `ALL` | すべてのノードを検証して修復を保証します | +| `QUORUM` | `QUORUM` または `ALL` | 同期の問題を修正しようとします | +| `ALL` | - | この状況は発生しないはずです。書き込みが失敗しているはずです | + +修復は読み取り時にのみ発生するため、バックグラウンドの負荷は大きくありません。ただしノードが不整合状態の間、整合性レベル `ONE` の読み取りは古いデータを返す可能性があります。 + +## Replica movement + +:::info v1.32 で追加 +::: + +シャードは、単一テナントコレクションではコレクションの一部、多テナントコレクションでは 1 テナント全体を表します。Weaviate では、クラスター内のソースノードからデスティネーションノードへ個々のシャードレプリカを手動で移動またはコピーできます。これにより、スケール後のクラスター再バランス、ノードの廃止、データローカリティの最適化によるパフォーマンス向上、データ可用性の向上などの運用シナリオに対応できます。 + +レプリカ移動はステートマシンとして動作し、プロセス全体でデータ整合性を確保します。この機能は単一テナントコレクションと多テナントコレクションの両方で利用可能です。 + +コレクション作成時に設定する静的なレプリケーションファクターとは異なり、レプリカ移動ではクラスター内でレプリカを移動またはコピーすることで特定のシャードに対して複製数を調整できます。コピー操作を行うと新しいレプリカが作成され、そのシャードのレプリケーションファクターが増加します。コレクションにはデフォルトのレプリケーションファクターが設定されていますが、個々のシャードはそれより高い値を持つことができます。ただし、コレクションレベルより低いレプリケーションファクターにはできません。 + +:::info + +[`REPLICATION_ENGINE_MAX_WORKERS`](/docs/deploy/configuration/env-vars/index.md#REPLICATION_ENGINE_MAX_WORKERS) 環境変数を使用すると、レプリカ移動を並列に処理するワーカー数を調整できます。 + +::: + +### Movement states + +各レプリカ移動操作は、データ整合性と可用性を保つためのワークフローを次のステートで進行します。 + +- **REGISTERED**: 移動操作が開始され、Raft リーダーに記録されました。リクエストが受信され、処理待ちキューに登録されています。 +- **HYDRATING**: デスティネーションノードで新しいレプリカを作成中です。データセグメントが既存のレプリカ（通常はソースレプリカ、または他の利用可能なピア）から転送されます。 +- **FINALIZING**: 大量データの転送が完了し、転送中に発生した書き込みをキャッチアップしています。これにより、レプリカは最新データと完全に同期されます。進行中の書き込みが完了しターゲットノードへ複製されるまでの待機時間は、 [`REPLICA_MOVEMENT_MINIMUM_ASYNC_WAIT`](/docs/deploy/configuration/env-vars/index.md#REPLICA_MOVEMENT_MINIMUM_ASYNC_WAIT) で調整できます。 +- **DEHYDRATING**: 移動 (Move) 操作の場合、新しいレプリカが準備完了した後、ソースノード上の元のレプリカを削除しています。 +- **READY**: 操作が正常に完了しました。新しいレプリカは完全に同期され、トラフィックを処理できます。Move 操作の場合、ソースレプリカは削除されています。 +- **CANCELLED**: 操作が完了する前にキャンセルされました。手動で中断された場合や、回復不能なエラーが発生した場合に起こります。 + +レプリカ移動は 2 つのモードをサポートします。 + +- **Move**: レプリカをあるノードから別のノードへ移動し、レプリケーションファクターは維持します +- **Copy**: レプリカをコピーして別のノードへ追加し、そのシャードのレプリケーションファクターを 1 増やします + +:::note Replication factor and quorum + +シャードレプリカをコピーすると、レプリケーションファクターが偶数になる場合があります。これにより、クォーラム達成には `n/2 + 1` ノードが必要となり、以前の `n/2 + 0.5` より難しくなることがあります。たとえば `RF=3` から `RF=4` に増やすと、クォーラムに必要なノード数は 2 から 3 へ（ 67% から 75% のレプリカ）増加します。 + +::: + +## 関連ページ +- [API リファレンス | GraphQL | Get | 整合性レベル](../../api/graphql/get.md#consistency-levels) +-API リファレンス | REST | オブジェクト
+
+## 質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+
+ 分散（レプリケートされた）データベース構成では、1 台のサーバーノードがダウンしてもサービスは中断されません。データベースは引き続き利用可能で、読み取りクエリは利用可能なノードに（ほぼ気付かれずに）リダイレクトされます。 +2. **読み取りスループットの向上**
+ データベース構成にサーバーノードを追加すると、スループットも比例して増加します。ノードが多いほど、システムが処理できるユーザー（読み取り操作）数が増えます。コンシステンシー レベル `ONE` で読み取りを行う場合、replication factor（すなわちノード数）を増やすとスループットは線形に向上します。 +3. **ゼロダウンタイム アップグレード**
+ レプリケーションがない場合、Weaviate インスタンスをアップグレードする際にダウンタイムが発生します。単一ノードを停止・更新・再起動して再び利用可能になるまでサービスは停止します。レプリケーションがあればローリング アップデートが可能になり、常に最大でも 1 ノードのみが停止し、他のノードがトラフィックを継続的に処理します。 +4. **リージョナル近接性**
+ ユーザーが異なる地域（例：アイスランドとオーストラリア）にいる場合、データベース サーバーとの物理的距離によりすべてのユーザーに低レイテンシーを保証できません。分散データベースを使用すると、異なるローカル地域にノードを配置してレイテンシーを削減できます。これはレプリケーションの Multi-Datacenter 機能に依存します。 +## レプリケーションとシャーディング + +レプリケーションは [シャーディング](../cluster.md) とは異なります。シャーディングは水平スケーリングを指し、Weaviate には v1.8 で導入されました。 + +* **レプリケーション** はデータを別々のサーバーノードにコピーします。Weaviate では、これによりデータの可用性が向上し、単一ノードが障害を起こした場合の冗長性が確保されます。クエリスループットもレプリケーションによって改善できます。 +* **シャーディング** はデータを分割し、その断片（シャード）を複数のレプリカセットに送ることで、サーバー間の水平スケーリングを行います。データは分割され、すべてのシャードを合わせると完全なデータセットになります。Weaviate でシャーディングを使用すると、大規模データセットの運用やインポート速度の向上が可能です。 + +
+ アイスランドとインド、オーストラリアとインド間でデータが往復するため、すべてのユーザーが比較的高いレイテンシを被ります。 + +
+ アイスランドのユーザーは非常に低レイテンシになりますが、オーストラリアのユーザーはデータ伝送距離が長くなるため高レイテンシを経験します。 + + データクラスタを 2 つの地理的ロケーションにレプリケートできる場合、別の選択肢が生まれます。これを Multi-Datacenter（Multi-DC）レプリケーションと呼びます。 +3. オプション 3 - アイスランドとオーストラリアの双方にサーバークラスターを持つ Multi-DC レプリケーション
+ アイスランドとオーストラリアのユーザーはそれぞれローカルクラスターからサービスを受けるため、双方が低レイテンシを享受できます。 + +
vector and keyword scores"] + fusion_type["Fusion Strategy:
rankedFusion or relativeScoreFusion"] + end + + params --> fusion + + %% Apply styles + class query,split,vector,bm25,fusion,results component + class params processBox + class alpha,fusion_type component + + %% Linkstyle for curved edges + linkStyle default stroke:#718096,stroke-width:3px,fill:none,background-color:white +``` + +### 融合戦略 + +Weaviate では、ベクトル検索とキーワード検索のスコアを組み合わせる方法として `relativeScoreFusion` と `rankedFusion` の 2 つをサポートしています。 + +`relativeScoreFusion`（`v1.24` 以降のデフォルト）では、各オブジェクトのスコアをベクトル検索とキーワード検索それぞれで *正規化* します。最大値は 1、最小値は 0 とし、その間をスケールします。最終スコアは、正規化されたベクトル距離と正規化された BM25 スコアのスケール済み合計として計算されます。 + +`rankedFusion`（`v1.23` 以前のデフォルト）では、各オブジェクトは検索結果内の順位に基づいてスコアリングされます。最上位のオブジェクトが最も高いスコアを受け取り、順位が下がるにつれてスコアが減少します。最終スコアは、ベクトル検索とキーワード検索の順位ベーススコアを合算して算出します。 + +一般的には `relativeScoreFusion` が良い選択肢であることが多いため、デフォルトになっています。 + +主な理由は、`relativeScoreFusion` が元の検索スコアからより多くの情報を保持するのに対し、`rankedFusion` は順位のみを保持する点です。ベクトル検索とキーワード検索で得られる微妙な違いは、`relativeScoreFusion` の方がランキングに反映されやすいと考えられます。 + +以下に 2 つの融合戦略の具体例を示します。 + +### 融合例 + +検索により **5 件**のオブジェクトが返され、それぞれ **ドキュメント ID**（0 ～ 4）と **キーワード検索スコア**、**ベクトル検索スコア**が **スコア順** に並んでいるとします。 + +
+
+
+#### ランクベース融合
+
+スコアは各結果の順位に依存し、`1/(RANK + 60)` で計算されます。
+
+
+
+
+ご覧のとおり、スコアがどれだけ異なっていても、同じ順位であれば結果は同一になります。
+
+#### 相対スコア融合
+
+相対スコア融合では、最大スコアを 1、最小スコアを 0 とし、**最大値**と**最小値**までの**相対距離**に応じてスコールします。
+
+
+
+
+この方法では、元のスコア分布が反映されます。たとえば、ベクトル検索の上位 4 件のスコアはほぼ同一であり、正規化後もその関係は維持されています。
+
+#### 比較
+
+ベクトル検索では上位 4 件（ID 2, 4, 0, 1）のスコアがほぼ同じで、いずれも良好な結果でした。一方、キーワード検索では 1 件（ID 1）が他より大きな差をつけて優れていました。
+
+`relativeScoreFusion` の最終結果では、ID 1 がトップになりました。これは、キーワード検索で大きく抜きん出ており、ベクトル検索でも上位グループに入っていたため妥当です。
+
+対して `rankedFusion` では、ID 2 がトップで、ID 1 と ID 0 が僅差で続きます。
+
+### Alpha パラメーター
+
+alpha 値は、最終的なハイブリッド検索結果におけるベクトル検索の重みを決定します。alpha は 0 から 1 の範囲で指定します。
+
+- `alpha = 0.5`（デフォルト）: 両検索に同等の重み
+- `alpha > 0.5`: ベクトル検索により重み付け
+- `alpha < 0.5`: キーワード検索により重み付け
+
+## 検索しきい値
+
+ハイブリッド検索では `max vector distance` パラメーターで最大ベクトル距離のしきい値を設定できます。
+
+このしきい値はハイブリッド検索のベクトル検索部分のみに適用され、たとえキーワード検索スコアが高くても、ベクトル空間で類似度が低すぎる結果を除外できます。
+
+たとえば `0.3` を指定すると、ベクトル距離が `0.3` を超えるオブジェクトはハイブリッド検索結果から除外されます。
+
+これにより、セマンティック類似度が一定基準以上であることを保証しつつ、キーワード一致の利点も享受できます。
+
+キーワード（BM25）部分や最終結合スコアには同等のしきい値パラメーターはありません。
+
+これは、BM25 スコアがベクトル距離のように正規化・制約されておらず、一般的なしきい値を設定しても意味が薄いためです。
+## キーワード (BM25) 検索パラメーター
+
+Weaviate のハイブリッド検索では、キーワード (BM25) 検索で利用できるすべてのパラメーターを使用できます。これには、たとえばトークン化方式、ストップワード、BM25 パラメーター (k1、b)、検索演算子 ( `and` または `or` )、検索対象とする特定のプロパティや、特定のプロパティをブーストする機能などが含まれます。
+
+これらのパラメーターの詳細については、[キーワード検索のページ](./keyword-search.md) をご覧ください。
+
+## さらなるリソース
+
+- [How-to: Search](../../search/index.mdx)
+- [How-to: Hybrid search](../../search/hybrid.md)
+- [Blog: A deep dive into Weaviate's fusion algorithms](https://weaviate.io/blog/hybrid-search-fusion-algorithms)
+
+## ご質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+
[Search](#retrieval-search): [キーワード](#keyword-search)・[ベクトル](#vector-search)・[ハイブリッド](#hybrid-search) のいずれかの検索タイプで最も関連性の高いエントリーを見つける | 必須 | +| 2. [Rerank](#rerank) | 別の (より複雑な) モデルで結果を再順位付けする | 任意 | +| 3. [Retrieval augmented generation](#retrieval-augmented-generation-rag) | 取得したデータとプロンプトを生成系 AI モデルへ送信する。検索拡張生成 (RAG) とも呼ばれる | 任意 | + +
+
+```mermaid
+flowchart LR
+ %% Node definitions
+ Query[/"🔍 Query"/]
+ Filter["Filter"]
+ Key["Keyword Search
(BM25F)"] + Vec["Vector Search
(Embeddings)"] + Hyb["Hybrid Search
(Combined)"] + Rerank["Rerank
(Optional)"] + RAG["RAG
(Optional)"] + Results[/"📊 Results"/] + + %% Main flow grouping + subgraph retrieval ["Retrieval"] + direction LR + Filter + search + end + + subgraph search ["Search"] + direction LR + Key + Vec + Hyb + end + + %% Connections + Query --> retrieval + Filter --> search + retrieval --> Results + retrieval --> Rerank + Rerank --> RAG + RAG --> Results + + %% Node styles + style Query fill:#ffffff,stroke:#B9C8DF,color:#130C49 + style Filter fill:#ffffff,stroke:#B9C8DF,color:#130C49 + style Key fill:#ffffff,stroke:#B9C8DF,color:#130C49 + style Vec fill:#ffffff,stroke:#B9C8DF,color:#130C49 + style Hyb fill:#ffffff,stroke:#B9C8DF,color:#130C49 + style Rerank fill:#ffffff,stroke:#B9C8DF,color:#130C49 + style RAG fill:#ffffff,stroke:#B9C8DF,color:#130C49 + style Results fill:#ffffff,stroke:#B9C8DF,color:#130C49 + + %% Subgraph styles + style retrieval fill:#ffffff,stroke:#130C49,stroke-width:2px,color:#130C49 + style search fill:#ffffff,stroke:#7AD6EB,stroke-width:2px,color:#130C49 +``` + +
+
+各ステップの概要は次のとおりです。
+
+### リトリーバル: フィルター
+
+:::info In one sentence
+ フィルターは、特定の条件に基づいてオブジェクト数を減らします。
+:::
+
+フィルターは以下のような条件でオブジェクトを絞り込みます。
+
+- テキスト一致
+- 数値しきい値
+- 日付範囲
+- カテゴリ値
+- 地理的位置
+
+フィルタリングを適切に行うことで検索結果の関連性を大幅に高められます。これは、フィルターが厳密な条件で結果セットを正確に絞り込めるためです。
+
+:::info How do filters interact with searches?
+Weaviate では [プリフィルタリング](../filtering.md) を採用しており、検索より前にフィルターが実行されます。
+
+ +これにより、検索結果がフィルター条件と重なり合い、適切なオブジェクトが取得されます。 +::: + +
+ +検索ではクエリとの関連度に基づいて結果が **順位付け** されます。 +::: + +それでは各検索タイプを詳しく見ていきましょう。 + +#### キーワード検索 + +キーワード検索では、キーワード一致の「スコア」に基づいて結果を順位付けします。このスコアは、クエリ内のトークンが各データオブジェクトにどの程度含まれているかによって算出され、これらの指標を BM25 アルゴリズムで組み合わせて最終スコアを生成します。 + +
+ +Weaviate ではキーワード検索のスコア計算に BM25F を使用しているため、両者は同義で扱われます。本ドキュメントでは一般に BM25 と呼びます。 +::: + + BM25 スコアは、オブジェクトのプロパティにおけるクエリトークンの出現頻度、およびオブジェクトプロパティとクエリの長さに基づいて計算されます。 + +たとえば `"A red Nike shoe"` のような入力文字列がクエリとして与えられた場合、 Weaviate は以下を行います。 + +1. 入力を [トークン化](#トークン化) する（例: `["a", "red", "nike", "shoe"]`） +2. [ストップワード](#ストップワード) を除去する（例: `a` を除き `["red", "nike", "shoe"]` となる） +3. [BM25 パラメータ](#bm25-パラメータ) と [プロパティブースト](#プロパティ-ブースト) を考慮し、データベースオブジェクトの [選択プロパティ](#選択プロパティ) に対して BM25 スコアを算出する +4. BM25 スコアが最も高いオブジェクトを検索結果として返す + +### トークン化 + +キーワード検索におけるトークン化とは、各ソーステキストを比較・一致させるために個々の「トークン」へ分割する方法を指します。 + +デフォルトのトークン化方法は `word` です。 + +`whitespace`、`lowercase`、`field` などの他のトークン化方法に加え、他言語向けの `GSE` や `kagome_kr` なども利用できます（[詳細](../../config-refs/collections.mdx#tokenization)）。 + +トークン化オプションはコレクションの [転置インデックス設定](../../search/bm25.md#set-tokenization) で指定します。 + +:::info 異なる文脈でのトークン化 +「トークン化」という用語は、ベクトル化や言語生成などの文脈でも使用されます。これらはそれぞれ異なる要件を満たすため通常異なるトークナイザーを使用するため、同じ入力テキストからでも異なるトークン集合が生成されます。 +::: + +### ストップワード + +ストップワードとは、テキスト処理前に除外される単語です。 + +Weaviate は BM25 スコア計算時に設定可能なストップワードを使用します。ストップワードリストに含まれるトークンは BM25 スコア計算から除外されます。 + +詳細は [リファレンスページ](../../config-refs/indexing/inverted-index.mdx#stopwords) を参照してください。 + +### BM25 パラメータ + + BM25 は、クエリ語が出現するドキュメントをランク付けするためのスコアリング関数で、挙動を制御する 2 つの主要パラメータがあります。 + +- `k1` （デフォルト: 1.2）: term frequency の飽和を制御します。値が大きいほど、語が複数回出現した際にスコアがより増加します +- `b` （デフォルト: 0.75）: ドキュメント長の正規化を制御します。1 に近いほどドキュメント長の正規化が強くなります + +```mermaid +%%{init: { + 'theme': 'base', + 'themeVariables': { + 'primaryColor': '#4a5568', + 'primaryTextColor': '#2d3748', + 'primaryBorderColor': '#718096', + 'lineColor': '#718096', + 'secondaryColor': '#f7fafc', + 'tertiaryColor': '#edf2f7', + 'fontFamily': 'Inter, system-ui, sans-serif', + 'fontSize': '14px', + 'lineHeight': '1.4', + 'nodeBorder': '1px', + 'mainBkg': '#ffffff', + 'clusterBkg': '#f8fafc' + } +}}%% + +flowchart LR + %% Style definitions + classDef systemBox fill:#f8fafc,stroke:#3182ce,stroke-width:1.5px,color:#2d3748,font-weight:bold + classDef processBox fill:#f8fafc,stroke:gray,stroke-width:0.5px,color:#2d3748,font-weight:bold + classDef component fill:white,stroke:#a0aec0,stroke-width:1px,color:#2d3748 + classDef paramBox fill:white,stroke:#3182ce,stroke-width:1px,color:#2d3748 + + %% Main flow + query["🔍 Query Text"] --> tokenize["⚡ Tokenization"] + tokenize --> stopwords["🚫 Stopword
Removal"] + stopwords --> scoring["📊 BM25
Scoring"] + + %% Parameters section + subgraph params["Parameter Configuration"] + direction TB + k1["k1: Term Frequency
Saturation Control"] + b["b: Document Length
Normalization"] + end + + params --> scoring + scoring --> results["📑 Ranked
Results"] + + %% Apply styles + class query,tokenize,stopwords,scoring,results component + class params processBox + class k1,b paramBox + + %% Linkstyle for curved edges + linkStyle default stroke:#718096,stroke-width:3px,fill:none,background-color:white +``` + +コレクション単位でカスタム `k1` と `b` を設定できます（[設定方法](../../manage-collections/collection-operations.mdx#set-inverted-index-parameters)）。 + + + +### キーワード検索オペレーター + +:::info `v1.31` で追加 +::: + +検索オペレーターは、オブジェクトが返されるために含まれていなければならないクエリ [トークン](../../search/bm25.md#set-tokenization) の最小数を定義します。 + +概念的には、 BM25 スコア計算結果にフィルターを適用するように動作します。使用可能なオペレーターは次のとおりです。 +- `and` : すべてのトークンがオブジェクトに存在する必要があります +- `or` : 少なくとも 1 つのトークンがオブジェクトに存在する必要があります。最小トークン数は `minimumOrTokensMatch` で設定可能です + +例として、`computer networking guide` という BM25 クエリを `and` オペレーターで実行した場合、`computer`、`networking`、`guide` のすべてのトークンを含むオブジェクトのみが返されます。対して、同じクエリを `or` オペレーターで実行すると、これらのトークンのうち少なくとも 1 つを含むオブジェクトが返されます。`or` オペレーターを `minimumOrTokensMatch` が `2` の設定で使用すると、少なくとも 2 つのトークンがオブジェクトに存在する必要があります。 + +指定がない場合、デフォルトのオペレーターは `or` で `minimumOrTokensMatch` は `1` です。つまり、オブジェクトが返されるには、少なくとも 1 つのトークンが存在する必要があります。 + +import BM25OperatorsLight from '../img/bm25_operators_light.png'; +import BM25OperatorsDark from '../img/bm25_operators_dark.png'; + +
Local model"] + end + + %% Weaviate section + subgraph weaviate["Weaviate"] + vectorizer["🔌 Model provider
integration"] + core["💾 Data &
vector store"] + end + + %% User System + subgraph user["🖥️ User System"] + data["📄 Data"] + end + + %% Connections with curved edges + data --->|"1\. Insert objects
(no vector)"| core + core --->|"2\. Request
vector"| vectorizer + vectorizer --->|"3\. Request
vector"| inference + inference --->|"4\. Vector"| vectorizer + vectorizer --->|"5\. Vector"| core + + %% Apply styles + class user systemBox + class weaviate weaviateBox + class cloud cloudBox + class provider providerBox + class data,core,vectorizer,inference component + + %% Linkstyle for curved edges + linkStyle default stroke:#718096,stroke-width:3px,fill:none,background-color:white +``` + +この統合により、ベクトル生成プロセスがユーザーから抽象化され、ユーザーはベクトル生成を意識せずにアプリケーションの開発や検索に集中できます。 + +:::info ベクトライザー設定は不変です + +一度設定すると、コレクションのベクトライザーは変更できません。これにより、ベクトルが一貫して生成され、互換性が保たれます。ベクトライザーを変更する必要がある場合は、目的のベクトライザーで新しいコレクションを作成し、[データを新しいコレクションへ移行](../../manage-collections/migrate.mdx)してください。 + +::: + +#### ベクトライザー設定時の手動ベクトル + +コレクションにベクトライザー モデルが設定されていても、オブジェクト登録やクエリ実行時にユーザーがベクトルを直接提供することが可能です。この場合、 Weaviate は新しいベクトルを生成せず、提供されたベクトルを使用します。 + +これは、同じモデルで既にベクトルを生成済みの場合（他システムからのインポートなど）に便利です。既存ベクトルを再利用することで、時間とリソースを節約できます。 + +### 独自ベクトルの持ち込み + +オブジェクトを登録する際に、ユーザーがベクトルを直接 Weaviate にアップロードできます。既にモデルでベクトルを生成している場合や、 Weaviate と統合されていない特定のベクトライザー モデルを使用したい場合に有用です。 + +```mermaid +%%{init: { + 'theme': 'base', + 'themeVariables': { + 'primaryColor': '#4a5568', + 'primaryTextColor': '#2d3748', + 'primaryBorderColor': '#718096', + 'lineColor': '#718096', + 'secondaryColor': '#f7fafc', + 'tertiaryColor': '#edf2f7', + 'fontFamily': 'Inter, system-ui, sans-serif', + 'fontSize': '14px', + 'lineHeight': '1.4', + 'nodeBorder': '1px', + 'mainBkg': '#ffffff', + 'clusterBkg': '#f8fafc' + } +}}%% + +flowchart LR + %% Style definitions + classDef systemBox fill:#f8fafc,stroke:#3182ce,stroke-width:1.5px,color:#2d3748,font-weight:bold + classDef weaviateBox fill:#f8fafc,stroke:gray,stroke-width:0.5px,color:#2d3748,font-weight:bold + classDef component fill:white,stroke:#a0aec0,stroke-width:1px,color:#2d3748 + classDef edgeLabel fill:white,stroke:#e2e8f0,stroke-width:1px,color:#4a5568 + + %% Weaviate section + subgraph weaviate["Weaviate"] + core["💾 Data &
vector store"] + end + + %% User System + subgraph user["🖥️ User System"] + data["📄 Data"] + end + + %% Connections with curved edges + data --->|"1\. Insert objects
(with vectors)"| core + + %% Apply styles + class user systemBox + class weaviate weaviateBox + class cloud cloudBox + class provider providerBox + class data,core,vectorizer,inference component + + %% Linkstyle for curved edges + linkStyle default stroke:#718096,stroke-width:3px,fill:none,background-color:white +``` + +このワークフローでは、ユーザーは任意のベクトライザー モデルやプロセスを Weaviate とは独立して使用できます。 + +独自モデルを使用する場合、ベクトライザー設定で `none` を明示的に指定し、誤って互換性のないベクトルを生成しないようにすることを推奨します。 + +### 名前付きベクトル + +:::info Added in `v1.24` +::: + +コレクションは設定により、各オブジェクトを複数のベクトル埋め込みで表現できます。 + +それぞれのベクトルは互いに独立したベクトル空間として機能し、「名前付きベクトル」と呼ばれます。 + +名前付きベクトルは、[ベクトライザーモデル統合](#model-provider-integration)で設定することも、「[独自ベクトルの持ち込み](#bring-your-own-vector)」で提供することも可能です。 + +## クエリ ベクトル + + Weaviate では、次の方法でクエリ ベクトルを指定できます。 + +- クエリ ベクトル（ `nearVector` ） +- クエリ オブジェクト（ `nearObject` ） +- クエリ テキスト（ `nearText` ） +- クエリ メディア（ `nearImage` または `nearVideo` ） + +いずれの場合も、クエリと保存済みオブジェクトのベクトルを基に、最も類似したオブジェクトが返されます。ただし、 Weaviate にクエリ ベクトルをどのように渡すかが異なります。 + +### `nearVector` + +`nearVector` クエリでは、ユーザーがベクトルを直接 Weaviate に渡します。このベクトルと保存済みオブジェクトのベクトルを比較して、最も類似したオブジェクトを検索します。 + +### `nearObject` + +`nearObject` クエリでは、ユーザーがオブジェクト ID を Weaviate に渡します。 Weaviate はそのオブジェクトのベクトルを取得し、保存済みオブジェクトのベクトルと比較して最も類似したオブジェクトを検索します。 + +### `nearText`（および `nearImage`、`nearVideo`） + +`nearText` クエリでは、ユーザーがテキストを Weaviate に渡します。 Weaviate は指定されたベクトライザー モデルを使用してテキストのベクトルを生成し、保存済みオブジェクトのベクトルと比較して最も類似したオブジェクトを検索します。 + +そのため、 `nearText` クエリはベクトライザー モデルが設定されているコレクションでのみ利用できます。 + +`nearImage` や `nearVideo` クエリも `nearText` と同様ですが、テキストの代わりに画像や動画を入力します。 + +## マルチターゲット ベクトル検索 + +:::info Added in `v1.26` +::: + +マルチターゲット ベクトル検索では、 Weaviate が複数のシングルターゲット ベクトル検索を同時に実行します。 + +これらの検索は、それぞれベクトル距離スコアを持つ複数の結果セットを生成します。 + + Weaviate は、["結合戦略"]( #available-join-strategies )を用いてこれらの結果セットを結合し、各結果の最終スコアを算出します。 + +オブジェクトがいずれかのターゲット ベクトルで検索リミットまたは距離しきい値内に入る場合、そのオブジェクトは検索結果に含まれます。 + +オブジェクトが選択されたターゲット ベクトルのいずれについてもベクトルを含まない場合、 Weaviate はそのオブジェクトを無視し、検索結果に含めません。 + +### 利用可能な結合戦略 + +- **minimum** (*default*) すべてのベクトル距離の最小値を使用します。 +- **sum** ベクトル距離の合計を使用します。 +- **average** ベクトル距離の平均を使用します。 +- **manual weights** 各ターゲット ベクトルに指定された重みを掛けた距離の合計を使用します。 +- **relative score** 各ターゲット ベクトルに指定された重みを掛けた正規化距離の合計を使用します。 +## ベクトルインデックスと検索 + +Weaviate は ベクトル検索 を効率化するために ベクトルインデックス を使用します。ほかの種類のインデックスと同様に、ベクトルインデックス は ベクトル埋め込み を高速に取得できるよう整理しつつ、検索品質（例: リコール）、スループット、メモリなどのリソース使用を最適化します。 + +Weaviate では `hnsw`、`flat`、`dynamic` など、複数種類の ベクトルインデックス を利用できます。 + +各 [コレクション](../data.md#collections) や [テナント](../data.md#multi-tenancy) は、それぞれ独自の ベクトルインデックス を持ちます。さらに、各コレクションまたはテナントは、異なる設定を持つ [複数の ベクトルインデックス](../data.md#multiple-vector-embeddings-named-vectors) を併用できます。 + +:::info +詳しくは次をご覧ください: +- [コレクション](../data.md#collections) +- [マルチテナンシー](../data.md#multi-tenancy) +- [ベクトルインデックス](../indexing/vector-index.md) +- [複数の名前付きベクトル](../data.md#multiple-vector-embeddings-named-vectors) +::: + +### 距離指標 + +ベクトル間の距離を測定する方法には、コサイン距離、ドット積、ユークリッド距離など多くの種類があります。Weaviate は、[距離指標](../../config-refs/distances.md) ページに記載されているさまざまな距離指標をサポートします。各 ベクトライザー モデルは特定の距離指標で学習されているため、検索時にも同じ距離指標を使用することが重要です。 + +Weaviate では、一般的な距離指標である コサイン距離 がデフォルトで使用されます。 + +:::tip Distance vs Similarity +「距離」では値が小さいほどベクトル同士が近く、「類似度」または「確信度」では値が大きいほど近くなります。コサイン距離のように、距離を類似度として表現できる指標もあれば、ユークリッド距離のように距離でしか表現できない指標もあります。 +::: + +## 注意事項とベストプラクティス + +互換性のあるベクトルは、程度の差こそあれ必ず何らかの類似性を持っています。 + +これには次の 2 つの影響があります。 + +1. 関連性に関係なく、常に「トップ」の検索結果が存在します。 +2. データセット全体が常に返されます。 + +たとえば、「Red」「Crimson」「LightCoral」という色のベクトルが保存されたデータベースに対して、「SkyBlue」のクエリベクトルで検索すると、たとえ意味的に近くなくても最も近い結果（例: 「Red」）が返ってきます。検索は絶対的に良い一致かどうかではなく、あくまで最も近い一致を返すためです。 + +そのため、Weaviate では検索結果を制限する複数の方法を提供しています。 + +- **Limit**: 返却する最大件数を指定します。 + - 指定しない場合、システム既定の [`QUERY_DEFAULTS_LIMIT`](/deploy/configuration/env-vars/index.md#general) である 10 が使用されます。 +- **AutoCut**: ベクトル距離や検索スコアなどの結果メトリクスの不連続性を基に結果を制限します。 +- **Threshold**: 最小類似度（例: コサイン距離の最大値）を指定します。 +- **フィルターを適用**: メタデータやプロパティなど、他の条件に基づいて結果を除外するために [フィルター](../filtering.md) を使用します。 + +これらの方法を組み合わせて、ユーザーにとって意味があり関連性の高い検索結果を提供してください。 + +一般的には、まず `limit` でユーザーに提示する最大件数を設定し、`threshold` を調整して無関係な結果が返りにくいようにします。 + +これにより、指定した件数（`limit`）まで、かつ指定した類似度（`threshold`）以上の結果のみが返されます。 + +### 参考リソース + +- [How-to: Search](../../search/index.mdx) +- [How-to: Vector similarity search](../../search/similarity.md) + +## 質問とフィードバック + +import DocsFeedback from '/_includes/docs-feedback.mdx'; + +
+ブログ記事「[How to Reduce Memory Requirements by up to 90%+ using Product Quantization](https://weaviate.io/blog/pq-rescoring)」も参考になります。 +::: + +## バイナリ量子化 + +**Binary quantization (BQ)** は各ベクトル埋め込みをバイナリ表現へ変換する量子化手法です。通常 1 次元あたり 32 ビットを要しますが、バイナリ表現では 1 ビットで済むため、ストレージ要求を 32 倍削減できます。その結果、ディスクから読み込むデータ量が減少し、距離計算も簡素化されるため検索速度が向上します。 + +代償として BQ はロスの大きい手法です。バイナリ表現では情報が大幅に失われるため、距離計算の精度は元のベクトル埋め込みより低下します。 + +ベクトライザーによって BQ との相性は異なります。経験的には Cohere の V3 モデル（例: `embed-multilingual-v3.0`、`embed-english-v3.0`）や OpenAI の `ada-002` モデルで良好なリコールを確認しています。ご自身のデータとベクトライザーでテストし、適合性をご判断ください。 + +BQ を有効にするとベクトル キャッシュを用いたクエリ性能向上が可能です。キャッシュは量子化済みベクトルのディスク読み込みを減らして検索を高速化しますが、各ベクトルが `n_dimensions` ビットを占有するためメモリ使用量とのバランスが必要です。 + +## スカラー量子化 + +**Scalar quantization (SQ)** では、ベクトル埋め込みの各次元を 32 ビット float から 8 ビット整数へ変換します。これによりサイズを 4 倍圧縮できます。 + +SQ も BQ と同様にロスのある圧縮ですが、表現範囲が大きく、精度が高い点が特徴です。データを分析して値域を決定し、その範囲を 256 個（8 ビット）のバケットに一様分割します。各次元の値は該当バケットの番号（8 ビット整数）で表現されます。 + +トレーニング セットのサイズは設定可能で、既定はシャードあたり 100 000 件です。 + +SQ が有効な場合、Weaviate は圧縮結果を多めに取得してからオリジナルの非圧縮ベクトルで再スコアリングし、リコールを向上させます。再検索は対象が少数のため高速です。 + +## 回転量子化 + +:::caution Technical preview + +Rotational quantization (RQ) は **`v1.32`** で **技術プレビュー** として追加されました。
+今後のリリースで仕様変更や破壊的変更が発生する可能性があります。 +**本番環境での使用は現時点では推奨していません。** + +::: + +**Rotational quantization (RQ)** はトレーニング不要の 8 ビット量子化手法で、4 倍の圧縮率を保ちつつ多くのデータセットで 98–99 % のリコールを維持します。RQ はインデックス作成時にすぐ有効化でき、以下 2 ステップで動作します。 + +1. **高速疑似乱数回転**: 入力ベクトルに Walsh Hadamard Transform を利用した高速回転を適用します。1 536 次元ベクトルで約 7–10 µs です。出力次元は 64 の倍数へ切り上げられます。 +2. **スカラー量子化**: 回転後の各エントリを 8 ビット整数に量子化します。各ベクトル個別の最小値と最大値が量子化区間を決定します。 + +回転ステップにより量子化区間が短縮され誤差が減少し、距離情報が均等に分散されます。 + +なお、次元数が 64 未満または 128 未満の低次元データでは、64 の倍数へ切り上げるため圧縮効率が最適でない可能性があります。 + +本実装は extended RaBitQ に着想を得ていますが、パフォーマンス上の理由で大きく異なります。真の乱数回転ではなく高速疑似乱数回転を用い、RaBitQ の符号化ではなくスカラー量子化を採用しています（ビット数が多い場合 RaBitQ は非常に遅くなるため）。 + +:::tip +Weaviate での回転量子化の設定方法は [こちら](../configuration/compression/rq-compression.md) をご覧ください。 +::: + +## 過剰フェッチ / リスコアリング + +Weaviate は、 SQ、 RQ、 BQ を使用する場合に結果を過剰フェッチし、その後でリスコアリングを行います。これは、圧縮された ベクトル での距離計算が、元の ベクトル 埋め込みでの計算ほど正確ではないためです。 + +クエリを実行すると、 Weaviate はクエリの limit を設定可能な `rescoreLimit` パラメーターと比較します。 + +クエリは、いずれか大きいほうの上限に達するまで圧縮オブジェクトを取得します。その後、 Weaviate は圧縮 ベクトル に対応する元の非圧縮 ベクトル 埋め込みを取得し、それらを使ってクエリ距離スコアを再計算します。 + +たとえば、 limit が 10、 rescoreLimit が 200 のクエリの場合、 Weaviate は 200 件のオブジェクトを取得します。リスコアリング後、クエリは上位 10 件のオブジェクトを返します。このプロセスにより、圧縮によって発生する検索品質（リコール）の低下が補正されます。 + +:::note RQ 最適化 +RQ のネイティブリコールは 98〜99% と高いため、多くの場合リスコアリングを無効化（ `rescoreLimit` を 0 に設定）しても、検索品質への影響を最小限に抑えながらクエリ性能を最大化できます。 +::: + +## ベクトルインデックスを用いたベクトル圧縮 + +### HNSW インデックスとの併用 + +[HNSW インデックス](./indexing/vector-index.md#hierarchical-navigable-small-world-hnsw-index) は、 [PQ](#product-quantization)、 [SQ](#scalar-quantization)、 [RQ](#rotational-quantization)、 [BQ](#binary-quantization) を使用して構成できます。HNSW はメモリ内インデックスであるため、圧縮によってメモリ使用量を削減したり、同じメモリ量でより多くのデータを保存したりできます。 + +:::tip +当社ブログ記事 [HNSW+PQ - Exploring ANN algorithms Part 2.1](https://weaviate.io/blog/ann-algorithms-hnsw-pq) もぜひご覧ください。 +::: + +### フラットインデックスとの併用 + +[BQ](#binary-quantization) は [フラットインデックス](./indexing/inverted-index.md) を使用できます。フラットインデックス検索はディスクから読み込むため、圧縮によって読み込むデータ量が減り、検索が高速化されます。 + +## リスコアリング + +量子化では情報の精度が下がるため、必然的に情報損失が発生します。これを軽減するために、 Weaviate はリスコアリングと呼ばれる手法を用います。圧縮 ベクトル とともに保存されている非圧縮 ベクトル を使用し、初回検索で返された候補の元の ベクトル 間の距離を再計算します。これにより、最も正確な結果がユーザーに返されます。 + +場合によっては、リスコアリングが過剰フェッチも伴い、初回検索で上位候補が欠落しないよう追加の候補を取得します。 + +## 参考リソース + +:::info Related pages +- [概念: インデックス化](./indexing/index.md) +- [概念: ベクトルインデックス](./indexing/vector-index.md) +- [設定: ベクトルインデックス](../config-refs/indexing/vector-index.mdx) +- [設定: スキーマ（意味インデックスの設定）](../config-refs/indexing/vector-index.mdx#configure-semantic-indexing) +- [設定方法: バイナリ量子化（圧縮）](../configuration/compression/bq-compression.md) +- [設定方法: 直積量子化（圧縮）](../configuration/compression/pq-compression.md) +- [設定方法: スカラー量子化（圧縮）](../configuration/compression/sq-compression.md) +- [設定方法: 回転量子化（圧縮）](../configuration/compression/rq-compression.md) +- [Weaviate Academy: 250 Vector Compression](../../academy/py/compression/index.md) +::: + +## 質問とフィードバック + +import DocsFeedback from '/_includes/docs-feedback.mdx'; + +
+
+
+
+
+
+:::tip 追加リソース
+
+さらなるコード例や設定ガイドについては、[How-to: Manage collections](../manage-collections/index.mdx) セクションをご覧ください。
+
+:::
+
+#### `class`
+
+`class` はコレクションの名前です。
+
+コレクション名は大文字で始めます。大文字で始めることで、プロパティ値として使用される際にプリミティブデータ型との区別がつきます。
+
+`dataType` プロパティを使用した次の例をご覧ください。
+
+- `dataType: ["text"]` は `text` データ型です。
+- `dataType: ["Text"]` は `Text` という名前のコレクションへのクロスリファレンス型です。
+
+最初の文字以降には、GraphQL 互換の任意の文字を使用できます。
+
+コレクション名を検証する正規表現は `/^[A-Z][_0-9A-Za-z]*$/` です。
+
+import InitialCaps from "/_includes/schemas/initial-capitalization.md";
+
+
+
+
+
+
+
+:::tip さらなるリソース
+
+より多くのコード例や設定ガイドについては、[How-to: Manage collections](../manage-collections/index.mdx) セクションをご覧ください。
+
+:::
+
+#### `name`
+
+プロパティ名には次の文字を使用できます: `/[_A-Za-z][_0-9A-Za-z]*/`。
+
+##### 予約語
+
+以下の単語は予約語のため、プロパティ名として使用できません。
+
+- `_additional`
+- `id`
+- `_id`
+
+さらに、将来的に予約語と衝突する可能性があるため、次の単語もプロパティ名として使用しないことを強く推奨します。
+
+- `vector`
+- `_vector`
+
+#### `tokenization`
+
+`text` データのトークン化および転置インデックスへの登録方法をカスタマイズできます。トークン化は、[`bm25`](../api/graphql/search-operators.md#bm25) や [`hybrid`](../api/graphql/search-operators.md#hybrid) オペレーター、[`where` フィルター](../api/graphql/filters.md) の結果に影響します。
+
+トークン化は `text` プロパティに対するプロパティレベルの設定です。[クライアントライブラリでトークン化オプションを設定する方法はこちら](../manage-collections/vector-config.mdx#property-level-settings)
+
+.vectorizer` | Object | この名前付きベクトル用のベクトライザー設定（例: `{"text2vec-openai": {"properties": ["title"]}}`） | (Required) | No |
+| [↪ `vectorConfig..vectorIndexType`](./indexing/vector-index.mdx) | String | この名前付きベクトルのインデックスタイプ | `hnsw` | No |
+| [↪ `vectorConfig..vectorIndexConfig`](./indexing/vector-index.mdx) | Object | この名前付きベクトルのインデックス設定 | Index-specific defaults | Partially\* |
+
+\* [ベクトルインデックスの変更可能なパラメーター](./indexing/vector-index.mdx) を参照してください
+\*\* コレクション作成後に[新しい名前付きベクトルを追加](../manage-collections/vector-config.mdx#add-new-named-vectors)できます
+
+#### シングルベクトルコレクション
+
+コレクション定義で [名前付きベクトル](#named-vectors) を明示的に定義しない場合、 Weaviate は自動的に _シングルベクトル_ コレクションを作成します。これらのベクトルは内部的に `default` という名前付きベクトル（予約済みのベクトル名）の下に保存されます。
+
+どのプロパティがベクトル化されるかを確認するには、[セマンティックインデックスの設定](./indexing/vector-index.mdx#configure-semantic-indexing) のセクションをご覧ください。
+
+##### コード例 - シングルベクトルコレクションの作成方法
+
+以下のコード例は、クライアントライブラリを介してシングルベクトルコレクションのベクトライザーパラメーターを設定する方法を示しています。
+
+
+
+
+
+
+
+
+
+
+
+
+:::tip 追加リソース
+
+より多くのコード例と設定ガイドについては、[How-to: Vectorizer and vector index config](../manage-collections/vector-config.mdx) ガイドをご覧ください。
+
+:::
+
+#### 複数ベクトル埋め込み（名前付きベクトル） {#named-vectors}
+
+import MultiVectorSupport from "/_includes/multi-vector-support.mdx";
+
+
+
+
+
+
+
+
+
+
+
+
+:::tip 追加リソース
+
+より多くのコード例と設定ガイドについては、[How-to: Vectorizer and vector index config](../manage-collections/vector-config.mdx) ガイドをご覧ください。
+
+:::
+
+---
+
+### モジュール設定
+
+`moduleConfig` パラメーターでは、ベクトライザーがベクトル計算時にコレクション名を含めるか除外するかを指定できます（デフォルトは `true` です）。また、コレクション単位でリランカーおよび生成 [モデル プロバイダー](../model-providers/index.md) を指定する際にも使用されます。
+
+
+
+
+
+
+
+:::tip さらに学ぶ
+
+より多くのコード例や設定ガイドについては、[How-to: コレクションを管理する](../manage-collections/index.mdx) セクションをご覧ください。
+
+:::
+
+---
+
+### シャーディング
+
+シャーディングは、コレクション定義内の `shardingConfig` オブジェクトで設定します。これらのパラメーターはイミュータブルで、コレクション作成後に変更することはできません。
+
+| Parameter | Type | Description | Default | Mutable |
+| :-------------------- | :------ | :---------------------------------------------------------------------------------------------------------------------------------------------------------------- | :-------------- | :------ |
+| `desiredCount` | Integer | コレクションに対して希望する物理シャード数。この値がクラスタ ノード数より大きい場合、いくつかのノードが複数のシャードをホストします。 | Number of nodes | No |
+| `virtualPerPhysical` | Integer | 物理シャード 1 つあたりの仮想シャード数。仮想シャードはリバランス時のデータ移動を減らすのに役立ちます。 | `128` | No |
+| `strategy` | String | オブジェクトが属するシャードを決定する戦略。現在サポートされているのは `"hash"` のみです。ハッシュは `key` プロパティに基づきます。 | `"hash"` | No |
+| `key` | String | ターゲット シャード決定のためにハッシュに使用されるプロパティ。現時点ではオブジェクトの内部 UUID (`_id`) のみが利用できます。 | `"_id"` | No |
+| `function` | String | `key` に対して使用されるハッシュ関数。現在サポートされているのは `"murmur3"` のみで、64 ビット ハッシュを生成し、衝突は極めて起こりにくくなります。 | `"murmur3"` | No |
+| `actualCount` | Integer | **（読み取り専用）** 実際に作成された物理シャード数。作成時に問題が発生しない限り、通常は `desiredCount` と一致します。 | `1` | No |
+| `desiredVirtualCount` | Integer | **（読み取り専用）** `desiredCount * virtualPerPhysical` の計算値です。 | `128` | No |
+| `actualVirtualCount` | Integer | **（読み取り専用）** 実際に作成された仮想シャード数。 | `128` | No |
+
+
+
+
+
+
+
+:::tip さらに学ぶ
+
+より多くのコード例や設定ガイドについては、[How-to: コレクションを管理する](../manage-collections/index.mdx) セクションをご覧ください。
+
+:::
+
+---
+
+### マルチテナンシー
+
+マルチテナンシーを使用すると、単一のコレクション内でデータをテナントごとに分離できます。オブジェクトは特定のテナントにひも付けられるため、SaaS アプリケーションや厳格なデータ分割を必要とするシステムに便利です。
+
+:::note マルチテナンシーを使う理由
+
+各テナントごとにコレクションを作成する場合と比べて低コストでデータを分離できるため、テナント数が多い場合でもスケーラブルです。
+
+:::
+
+マルチテナンシーを有効にするには、`multiTenancyConfig` オブジェクトの `enabled` キーを `true` に設定します。このパラメーターはイミュータブルで、コレクション作成時にのみ設定できます。
+
+| パラメーター | 型 | 説明 | デフォルト | 変更可能 |
+| :----------- | :-- | :--- | :-------- | :------- |
+| `enabled` | Boolean | `true` にするとコレクションでマルチテナンシーを有効化します。 | `false` | No |
+| `autoTenantCreation` | Boolean | 存在しないテナントにオブジェクトを追加しようとした場合に新しいテナントを自動作成します。`v1.25` で追加 | `false` | Yes |
+| `autoTenantActivation` | Boolean | 検索・読み取り・更新・削除操作が行われた際に、`INACTIVE` または `OFFLOADED` のテナントを自動的にアクティブ化します。`v1.25.2` で追加 | `false` | Yes |
+
+#### コード例 - マルチテナンシーを設定する方法
+
+
+
+
+
+
+
+:::tip さらに学ぶ
+
+より多くのコード例と設定ガイドは、[How-to: Manage collections](../manage-collections/index.mdx) セクションをご覧ください。
+
+:::
+
+## 変更可能性
+
+コレクションを作成した後でも、一部のパラメーターは変更できます。イミュータブルなパラメーターを変更する必要がある場合は、データをエクスポートし、新しいコレクションを作成してからデータをインポートしてください。[コレクションエイリアス](../starter-guides/managing-collections/index.mdx#migration-workflow-with-collection-aliases) を使用すると、ダウンタイムなしで移行できます。
+
+
+これは、この機能が現在も開発中であり、将来のリリースで破壊的変更を含む変更が行われる可能性があることを意味します。 +**現時点では本番環境での使用は推奨していません。** + +::: + +コレクション エイリアスは、 Weaviate のコレクションに対して別名を割り当て、代替名でコレクションを参照できるようにする機能です。 + +Weaviate はエイリアスへのリクエストを自動的に対象コレクションへルーティングします。これにより、コレクション名が必要なあらゆる場面でエイリアスを使用できます。これには [コレクション管理](../manage-collections/index.mdx)、[クエリ](../search/index.mdx)、およびコレクション名を必要とするその他すべての操作が含まれますが、**例外** としてコレクションの削除は除きます。コレクションを削除するには、そのコレクション名を使用する必要があります。コレクションを削除しても、それを指すエイリアスが自動的に削除されることはありません。 + +エイリアス名は一意でなければならず（既存のコレクション名や他のエイリアスと重複できません）、複数のエイリアスを同じコレクションに割り当てることも可能です。コレクション エイリアスは、[クライアント ライブラリを通じてプログラム的に](../manage-collections/collection-aliases.mdx) またはREST エンドポイント を使用して設定できます。
+
+コレクション エイリアスを管理するには、対応する [`Collection aliases`](../configuration/rbac/index.mdx#available-permissions) 権限が必要です。エイリアスが参照する基盤となるコレクションを管理するには、そのコレクションに対する [`Collections`](../configuration/rbac/index.mdx#available-permissions) 権限も必要です。
+
+## 参考リソース
+
+- [スターター ガイド: コレクション定義](/weaviate/starter-guides/managing-collections)
+- [操作ガイド: コレクション管理](../manage-collections/index.mdx)
+- [概念: データ構造](/weaviate/concepts/data)
+-
+ REST API: コレクション定義（スキーマ）
+
+
+## 質問とフィードバック
+
+import DocsFeedback from "/_includes/docs-feedback.mdx";
+
+
+
+
+
+
+
+
+#### オブジェクト挿入
+
+
+
+
+
+
+
+
+## `boolean` / `int` / `number`
+
+`boolean`、`int`、`number` の各型は、それぞれブール値、整数、浮動小数点数を格納するために使用します。
+
+### 例
+
+import NumericalTypePy from '!!raw-loader!/\_includes/code/python/config-refs.datatypes.numerical.py';
+import NumericalTypeTs from '!!raw-loader!/\_includes/code/typescript/config-refs.datatypes.numerical.ts';
+
+#### プロパティ定義
+
+
+
+
+
+
+
+
+
+
+#### オブジェクト挿入
+
+
+
+
+
+
+
+
+### 注意: GraphQL と `int64`
+
+Weaviate は `int64` をサポートしていますが、GraphQL は現在 `int32` のみをサポートしており、`int64` には対応していません。つまり、Weaviate の _integer_ データフィールドに `int32` を超える値が格納されている場合、GraphQL クエリで返されません。この [issue](https://github.com/weaviate/weaviate/issues/1563) の解決に取り組んでいます。現時点での回避策としては、代わりに `string` を使用してください。
+
+## `date`
+
+Weaviate における `date` は、[RFC 3339](https://datatracker.ietf.org/doc/rfc3339/) の `date-time` 形式タイムスタンプで表されます。このタイムスタンプには時刻とオフセットが含まれます。
+
+例:
+
+- `"1985-04-12T23:20:50.52Z"`
+- `"1996-12-19T16:39:57-08:00"`
+- `"1937-01-01T12:00:27.87+00:20"`
+
+複数の日付を 1 つのエンティティとして追加する場合は、`date-time` 形式の文字列配列を使用します。例: `["1985-04-12T23:20:50.52Z", "1937-01-01T12:00:27.87+00:20"]`
+
+特定のクライアントライブラリでは、以下の例のようにネイティブ日付オブジェクトを使用できる場合があります。
+
+### 例
+
+import DateTypePy from '!!raw-loader!/\_includes/code/python/config-refs.datatypes.date.py';
+import DateTypeTs from '!!raw-loader!/\_includes/code/typescript/config-refs.datatypes.date.ts';
+
+#### プロパティ定義
+
+
+
+
+
+
+
+
+#### オブジェクト挿入
+
+
+
+
+
+
+
+
+## `uuid`
+
+専用の `uuid` および `uuid[]` データタイプは、[UUID](https://en.wikipedia.org/wiki/Universally_unique_identifier) を効率的に保存します。
+
+- 各 `uuid` は 128-bit (16-byte) の数値です。
+- フィルタリング用インデックスには Roaring Bitmap が使用されます。
+
+:::note 集計/ソートは現在利用できません
+現在、`uuid` および `uuid[]` 型で集計やソートを行うことはできません。
+:::
+
+### 例
+
+import UUIDTypePy from '!!raw-loader!/\_includes/code/python/config-refs.datatypes.uuid.py';
+import UUIDTypeTs from '!!raw-loader!/\_includes/code/typescript/config-refs.datatypes.uuid.ts';
+
+#### プロパティ定義
+
+
+
+
+
+
+
+
+#### オブジェクト挿入
+
+
+
+
+
+
+
+
+## `geoCoordinates`
+
+`geoCoordinates` は、クエリ地点から半径内にあるオブジェクトを検索するために使用できます。geo 座標の値は float として保存され、[ISO 規格](https://www.iso.org/standard/39242.html#:~:text=For%20computer%20data%20interchange%20of,minutes%2C%20seconds%20and%20decimal%20seconds) に従い [10 進度](https://en.wikipedia.org/wiki/Decimal_degrees) として処理されます。
+
+`geoCoordinates` プロパティを指定するには、`latitude` と `longitude` を浮動小数点形式の 10 進度で入力してください。
+
+
+
+### 例
+
+import GeoTypePy from '!!raw-loader!/\_includes/code/python/config-refs.datatypes.geocoordinates.py';
+import GeoTypeTs from '!!raw-loader!/\_includes/code/typescript/config-refs.datatypes.geocoordinates.ts';
+
+#### プロパティ定義
+
+
+
+
+
+
+
+
+#### オブジェクト挿入
+
+
+
+
+
+
+
+
+import GeoLimitations from '/\_includes/geo-limitations.mdx';
+
+
+
+
+
+
+
+
+#### オブジェクトの挿入
+
+
+
+
+
+
+
+
+## `blob`
+
+データタイプ `blob` は、任意のバイナリデータを受け付けます。データは `base64` でエンコードされ、 `string` として渡す必要があります。特徴は次のとおりです。
+
+- Weaviate は、エンコードされたデータの種類について一切の前提を置きません。モジュール（例: `img2vec`）は必要に応じてファイルヘッダーを調査できますが、Weaviate 自体は行いません。
+- 保存時には、データが `base64` デコードされるため、より効率的に保存されます。
+- 配信時には、データが `base64` エンコードされるため、 `json` として安全に提供できます。
+- ファイルサイズの上限はありません。
+- この `blob` フィールドは、設定に関わらず常に 転置インデックス からスキップされます。そのため、Weaviate GraphQL `where` フィルターでこの `blob` フィールドによる検索はできず、対応する `valueBlob` フィールドも存在しません。モジュールによっては、このフィールドをモジュール固有のフィルター（例: `img2vec-neural` フィルターの `nearImage`{}）で使用できます。
+
+
+
+To obtain the base64-encoded value of an image, you can run the following command - or use the helper methods in the Weaviate clients - to do so:
+
+```bash
+cat my_image.png | base64
+```
+
+
+
+### Examples
+
+import BlobTypePy from '!!raw-loader!/\_includes/code/python/config-refs.datatypes.blob.py';
+import BlobTypeTs from '!!raw-loader!/\_includes/code/typescript/config-refs.datatypes.blob.ts';
+
+#### Property definition
+
+
+
+
+
+
+
+
+#### オブジェクトの挿入
+
+
+
+
+
+
+
+
+## `object`
+
+:::info `v1.22` で追加
+:::
+
+`object` タイプを使用すると、任意の深さでネストできる JSON オブジェクトとしてデータを保存できます。
+
+たとえば、 `Person` コレクションに `address` プロパティを `object` として定義し、その中に `street` や `city` などのネストしたプロパティを含めることができます。
+
+:::note 制限事項
+現在、 `object` および `object[]` データタイプのプロパティは インデックス化 も ベクトル化 もされません。
+
+将来的には、ネストしたプロパティをインデックス化してフィルタリングやベクトル化を可能にする予定です。
+:::
+
+### Examples
+
+import ObjectTypePy from '!!raw-loader!/\_includes/code/python/config-refs.datatypes.object.py';
+import ObjectTypeTs from '!!raw-loader!/\_includes/code/typescript/config-refs.datatypes.object.ts';
+
+#### プロパティ定義
+
+
+
+
+
+
+
+
+#### オブジェクトの挿入
+
+
+
+
+
+
+
+
+
+
+
+## `cross-reference`
+
+import CrossReferencePerformanceNote from '/\_includes/cross-reference-performance-note.mdx';
+
+References: REST API: Schema
+
+## Questions and feedback
+
+import DocsFeedback from '/\_includes/docs-feedback.mdx';
+
+
下記の注 1 を参照 | `1 - cosine_sim(a,b)` | `0 <= d <= 2` | `0`: 同一のベクトル
`2`: 反対方向のベクトル | +| `dot` | ドット積に基づく距離の指標。
より正確には負のドット積。
下記の注 2 を参照 | `-dot(a,b)` | `-∞ < d < ∞` | `-3`: `-2` より類似
`2`: `5` より類似 | +| `l2-squared` | 2 つのベクトル間の二乗ユークリッド距離。 | `sum((a_i - b_i)^2)` | `0 <= d < ∞` | `0`: 同一のベクトル | +| `hamming` | 各次元でのベクトルの差の数。 |REST API: コレクション定義（スキーマ）
+- [概念: データ構造](../concepts/data.md)
+
+## 質問とフィードバック
+
+import DocsFeedback from '/\_includes/docs-feedback.mdx';
+
+
+
+ +:::info Deployment documentation + +セキュリティ、バックアップ、レプリケーション、クラスター情報、詳細設定などのデプロイ関連トピックについては、[デプロイメントドキュメント](/docs/deploy/configuration/index.mdx) を参照してください。 + +::: + diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/config-refs/indexing/inverted-index.mdx b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/config-refs/indexing/inverted-index.mdx new file mode 100644 index 000000000..008f52316 --- /dev/null +++ b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/config-refs/indexing/inverted-index.mdx @@ -0,0 +1,251 @@ +--- +title: 転置インデックス +description: Weaviate における転置インデックスのパラメーターリファレンスです。 +--- + +import SkipLink from "/src/components/SkipValidationLink"; +import Tabs from "@theme/Tabs"; +import TabItem from "@theme/TabItem"; +import FilteredTextBlock from "@site/src/components/Documentation/FilteredTextBlock"; +import PyCode from "!!raw-loader!/_includes/code/config-refs/reference.collections.py"; +import TSCode from "!!raw-loader!/_includes/code/howto/manage-data.collections.ts"; +import JavaCode from "!!raw-loader!/_includes/code/howto/java/src/test/java/io/weaviate/docs/manage-data.classes.java"; +import JavaReplicationCode from "!!raw-loader!/_includes/code/howto/java/src/test/java/io/weaviate/docs/manage-data.replication.java"; +import GoCode from "!!raw-loader!/_includes/code/howto/go/docs/manage-data.classes_test.go"; + +**[転置インデックス](../../concepts/indexing/inverted-index.md)** は、値（単語や数値など）をそれを含むオブジェクトへマッピングします。これは、すべての属性ベースフィルタリング（ `where` フィルター）およびキーワード検索（ `bm25` 、 `hybrid` ）の基盤となります。 + +## 転置インデックスのタイプ + +Weaviate では複数の [転置インデックスタイプ](../../concepts/indexing/inverted-index.md) が利用可能です。ただし、すべてのデータ型で利用できるわけではありません。利用可能な転置インデックスタイプは以下のとおりです。 + +import InvertedIndexTypesSummary from "/_includes/inverted-index-types-summary.mdx"; + +
+
+
+
+
+
+
+
+
+
+
+
+
+
+---
+
+#### `bm25`
+
+`invertedIndexConfig` の一部です。BM25 の設定項目は [自由パラメーター `k1` と `b`](https://en.wikipedia.org/wiki/Okapi_BM25#The_ranking_function) で、指定は任意です。デフォルト値（ `k1` = 1.2、 `b` = 0.75）は多くのケースで良好に機能します。
+
+コレクション単位で設定でき、プロパティ単位で上書きすることも可能です。
+
+更新 できます。
+
+:::info
+
+ストップワードが除去されるのは [トークン化](../collections.mdx#tokenization) が `word` に設定されている場合のみです。
+
+:::
+
+#### `indexTimestamps`
+
+`invertedIndexConfig` の一部です。タイムスタンプでフィルターするクエリを実行するには、対象コレクションにオブジェクトの内部タイムスタンプに基づく 転置インデックス を維持させます。現在サポートされているタイムスタンプは `creationTimeUnix` と `lastUpdateTimeUnix` です。
+
+タイムスタンプベースのインデックスを有効にするには、`invertedIndexConfig` オブジェクトで `indexTimestamps` を `true` に設定します。
+
+#### `indexNullState`
+
+`invertedIndexConfig` の一部です。`null` でフィルターするクエリを実行するには、対象コレクションに各プロパティの `null` 値を追跡する 転置インデックス を維持させます。
+
+`null` ベースのインデックスを有効にするには、`invertedIndexConfig` オブジェクトで `indexNullState` を `true` に設定します。
+
+#### `indexPropertyLength`
+
+`invertedIndexConfig` の一部です。プロパティの長さでフィルターするクエリを実行するには、対象コレクションにプロパティの長さに基づく 転置インデックス を維持させます。
+
+プロパティ長ベースのインデックスを有効にするには、`invertedIndexConfig` オブジェクトで `indexPropertyLength` を `true` に設定します。
+
+:::note
+これらの機能を使用すると、より多くのリソースが必要になります。追加の 転置インデックス はコレクションの存続期間中、作成および維持されます。
+:::
+
+## Weaviate による転置インデックスの作成方法
+
+Weaviate は **各プロパティと各インデックスタイプごとに個別の 転置インデックス を作成** します。たとえば、`title` プロパティが検索可能かつフィルター可能な場合、Weaviate はそのプロパティに対して検索操作用とフィルター操作用の 2 つの 転置インデックス を作成します。詳細は [概念: 転置インデックス](../../concepts/indexing/inverted-index.md#how-weaviate-creates-inverted-indexes) をご覧ください。
+
+### コレクション作成後にプロパティを追加する場合
+
+オブジェクトをインポートした後にプロパティを追加すると、新しいプロパティの長さや `null` 状態でのフィルタリングなど、 転置インデックス に関連する機能に制限が生じる可能性があります。
+
+これは、 転置インデックス がインポート時に構築されるためです。オブジェクトのインポート後にプロパティを追加しても、長さや `null` 状態といったメタデータ用の 転置インデックス は新しいプロパティを含むよう更新されません。その結果、既存オブジェクトでは新しいプロパティがインデックスされず、クエリ時に予期しない動作が発生する可能性があります。
+
+これを避けるには、以下のいずれかを実施してください。
+
+- オブジェクトをインポートする前にプロパティを追加する
+- コレクションを削除し、新しいプロパティを含めて再作成した後、データを再インポートする
+
+プロパティ追加後にデータを再インデックスできる API を開発中です。将来のリリースで提供予定です。
+
+## トークナイゼーションが転置インデックスに与える影響
+
+`text` プロパティでは、Weaviate はまず **[トークナイゼーション](../collections.mdx#tokenization)** を行い、その後 転置インデックス エントリを作成します。トークナイゼーションとは、テキストをインデックスや検索に利用できる個々のトークン（単語、フレーズ、文字など）へ分割するプロセスです。
+
+選択したトークナイゼーション方式は次の点に直接影響します。
+
+- テキストから生成されるトークン
+- それらトークンが 転置インデックス にどのように保存されるか
+- 検索クエリやフィルターがデータにどのようにマッチするか
+
+例として、テキスト `"Hello, (beautiful) world"` では次のようになります。
+
+- **`word` トークナイゼーション**: `["hello", "beautiful", "world"]`
+- **`whitespace` トークナイゼーション**: `["hello", "(beautiful)", "world"]`
+- **`field` トークナイゼーション**: `["Hello, (beautiful) world"]`
+
+各トークンは 転置インデックス の個別エントリとなり、そのトークンを含むオブジェクトを指し示します。
+
+:::tip
+用途によって適切なトークナイゼーション方式は異なります。一般的なテキスト検索にはデフォルトの `word`、完全一致には `field`、アジア言語には `gse` や `kagome_ja` などの特殊なトークナイザーを選択してください。詳しくは [トークナイゼーションオプション](../collections.mdx#tokenization) をご覧ください。
+:::
+
+## 参考リソース
+
+- [概念: 転置インデックス](../../concepts/indexing/inverted-index.md)
+- [ハウツー: 転置インデックスパラメーターの設定](../../manage-collections/collection-operations.mdx#set-inverted-index-parameters)
+- [リファレンス: トークナイゼーションオプション](../collections.mdx#tokenization) - さまざまなトークナイゼーション方式とテキストインデックスへの影響について
+
+## 質問とフィードバック
+
+import DocsFeedback from "/_includes/docs-feedback.mdx";
+
+
動的 `ef`。`ef` を -1 に設定すると、Weaviate が `ef` の値を自動で調整し、動的 `ef` リストを作成します。詳細は [dynamic ef](../../concepts/indexing/vector-index.md#dynamic-ef) をご覧ください。 | -1 | Yes | +| `efConstruction` | integer | インデックス検索速度と構築速度のバランスを調整します。`efConstruction` を高くすると `ef` を低く設定できますが、インポートは遅くなります。
`efConstruction` は 0 より大きい必要があります。 | 128 | No | +| `maxConnections` | integer | 要素ごとの最大接続数。`maxConnections` は 0 以外のレイヤーでの接続上限です。0 レイヤーでは (2 \* `maxConnections`) の接続が可能です。
`maxConnections` は 0 より大きい必要があります。 | 32 | No | +| `dynamicEfMin` | integer | [動的 `ef`](../../concepts/indexing/vector-index.md#dynamic-ef) の下限値。検索リストが短くなりすぎるのを防ぎます。
この設定は `ef` が -1 の場合のみ使用されます。 | 100 | Yes | +| `dynamicEfMax` | integer | [動的 `ef`](../../concepts/indexing/vector-index.md#dynamic-ef) の上限値。検索リストが長くなりすぎるのを防ぎます。
`dynamicEfMax` が制限値を超える場合、`dynamicEfMax` は無効となり、その場合の制限値は `ef` です。
この設定は `ef` が -1 の場合のみ使用されます。 | 500 | Yes | +| `dynamicEfFactor` | integer | [動的 `ef`](../../concepts/indexing/vector-index.md#dynamic-ef) の乗数。検索リストの潜在的な長さを設定します。
この設定は `ef` が -1 の場合のみ使用されます。 | 8 | Yes | +| `filterStrategy` | string | `v1.27.0` で追加。検索結果のフィルタリングに使用するフィルターストラテジー。`sweeping` または `acorn` を指定できます。
- `sweeping`: 既定のストラテジー
- `acorn`: Weaviate の ACORN 実装を使用します。[詳細](../../concepts/filtering.md#filter-strategy) | `sweeping` | Yes | +| `flatSearchCutoff` | integer | オプション。[フラット検索カットオフ](/weaviate/concepts/filtering.md#flat-search-cutoff) の閾値。ベクトルインデックス検索を強制するには `"flatSearchCutoff": 0` を設定してください。 | 40000 | Yes | +| `skip` | boolean | `true` にするとコレクションをインデックスしません。
Weaviate はベクトル生成とベクトル保存を分離しています。インデックスをスキップしてもベクトライザーが設定されている（または手動でベクトルを指定している）場合、インポートのたびに警告が記録されます。
インデックスとベクトル生成を共にスキップするには、`"skip": true` を設定する際に `"vectorizer": "none"` を指定してください。
詳細は [インデックスをスキップするタイミング](../../concepts/indexing/vector-index.md#when-to-skip-indexing) を参照してください。 | `false` | No | +| `vectorCacheMaxObjects` | integer | メモリキャッシュ内のオブジェクトの最大数。デフォルトでは、新しいコレクション作成時に 1 兆 (`1e12`) オブジェクトに設定されています。サイジングの推奨事項は [ベクトルキャッシュの考慮事項](../../concepts/indexing/vector-index.md#vector-cache-considerations) をご確認ください。 | `1e12` | Yes | +| `pq` | object | [直積量子化 (PQ)](/weaviate/concepts/indexing/vector-index.md) 圧縮を有効化して設定します。
PQ はある程度のデータがすでにロードされていることを前提とします。PQ を有効にする前に、1 シャード当たり 10,000 ～ 100,000 ベクトルがロードされていることを推奨します。
PQ の詳細設定は [PQ 設定パラメーター](#pq-parameters) をご覧ください。 | -- | Yes | + +### HNSW 用のデータベースパラメーター + +HNSW のインデックス動作を構成するためのデータベースレベルのパラメーターもあります。 + +- `PERSISTENCE_HNSW_MAX_LOG_SIZE` は HNSW の書き込み先行ログの最大サイズを設定します。既定値は `500MiB` です。 + +この値を大きくするとコンパクションプロセスの効率が向上しますが、データベースのメモリ使用量も増えます。逆に小さくするとメモリ使用量は減りますが、コンパクションが遅くなる可能性があります。 + +理想的には、`PERSISTENCE_HNSW_MAX_LOG_SIZE` は HNSW グラフのサイズに近い値に設定してください。 + +### Tombstone クリーンアップパラメーター + +:::info Environment variable availability + +- `TOMBSTONE_DELETION_CONCURRENCY` は `v1.24.0` 以降で利用可能です。 +- `TOMBSTONE_DELETION_MIN_PER_CYCLE` と `TOMBSTONE_DELETION_MAX_PER_CYCLE` は `v1.24.15` / `v1.25.2` 以降で利用可能です。 + +::: + +Tombstone は削除されたオブジェクトを示すレコードです。HNSW インデックスでは `cleanupIntervalSeconds` で定期的にクリーンアップがトリガーされます。 + +インデックスが大きくなると、クリーンアップ処理にかかる時間とリソースが増加し、大規模なインデックスではパフォーマンス問題を引き起こす場合があります。 + +クリーンアップサイクルあたりに削除される Tombstone の数を制御し、パフォーマンス問題を防ぐために、[`TOMBSTONE_DELETION_MAX_PER_CYCLE` と `TOMBSTONE_DELETION_MIN_PER_CYCLE` の環境変数](/deploy/configuration/env-vars/index.md#general) を設定してください。 + +- `TOMBSTONE_DELETION_MIN_PER_CYCLE` を設定して、不必要なクリーンアップサイクルの発生を防ぎます。 +- `TOMBSTONE_DELETION_MAX_PER_CYCLE` を設定して、クリーンアップが長時間実行されたり過剰にリソースを消費したりするのを防ぎます。 + +例として、1 シャードあたり 3 億オブジェクトのクラスターでは、`TOMBSTONE_DELETION_MIN_PER_CYCLE` を 1,000,000、`TOMBSTONE_DELETION_MAX_PER_CYCLE` を 10,000,000 に設定すると良い出発点となります。 + +また、`TOMBSTONE_DELETION_CONCURRENCY` 環境変数を設定して Tombstone クリーンアップに使用するスレッド数を制限できます。これにより、クリーンアップが不要に多くのリソースを消費したり、逆に時間がかかりすぎたりするのを防げます。 + +`TOMBSTONE_DELETION_CONCURRENCY` の既定値は、Weaviate が利用できる CPU コア数の半分です。 + +コア数が多いクラスターでは、クリーンアップがリソースを消費しすぎないよう `TOMBSTONE_DELETION_CONCURRENCY` を低めに設定することを検討してください。逆にコア数が少なく削除が多い場合は、クリーンアップを高速化するために値を高くするとよいでしょう。 + +### HNSW 設定のヒント + +ご自身のユースケースに適した値を決めるため、以下の質問を検討し、表と照らし合わせてください。 + +1. 1 秒あたりどれくらいのクエリを想定していますか? +1. インポートや更新は多いですか? +1. リコールはどの程度必要ですか? + +| クエリ数 | インポート / 更新が多いか | リコール | 構成の提案 | +| -------- | ------------------------ | -------- | -------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | +| 少ない | いいえ | 低い | 理想的なシナリオです。`ef` と `efConstruction` をいずれも低く保ちます。大きなマシンは不要で、結果にも満足できるでしょう。 | +| 少ない | いいえ | 高い | リコールを高くする必要があります。リクエストやインポートが少ないため、`ef` と `efConstruction` の両方を増やせます。リコールが満足いくまで段階的に増やしてください。この場合、ほぼ 100% に近づけることも可能です。 | +| 少ない | はい | 低い | インポート / 更新の量が多い点が課題です。`efConstruction` は低く保ちます。高いリコールは不要でクエリ数も少ないため、`ef` を調整して希望のリコールを得てください。 | +| 少ない | はい | 高い | 高いリコールが必要で、インポート / 更新も多いという難しいトレードオフです。`efConstruction` を低く保つ必要がありますが、クエリ数が少ないため `ef` を大きく設定できます。 | +| 多い | いいえ | 低い | クエリ数が多いため `ef` は低くする必要があります。幸いリコールは高くなくてよいので、`efConstruction` を大きくできます。 | +| 多い | いいえ | 高い | クエリ数が多いため `ef` は低くします。リコールを高くする必要がありますが、インポートや更新は多くないため `efConstruction` を増やしてリコールを調整します。 | +| 多い | はい | 低い | クエリ数が多いので `ef` は低く、インポート / 更新も多いため `efConstruction` も低くします。リコールを 100% に近づける必要がないので、`efConstruction` を比較的低く設定してインポート / 更新スループットを確保し、`ef` で QPS を調整します。 | +| 多い | はい | 高い | すべてを最高にしたい場合です。インポート / 更新の時間制限に達するまで `efConstruction` を増やし、その後クエリ数とリコールのバランスが取れるまで `ef` を増やします。
多くの人は 3 つすべての指標を最大化したいと考えがちですが、実際にはそうでないケースも多いです。判断に迷ったら [フォーラム](https://forum.weaviate.io) でご相談ください。 | + +:::tip +多くのユースケースでの出発点として、以下の値が適しています。 + +| パラメーター | 値 | +| :------------------ | :--- | +| `ef` | `64` | +| `efConstruction` | `128`| +| `maxConnections` | `32` | + +::: + +## Flat インデックス + +:::info Added in `v1.23` +::: + +Flat インデックスは、マルチテナンシーなど、インデックスあたりのオブジェクト数が少ないユースケースで推奨されます。 + +| パラメーター | 型 | 既定値 | 変更可 | 詳細 | +| :-------------------------- | :------ | :------ | :----- | :---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | +| `vectorCacheMaxObjects` | integer | `1e12` | Yes | メモリキャッシュ内のオブジェクトの最大数。デフォルトでは、新しいコレクション作成時に 1 兆 (`1e12`) オブジェクトに設定されています。サイジングの推奨事項は [ベクトルキャッシュの考慮事項](../../concepts/indexing/vector-index.md#vector-cache-considerations) をご参照ください。 | +| `bq` | object | -- | No | [バイナリ量子化 (BQ)](../../concepts/vector-quantization.md#binary-quantization) 圧縮を有効化して設定します。
BQ の詳細設定は [BQ 設定パラメーター](#bq-configuration-parameters) をご覧ください。 | + +### BQ 設定パラメーター + +`bq` は次のパラメーターで構成します。 + +| パラメーター | 型 | 既定値 | 詳細 | +| :--------------- | :------ | :----- | :--------------------------------------------------------- | +| `enabled` | boolean | `false`| BQ を有効化します。`true` にすると Weaviate は BQ 圧縮を使用します。| +| `rescoreLimit` | integer | -1 | リスコアを行う前に取得する最小候補数。 | +| `cache` | boolean | `false`| ベクトルキャッシュを使用するかどうか。 | + + + +## 動的インデックス + +:::caution Experimental feature +`v1.25` から利用可能です。動的インデックスは実験的機能です。ご使用の際はご注意ください。 +::: + +import DynamicAsyncRequirements from "/_includes/dynamic-index-async-req.mdx"; + +
Request"] + AuthCheck{"AuthN
Enabled?"} + AccessCheck{"Check
AuthZ"} + Access["✅ Access
Granted"] + Denied["❌ Access
Denied"] + + %% Define authentication method nodes + subgraph auth ["AuthN"] + direction LR + API["API Key"] + OIDC["OIDC"] + AuthResult{"Success?"} + end + + %% Define connections + Request --> AuthCheck + AuthCheck -->|"No"| AccessCheck + AuthCheck -->|"Yes"| auth + API --> AuthResult + OIDC --> AuthResult + AuthResult -->|"Yes"| AccessCheck + AuthResult -->|"No"| Denied + + AccessCheck -->|"Pass"| Access + AccessCheck -->|"Fail"| Denied + + %% Style nodes + style Request fill:#ffffff,stroke:#B9C8DF,color:#130C49 + style AuthCheck fill:#ffffff,stroke:#B9C8DF,color:#130C49 + style AccessCheck fill:#ffffff,stroke:#B9C8DF,color:#130C49 + style Access fill:#ffffff,stroke:#B9C8DF,color:#130C49 + style Denied fill:#ffffff,stroke:#B9C8DF,color:#130C49 + style API fill:#ffffff,stroke:#B9C8DF,color:#130C49 + style OIDC fill:#ffffff,stroke:#B9C8DF,color:#130C49 + style AuthResult fill:#ffffff,stroke:#B9C8DF,color:#130C49 + + %% Style subgraph + style auth fill:#ffffff,stroke:#130C49,stroke-width:2px,color:#130C49 +``` + +たとえば、API キー `jane-secret` でログインしたユーザーには管理者権限が付与され、API キー `ian-secret` でログインした別のユーザーには読み取り専用権限が付与される、といった運用が可能です。 + +まとめると、Weaviate では次の認証方法が利用できます。 + +- [API キー](/deploy/configuration/authentication.md#api-key-authentication) +- [OpenID Connect (OIDC)](/deploy/configuration/authentication.md#oidc-authentication) +- [匿名アクセス](/deploy/configuration/authentication.md#anonymous-access)（認証なし。開発・評価以外では非推奨） + +API キー認証と OIDC 認証は同時に有効化できます。 + +認証の設定方法は、Docker で実行するか Kubernetes で実行するかによって異なります。以下に両方の例を示します。 + +:::info Weaviate Cloud (WCD) では？ +Weaviate Cloud (WCD) インスタンスでは、OIDC と API キーアクセスによる認証があらかじめ構成されています。OIDC を用いて WCD の資格情報で [Weaviate に認証](../connections/connect-cloud.mdx) するか、[API キー](/cloud/manage-clusters/connect.mdx) を使用できます。 +::: + +### API キー + +Weaviate での API キーの利用方法については、[認証ガイド](/deploy/configuration/authentication.md#api-key-authentication)をご覧ください。 + +Weaviate への認証にはクライアントライブラリの使用を推奨します。詳細は [How-to: Connect](docs/weaviate/connections/index.mdx) を参照してください。 + +### OIDC + +Weaviate での OIDC 認証の利用方法については、[認証ガイド](/deploy/configuration/authentication.md#oidc-authentication)をご覧ください。 + +OIDC ではトークンを取得するためのさまざまな手法 _(フロー)_ が定義されています。適切な手法はトークン発行者の設定や要件により異なります。 + +OIDC 認証フロー自体の詳細は本ドキュメントの範囲外ですが、検討すべき主なオプションを以下に示します。 + +1. `client credentials flow` を使用してマシン間認可を行う（これはユーザーではなくアプリを認可します）。 + - Okta と Azure をアイデンティティプロバイダーとして検証済み。GCP は 2022 年 12 月時点で client credentials grant flow をサポートしていません。 + - Weaviate の Python クライアントはこの方式を直接サポートします。 + - client credentials flow には通常リフレッシュトークンが付随せず、クライアントに資格情報を保存してトークン失効時に新しいアクセストークンを取得します。 +2. `resource owner password flow` を使用して、[Weaviate Cloud](/cloud/manage-clusters/connect) のような信頼済みアプリケーションに適用する。 +3. トークン発行者が Azure である場合やパスワードの露出を避けたい場合には `hybrid flow` を使用する。 + +### Weaviate クライアントのサポート + +Weaviate Database が `client credentials grant` フローまたは `resource owner password flow` を使用するよう構成されている場合、Weaviate クライアントは認証フローを組み込んだ接続を生成できます。 + +import OIDCExamples from '/\_includes/code/connections/oidc-connect.mdx'; + +
Scheme?"} + + subgraph rbac ["RBAC Authorization"] + direction TB + AdminRole["Admin Role"] + ViewerRole["Viewer Role"] + CustomRole["Custom Roles"] + + Perms1["Full Access
All Operations"] + Perms2["Read-only
Access"] + Perms3["Custom
Permissions"] + + AdminRole --> Perms1 + ViewerRole --> Perms2 + CustomRole --> Perms3 + end + + subgraph adminlist ["Admin List Authorization"] + direction TB + AdminUser["Admin Users"] + ReadOnly["Read-only Users"] + AnonUser["Anonymous Users
(Optional)"] + + AllPerms["Full Access
All Operations"] + ReadPerms["Read-only
Access"] + + AdminUser --> AllPerms + ReadOnly --> ReadPerms + AnonUser -.->|"If enabled"| AllPerms + AnonUser -.->|"If enabled"| ReadPerms + end + + subgraph undiffer ["Undifferentiated Access"] + AllAccess["Full Access
All Operations"] + end + + AuthScheme -->|"RBAC"| rbac + AuthScheme -->|"Admin List"| adminlist + AuthScheme -->|"Undifferentiated"| undiffer + + %% Style nodes + style User fill:#f9f9f9,stroke:#666 + style AuthScheme fill:#f5f5f5,stroke:#666 + style AnonUser fill:#f9f9f9,stroke:#666,stroke-dasharray: 5 5 + + %% Style subgraphs + style rbac fill:#e6f3ff,stroke:#4a90e2 + style adminlist fill:#e6ffe6,stroke:#2ea44f + style undiffer fill:#fff0e6,stroke:#ff9933 +``` + +Weaviate で利用できる認可方式は以下のとおりです。 + +- [ロールベースアクセス制御 (RBAC)](../../deploy/configuration/authorization.md#role-based-access-control-rbac) +- [管理者リスト](../../deploy/configuration/authorization.md#admin-list) +- [区別なしアクセス](../../deploy/configuration/authorization.md#undifferentiated-access) + +Admin リスト方式では、[匿名ユーザー](../../deploy/configuration/authorization.md#anonymous-users) に権限を付与することも可能です。 + +認可の設定方法は、Docker で実行するか Kubernetes で実行するかによって異なります。以下に両方の例を示します。 + + + +## 追加リソース + +- [構成: 認証](/deploy/configuration/authentication.md) +- [構成: 認可](/deploy/configuration/authorization.md) +- [構成: 環境変数 - 認証と認可](/deploy/configuration/env-vars/index.md#authentication-and-authorization) + +## 質問とフィードバック + +import DocsFeedback from '/\_includes/docs-feedback.mdx'; + +
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+## 既存コレクションでの圧縮の有効化
+
+:::info Added in `v1.31`
+コレクション作成後に BQ 圧縮を有効化する機能は Weaviate `v1.31` で追加されました。
+:::
+
+既存のコレクションでも、コレクション定義を更新することで BQ を有効化できます。
+
+
+
+
+
+
+
+
+
+
+
+
+## BQ パラメーター
+
+BQ 圧縮には、`vectorIndexConfig` 内で次のパラメーターを使用できます:
+
+import BQParameters from '/\_includes/configuration/bq-compression-parameters.mdx' ;
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+## 追加の考慮事項
+
+### 複数 ベクトル 埋め込み（名前付き ベクトル）
+
+import NamedVectorCompress from '/\_includes/named-vector-compress.mdx';
+
+
+
+
+
+
+
+
+```java
+// Java support coming soon
+```
+
+
+
+
+```go
+// Go support coming soon
+```
+
+
+
+
+MUVERA でエンコードされた ベクトル の最終次元数は
+`repetition * 2^ksim * dprojections` になります。これらのパラメータを慎重にチューニングし、メモリ使用量と検索精度のバランスを取ることが重要です。
+
+以下のパラメータで MUVERA を微調整できます。
+
+- **`ksim`** (`int`):
+ SimHash パーティショニング関数のためにサンプリングされるガウシアン ベクトル の本数です。この値がハッシュのビット数、ひいては空間分割ステップで作成されるバケット数を決定します。総バケット数は $2^{ksim}$ となります。`ksim` を大きくすると埋め込み空間がより細かく分割され、近似精度が向上する可能性がありますが、中間エンコード ベクトル の次元数も増加します。
+
+- **`dprojections`** (`int`):
+ 次元削減ステップでランダム線形射影後のサブ ベクトル の次元数です。バケットごとに集約された ベクトル はランダム行列を用いて `dprojections` 次元に射影されます。`dprojections` を小さくすると、最終的な固定次元エンコーディングの総次元数を抑えられるためメモリ消費を削減できますが、情報損失と検索精度低下を招く可能性があります。
+
+- **`repetition`** (`int`):
+ 空間分割と次元削減ステップを繰り返す回数です。繰り返しによってマルチ ベクトル 埋め込みの異なる側面を捉え、最終的な固定次元エンコーディングの堅牢性と精度を高められます。各繰り返しで得られた単一 ベクトル は連結されます。`repetition` を増やすと最終エンコーディングの次元数は増加しますが、元のマルチ ベクトル 類似度をより良く近似できる場合があります。
+
+:::note Quantization
+量子化（Quantization）は、マルチ ベクトル 埋め込みに対する圧縮技術としても利用できます。値を低精度で近似することで各 ベクトル のメモリ フットプリントを削減します。単一 ベクトル と同様に、マルチ ベクトル でも [PQ](./pq-compression.md)、[BQ](./bq-compression.md)、[RQ](./rq-compression.md)、[SQ](./sq-compression.md) の量子化をサポートしています。
+:::
+
+## 参考リソース
+
+- [操作ガイド: コレクションの管理](../../manage-collections/vector-config.mdx#define-multi-vector-embeddings-eg-colbert-colpali)
+- [概念: ベクトル 量子化](../../concepts/vector-quantization.md)
+
+## 質問とフィードバック
+
+import DocsFeedback from '/\_includes/docs-feedback.mdx';
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+### 3. データのロード
+
+データをロードします。トレーニング用の初期データをロードする必要はありません。
+
+AutoPQ は、オブジェクト数がトレーニング上限に達した時点で PQ コードブックを作成します。デフォルトでは、トレーニング上限はシャードあたり 100,000 オブジェクトです。
+
+## PQ を手動で設定
+
+既存のコレクションに対して PQ を手動で有効にできます。PQ を有効にすると、Weaviate は PQ コードブックをトレーニングします。PQ を有効にする前に、トレーニング セットがシャードあたり 100,000 オブジェクトあることを確認してください。
+
+PQ を手動で有効にするには、次の手順に従います。
+
+- フェーズ 1: コードブックの作成
+
+ - [PQ なしでコレクションを定義](./pq-compression.md#1-define-a-collection-without-pq)
+ - [トレーニング データをロード](./pq-compression.md#2-load-training-data)
+ - [PQ を有効化し、コードブックを作成](./pq-compression.md#3-enable-pq-and-create-the-codebook)
+
+- フェーズ 2: 残りのデータをロード
+
+ - [残りのデータをロード](./pq-compression.md#4-load-the-rest-of-your-data)
+
+:::tip トレーニング セットの推奨サイズ
+シャードあたり 10,000 〜 100,000 オブジェクトを推奨します。
+:::
+
+PQ が有効になったとき、そしてベクトル圧縮が完了したときに、Weaviate は[メッセージをログに出力](#check-the-system-logs)します。初期トレーニング ステップが完了するまでは、残りのデータをインポートしないでください。
+
+以上が、PQ を手動で有効にする手順です。
+
+
+
+### 1. PQ なしのコレクション定義
+
+[コレクションを作成](../../manage-collections/collection-operations.mdx#create-a-collection) し、量子化器を指定しません。
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+### 2. 学習データの読み込み
+
+PQ の学習に使用する [オブジェクトを追加](/weaviate/manage-objects/import.mdx) します。Weaviate は、学習上限とコレクションサイズのうち大きい方を使用して PQ を学習します。
+
+学習済みのセントロイドが全データセットを代表するように、代表的なサンプルを読み込むことを推奨します。
+
+バージョン v1.27.0 から、Weaviate は手動で PQ を有効にした場合に利用可能なオブジェクトから学習セットを選択するため、疎な [Fisher-Yates アルゴリズム](https://en.wikipedia.org/wiki/Fisher–Yates_shuffle) を使用します。それでもなお、学習済みのセントロイドがデータセット全体を代表するように、代表的なサンプルを読み込むことを推奨します。
+
+### 3. PQ の有効化とコードブックの作成
+
+コレクション定義を更新して PQ を有効化します。PQ が有効になると、Weaviate は学習データを使用してコードブックを学習します。
+
+import PQMakesCodebook from '/\_includes/configuration/pq-compression/makes-a-codebook.mdx' ;
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+### 4. 残りのデータのロード
+
+[コードブックのトレーニング完了後](#3-enable-pq-and-create-the-codebook)、通常どおりにデータを追加できます。Weaviate は新しいデータをデータベースに追加する際に圧縮します。
+
+コードブックを作成する時点で既に Weaviate インスタンスにデータが存在する場合、Weaviate は残りのオブジェクト（初期トレーニングセット以降のもの）を自動的に圧縮します。
+
+## PQ パラメーター
+
+コレクションレベルで以下のパラメーターを設定することで、PQ 圧縮を構成できます。
+
+import PQParameters from '/\_includes/configuration/pq-compression/parameters.mdx' ;
+
+
+```
+
+### 現在の `pq` 設定の確認
+
+現在の `pq` 設定を確認するには、次のように取得できます。
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+### 複数ベクトル埋め込み（名前付きベクトル）
+
+import NamedVectorCompress from '/\_includes/named-vector-compress.mdx';
+
+
+これは、この機能がまだ開発中であり、将来のリリースで変更される可能性があることを意味します。互換性が破壊される変更が含まれる場合もあります。 +**現時点では本番環境での使用は推奨しません。** + +::: + +[**回転量子化 ( RQ )**](../../concepts/vector-quantization.md#rotational-quantization) は、4 倍の圧縮率でほぼ完璧なリコール ( ほとんどのデータセットで 98-99% ) を維持する、高速で学習不要なベクトル圧縮手法です。 + +:::note HNSW のみ +RQ は現在、フラットインデックス型をサポートしていません。 +::: + +## 新しいコレクションでの圧縮の有効化 + +RQ はコレクション作成時に、コレクション定義を通じて有効化できます。 + +
+
+
+
+
+
+
+
+
+
+
+## 既存コレクションでの圧縮の有効化
+
+RQ は、既存のコレクションに対してもコレクション定義を更新することで有効化できます。
+
+
+
+
+
+
+
+
+
+
+## RQ パラメーター
+
+RQ を調整するには、以下の量子化およびベクトルインデックスパラメーターを使用します。
+
+import RQParameters from '/\_includes/configuration/rq-compression-parameters.mdx' ;
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+## 追加の考慮事項
+
+### 複数 ベクトル エンベディング（名前付き ベクトル）
+
+import NamedVectorCompress from '/\_includes/named-vector-compress.mdx';
+
+
+
+
+
+
+
+
+
+
+
+
+## 既存コレクションでの圧縮の有効化
+
+:::info Added in `v1.31`
+コレクション作成後に SQ 圧縮を有効化できる機能は Weaviate `v1.31` で追加されました。
+:::
+
+既存のコレクションでも、コレクション定義を更新することで SQ を有効化できます。
+
+
+
+
+
+
+
+
+
+
+## SQ パラメーター
+
+SQ を調整するには、これらの `vectorIndexConfig` パラメーターを設定します。
+
+import SQParameters from '/\_includes/configuration/sq-compression-parameters.mdx' ;
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+## 追加の考慮事項
+
+### 複数ベクトル埋め込み（名前付きベクトル）
+
+import NamedVectorCompress from '/\_includes/named-vector-compress.mdx';
+
+
+
+ +## デプロイ ガイド + +### 設定 + +export const configurationData = [ + { + title: "バックアップ", + description: + " Weaviate インスタンスのバックアップとリストア手順を設定します。", + link: "/deploy/configuration/backups", + icon: "fas fa-save", + }, + { + title: "環境変数", + description: + "接続文字列、ポート、セキュリティ資格情報のために環境変数を設定します。", + link: "/deploy/configuration/env-vars", + icon: "fas fa-cog", + }, + { + title: "水平スケーリング", + description: "高可用性のためにデプロイメントをスケールします。", + link: "/deploy/configuration/horizontal-scaling", + icon: "fas fa-arrow-up-right-dots", + }, + { + title: "永続化", + description: "バックアップを有効化し、保持ポリシーを設定します。", + link: "/deploy/configuration/persistence", + icon: "fas fa-floppy-disk", + }, + { + title: "テナント オフロード", + description: + "マルチテナント構成で非アクティブなテナントをオフロードしてリソース使用量を管理します。", + link: "/deploy/configuration/tenant-offloading", + icon: "fas fa-pause-circle", + }, +]; + +
+
+ +### 認可と認証 + +export const authData = [ + { + title: "認証", + description: "デプロイメントのアクセス管理を設定します。", + link: "/deploy/configuration/authentication", + icon: "fas fa-shield-halved", + }, + { + title: "認可", + description: "ユーザー ロールと権限を定義および管理します。", + link: "/deploy/configuration/authorization", + icon: "fas fa-user-shield", + }, + { + title: "RBAC の設定", + description: + "詳細な権限のためにロールベースアクセス制御を設定します。", + link: "/deploy/configuration/configuring-rbac", + icon: "fas fa-users-cog", + }, + { + title: "OIDC 設定", + description: + " Weaviate と安全に連携する OpenID Connect を設定します。", + link: "/deploy/configuration/oidc", + icon: "fas fa-lock", + }, +]; + +
+
+ + +### レプリケーション + +export const replicationData = [ + { + title: "レプリケーション", + description: + "高可用性と障害耐性を実現するため、ノード間でデータのレプリケーションを設定します。", + link: "/deploy/configuration/replication", + icon: "fas fa-copy", + }, + { + title: "非同期レプリケーション", + description: + "分散クラスタ内のノード間で最終的な整合性を確保します。", + link: "/deploy/configuration/async-rep", + icon: "fas fa-clone", + }, +]; + +
+
+ +### クラスタ情報 + +export const clusterInfoData = [ + { + title: "クラスタメタデータ", + description: "Weaviate クラスタに関するメタデータへアクセスし、管理します。", + link: "/deploy/configuration/meta", + icon: "fas fa-info-circle", + }, + { + title: "モニタリング、メトリクス、およびログ", + description: "Weaviate インスタンスの状態と健全性を監視します。", + link: "/deploy/configuration/monitoring", + icon: "fas fa-chart-bar", + }, + { + title: "クラスタノードデータ", + description: "クラスタ内の各ノードに関するデータを表示および管理します。", + link: "/deploy/configuration/nodes", + icon: "fas fa-server", + }, + { + title: "ステータス", + description: "Weaviate インスタンスの状態と健全性を監視します。", + link: "/deploy/configuration/status", + icon: "fas fa-heartbeat", + }, + { + title: "テレメトリ", + description: + "Weaviate のテレメトリがどのように機能するかを理解し、設定方法を確認します。", + link: "/deploy/configuration/telemetry", + icon: "fas fa-chart-line", + }, +]; + +
+
+ +## 質問とフィードバック + +import DocsFeedback from "/_includes/docs-feedback.mdx"; + +`](../search/similarity.md) 検索を実行できます。
+
+:::info 利用可能なベクトライザー統合の一覧
+[こちらのセクション](../model-providers/index.md) に掲載しています。
+:::
+
+### ベクトライザーモジュールの有効化
+
+`ENABLE_MODULES` 環境変数に追加することで、ベクトライザーモジュールを有効化できます。下記コードは `text2vec-cohere`、`text2vec-huggingface`、`text2vec-openai` の各ベクトライザーモジュールを有効化します。
+
+```yaml
+services:
+ weaviate:
+ environment:
+ ENABLE_MODULES: 'text2vec-cohere,text2vec-huggingface,text2vec-openai'
+```
+
+### デフォルト ベクトライザー モジュール
+
+`DEFAULT_VECTORIZER_MODULE` 変数を使用して、デフォルトのベクトライザーモジュールを指定できます。
+
+デフォルト ベクトライザーモジュールを設定しない場合、スキーマでベクトライザーを設定するまで `near` やインポート時のベクトル化は利用できません。
+
+次のコードでは `text2vec-huggingface` をデフォルト ベクトライザーとして設定しています。そのため、クラスで別のベクトライザーを指定しない限り、`text2vec-huggingface` が使用されます。
+
+``` yaml
+services:
+ weaviate:
+ environment:
+ DEFAULT_VECTORIZER_MODULE: text2vec-huggingface
+```
+
+## 生成モデル統合
+
+[生成モデル統合](../model-providers/index.md) により、[検索拡張生成](../search/generative.md) 機能を利用できます。
+
+### 生成モジュールの有効化
+
+生成モジュールを有効化するには、目的のモジュールを `ENABLE_MODULES` 環境変数に追加します。以下のコードは、`generative-cohere` モジュールと `text2vec-huggingface` ベクトライザーモジュールを有効化します。
+
+```yaml
+services:
+ weaviate:
+ environment:
+ ENABLE_MODULES: 'text2vec-huggingface,generative-cohere'
+```
+
+:::tip `generative` モジュールと `text2vec` モジュールの選択は独立
+`text2vec` モジュールの選択が `generative` モジュールの選択を制限することはありません。逆も同様です。
+:::
+
+## テナントオフロードモジュール
+
+テナントをコールドストレージにオフロードしてメモリとディスクの使用量を削減し、必要に応じてオンロードできます。
+
+設定方法の詳細は [テナントオフロード設定](/deploy/configuration/tenant-offloading.md) の専用ページをご覧ください。テナントのオフロードとオンロードの方法については、[How-to: テナント状態の管理](../manage-collections/tenant-states.mdx) を参照してください。
+
+## カスタムモジュール
+
+独自モジュールの作成と使用方法については [こちら](../modules/custom-modules.md) をご覧ください。
+
+## 使用量モジュール
+
+[使用量モジュール](../modules/usage-modules.md) は、使用状況の分析データを GCS または S3 に収集しアップロードします。
+
+## 関連ページ
+- [概念: モジュール](../concepts/modules.md)
+- [リファレンス: モジュール](../modules/index.md)
+
+## 質問・フィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+REST API もしくは **[クライアントライブラリ](/weaviate/configuration/rbac/manage-roles)** からプログラムで管理できます。
+
+## ロール
+
+### 事前定義ロール
+
+Weaviate には、いくつかの事前定義ロールが用意されています。
+
+- `root`: すべてのリソースに対する **フルアクセス** を持ちます。
+- `viewer`: すべてのリソースに対する **読み取り専用アクセス** を持ちます。
+
+`root` ロールは、[`AUTHORIZATION_RBAC_ROOT_USERS`](/deploy/configuration/env-vars/index.md#rbac-authorization) 環境変数を使用して Weaviate の設定ファイル経由でユーザーに割り当てられます。事前定義ロールは変更できませんが、ユーザーには Weaviate API を通じて追加ロールを付与することが可能です。
+
+事前定義ロールを含むすべてのロールは、Weaviate API でユーザーに割り当てたり取り消したりできます。事前定義ロール自体を変更することはできません。
+
+ユーザーへ事前定義ロールを割り当てる方法の詳細は、[RBAC: 設定](/deploy/configuration/configuring-rbac.md) を参照してください。
+
+### カスタムロール
+
+事前定義ロールが割り当てられていない認証済みユーザーには、デフォルトでロールも権限もありません。
+
+これらのユーザーの権限は、**ロール管理** の適切な権限を持つユーザーによって Weaviate 上で変更できます。これにより、必要に応じてカスタムロールを作成し、ユーザーに割り当てることが可能です。
+
+ロール管理は、[事前定義 `root` ロール](/deploy/configuration/configuring-rbac.md) または [`manage_roles` 権限](/weaviate/configuration/rbac/manage-roles#role-management-permissions) を持つカスタムロールで実行できます。
+
+:::caution Role Management Permissions
+ロールを管理する権限をロールに付与する際は注意してください。これらの権限を利用して、ユーザーに追加のロールを割り当てることで特権を昇格させる可能性があります。信頼できるユーザーにのみ付与してください。
+:::
+
+## 権限
+
+Weaviate における権限は、ユーザーが特定リソースに対してどの操作を実行できるかを定義します。各権限は以下で構成されます。
+
+- リソースタイプ（例: collections, objects）
+- アクセスレベル（read, write, update, delete, manage）
+- オプションのリソース固有制約
+
+### 利用可能な権限
+
+権限は、以下のリソース・アクセスレベル・オプション制約で定義できます。
+
+
+
+
+
+
+
+
+### 権限の動作
+
+権限を定義する際、ある権限を `False` に設定すると、それはアクセスを明示的に拒否するのではなく _設定されていない_ ことを意味します。したがって、ユーザーが複数のロールを持ち、一方のロールが権限を付与し、もう一方のロールがその権限を `False` に設定している場合でも、権限を付与しているロールによってユーザーはその権限を保持します。
+
+たとえば、ユーザーが次の 2 つのロールを持っている場合:
+
+- ロール A は Collection X に対して `read` を `False` に設定
+- ロール B は Collection X に対して `read` を `True` に設定
+
+ユーザーは Collection X に対する読み取りアクセスを持ちます。これは、ロール B が権限を付与しており、ロール A の `False` はアクセスをブロックするのではなく権限が設定されていないことを示すだけだからです。
+
+### 権限における名前フィルター
+
+一部の権限では、その権限を適用するコレクションを指定するためにコレクション名フィルターが必要です。
+
+この場合、`"*"` は複数文字のワイルドカードとして機能します。たとえば、コレクション名フィルターに `"Test*"` を指定すると、`Test` で始まるすべてのコレクションにその権限が適用されます。また、`"*"` をフィルターに指定すると、利用可能なすべてのコレクションに適用されます。
+
+### コレクションとテナントの権限
+
+コレクションに対する権限は、テナントに対する権限とは独立しています。
+
+あるコレクションに属するテナントを操作する権限を得るには、そのコレクションに対する適切なテナントレベルの権限が必要です。コレクションの作成などのコレクションレベルの権限は、そのコレクションのテナントを作成するなどの同等のテナントレベルの権限を付与しません。
+
+たとえば、`TestCollection` というコレクションでテナントを作成するには、そのコレクション内のテナントを "create" する権限が必要です。これは `TestCollection` というコレクションを作成する権限とは別です。
+
+## ユーザー
+
+[user 管理](./manage-users.mdx) API を使用して、ユーザーの作成、削除、一覧取得、API キーのローテーション、およびロールの管理ができます。
+
+## 参考リソース
+
+- [RBAC: 設定](/deploy/configuration/configuring-rbac.md)
+- [RBAC: ロール管理](./manage-roles.mdx)
+- [RBAC: ユーザー管理](./manage-users.mdx)
+- [RBAC: チュートリアル](/deploy/tutorials/rbac.mdx)
+
+## ご質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+
+
+
+
+
+
+
+```go
+// Go support coming soon
+```
+
+
+
+
+```java
+// Java support coming soon
+```
+
+
+
+
+## ロール管理 {#role-management}
+
+### 権限付きの新しいロールの作成
+
+次のリソースタイプに対する権限をロールに割り当てることができます。
+
+1. [**Role Management**](#role-management-permissions)
+
+1. [**User Management**](#user-management-permissions)
+
+1. [**Collections**](#collections-permissions)（コレクション定義のみ。データオブジェクトの権限は別途設定）
+
+1. [**Tenants**](#tenants-permissions)
+
+1. [**Data Objects**](#data-permissions)
+
+1. [**Backup**](#backups-permissions)
+
+1. [**Cluster Data Access**](#clusters-permissions)
+
+1. [**Node Data Access**](#nodes-permissions)
+
+#### `Role Management` 権限を持つロールの作成 {#role-management-permissions}
+
+この例では、`testRole` というロールを作成し、以下の権限を付与します。
+
+- `testRole*` で始まるすべてのロールを作成、読み取り、更新、削除できます。
+
+
+
+
+
+
+
+
+```go
+// Go support coming soon
+```
+
+
+
+
+```java
+// Java support coming soon
+```
+
+
+
+
+
+
+#### `User Management` パーミッションを持つロールの作成 {#user-management-permissions}
+
+この例では、`testRole` というロールを作成し、次の権限を付与します:
+
+- `testUser*` で始まるすべてのユーザーの作成、読み取り、更新、および削除。
+- `testUser*` で始まるユーザーへのロールの付与および取り消し。
+
+
+
+
+
+
+```typescript
+// TS/JS support coming soon
+```
+
+
+
+
+```go
+// Go support coming soon
+```
+
+
+
+
+```java
+// Java support coming soon
+```
+
+
+
+
+#### `Collections` パーミッションを持つロールの作成 {#collections-permissions}
+
+この例では、`testRole` というロールを作成し、次の権限を付与します:
+
+- `TargetCollection` で始まるすべてのコレクションの作成、読み取り、更新、および削除。
+
+
+
+
+
+
+
+
+```go
+// Go support coming soon
+```
+
+
+
+
+```java
+// Java support coming soon
+```
+
+
+
+
+#### `Tenant` パーミッションを持つロールの作成 {#tenants-permissions}
+
+この例では、`testRole` というロールを作成し、次の権限を付与します:
+
+- `TargetCollection` で始まるコレクション内で、`TargetTenant` で始まるテナントの作成および削除。
+- `TargetCollection` で始まるコレクション内で、`TargetTenant` で始まるテナントのメタデータ（テナント名やステータスなど）の読み取り。
+- `TargetCollection` で始まるコレクション内で、`TargetTenant` で始まるテナントのステータスの更新。
+
+
+
+
+
+
+
+
+```go
+// Go support coming soon
+```
+
+
+
+
+```java
+// Java support coming soon
+```
+
+
+
+
+#### `Data Objects` パーミッションを持つロールの作成 {#data-permissions}
+
+この例では、`testRole` というロールを作成し、次の権限を付与します:
+
+- `TargetCollection` で始まるコレクションのデータの作成、読み取り、更新、および削除。
+- マルチテナンシーが有効で `tenant` フィルターが設定されている場合、この権限は `TargetTenant` で始まるテナントにのみ適用されます。
+
+
+
+
+
+
+
+
+```go
+// Go support coming soon
+```
+
+
+
+
+```java
+// Java support coming soon
+```
+
+
+
+
+#### `Backups` 権限を持つロールの作成 {#backups-permissions}
+
+この例では、 `testRole` というロールを作成し、以下の権限を付与します:
+
+- `TargetCollection` で始まるコレクションのバックアップを管理します。
+
+
+
+
+
+
+
+
+```go
+// Go support coming soon
+```
+
+
+
+
+```java
+// Java support coming soon
+```
+
+
+
+
+#### `Cluster Data Access` 権限を持つロールの作成 {#clusters-permissions}
+
+この例では、 `testRole` というロールを作成し、以下の権限を付与します:
+
+- クラスター メタデータを読み取ります。
+
+
+
+
+
+
+
+
+```go
+// Go support coming soon
+```
+
+
+
+
+```java
+// Java support coming soon
+```
+
+
+
+
+#### `Node Data Access` 権限を持つロールの作成 {#nodes-permissions}
+
+この例では、 `testRole` というロールを作成し、以下の権限を付与します:
+
+- `TargetCollection` で始まるコレクションについて、指定した詳細レベルでノード メタデータを読み取ります。
+
+
+
+
+
+
+
+
+```go
+// Go support coming soon
+```
+
+
+
+
+```java
+// Java support coming soon
+```
+
+
+
+
+#### `Collection Aliases` 権限を持つロールの作成 {#aliases-permissions}
+
+この例では、 `testRole` というロールを作成し、以下の権限を付与します:
+
+- `TargetAlias` で始まるコレクション エイリアスの作成、読み取り、更新、削除を行います。
+
+
+
+
+
+
+```typescript
+// TS/JS support coming soon
+```
+
+
+
+
+```go
+// Go support coming soon
+```
+
+
+
+
+```java
+// Java support coming soon
+```
+
+
+
+
+
+#### `Replications` パーミッションを持つロールの作成 {#replications-permissions}
+
+この例では、 `testRole` という名前のロールを作成し、以下のパーミッションを付与します。
+
+- `TargetCollection` で始まるコレクションおよび `TargetShard` で始まるシャードに対するレプリカ移動操作の作成・読み取り・更新・削除
+
+
+
+
+
+
+```typescript
+// TS/JS support coming soon
+```
+
+
+
+
+```go
+// Go support coming soon
+```
+
+
+
+
+```java
+// Java support coming soon
+```
+
+
+
+
+### 追加パーミッションの付与
+
+追加パーミッションはいつでもロールに付与できます。対象のロールは既に存在している必要があります。
+
+この例では、ロール `testRole` に以下の追加パーミッションを付与します。
+
+- `TargetCollection` で始まるコレクションに **新しいデータを作成** する
+
+
+
+
+
+
+
+
+```go
+// Go support coming soon
+```
+
+
+
+
+```java
+// Java support coming soon
+```
+
+
+
+
+### ロールからのパーミッション削除
+
+パーミッションはいつでもロールから取り消すことができます。すべてのパーミッションを削除すると、そのロール自体も削除されます。
+
+この例では、ロール `testRole` から以下のパーミッションを削除します。
+
+- `TargetCollection` で始まるコレクションのデータを読み取る
+- `TargetCollection` で始まるコレクションを作成および削除する
+
+
+
+
+
+
+
+
+```go
+// Go support coming soon
+```
+
+
+
+
+```java
+// Java support coming soon
+```
+
+
+
+
+### ロールの存在確認
+
+ロール `testRole` が存在するかどうかを確認します。
+
+
+
+
+
+
+
+
+```go
+// Go support coming soon
+```
+
+
+
+
+```java
+// Java support coming soon
+```
+
+
+
+
+
+
+### ロールの確認
+
+ロールに割り当てられている権限を表示します。
+
+
+
+
+
+
+
+
+```go
+// Go support coming soon
+```
+
+
+
+
+```java
+// Java support coming soon
+```
+
+
+
+
+### すべてのロールの一覧
+
+システム内のすべてのロールとそれらの権限を表示します。
+
+
+
+
+
+
+
+
+```go
+// Go support coming soon
+```
+
+
+
+
+```java
+// Java support coming soon
+```
+
+
+
+
+### ロールを持つユーザーの一覧
+
+`testRole` を持つすべてのユーザーを一覧表示します。
+
+
+
+
+
+
+
+
+```go
+// Go support coming soon
+```
+
+
+
+
+```java
+// Java support coming soon
+```
+
+
+
+
+### ロールの削除
+
+ロールを削除すると、システムからそのロールが削除され、該当するユーザーから関連する権限が取り消されます。
+
+
+
+
+
+
+
+
+```go
+// Go support coming soon
+```
+
+
+
+
+```java
+// Java support coming soon
+```
+
+
+
+
+## ユーザー管理 {#user-management}
+
+ユーザーにロールを割り当てたり、ユーザーの作成・更新・削除について詳しく知るには、[ユーザー管理](./manage-users.mdx) ページをご覧ください。
+
+## 追加リソース
+
+- [ RBAC: 概要](./index.mdx)
+- [ RBAC: 設定](/deploy/configuration/configuring-rbac.md)
+- [ RBAC: ユーザー管理](./manage-users.mdx)
+
+## ご質問・フィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+
+
+
+
+
+
+
+```go
+// Go support coming soon
+```
+
+
+
+
+```java
+// Java support coming soon
+```
+
+
+
+
+
+
+
+
+
+
+
+```go
+// Go support coming soon
+```
+
+
+
+
+```java
+// Java support coming soon
+```
+
+
+
+
+
+
+
+
+
+
+
+```go
+// Go support coming soon
+```
+
+
+
+
+```java
+// Java support coming soon
+```
+
+
+
+
+### データベースユーザー API キーのローテーション {#rotate-user-api-key}
+
+この例では `custom-user` の API キーを更新（ローテーション）します。
+
+
+
+
+
+
+
+
+```go
+// Go support coming soon
+```
+
+
+
+
+```java
+// Java support coming soon
+```
+
+
+
+
+
+
+
+
+
+
+
+```go
+// Go support coming soon
+```
+
+
+
+
+```java
+// Java support coming soon
+```
+
+
+
+
+### データベースユーザーからのロール削除
+
+特定のユーザーから 1 つ以上のロールを取り消すことができます。
+
+この例では、ユーザー `custom-user` からロール `testRole` を削除します。
+
+
+
+
+
+
+
+
+```go
+// Go support coming soon
+```
+
+
+
+
+```java
+// Java support coming soon
+```
+
+
+
+
+
+### データベース ユーザーのロール取得
+
+任意のユーザーのロール情報を取得します。
+
+
+
+
+
+
+
+
+```go
+// Go support coming soon
+```
+
+
+
+
+```java
+// Java support coming soon
+```
+
+
+
+
+
+
+
+
+
+
+
+```go
+// Go support coming soon
+```
+
+
+
+
+```java
+// Java support coming soon
+```
+
+
+
+
+### OIDC ユーザーからのロール削除
+
+特定の OIDC ユーザーから 1 つ以上のロールを取り消すことができます。
+
+この例では、ユーザー `custom-user` からロール `testRole` を削除します。
+
+
+
+
+
+
+
+
+```go
+// Go support coming soon
+```
+
+
+
+
+```java
+// Java support coming soon
+```
+
+
+
+
+### OIDC ユーザーのロール取得
+
+OIDC ユーザーのロール情報を取得します。
+
+
+
+
+
+
+
+
+```go
+// Go support coming soon
+```
+
+
+
+
+```java
+// Java support coming soon
+```
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+## サードパーティ API キー
+
+ベクトル化や RAG に API ベースのモデルを使用する場合、サービスの API キーが必要です。サードパーティ API キーを追加するには、以下の例に従ってください。
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+## 環境変数
+
+import EnvVarsHowto from '/_includes/environment-variables.mdx';
+
+
+
+
+
+
+
+
+## 環境変数
+
+import EnvVarsHowto from '/_includes/environment-variables.mdx';
+
+
+
+
+
+
+
+
+## OIDC 認証
+
+import WCDOIDCWarning from '/_includes/wcd-oidc.mdx';
+
+
+
+
+
+
+
+
+
+
+## ご質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+## URL またはポートを変更する
+
+デフォルトの URL やポート番号を変更する場合は、以下の例を参照してください。
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+## 認証の有効化
+
+Weaviate の API キーで認証するには、次の例に従ってください。
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+### OIDC 認証
+
+import OIDCConnect from '/_includes/connect/oidc-connect-ref.mdx';
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+## 環境変数
+
+import EnvVarsHowto from '/_includes/environment-variables.mdx';
+
+
+
+## Weaviate インスタンスの選択
+
+Query ツールは WCD クラスターに直接接続します。匿名アクセスが有効になっているか、認証情報がある場合は外部の Weaviate インスタンスにも接続できます。
+
+クラスターを選択するには、`Query` ボタンをクリックし、クラスター一覧から目的のクラスターを選択します。
+
+### 認証情報の指定
+
+import ExternalAuth from '/_includes/wcs/query-auth-details.mdx';
+
+
+
+GraphQL API の詳細は、[GraphQL API](/weaviate/api/graphql) を参照してください。
+
+## 質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+
+
+ +## その他のガイドとチュートリアル + +export const otherGuidesCardsData = [ + { + title: "デプロイ ガイド", + description: "本番環境で Weaviate をインストールして設定する方法を学べます。", + link: "/deploy/configuration", + icon: "fa fa-database", + }, + { + title: "チュートリアル", + description: "ステップバイステップのガイドと実践例。", + link: "/weaviate/tutorials", + icon: "fas fa-chalkboard-teacher", + }, + { + title: "スターター ガイド", + description: " Weaviate の使い方を学ぶ新規ユーザー向けのガイドとヒント。", + link: "/weaviate/starter-guides", + icon: "fas fa-compass", + }, + { + title: "レシピ", + description: + "さまざまなユースケースと機能を紹介する Jupyter Notebooks。", + link: "/weaviate/recipes", + icon: "fas fa-scroll", + }, +]; + +
+
\ No newline at end of file diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/index.mdx b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/index.mdx new file mode 100644 index 000000000..5bf42f4d3 --- /dev/null +++ b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/index.mdx @@ -0,0 +1,191 @@ +--- +title: Weaviate データベース +sidebar_position: 0 +description: "オープンソースの AI ネイティブ ベクトル データベース、 Weaviate の完全なドキュメント。" +image: og/docs/home.jpg +hide_table_of_contents: false +# tags: [] +--- + +import CardsSection from "/src/components/CardsSection"; +import DeploymentCards from "/src/components/DeploymentCards"; +import styles from "/src/components/CardsSection/styles.module.scss"; +import secondaryNavbarItems from "/secondaryNavbar.js"; + +export const welcomeCardsData = [ + { + id: "new", + title: " Weaviate を初めてお使いですか？", + description: ( + <> + まずは{" "} + クイックスタート チュートリアル から始めましょう。15〜30 分で完了するエンドツーエンドのデモです。 + + ), + link: "/weaviate/quickstart", + icon: "fas fa-star", // use Font Awesome CSS class + }, +]; + + Weaviate _(we-vee-eight)_ はオープンソースの AI ネイティブ ベクトル データベースです。ここでは Weaviate を使い始める方法と、 Weaviate の機能を最大限に活用する方法をご案内します。 + +
+ +## 適切なドキュメントとリソースを見つける + + Weaviate のドキュメントは、サービスと機能ごとに複数のユニットに分かれています。 + +{/* Filter out items where isSmall is true */} +{(() => { + const regularItems = Object.fromEntries( + Object.entries(secondaryNavbarItems).filter(([, value]) => !value.isSmall) + ); + +
+ return
+})()} + +## Weaviate とは + + Weaviate は **オープンソースのベクトル データベース** で、データオブジェクトとそのベクトル埋め込みの両方を保存・インデックス化します。このアーキテクチャにより、キーワード一致のみに依存せず、ベクトルにエンコードされた意味を比較する高度なセマンティック検索が可能になります。主な機能は次のとおりです。 + +- **[セマンティック検索とハイブリッド検索](./search/basics.md)** + ベクトルでデータをインデックス化することで、セマンティック類似度とキーワードの両方に基づく検索をサポートします。検索語が保存されたデータと完全に一致しない場合でも、より関連性の高い結果を返します。 + +- **[検索拡張生成 (RAG)](./search/generative.md)** + Weaviate は RAG ワークフローの堅牢なバックエンドとして機能します。ベクトル検索で取得したコンテキストを生成モデルに提供し、正確でコンテキストに沿った回答生成を容易にします。 + +- **[エージェント駆動型ワークフロー](../agents/index.md)** + 柔軟な API と最新 AI モデルとの統合により、インテリジェント エージェントに依存するアプリケーションの基盤としても適しています。これらのエージェントは Weaviate に保存されたデータのセマンティックな洞察を活用して意思決定やアクションのトリガーを行えます。 + +## Weaviate エコシステム + + Weaviate エコシステムは、クラウドネイティブな AI 搭載アプリケーション構築を中心とした複数のツールとサービスで構成されています。 + +import WeaviateEcosystem from "@site/static/img/weaviate-ecosystem.png"; + +
+ +上図のハイレベルな概要のとおり、エコシステムは次の要素から成ります。 + +- **[Weaviate Database](#what-is-weaviate)**: オブジェクトとベクトルの両方を保存するオープンソースのベクトル データベース。 +- **[Weaviate Cloud](/cloud)**: Weaviate ベクトル データベースのフルマネージド クラウド デプロイ。 +- **[Weaviate Agents](/agents)**: Weaviate Cloud ユーザー向けのプリビルド エージェント サービス。 +- **[Weaviate Embeddings](/cloud/embeddings)**: Weaviate Cloud ユーザー向けのマネージド埋め込み推論サービス。 +- **[外部モデルプロバイダー](/weaviate/model-providers)**: Weaviate と統合できるサードパーティーモデル。 + +## デプロイ方法を選ぶ + +export const deploymentCardsData = [ + { + tabs: [ + { label: "評価", active: true }, + { label: "デプロイ", active: true }, + { label: "本番", active: true }, + ], + header: "Weaviate Cloud", + bgImage: "/img/site/hex-weaviate.svg", + bgImageLight: "/img/site/hex-weaviate-light.svg", + listItems: [ + "評価 (サンドボックス) から本番まで", + "サーバーレス (インフラは Weaviate が管理)", + " (オプション) データ レプリケーション (高可用性)", + " (オプション) ゼロダウンタイム アップデート", + ], + button: { + text: "WCD インスタンスを設定", + link: "/cloud/manage-clusters/create", + }, + }, + { + tabs: [ + { label: "評価", active: true }, + { label: "デプロイ", active: true }, + { label: "本番", active: false }, + ], + header: "Docker", + bgImage: "/img/site/docker-doc-icon.svg", + bgImageLight: "/img/site/docker-doc-icon-light.svg", + listItems: [ + "ローカルでの評価 & 開発向け", + "ローカル推論コンテナ", + "マルチモーダル モデル", + "カスタマイズ可能な構成", + ], + button: { + text: "Docker で Weaviate を実行", + link: "/deploy/installation-guides/docker-installation", + }, + }, + { + tabs: [ + { label: "評価", active: false }, + { label: "デプロイ", active: true }, + { label: "本番", active: true }, + ], + header: "Kubernetes", + bgImage: "/img/site/kubernetes-doc-icon.svg", + bgImageLight: "/img/site/kubernetes-doc-icon-light.svg", + listItems: [ + "開発から本番まで対応", + "ローカル推論コンテナ", + "マルチモーダル モデル", + "カスタマイズ可能な構成", + "セルフデプロイまたは Marketplace デプロイ", + " (オプション) ゼロダウンタイム アップデート", + ], + button: { + text: "Kubernetes で Weaviate を実行", + link: "/deploy/installation-guides/k8s-installation", + }, + }, + { + tabs: [ + { label: "評価", active: true }, + { label: "デプロイ", active: false }, + { label: "本番", active: false }, + ], + header: "Embedded Weaviate", + bgImage: "/img/site/hex-weaviate.svg", + bgImageLight: "/img/site/hex-weaviate-light.svg", + listItems: [ + "ベーシックかつ迅速な評価向け", + "Python や JS/TS から手軽に Weaviate を起動", + ], + button: { + text: "Embedded Weaviate を実行", + link: "/deploy/installation-guides/embedded", + }, + }, +]; + +
+この機能は現在も開発中であり、将来のリリースで変更される可能性があります。互換性が失われる変更が入ることもあります。 +**現時点では、本番環境での使用はおすすめしません。** + +::: + +コレクション エイリアスを使用すると、コレクションに別名を設定できます。これにより、ダウンタイムなしでのコレクション定義の変更、A/B テスト、あるいはより分かりやすい名前の提供などが可能になります。エイリアスはコレクションへの参照として機能し、エイリアス名でクエリを実行すると、 Weaviate が自動的に対象コレクションへリクエストをルーティングします。 + +## エイリアスの作成 + +エイリアスを作成するには、エイリアス名と、それが参照する対象コレクションを指定します。 + +
+
+
+
+
+
+
+
+
+
+
+:::note
+
+- エイリアス名は一意でなければならず、既存のコレクション名またはエイリアス名と重複できません
+- 複数のエイリアスを同じコレクションに向けることができます
+- コレクションを削除する場合を除き、ほとんどの操作でコレクション名の代わりにエイリアスを使用できます
+:::
+
+## すべてのエイリアスの一覧
+
+ Weaviate インスタンス内のすべてのエイリアスを取得します。
+
+
+
+
+
+
+
+
+
+
+
+
+## 特定のコレクションのエイリアス一覧
+
+特定のコレクションを参照しているすべてのエイリアスを取得します。
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+## エイリアス詳細の取得
+
+特定のエイリアスに関する情報を取得します。
+
+
+
+
+
+
+
+
+
+
+
+
+## エイリアスの更新
+
+エイリアスが参照するターゲット コレクションを変更します。この操作はアトミックで、コレクション間を即座に切り替えられます。
+
+
+
+
+
+
+
+
+
+
+
+
+:::tip ユースケース: ゼロダウンタイム マイグレーション
+
+エイリアスを更新することで、マイグレーションをシームレスに行えます。
+
+1. 更新したコレクション定義で新しいコレクションを作成
+2. 新しいコレクションにデータをインポート
+3. エイリアスを新しいコレクションへ向けて更新
+4. エイリアスを引き続き使用 — これ以降、そのエイリアスへのクエリはすべて新しいコレクションへ転送されます
+
+マイグレーションを実行するコード例については、[スターター ガイド: コレクション管理](../starter-guides/managing-collections/index.mdx#collection-aliases) を参照してください。
+:::
+
+## エイリアスの削除
+
+エイリアスを削除します。これはエイリアス ポインターのみを削除し、基盤となるコレクションは削除しません。
+
+
+
+
+
+
+
+
+
+
+
+
+:::note
+
+- コレクションを削除しても、それを参照するエイリアスは自動で削除されません
+
+:::
+
+
+## 操作でのエイリアスの使用
+
+エイリアスを作成すると、ほとんどの操作でコレクション名の代わりに使用できます（コレクションを削除する場合を除く）:
+
+
+
+
+
+
+
+
+
+
+
+
+## 参考リソース
+
+- [コレクションの管理：基本操作](./collection-operations.mdx)
+- [リファレンス：コレクション定義](/weaviate/config-refs/collections.mdx)
+-
+ API リファレンス：REST：エイリアス
+
+
+## ご質問とフィードバック
+
+import DocsFeedback from "/_includes/docs-feedback.mdx";
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+:::tip Production ready collections
+
+- **データスキーマを手動で定義**:
+ [`auto-schema`](../config-refs/collections.mdx#auto-schema) 機能を使用せず、[コレクションのプロパティを手動で定義](#create-a-collection-and-define-properties)してください。
+- **コレクションを作り過ぎない**:
+ コレクションが多すぎると、メモリ使用量の増加やクエリ性能の低下など、スケーラビリティの問題が発生する可能性があります。代わりに、1 つのコレクションを複数のテナントに分割する [マルチテナンシー](/weaviate/manage-collections/multi-tenancy) の利用を検討してください。詳細は [スターターガイド: コレクションのスケーリング制限](/weaviate/starter-guides/managing-collections/collections-scaling-limits) を参照してください。
+:::
+
+
+
+## コレクションの作成とプロパティの定義
+
+プロパティとは、コレクション内のデータフィールドです。各プロパティには名前とデータ型があります。
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+## ベクトライザー付きコレクションの作成
+
+オブジェクトを作成したり ベクトル 検索クエリを実行したりする際に ベクトル 埋め込みを生成するため、コレクションに `vectorizer` を指定します。
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+:::info ベクトライザー設定
+
+ベクトライザーおよび ベクトル インデックス設定の詳細は、[コレクションの管理: Vectorizer and vector index](./vector-config.mdx) をご覧ください。
+
+:::
+
+## Auto-schema の無効化
+
+デフォルトでは、Weaviate は存在しないコレクションやプロパティを自動で作成します。コレクションを手動で設定すると、設定をより細かく制御できます。
+
+[`auto-schema`](../config-refs/collections.mdx#auto-schema) を無効化するには、システム設定ファイルで `AUTOSCHEMA_ENABLED: 'false'` を設定してください。
+
+## コレクションが存在するかの確認
+
+指定したコレクションが存在するかどうかを示す boolean 値を取得します。
+
+
+
+
+
+
+
+
+## 単一コレクション定義の取得
+
+スキーマからコレクション定義を取得します。
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+## コレクション定義の更新
+
+import RaftRFChangeWarning from "/_includes/1-25-replication-factor.mdx";
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+## コレクションの削除
+
+import CautionSchemaDeleteClass from "/_includes/schema-delete-class.mdx";
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+## 追加リソース
+
+- [コレクション管理: ベクトライザーとベクトルインデックス](./vector-config.mdx)
+- [参照: コレクション定義](/weaviate/config-refs/collections.mdx)
+- [コンセプト: データ構造](../concepts/data.md)
+-
+ API リファレンス: REST: スキーマ
+
+
+## 質問とフィードバック
+
+import DocsFeedback from "/_includes/docs-feedback.mdx";
+
+
+
+
+
+
+
+
+
+
+## クロスリファレンス プロパティの追加
+
+既存のコレクション定義にクロスリファレンス プロパティを追加することもできます。
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+## クロスリファレンス付きオブジェクトの作成
+
+オブジェクトを作成する際にクロスリファレンスを指定します。
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+## 一方向クロスリファレンスの追加
+
+ソースとターゲットの必須 id とプロパティを指定します。
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+## 双方向クロスリファレンスの追加
+
+これは、両方向にリファレンスプロパティを追加し、オブジェクトペアごとに 2 つのクロスリファレンス（ `from` A -> `to` B と `from` B -> `to` A）を追加する必要があります。
+
+`JeopardyCategory` コレクションを作成します:
+
+
+
+
+
+
+
+
+
+
+
+
+
+`JeopardyQuestion` コレクションを作成し、 `JeopardyCategory` へのリファレンスプロパティを含めます:
+
+
+
+
+
+
+
+
+
+
+
+
+
+`JeopardyCategory` を修正し、 `JeopardyQuestion` へのリファレンスを追加します:
+
+
+
+
+
+
+
+
+
+
+
+
+
+そしてクロスリファレンスを追加します:
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+## 複数 (一対多) のクロスリファレンスを追加
+
+Weaviate では、1 つのソースオブジェクトから複数のクロスリファレンスを作成できます。
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+## クロスリファレンスの読み取り
+
+クロスリファレンスはオブジェクトの一部として読み取ることができます。
+
+
+
+
+
+
+
+
+
+
+
+
+## クロスリファレンスの削除
+
+クロスリファレンスを定義したときと同じパラメーターを使用してクロスリファレンスを削除します。
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+## 関連ページ
+
+- [Weaviate に接続](/weaviate/connections/index.mdx)
+- リファレンス: REST - /v1/objects
+- [クエリの一部としてクロスリファレンスを取得](../search/basics.md#retrieve-cross-referenced-properties)
+
+## 質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+## リランカー モデル インテグレーションの更新
+
+:::info `v1.25.23` 、 `v1.26.8` 、および `v1.27.1` から利用可能
+`reranker` と `generative` の設定は `v1.25.23` 、 `v1.26.8` 、および `v1.27.1` から変更可能です。
+:::
+
+[取得結果をリランキング](../search/rerank.md) するために、[`reranker`](../concepts/search/index.md#rerank) モデル インテグレーションを更新します。
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+## 生成モデル統合の指定
+
+コレクションに対して `generative` モデル統合を指定します (RAG 用)。
+
+:::info 関連ページ
+
+- [利用可能な生成モデル統合](../model-providers/index.md)
+:::
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+## 生成モデル統合の更新
+
+:::info `v1.25.23`、`v1.26.8`、`v1.27.1` から利用可能
+`reranker` と `generative` の構成は `v1.25.23`、`v1.26.8`、`v1.27.1` から変更可能です。
+:::
+
+[`generative`](../concepts/search/index.md#retrieval-augmented-generation-rag) モデル統合を更新します。
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+import RuntimeGenerative from "/_includes/runtime-generative.mdx";
+
+
+ API リファレンス: REST: スキーマ
+
+- [リファレンス: 設定: スキーマ](/weaviate/config-refs/collections.mdx)
+- [概念: データ構造](../concepts/data.md)
+
+## 質問とフィードバック
+
+import DocsFeedback from "/_includes/docs-feedback.mdx";
+
+
+
+ +## コレクションの仕組み + +Weaviate のコレクションは、データ保存とベクトル検索を可能にする複数の主要コンポーネントと設定によって定義されます。 +主な要素は次のとおりです: + +import CollectionsSimplified from "/docs/weaviate/manage-collections/img/weaviate-collections-simplified.png"; +import Link from "@docusaurus/Link"; + +export const textColumnContent = ( +
+ {textColumnContent}
+
+
+
+
+## 質問とフィードバック
+
+import DocsFeedback from "/_includes/docs-feedback.mdx";
+
+
+
+
+
+
+
+
+
+
+#### Step 2: データの移行
+
+以下を移行します。
+- `client_src` インスタンス内の `source collection` のデータ
+- `client_tgt` インスタンス内の `target collection` へ
+
+
+
+
+
+
+
+
+
+
+## コレクション → テナント
+
+#### Step 1: 送信先コレクションの作成
+
+送信先インスタンスに、ソースインスタンスのコレクション (例: `WineReview`) と同じ名前のコレクションを作成し、マルチテナンシーを有効にします。
+
+
+
+
+
+
+
+
+
+
+
+
+#### Step 2: テナントの作成
+
+データオブジェクトを追加する前に、ターゲットインスタンスにテナントを追加します。
+
+
+
+
+
+
+
+
+
+
+#### Step 3: データの移行
+
+以下を移行します:
+- `client_src` インスタンス内の `source collection` データ
+- `client_tgt` インスタンス内の `target collection` の `target tenant` データへ
+
+
+
+
+
+
+
+
+
+
+## テナント → コレクション
+
+#### Step 1: ターゲットコレクションの作成
+
+ターゲットインスタンスに、ソースインスタンスのコレクション (例: `WineReview`) と一致するコレクション (例: `WineReview`) を作成し、マルチテナンシーを有効にします。
+
+
+
+
+
+
+
+
+
+
+#### Step 2: データの移行
+
+以下を移行します:
+- `client_src` インスタンス内の `source collection` の `source tenant` データ
+- `client_tgt` インスタンス内の `target collection` へ
+
+
+
+
+
+
+
+
+
+
+
+## テナント → テナント
+
+#### ステップ 1: 対象コレクションを作成する
+
+対象インスタンスでコレクション (例: `WineReview`) を作成し、ソースインスタンスのコレクション (例: `WineReview`) と一致させ、マルチテナンシーを有効にします。
+
+
+
+
+
+
+
+
+
+
+
+#### ステップ 2: テナントを作成する
+
+データオブジェクトを追加する前に、対象インスタンスにテナントを追加します。
+
+
+
+
+
+
+
+
+
+
+#### ステップ 3: データを移行する
+
+移行内容:
+- `client_src` インスタンスの `source collection` にある `source tenant` のデータ
+- を `client_tgt` インスタンスの `target collection` にある `target tenant` のデータへ
+
+
+
+
+
+
+
+
+
+
+## 関連ページ
+
+- [Weaviate への接続](/weaviate/connections/index.mdx)
+- [Cursor API](../manage-objects/read-all-objects.mdx)
+- [マルチテナンシー操作](./multi-tenancy.mdx)
+
+## 質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+```bash
+curl \
+-X POST \
+-H "Content-Type: application/json" \
+-d '{
+ "class": "Article",
+ "properties": [
+ {
+ "dataType": [
+ "string"
+ ],
+ "description": "Title of the article",
+ "name": "title"
+ }
+ ],
+ "replicationConfig": {
+ "factor": 3,
+ "asyncEnabled": true,
+ "deletionStrategy": "TimeBasedResolution"
+ }
+}' \
+http://localhost:8080/v1/schema
+```
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+API リファレンス: REST: スキーマ
+- [リファレンス: 構成: スキーマ](/weaviate/config-refs/collections.mdx)
+- [コンセプト: データ構造](../concepts/data.md)
+
+## 質問とフィードバック
+
+import DocsFeedback from "/_includes/docs-feedback.mdx";
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+## 新しいテナントを自動追加
+
+import AutoTenant from "/_includes/auto-tenant.mdx";
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+### コレクションの更新
+
+クライアントを使用して auto-tenant 作成設定を更新します。auto-tenant はバッチ挿入でのみ利用できます。
+
+
+
+
+
+
+
+
+
+
+## 新しいテナントの手動追加
+
+コレクションにテナントを追加するには、対象のコレクションと新しいテナントを指定します。必要に応じて、テナントのアクティブ状態を `ACTIVE`（利用可能、デフォルト）、`INACTIVE`（利用不可、ディスク上）、または `OFFLOADED`（利用不可、[クラウドへオフロード](../concepts/data.md#tenant-states)）として指定できます。
+
+以下の例では、`MultiTenancyCollection` コレクションに `tenantA` を追加しています。
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+## テナントの一覧
+
+既存のテナントをコレクション内で一覧表示します。
+
+この例では、`MultiTenancyCollection` コレクションに含まれるテナントを一覧表示します。
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+## 名前でのテナント取得
+
+コレクションから名前を指定してテナントを取得します。存在しないテナント名はレスポンスで無視される点に注意してください。
+
+次の例では、`MultiTenancyCollection` コレクションから `tenantA` と `tenantB` を返します:
+
+
+
+
+
+
+
+
+
+
+## 単一テナントの取得
+
+コレクションから特定のテナントを取得します。
+
+次の例では、`MultiTenancyCollection` コレクションからテナントを返します:
+
+
+
+
+
+
+
+
+
+
+## テナントの削除
+
+テナントをコレクションから削除するには、コレクション（例: `MultiTenancyCollection`）とテナント（`tenantB` と `tenantX`）を指定します。指定されたテナントがコレクションに含まれていない場合、その名前は無視されます。
+
+:::caution テナント削除 ＝ テナント データ削除
+テナントを削除すると、関連するすべてのオブジェクトも削除されます。
+:::
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+## テナント状態の管理
+
+`ACTIVE`、`INACTIVE`、`OFFLOADED` の間でテナントの状態を変更します。
+
+
+
+
+
+
+
+
+
+:::info 詳細はこちら
+
+より実践的な例については [ハウツー: テナント状態を管理する](./tenant-states.mdx) を参照してください。また、**ホット**、**ウォーム**、**コールド** の各ストレージ階層を管理する方法については、[ガイド: リソースの管理](../starter-guides/managing-resources/index.md) もご覧ください。
+
+:::
+
+## CRUD 操作
+
+マルチテナンシーコレクションでは、各 CRUD 操作にテナント名（例：`tenantA`）を指定する必要があります。以下のオブジェクト作成例をご覧ください。
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+## 検索クエリ
+
+マルチテナンシーコレクションでは、`Get` および `Aggregate` クエリを実行するたびにテナント名（例：`tenantA`）を指定する必要があります。
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+## クロスリファレンス
+
+import CrossReferencePerformanceNote from "/_includes/cross-reference-performance-note.mdx";
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+## バックアップ
+
+:::caution 非アクティブまたはオフロード済みテナントはバックアップに含まれません
+[マルチテナント コレクション](../concepts/data.md#multi-tenancy)のバックアップには `active` テナントのみが含まれ、`inactive` や `offloaded` テナントは含まれません。すべてのデータをバックアップに含めるために、バックアップ作成前に [テナントをアクティブにする](#manage-tenant-states) ことを推奨します。
+:::
+
+## 関連ページ
+
+- [Weaviate への接続](/weaviate/connections/index.mdx)
+- [How to: コレクションを管理する](../manage-collections/index.mdx)
+- 参照: REST API: スキーマ
+- [概念: データ構造: マルチテナンシー](../concepts/data.md#multi-tenancy)
+
+## 質問とフィードバック
+
+import DocsFeedback from "/_includes/docs-feedback.mdx";
+
+.default})
+
+### Inactive
+
+`Inactive` テナントはクエリおよび CRUD 操作ができません。
+
+テナントのオブジェクトデータ、ベクトル インデックス、転置インデックスはディスク上に保存され、 `Warm` リソースを使用します。これは **Hot** リソースを使用する Active テナントと比較して Weaviate のメモリ要件を下げる効果があります。
+
+テナントがローカルにあるため、Inactive テナントは迅速にアクティブ化できます。
+
+.default})
+
+### Offloaded
+
+import OffloadingLimitation from '/_includes/offloading-limitation.mdx';
+
+.default})
+
+## テナントをアクティブ化
+
+ディスク上の `INACTIVE` テナントをアクティブ化する、またはクラウドから `OFFLOADED` テナントをオンロードしてアクティブ化するには、次を呼び出します。
+
+
+
+
+
+
+
+
+
+## テナントを非アクティブ化
+
+:::info v1.21.0 で追加
+:::
+
+`ACTIVE` テナントを非アクティブ化する、または `OFFLOADED` テナントをクラウドからオンロード（アクティブ化せずにローカルへ配置）するには、次を呼び出します。
+
+
+
+
+
+
+
+
+
+
+
+## テナントのオフロード
+
+:::info Added in v1.26.0
+:::
+
+`ACTIVE` または `INACTIVE` のテナントをクラウドにオフロードするには、次を呼び出します:
+
+
+
+
+
+
+
+
+
+:::caution Offload モジュールが必要
+テナントのオフロードには Offload モジュールが必要です。
+
+テナントオフロードを有効にする方法は、[modules ページ](../configuration/modules.md#tenant-offload-modules) をご覧ください
+:::
+
+## テナントの自動アクティベート
+
+:::info Added in `v1.25.2`
+:::
+
+検索、読み取り、更新、削除操作が実行された際に、`INACTIVE` または `OFFLOADED` のテナントを自動的にアクティブ化するには、次を有効にします。
+
+
+
+
+
+
+
+
+
+
+## ご質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+## ベクトライザーの設定を指定する
+
+import VectorsAutoSchemaError from "/_includes/error-note-vectors-autoschema.mdx";
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+## 名前付き ベクトルの定義
+
+:::info `v1.24` で追加
+:::
+
+各コレクションに複数の [名前付き ベクトル](../concepts/data.md#multiple-vector-embeddings-named-vectors) を定義できます。これにより、各オブジェクトを複数のベクトル埋め込みで表現でき、それぞれに独自のベクトル インデックスを持たせることが可能です。
+
+そのため、各名前付き ベクトルの設定では、個別のベクトライザーとベクトル インデックス設定を指定できます。
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+## 新しい名前付き ベクトルの追加
+
+:::info `v1.31` で追加
+:::
+
+名前付き ベクトルは、すでに名前付き ベクトルを含むコレクション定義に追加できます。（名前付き ベクトルを持たないコレクションには追加できません。）
+
+
+
+
+
+
+
+
+```java
+// Java support coming soon
+```
+
+
+
+
+```go
+// Go support coming soon
+```
+
+
+
+
+:::caution オブジェクトは自動的に再ベクトル化されません
+コレクション定義に新しい名前付き ベクトルを追加しても、既存オブジェクトのベクトル化は実行されません。新規または更新済みのオブジェクトのみが、追加された名前付き ベクトル定義に対する埋め込みを取得します。
+:::
+
+## マルチ ベクトル埋め込みの定義 (例: ColBERT, ColPali)
+
+:::info `v1.29`, `v1.30` で追加
+:::
+
+マルチ ベクトル埋め込み（マルチ ベクトルとも呼ばれます）は、1 つのオブジェクトを複数のベクトル、つまり 2 次元行列で表現します。現在、マルチ ベクトルは名前付き ベクトル用の HNSW インデックスでのみ利用できます。マルチ ベクトルを使用するには、該当する名前付き ベクトルで有効化してください。
+
+
+
+
+
+
+
+
+
+
+:::tip ベクトルを圧縮するために量子化とエンコーディングを使用する
+マルチ ベクトル埋め込みは単一 ベクトル埋め込みよりも多くのメモリを消費します。[ベクトル量子化](../configuration/compression/index.md) と [エンコーディング](../configuration/compression/multi-vectors.md#muvera-encoding) を使用して圧縮し、メモリ使用量を削減できます。
+:::
+
+
+
+## ベクトル インデックス タイプの設定
+
+ベクトル インデックス タイプは、コレクション作成時に `hnsw`、`flat`、`dynamic` から選択して設定できます。
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+## 距離メトリックの指定
+
+独自にベクトルを用意する場合は、`distance metric` を指定する必要があります。
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+API リファレンス: REST: スキーマ
+- [リファレンス: 設定: スキーマ](/weaviate/config-refs/collections.mdx)
+- [コンセプト: データ構造](../concepts/data.md)
+
+## 質問とフィードバック
+
+import DocsFeedback from "/_includes/docs-feedback.mdx";
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+## 名前付き ベクトル を使用したオブジェクト作成
+
+:::info `v1.24` で追加
+:::
+
+オブジェクトを作成する際、（[コレクションで設定されている場合](../manage-collections/vector-config.mdx#define-named-vectors)）名前付き ベクトル を指定できます。
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+## 指定した ID でオブジェクトを作成
+
+オブジェクトを作成する際、[ID](../api/graphql/additional-properties.md#id) を指定できます。
+
+:::info
+ID を指定しない場合、Weaviate はランダムな [UUID](https://en.wikipedia.org/wiki/Universally_unique_identifier) を生成します。
+:::
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+## 決定論的 ID の生成
+
+データオブジェクトに基づいて ID を生成できます。
+
+:::info
+オブジェクト ID はランダムに生成されません。同じ値からは常に同じ ID が生成されます。
重複した ID を指定すると Weaviate はエラーを返します。重複オブジェクトの挿入を避けるために、決定論的 ID を使用してください。 +::: + +
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+```java
+// This feature is under development
+```
+
+
+
+
+
+```go
+// This feature is under development
+```
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+:::tip Additional information
+クロスリファレンスの詳細については、[How-to: Cross-references](../manage-collections/cross-references.mdx) を参照してください。
+:::
+
+## `geoCoordinates`付きオブジェクトの作成
+
+import GeoLimitations from '/_includes/geo-limitations.mdx';
+
+validate できます。
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+## 複数ベクトル埋め込み（名前付きベクトル）
+
+import MultiVectorSupport from '/_includes/multi-vector-support.mdx';
+
+参照： REST - /v1/objects
+
+## 質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+## 複数オブジェクトの削除
+
+特定の条件に一致するオブジェクトを削除するには、コレクションと [`where` フィルター](../search/similarity.md) を指定します。
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+```js
+await client.batch
+ .objectsBatchDeleter()
+ .withClassName('EphemeralObject')
+ .withWhere({
+ path: ['name'],
+ // highlight-start
+ operator: 'ContainsAny',
+ valueTextArray: ['asia', 'europe'], // Note the array syntax
+ // highlight-end
+ })
+ // highlight-end
+ .do();
+```
+
+
+
+
+
+```java
+client.batch().objectsBatchDeleter()
+ .withClassName("EphemeralObject")
+ .withWhere(WhereFilter.builder()
+ .path("name")
+ // highlight-start
+ .operator(Operator.ContainsAny)
+ .valueText("asia", "europe") // Note the array syntax
+ // highlight-end
+ .build())
+ .run();
+```
+
+
+
+
+```go
+ response, err := client.Batch().ObjectsBatchDeleter().
+ WithClassName("EphemeralObject").
+ WithOutput("minimal").
+ WithWhere(filters.Where().
+ WithPath([]string{"name"}).
+ // highlight-start
+ WithOperator(filters.ContainsAny).
+ WithValueText("asia", "europe")). // Note the array syntax
+ // highlight-end
+ Do(ctx)
+```
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+```js
+await client.batch
+ .objectsBatchDeleter()
+ .withClassName('EphemeralObject')
+ .withWhere({
+ path: ['id'],
+ // highlight-start
+ operator: 'ContainsAny',
+ valueTextArray: ['12c88739-7a4e-49fd-bf53-d6a829ba0261', '3022b8be-a6dd-4ef4-b213-821f65cee53b', '30de68c1-dd53-4bed-86ea-915f34faea63'], // Note the array syntax
+ // highlight-end
+ })
+ // highlight-end
+ .do();
+```
+
+
+
+
+
+```java
+client.batch().objectsBatchDeleter()
+ .withClassName("EphemeralObject")
+ .withWhere(WhereFilter.builder()
+ .path("id")
+ // highlight-start
+ .operator(Operator.ContainsAny)
+ .valueText("12c88739-7a4e-49fd-bf53-d6a829ba0261", "3022b8be-a6dd-4ef4-b213-821f65cee53b", "30de68c1-dd53-4bed-86ea-915f34faea63") // Note the array syntax
+ // highlight-end
+ .build())
+ .run();
+```
+
+
+
+
+```go
+ response, err := client.Batch().ObjectsBatchDeleter().
+ WithClassName("EphemeralObject").
+ WithOutput("minimal").
+ WithWhere(filters.Where().
+ WithPath([]string{"id"}).
+ // highlight-start
+ WithOperator(filters.ContainsAny).
+ WithValueText("12c88739-7a4e-49fd-bf53-d6a829ba0261", "3022b8be-a6dd-4ef4-b213-821f65cee53b", "30de68c1-dd53-4bed-86ea-915f34faea63")). // Note the array syntax
+ // highlight-end
+ Do(ctx)
+```
+
+
+
+
+## すべてのオブジェクトの削除
+
+オブジェクトは Weaviate 内のコレクションに属している必要があります。そのため、[コレクションを削除](../manage-collections/collection-operations.mdx#delete-a-collection)すると、そこに含まれるすべてのオブジェクトも削除されます。
+
+## 追加パラメーター
+
+- `dryRun` を使用すると、実際に削除を行わずに何件のオブジェクトが削除対象になるかを確認できます。
+- `output` に `'verbose'` を設定すると、各削除について詳細（ ID と削除ステータス）を確認できます。
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+リファレンス: REST - /v1/objects
+
+## 質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+## gRPC API の使用
+
+:::info `v1.23` で追加されました。
+:::
+
+[gRPC API](../api/index.mdx) は REST API より高速です。インポート速度を向上させるために gRPC API をご利用ください。
+
+
+
+
+Python クライアントはデフォルトで gRPC を使用します。
+
+
レガシー Python クライアントは gRPC をサポートしていません。 + +
+
+
+TypeScript クライアント v3 はデフォルトで gRPC を使用します。
+
+
レガシー TypeScript クライアントは gRPC をサポートしていません。 + +
+
+
+Java クライアントで gRPC API を使用するには、クライアント接続コードに `setGRPCHost` フィールドを追加してください。暗号化接続を使用する場合は `setGRPCSecured` を更新します。
+ +```java +Config config = new Config("http", "localhost:8080"); +config.setGRPCSecured(false); +config.setGRPCHost("localhost:50051"); +``` +
+
+
+Go クライアントで gRPC API を使用するには、クライアント接続コードに `GrpcConfig` フィールドを追加してください。暗号化接続を使用する場合は `Secured` を更新します。
+ +```java +cfg := weaviate.Config{ + Host: fmt.Sprintf("localhost:%v", "8080"), + Scheme: "http", + // highlight-start + GrpcConfig: &grpc.Config{ + Host: "localhost:50051", + Secured: false, + }, + // highlight-end +} + +client, err := weaviate.NewClient(cfg) +if err != nil { + require.Nil(t, err) + } +``` +
+
+
+[Spark コネクター](https://github.com/weaviate/spark-connector) で gRPC API を使用するには、クライアント接続コードに `grpc:host` フィールドを追加してください。暗号化接続を使用する場合は `grpc:secured` を更新します。
+ +```java + df.write + .format("io.weaviate.spark.Weaviate") + .option("scheme", "http") + .option("host", "localhost:8080") + // highlight-start + .option("grpc:host", "localhost:50051") + .option("grpc:secured", "false") + // highlight-start + .option("className", className) + .mode("append") + .save() +``` + +
+
+
+
+
+## ID 値の指定
+
+Weaviate は各オブジェクトに対して UUID を生成します。オブジェクト ID は一意である必要があります。オブジェクト ID を自分で設定する場合は、重複 ID を防ぐために次の決定論的 UUID メソッドのいずれかを使用してください:
+
+- `generate_uuid5` (Python)
+- `generateUuid5` (TypeScript)
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+## ベクトルの指定
+
+`vector` プロパティを使用して、各オブジェクトにベクトルを指定します。
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+## 名前付き ベクトル の指定
+
+:::info `v1.24` で追加
+:::
+
+オブジェクトを作成する際、（[コレクションで設定されている場合](../manage-collections/vector-config.mdx#define-named-vectors)）名前付き ベクトル を指定できます。
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+## 参照付きインポート
+
+クロスリファレンスを介して、あるオブジェクトから別のオブジェクトへリンクをまとめて作成できます。
+
+
+
+
+
+
+
+
+
+
+## Python 固有の考慮事項
+
+Python クライアントには、インポート速度を最適化するための組み込みバッチ処理メソッドがあります。詳細はクライアントドキュメントをご覧ください。
+
+
+- [Python クライアント `v4`](../client-libraries/python/index.mdx)
+
+### 非同期 Python クライアントとバッチ処理
+
+現在、[非同期 Python クライアントはバッチ処理をサポートしていません](../client-libraries/python/async.md#bulk-data-insertion)。バッチ処理を使用する場合は、同期 Python クライアントをご利用ください。
+
+## 大きなファイルからのストリーミング処理
+
+データセットが大きい場合、メモリ不足を避けるためにインポートをストリーミングすることを検討してください。
+
+サンプルコードを試すには、サンプルデータをダウンロードし、サンプル入力ファイルを作成します。
+
+
+
+
+
+
+## 追加の考慮事項
+
+データのインポートは多くのリソースを消費します。大量のデータをインポートする際は、次の点を考慮してください。
+
+### 非同期インポート
+
+:::caution Experimental
+`v1.22` から利用可能です。これは試験的な機能です。ご注意ください。
+:::
+
+インポート速度を最大化するには、[非同期インデックス作成](/weaviate/config-refs/indexing/vector-index.mdx#asynchronous-indexing)を有効化してください。
+
+非同期インデックス作成を有効にするには、 Weaviate の設定ファイルで `ASYNC_INDEXING` 環境変数を `true` に設定します。
+
+```yaml
+weaviate:
+ image: cr.weaviate.io/semitechnologies/weaviate:||site.weaviate_version||
+ ...
+ environment:
+ ASYNC_INDEXING: 'true'
+ ...
+```
+
+### 新しいテナントの自動追加
+
+import AutoTenant from '/_includes/auto-tenant.mdx';
+
+参照: REST - /v1/batch
+- [設定: インデックス](/weaviate/config-refs/indexing/vector-index.mdx#asynchronous-indexing)
+
+## ご質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+
+
+ +## 質問とフィードバック + +import DocsFeedback from "/_includes/docs-feedback.mdx"; + +
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+## ベクトルを含むすべてのオブジェクトを読み込む
+
+ベクトル を含むすべてのデータを読み込みます。（[named vectors](../config-refs/collections.mdx#named-vectors) を使用している場合にも適用されます。）
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+## 全オブジェクトの読み取り - マルチ テナント コレクション
+
+すべてのテナントを順に処理し、それぞれのデータを読み取ります。
+
+:::tip Multi-tenancy
+[multi-tenancy](../concepts/data.md#multi-tenancy) が有効になっているクラスでは、オブジェクトを読み取る場合や作成する場合にテナント名を指定する必要があります。詳細は [データ管理: マルチ テナンシー操作]( ../manage-collections/multi-tenancy.mdx) をご覧ください。
+:::
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+## 関連ページ
+
+- [Weaviate への接続](/weaviate/connections/index.mdx)
+- [How-to: オブジェクトの読み取り](./read.mdx)
+- [リファレンス: GraphQL - 追加演算子](../api/graphql/additional-operators.md#cursor-with-after)
+- [データ管理: マルチ テナンシー操作]( ../manage-collections/multi-tenancy.mdx)
+
+## 質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+## オブジェクトの ベクトル を取得
+
+オブジェクトの ベクトル は、返却内容として指定することで取得できます。
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+## 名前付き ベクトルの取得
+
+名前付き ベクトルを使用している場合、ベクトル名を指定することで 1 つ以上を取得できます。
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+## オブジェクトの存在確認
+
+特定の `id` を持つオブジェクトが存在するかどうかを取得せずに効率的に確認するには、 `HEAD` リクエストを `/v1/objects/` REST エンドポイント に送信するか、以下のクライアントコードを使用します。
+
+import CheckObjectExistence from '/_includes/code/howto/manage-data.read.check.existence.mdx';
+
+参照: REST - /v1/objects
+
+## 質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+## オブジェクト ベクトルの更新
+
+オブジェクト ベクトルもプロパティと同様に更新できます。[名前付きベクトル](../config-refs/collections.mdx#named-vectors) を使用する場合は、[オブジェクト作成](./create.mdx#create-an-object-with-named-vectors) と同様に、データを辞書（マップ）形式で指定してください。
+
+
+
+
+
+
+
+
+
+
+
+
+ > Coming soon (vote for the [機能リクエスト](https://github.com/weaviate/typescript-client/issues/64))
+
+
+
+
+
+ > 近日公開
+
+
+
+
+
+ > 近日公開
+
+
+
+
+
+
+
+## オブジェクト全体の置換
+
+コレクション名、 id 、新しいオブジェクトを指定してオブジェクト全体を置換できます。
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+## プロパティの削除
+
+コレクション定義におけるプロパティの削除や更新は[まだサポートされていません](https://github.com/weaviate/weaviate/issues/2848)。
+
+オブジェクトレベルでは、該当プロパティを削除したコピーと置き換えるか、テキストプロパティの場合は値を `""` に設定することで対応できます。
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+## 関連ページ
+
+- [Weaviate への接続](/weaviate/connections/index.mdx)
+- リファレンス: REST - /v1/objects
+
+
+## 質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+"
+ )
+ # highlight-end
+)
+# END BasicGenerativeAWSSagemaker
+
+# clean up
+client.collections.delete("DemoCollection")
+import_data()
+
+# START RuntimeModelSelectionAWS
+from weaviate.classes.config import Configure
+from weaviate.classes.generate import GenerativeConfig
+
+collection = client.collections.use("DemoCollection")
+response = collection.generate.near_text(
+ query="A holiday film",
+ limit=2,
+ grouped_task="Write a tweet promoting these two movies",
+ # highlight-start
+ generative_provider=GenerativeConfig.aws(
+ region="us-east-1",
+ service="bedrock", # You can also use sagemaker
+ model="cohere.command-r-plus-v1:0"
+ ),
+ # Additional parameters not shown
+ # highlight-end
+)
+# END RuntimeModelSelectionAWS
+
+# START WorkingWithImagesAWS
+import base64
+import requests
+from weaviate.classes.generate import GenerativeConfig, GenerativeParameters
+
+src_img_path = "https://upload.wikimedia.org/wikipedia/commons/thumb/b/b0/Winter_forest_silver.jpg/960px-Winter_forest_silver.jpg"
+base64_image = base64.b64encode(requests.get(src_img_path).content).decode('utf-8')
+
+prompt = GenerativeParameters.grouped_task(
+ # highlight-start
+ prompt="Which movie is closest to the image in terms of atmosphere",
+ images=[base64_image], # A list of base64 encoded strings of the image bytes
+ # image_properties=["img"], # Properties containing images in Weaviate
+ # highlight-end
+)
+
+jeopardy = client.collections.use("DemoCollection")
+response = jeopardy.generate.near_text(
+ query="Movies",
+ limit=5,
+ # highlight-start
+ grouped_task=prompt,
+ # highlight-end
+ generative_provider=GenerativeConfig.aws(
+ region="us-east-1",
+ service="bedrock", # You can also use sagemaker
+ model="cohere.command-r-plus-v1:0"
+ ),
+)
+
+# Print the source property and the generated response
+for o in response.objects:
+ print(f"Title property: {o.properties['title']}")
+print(f"Grouped task result: {response.generative.text}")
+# END WorkingWithImagesAWS
+
+# clean up
+client.collections.delete("DemoCollection")
+
+# START BasicGenerativeCohere
+from weaviate.classes.config import Configure
+
+client.collections.create(
+ "DemoCollection",
+ # highlight-start
+ generative_config=Configure.Generative.cohere()
+ # highlight-end
+ # Additional parameters not shown
+)
+# END BasicGenerativeCohere
+
+# clean up
+client.collections.delete("DemoCollection")
+
+# START GenerativeCohereCustomModel
+from weaviate.classes.config import Configure
+
+client.collections.create(
+ "DemoCollection",
+ # highlight-start
+ generative_config=Configure.Generative.cohere(
+ model="command-r-plus"
+ )
+ # highlight-end
+ # Additional parameters not shown
+)
+# END GenerativeCohereCustomModel
+
+# clean up
+client.collections.delete("DemoCollection")
+
+
+# START FullGenerativeCohere
+from weaviate.classes.config import Configure
+
+client.collections.create(
+ "DemoCollection",
+ # highlight-start
+ generative_config=Configure.Generative.cohere(
+ # # These parameters are optional
+ # model="command-r",
+ # temperature=0.7,
+ # max_tokens=500,
+ # k=5,
+ # stop_sequences=["\n\n"],
+ # return_likelihoods="GENERATION"
+ )
+ # highlight-end
+ # Additional parameters not shown
+)
+# END FullGenerativeCohere
+
+# clean up
+client.collections.delete("DemoCollection")
+import_data()
+
+# START RuntimeModelSelectionCohere
+from weaviate.classes.config import Configure
+from weaviate.classes.generate import GenerativeConfig
+
+collection = client.collections.use("DemoCollection")
+response = collection.generate.near_text(
+ query="A holiday film",
+ limit=2,
+ grouped_task="Write a tweet promoting these two movies",
+ # highlight-start
+ generative_provider=GenerativeConfig.cohere(
+ # # These parameters are optional
+ # model="command-r",
+ # temperature=0.7,
+ # max_tokens=500,
+ # k=5,
+ # stop_sequences=["\n\n"],
+ # return_likelihoods="GENERATION"
+ ),
+ # Additional parameters not shown
+ # highlight-end
+)
+# END RuntimeModelSelectionCohere
+
+# clean up
+client.collections.delete("DemoCollection")
+
+# START BasicGenerativeDatabricks
+from weaviate.classes.config import Configure
+
+databricks_generative_endpoint = os.getenv("DATABRICKS_GENERATIVE_ENDPOINT")
+client.collections.create(
+ "DemoCollection",
+ # highlight-start
+ generative_config=Configure.Generative.databricks(endpoint=databricks_generative_endpoint)
+ # highlight-end
+ # Additional parameters not shown
+)
+# END BasicGenerativeDatabricks
+
+# clean up
+client.collections.delete("DemoCollection")
+
+# START FullGenerativeDatabricks
+from weaviate.classes.config import Configure
+
+databricks_generative_endpoint = os.getenv("DATABRICKS_GENERATIVE_ENDPOINT")
+client.collections.create(
+ "DemoCollection",
+ # highlight-start
+ generative_config=Configure.Generative.databricks(
+ endpoint=databricks_generative_endpoint
+ # # These parameters are optional
+ # max_tokens=500,
+ # temperature=0.7,
+ # top_p=0.7,
+ # top_k=0.1
+ )
+ # highlight-end
+ # Additional parameters not shown
+)
+# END FullGenerativeDatabricks
+
+# clean up
+client.collections.delete("DemoCollection")
+import_data()
+
+# START RuntimeModelSelectionDatabricks
+from weaviate.classes.config import Configure
+from weaviate.classes.generate import GenerativeConfig
+
+collection = client.collections.use("DemoCollection")
+response = collection.generate.near_text(
+ query="A holiday film",
+ limit=2,
+ grouped_task="Write a tweet promoting these two movies",
+ # highlight-start
+ generative_provider=GenerativeConfig.databricks(
+ # # These parameters are optional
+ # max_tokens=500,
+ # temperature=0.7,
+ # top_p=0.7,
+ # top_k=0.1
+ ),
+ # Additional parameters not shown
+ # highlight-end
+)
+# END RuntimeModelSelectionDatabricks
+
+# clean up
+client.collections.delete("DemoCollection")
+
+# START BasicGenerativeFriendliAI
+from weaviate.classes.config import Configure
+
+client.collections.create(
+ "DemoCollection",
+ generative_config=Configure.Generative.friendliai()
+ # Additional parameters not shown
+)
+# END BasicGenerativeFriendliAI
+
+# clean up
+client.collections.delete("DemoCollection")
+
+# START GenerativeFriendliAICustomModel
+from weaviate.classes.config import Configure
+
+client.collections.create(
+ "DemoCollection",
+ # highlight-start
+ generative_config=Configure.Generative.friendliai(
+ model="meta-llama-3.1-70b-instruct",
+ )
+ # highlight-end
+ # Additional parameters not shown
+)
+# END GenerativeFriendliAICustomModel
+
+# clean up
+client.collections.delete("DemoCollection")
+
+# START FullGenerativeFriendliAI
+from weaviate.classes.config import Configure
+
+client.collections.create(
+ "DemoCollection",
+ generative_config=Configure.Generative.friendliai(
+ # # These parameters are optional
+ # model="meta-llama-3.1-70b-instruct",
+ # max_tokens=500,
+ # temperature=0.7,
+ # base_url="https://inference.friendli.ai"
+ )
+)
+# END FullGenerativeFriendliAI
+
+# clean up
+client.collections.delete("DemoCollection")
+import_data()
+
+# START RuntimeModelSelectionFriendliAI
+from weaviate.classes.config import Configure
+from weaviate.classes.generate import GenerativeConfig
+
+collection = client.collections.use("DemoCollection")
+response = collection.generate.near_text(
+ query="A holiday film",
+ limit=2,
+ grouped_task="Write a tweet promoting these two movies",
+ # highlight-start
+ generative_provider=GenerativeConfig.friendliai(
+ # # These parameters are optional
+ # model="meta-llama-3.1-70b-instruct",
+ # max_tokens=500,
+ # temperature=0.7,
+ # base_url="https://inference.friendli.ai"
+ ),
+ # Additional parameters not shown
+ # highlight-end
+)
+# END RuntimeModelSelectionFriendliAI
+
+# clean up
+client.collections.delete("DemoCollection")
+
+# START DedicatedGenerativeFriendliAI
+from weaviate.classes.config import Configure
+
+client.collections.create(
+ "DemoCollection",
+ generative_config=Configure.Generative.friendliai(
+ model = "YOUR_ENDPOINT_ID",
+ )
+)
+# END DedicatedGenerativeFriendliAI
+
+# clean up
+client.collections.delete("DemoCollection")
+
+# START BasicGenerativeGoogleVertex
+from weaviate.classes.config import Configure
+
+client.collections.create(
+ "DemoCollection",
+ # highlight-start
+ generative_config=Configure.Generative.google(
+ project_id="", # Required for Vertex AI
+ model_id="gemini-1.0-pro"
+ )
+ # highlight-end
+ # Additional parameters not shown
+)
+# END BasicGenerativeGoogleVertex
+
+# clean up
+client.collections.delete("DemoCollection")
+
+# START BasicGenerativeGoogleStudio
+from weaviate.classes.config import Configure
+
+client.collections.create(
+ "DemoCollection",
+ # highlight-start
+ generative_config=Configure.Generative.google(
+ model_id="gemini-pro"
+ )
+ # highlight-end
+ # Additional parameters not shown
+)
+# END BasicGenerativeGoogleStudio
+
+# clean up
+client.collections.delete("DemoCollection")
+
+# START FullGenerativeGoogle
+from weaviate.classes.config import Configure
+
+client.collections.create(
+ "DemoCollection",
+ # highlight-start
+ generative_config=Configure.Generative.google(
+ # project_id="", # Required for Vertex AI
+ # model_id="",
+ # api_endpoint="",
+ # temperature=0.7,
+ # top_k=5,
+ # top_p=0.9,
+ # vectorize_collection_name=False,
+ )
+ # highlight-end
+ # Additional parameters not shown
+)
+# END FullGenerativeGoogle
+
+# clean up
+client.collections.delete("DemoCollection")
+import_data()
+
+# START RuntimeModelSelectionGoogle
+from weaviate.classes.config import Configure
+from weaviate.classes.generate import GenerativeConfig
+
+collection = client.collections.use("DemoCollection")
+response = collection.generate.near_text(
+ query="A holiday film",
+ limit=2,
+ grouped_task="Write a tweet promoting these two movies",
+ # highlight-start
+ generative_provider=GenerativeConfig.google(
+ # # These parameters are optional
+ # project_id="", # Required for Vertex AI
+ # model_id="",
+ # api_endpoint="",
+ # temperature=0.7,
+ # top_k=5,
+ # top_p=0.9,
+ # vectorize_collection_name=False,
+ ),
+ # Additional parameters not shown
+ # highlight-end
+)
+# END RuntimeModelSelectionGoogle
+
+# START WorkingWithImagesGoogle
+import base64
+import requests
+from weaviate.classes.generate import GenerativeConfig, GenerativeParameters
+
+src_img_path = "https://upload.wikimedia.org/wikipedia/commons/thumb/b/b0/Winter_forest_silver.jpg/960px-Winter_forest_silver.jpg"
+base64_image = base64.b64encode(requests.get(src_img_path).content).decode('utf-8')
+
+prompt = GenerativeParameters.grouped_task(
+ # highlight-start
+ prompt="Which movie is closest to the image in terms of atmosphere",
+ images=[base64_image], # A list of base64 encoded strings of the image bytes
+ # image_properties=["img"], # Properties containing images in Weaviate
+ # highlight-end
+)
+
+jeopardy = client.collections.use("DemoCollection")
+response = jeopardy.generate.near_text(
+ query="Movies",
+ limit=5,
+ # highlight-start
+ grouped_task=prompt,
+ # highlight-end
+ generative_provider=GenerativeConfig.google(
+ max_tokens=1000
+ ),
+)
+
+# Print the source property and the generated response
+for o in response.objects:
+ print(f"Title property: {o.properties['title']}")
+print(f"Grouped task result: {response.generative.text}")
+# END WorkingWithImagesGoogle
+
+# clean up
+client.collections.delete("DemoCollection")
+
+# START BasicGenerativeMistral
+from weaviate.classes.config import Configure
+
+client.collections.create(
+ "DemoCollection",
+ # highlight-start
+ generative_config=Configure.Generative.mistral()
+ # highlight-end
+ # Additional parameters not shown
+)
+# END BasicGenerativeMistral
+
+# clean up
+client.collections.delete("DemoCollection")
+
+# START GenerativeMistralCustomModel
+from weaviate.classes.config import Configure
+
+client.collections.create(
+ "DemoCollection",
+ # highlight-start
+ generative_config=Configure.Generative.mistral(
+ model="mistral-large-latest"
+ )
+ # highlight-end
+ # Additional parameters not shown
+)
+# END GenerativeMistralCustomModel
+
+# clean up
+client.collections.delete("DemoCollection")
+
+# START FullGenerativeMistral
+from weaviate.classes.config import Configure
+
+client.collections.create(
+ "DemoCollection",
+ # highlight-start
+ generative_config=Configure.Generative.mistral(
+ # # These parameters are optional
+ # model="mistral-large",
+ # temperature=0.7,
+ # max_tokens=500,
+ )
+ # highlight-end
+)
+# END FullGenerativeMistral
+
+# clean up
+client.collections.delete("DemoCollection")
+import_data()
+
+# START RuntimeModelSelectionMistral
+from weaviate.classes.config import Configure
+from weaviate.classes.generate import GenerativeConfig
+
+collection = client.collections.use("DemoCollection")
+response = collection.generate.near_text(
+ query="A holiday film",
+ limit=2,
+ grouped_task="Write a tweet promoting these two movies",
+ # highlight-start
+ generative_provider=GenerativeConfig.mistral(
+ # # These parameters are optional
+ # model="mistral-large",
+ # temperature=0.7,
+ # max_tokens=500,
+ ),
+ # Additional parameters not shown
+ # highlight-end
+)
+# END RuntimeModelSelectionMistral
+
+# clean up
+client.collections.delete("DemoCollection")
+
+# START BasicGenerativeNVIDIA
+from weaviate.classes.config import Configure
+
+client.collections.create(
+ "DemoCollection",
+ # highlight-start
+ generative_config=Configure.Generative.nvidia()
+ # highlight-end
+ # Additional parameters not shown
+)
+# END BasicGenerativeNVIDIA
+
+# clean up
+client.collections.delete("DemoCollection")
+
+# START GenerativeNVIDIACustomModel
+from weaviate.classes.config import Configure
+
+client.collections.create(
+ "DemoCollection",
+ generative_config=Configure.Generative.nvidia(
+ model="nvidia/llama-3.1-nemotron-70b-instruct"
+ )
+ # Additional parameters not shown
+)
+# END GenerativeNVIDIACustomModel
+
+# clean up
+client.collections.delete("DemoCollection")
+
+# START FullGenerativeNVIDIA
+from weaviate.classes.config import Configure
+
+client.collections.create(
+ "DemoCollection",
+ # highlight-start
+ generative_config=Configure.Generative.nvidia(
+ # # These parameters are optional
+ # base_url="https://integrate.api.nvidia.com/v1",
+ # model="meta/llama-3.3-70b-instruct",
+ # temperature=0.7,
+ # max_tokens=1024
+ )
+ # highlight-end
+ # Additional parameters not shown
+)
+# END FullGenerativeNVIDIA
+
+# clean up
+client.collections.delete("DemoCollection")
+import_data()
+
+# START RuntimeModelSelectionNVIDIA
+from weaviate.classes.config import Configure
+from weaviate.classes.generate import GenerativeConfig
+
+collection = client.collections.use("DemoCollection")
+response = collection.generate.near_text(
+ query="A holiday film",
+ limit=2,
+ grouped_task="Write a tweet promoting these two movies",
+ # highlight-start
+ generative_provider=GenerativeConfig.nvidia(
+ # # These parameters are optional
+ # base_url="https://integrate.api.nvidia.com/v1",
+ # model="meta/llama-3.3-70b-instruct",
+ # temperature=0.7,
+ # max_tokens=1024
+ ),
+ # Additional parameters not shown
+ # highlight-end
+)
+# END RuntimeModelSelectionNVIDIA
+
+# clean up
+client.collections.delete("DemoCollection")
+
+# START BasicGenerativeOctoAI
+from weaviate.classes.config import Configure
+
+client.collections.create(
+ "DemoCollection",
+ generative_config=Configure.Generative.octoai()
+ # Additional parameters not shown
+)
+# END BasicGenerativeOctoAI
+
+# clean up
+client.collections.delete("DemoCollection")
+
+# START GenerativeOctoAICustomModel
+from weaviate.classes.config import Configure
+
+client.collections.create(
+ "DemoCollection",
+ generative_config=Configure.Generative.octoai(
+ model="meta-llama-3-70b-instruct"
+ )
+ # Additional parameters not shown
+)
+# END GenerativeOctoAICustomModel
+
+# clean up
+client.collections.delete("DemoCollection")
+
+# START FullGenerativeOctoAI
+from weaviate.classes.config import Configure
+
+client.collections.create(
+ "DemoCollection",
+ generative_config=Configure.Generative.octoai(
+ # # These parameters are optional
+ model = "meta-llama-3-70b-instruct",
+ max_tokens = 500,
+ temperature = 0.7,
+ base_url = "https://text.octoai.run"
+ )
+)
+# END FullGenerativeOctoAI
+
+# clean up
+client.collections.delete("DemoCollection")
+
+# START BasicGenerativeOpenAI
+from weaviate.classes.config import Configure
+
+client.collections.create(
+ "DemoCollection",
+ # highlight-start
+ generative_config=Configure.Generative.openai()
+ # highlight-end
+ # Additional parameters not shown
+)
+# END BasicGenerativeOpenAI
+
+# clean up
+client.collections.delete("DemoCollection")
+
+# START GenerativeOpenAICustomModel
+from weaviate.classes.config import Configure
+
+client.collections.create(
+ "DemoCollection",
+ # highlight-start
+ generative_config=Configure.Generative.openai(
+ model="gpt-4-1106-preview"
+ )
+ # highlight-end
+ # Additional parameters not shown
+)
+# END GenerativeOpenAICustomModel
+
+# clean up
+client.collections.delete("DemoCollection")
+
+# START FullGenerativeOpenAI
+from weaviate.classes.config import Configure
+
+client.collections.create(
+ "DemoCollection",
+ # highlight-start
+ generative_config=Configure.Generative.openai(
+ # # These parameters are optional
+ # model="gpt-4",
+ # frequency_penalty=0,
+ # max_tokens=500,
+ # presence_penalty=0,
+ # temperature=0.7,
+ # top_p=0.7,
+ # base_url="
応答は次のとおりです:
+ +``` +╭──────────────────────────────────────────────────────────────────────────────────────────────────────────────── 🔍 Original Query ────────────────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│ │ +│ Does the brand 'Loom & Aura' have a parent brand or child brands and what countries do they operate from? Also, what's the average price of a shoe from 'Loom & Aura'? │ +│ │ +╰───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭───────────────────────────────────────────────────────────────────────────────────────────────────────────────── 📝 Final Answer ─────────────────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│ │ +│ The brand "Loom & Aura" operates as a parent brand with several child brands, including "Loom & Aura Active," "Loom & Aura Kids," "Nova Nest," "Vivid Verse," "Loom Luxe," "Saffrom Sage," "Stellar Stitch," "Nova Nectar," "Canvas Core," and │ +│ "Loom Lure." "Loom & Aura" itself is based in Italy and operates in multiple countries where its child brands are located, such as the USA, Japan, South Korea, Spain, the UK, and France. │ +│ │ +│ The average price of a shoe from "Loom & Aura" is approximately $87.11, based on the aggregation of available data on shoe prices. │ +│ │ +╰───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭──────────────────────────────────────────────────────────────────────────────────────────────────────────── 🔭 Searches Executed 1/2 ─────────────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│ │ +│ QueryResultWithCollection(queries=['Loom parent brand and child brands', 'Aura parent brand and child brands'], filters=[[], []], filter_operators='AND', collection='Brands') │ +│ │ +╰───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭──────────────────────────────────────────────────────────────────────────────────────────────────────────── 🔭 Searches Executed 2/2 ─────────────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│ │ +│ QueryResultWithCollection(queries=['countries where Loom & Aura operates'], filters=[[TextPropertyFilter(property_name='name', operator=
+
+
+## 概要
+
+このガイドでは、Weaviate のエージェントサービスを活用して、エンドツーエンドの e-commerce アシスタントを構築する方法を説明しました。具体的には、Weaviate Cloud インスタンスのセットアップやデータセットのインポートから、自然言語クエリをインテリジェントに処理する Query Agent の設定までを扱いました。
+
+Query Agent はクエリを自動的に解釈し、標準検索・フィルター・集約のどれを実行するかを判断します。また、複数のコレクションに接続し、クエリに応じて適切なソースを選択します。さらに、過去のやり取りを利用して関連性の高いフォローアップ回答を提供でき、システムプロンプトを定義することで、常にユーザーの好む言語やスタイルで応答させることも可能です。
+
+## 関連リソース
+
+- [Weaviate Agents ‐ Query Agent](./index.md)
+
+## ご質問とフィードバック
+
+import DocsFeedback from "/_includes/docs-feedback.mdx";
+
+応答は次のとおりです:
+ +``` +Eko & Stitchは、英国に拠点があります。1974年に設立され、品質の高いクラフトマンシップとタイムレスなエレガンスで知られています。関連ブランドとして「Eko & Stitch Active」と「Eko & Stitch Kids」があります。また、Eko & Stitchの親会社はNova Nestです。 +``` + +英訳すると: + +``` +Eko & Stitch is based in the UK. It was established in 1974 and is known for its high-quality craftsmanship and timeless elegance. It has associated brands, "Eko & Stitch Active" and "Eko & Stitch Kids." Additionally, the parent company of Eko & Stitch is Nova Nest. +``` + +
+ , value=100.0)]] filter_operators='AND' collection='ECommerce'
+Properties: {'name': 'Bramble Berry Loafers', 'description': 'Embrace your love for the countryside with our soft, hand-stitched loafers, perfect for quiet walks through the garden. Crafted with eco-friendly dyed soft pink leather and adorned with a subtle leaf embossing, these shoes are a testament to the beauty of understated simplicity.', 'price': 75.0}
+Metadata: {'creation_time': None, 'last_update_time': None, 'distance': None, 'certainty': None, 'score': 0.4921875, 'explain_score': None, 'is_consistent': None, 'rerank_score': None}
+Properties: {'name': 'Glitter Bootcut Fantasy', 'description': "Step back into the early 2000s with these dazzling silver bootcut jeans. Embracing the era's optimism, these bottoms offer a comfortable fit with a touch of stretch, perfect for dancing the night away.", 'price': 69.0}
+Metadata: {'creation_time': None, 'last_update_time': None, 'distance': None, 'certainty': None, 'score': 0.47265625, 'explain_score': None, 'is_consistent': None, 'rerank_score': None}
+Properties: {'name': 'Celestial Step Platform Sneakers', 'description': 'Stride into the past with these baby blue platforms, boasting a dreamy sky hue and cushy soles for day-to-night comfort. Perfect for adding a touch of whimsy to any outfit.', 'price': 90.0}
+Metadata: {'creation_time': None, 'last_update_time': None, 'distance': None, 'certainty': None, 'score': 0.48828125, 'explain_score': None, 'is_consistent': None, 'rerank_score': None}
+Properties: {'name': 'Garden Bliss Heels', 'description': 'Embrace the simplicity of countryside elegance with our soft lavender heels, intricately designed with delicate floral embroidery. Perfect for occasions that call for a touch of whimsy and comfort.', 'price': 90.0}
+Metadata: {'creation_time': None, 'last_update_time': None, 'distance': None, 'certainty': None, 'score': 0.45703125, 'explain_score': None, 'is_consistent': None, 'rerank_score': None}
+Properties: {'name': 'Garden Stroll Loafers', 'description': 'Embrace the essence of leisurely countryside walks with our soft, leather loafers. Designed for the natural wanderer, these shoes feature delicate, hand-stitched floral motifs set against a soft, cream background, making every step a blend of comfort and timeless elegance.', 'price': 90.0}
+Metadata: {'creation_time': None, 'last_update_time': None, 'distance': None, 'certainty': None, 'score': 0.451171875, 'explain_score': None, 'is_consistent': None, 'rerank_score': None}
+```
+
+
+
+#### `Search` のページネーション
+
+`Search` はページネーションに対応しており、大きな結果セットを効率的に扱えます:
+
+Example output
+ +``` +Original query: winter boots for under $100 +Total time: 4.695224046707153 +Usage statistics: requests=2 request_tokens=143 response_tokens=9 total_tokens=152 details=None +Search performed: queries=['winter boots'] filters=[[IntegerPropertyFilter(property_name='price', operator=
+
+
+### `Ask`
+
+自然言語で `Ask` を使用して Query Agent に質問します。Query Agent は質問を処理し、 Weaviate で必要な検索を実行し、回答を返します。
+
+:::tip クエリを慎重に検討してください
+Query Agent は、あなたのクエリに基づいて戦略を立てます。そのため、可能な限り曖昧さがなく、情報が十分で、かつ簡潔なクエリを心掛けてください。
+:::
+
+Example output
+ +``` +Page 1: + Glide Platforms - $90.0 + Garden Haven Tote - $58.0 + Sky Shimmer Sneaks - $69.0 + +Page 2: + Garden Haven Tote - $58.0 + Celestial Step Platform Sneakers - $90.0 + Eloquent Satchel - $59.0 + +Page 3: + Garden Haven Tote - $58.0 + Celestial Step Platform Sneakers - $90.0 + Eloquent Satchel - $59.0 +``` + +
+
+
+### 確認例
+
+この例では、以下の内容が出力されます。
+
+- 元のユーザークエリ
+- Query Agent が提供した回答
+- Query Agent が実行した検索・集計（該当する場合）
+- 欠落している情報
+
+Example output
+ +```text +╭──────────────────────────────────────────────────────────────────────────────────────────────────────────────── 🔍 Original Query ────────────────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│ │ +│ I like vintage clothes and nice shoes. Recommend some of each below $60. │ +│ │ +╰───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭───────────────────────────────────────────────────────────────────────────────────────────────────────────────── 📝 Final Answer ─────────────────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│ │ +│ For vintage clothing under $60, you might like the Vintage Philosopher Midi Dress by Echo & Stitch. It features deep green velvet fabric with antique gold button details, tailored fit, and pleated skirt, perfect for a classic vintage look. │ +│ │ +│ For nice shoes under $60, consider the Glide Platforms by Vivid Verse. These are high-shine pink platform sneakers with cushioned soles, inspired by early 2000s playful glamour, offering both style and comfort. │ +│ │ +│ Both options combine vintage or retro aesthetics with an affordable price point under $60. │ +│ │ +╰───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭──────────────────────────────────────────────────────────────────────────────────────────────────────────── 🔭 Searches Executed 1/2 ─────────────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│ │ +│ QueryResultWithCollection(queries=['vintage clothing'], filters=[[]], filter_operators='AND', collection='ECommerce') │ +│ │ +╰───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭──────────────────────────────────────────────────────────────────────────────────────────────────────────── 🔭 Searches Executed 2/2 ─────────────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│ │ +│ QueryResultWithCollection(queries=['nice shoes'], filters=[[]], filter_operators='AND', collection='ECommerce') │ +│ │ +╰───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│ │ +│ 📊 No Aggregations Run │ +│ │ +╰───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ +╭─────────────────────────────────────────────────────────────────────────────────────────────────────────────────── 📚 Sources ────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│ │ +│ - object_id='a7aa8f8a-f02f-4c72-93a3-38bcbd8d5581' collection='ECommerce' │ +│ - object_id='ff5ecd6e-8cb9-47a0-bc1c-2793d0172984' collection='ECommerce' │ +│ │ +╰───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ + + + 📊 Usage Statistics +┌────────────────┬─────┐ +│ LLM Requests: │ 5 │ +│ Input Tokens: │ 288 │ +│ Output Tokens: │ 17 │ +│ Total Tokens: │ 305 │ +└────────────────┴─────┘ + +Total Time Taken: 7.58s +``` + +
+
+
+このレシピでは、新しい Weaviate `PersonalizationAgent` を使用して、 Weaviate コレクションからユーザーごとにパーソナライズされたオブジェクトを取得します。この新しいエージェントによる取得方法は、ユーザーのペルソナプロファイルとコレクションとの過去のインタラクションに基づいています。
+
+> 📚 `PersonalizationAgent` の詳細な使い方については、当社ブログ「[Introducing the Weaviate Personalization Agent](https://weaviate.io/blog/personalization-agent?utm_source=recipe&utm_campaign=agents)」および[ドキュメント](https://docs.weaviate.io/agents/personalization)をご覧ください。
+
+すぐに試せるように、 Hugging Face datasets 🤗 上にいくつかのデモデータセットを用意しています。
+
+- [Movies](https://huggingface.co/datasets/weaviate/agents/viewer/personalization-agent-movies)：映画、評価、オリジナル言語などを掲載したデータセット
+- [Recipes](https://huggingface.co/datasets/weaviate/agents/viewer/personalization-agent-recipes)：料理名、短い説明、料理の種類を掲載したデータセット
+
+本例では、 Movies データセットを使用して映画レコメンダーサービスを作成します。
+
+```python
+!pip install weaviate-client[agents] datasets
+```
+
+## Weaviate のセットアップとデータのインポート
+
+Weaviate Personalization Agent を利用するには、まず [Weaviate Cloud](tps://weaviate.io/deployment/serverless?utm_source=recipe&utm_campaign=agents) アカウントを作成してください👇
+1. [Serverless Weaviate Cloud アカウントを作成](https://weaviate.io/deployment/serverless?utm_source=recipe&utm_campaign=agents)し、無料の[Sandbox](https://docs.weaviate.io/cloud/manage-clusters/create#sandbox-clusters?utm_source=recipe&utm_campaign=agents)をセットアップします。
+2. 「Embedding」を開き、有効化します。デフォルトでは `Snowflake/snowflake-arctic-embed-l-v2.0` が埋め込みモデルとして使用されます。
+3. 下記でクラスターに接続するため、 `WEAVIATE_URL` と `WEAVIATE_API_KEY` を控えておいてください。
+
+> Info: 外部の埋め込みプロバイダー用の追加キーを用意する必要がないため、[Weaviate Embeddings](https://docs.weaviate.io/weaviate/model-providers/weaviate) の利用を推奨します。
+
+```python
+import os
+
+import weaviate
+from weaviate.auth import Auth
+from getpass import getpass
+
+if "WEAVIATE_API_KEY" not in os.environ:
+ os.environ["WEAVIATE_API_KEY"] = getpass("Weaviate API Key")
+if "WEAVIATE_URL" not in os.environ:
+ os.environ["WEAVIATE_URL"] = getpass("Weaviate URL")
+
+client = weaviate.connect_to_weaviate_cloud(
+ cluster_url=os.environ.get("WEAVIATE_URL"),
+ auth_credentials=Auth.api_key(os.environ.get("WEAVIATE_API_KEY")),
+)
+```
+
+### 新しいコレクションの作成
+
+次に、 Weaviate に "Movies" という新しいコレクションを作成します。エージェント機能を利用する場合、コレクションのプロパティに説明文を付けておくと便利です。これらの説明はエージェントによって利用されます。
+
+```python
+from weaviate.classes.config import Configure, DataType, Property
+
+# if client.collections.exists("Movies"):
+ # client.collections.delete("Movies")
+
+client.collections.create(
+ "Movies",
+ description="A dataset that lists movies, including their release dates, ratings, popularity etc.",
+ vector_config=Configure.Vectors.text2vec_weaviate(),
+ properties=[
+ Property(
+ name="release_date",
+ data_type=DataType.TEXT,
+ description="release date of the movie",
+ skip_vectorization=True,
+ ),
+ Property(
+ name="title", data_type=DataType.TEXT, description="title of the movie"
+ ),
+ Property(
+ name="overview",
+ data_type=DataType.TEXT,
+ description="overview of the movie",
+ ),
+ Property(
+ name="genres",
+ data_type=DataType.TEXT_ARRAY,
+ description="genres of the movie",
+ ),
+ Property(
+ name="vote_average",
+ data_type=DataType.NUMBER,
+ description="vote average of the movie",
+ ),
+ Property(
+ name="vote_count",
+ data_type=DataType.INT,
+ description="vote count of the movie",
+ ),
+ Property(
+ name="popularity",
+ data_type=DataType.NUMBER,
+ description="popularity of the movie",
+ ),
+ Property(
+ name="poster_url",
+ data_type=DataType.TEXT,
+ description="poster path of the movie",
+ skip_vectorization=True,
+ ),
+ Property(
+ name="original_language",
+ data_type=DataType.TEXT,
+ description="Code of the language of the movie",
+ skip_vectorization=True,
+ ),
+ ],
+)
+```
+
+Python 出力:
+```text
+
+
+
+このレシピでは、Weaviate の新しい `PersonalizationAgent` を使用し、ユーザーごとにパーソナライズされた方法で Weaviate コレクションからオブジェクトを取得します。この新しいエージェント方式の取得は、ユーザーのペルソナ プロファイルとこれまでのコレクションとのやり取りに基づいて行われます。
+
+> 📚 `PersonalizationAgent` の使い方の詳細は、弊社ブログ「[Introducing the Weaviate Personalization Agent](https://weaviate.io/blog/personalization-agent?utm_source=recipe&utm_campaign=agents)」および[ドキュメント](https://docs.weaviate.io/agents/personalization)をご覧ください。
+
+すぐに試せるように、Hugging Face datasets 🤗 にいくつかのデモデータセットを用意しました。
+- [Recipes](https://huggingface.co/datasets/weaviate/agents/viewer/personalization-agent-recipes): 料理名、短い説明、料理の種類を含むデータセット
+- [Movies](https://huggingface.co/datasets/weaviate/agents/viewer/personalization-agent-movies): 映画、評価、オリジナル言語などを含むデータセット
+
+本例では、Recipes データセットを使用してフード レコメンダー サービスを作成します。
+
+```python
+!pip install 'weaviate-client[agents]' datasets
+```
+
+## Weaviate のセットアップとデータのインポート
+
+Weaviate Personalization Agent を使うには、まず [Weaviate Cloud](tps://weaviate.io/deployment/serverless?utm_source=recipe&utm_campaign=agents) アカウントを作成してください👇
+1. [Serverless Weaviate Cloud アカウント](https://weaviate.io/deployment/serverless?utm_source=recipe&utm_campaign=agents)を作成し、無料の [Sandbox](https://docs.weaviate.io/cloud/manage-clusters/create#sandbox-clusters?utm_source=recipe&utm_campaign=agents) をセットアップします
+2. 「Embedding」に移動して有効化します。デフォルトでは `Snowflake/snowflake-arctic-embed-l-v2.0` が埋め込みモデルとして使用されます
+3. クラスターに接続するため `WEAVIATE_URL` と `WEAVIATE_API_KEY` を控えておきます
+
+> Info: 外部埋め込みプロバイダー用の追加キーを用意する必要がないため、[Weaviate Embeddings](https://docs.weaviate.io/weaviate/model-providers/weaviate) の使用を推奨します。
+
+```python
+import os
+
+import weaviate
+from weaviate.auth import Auth
+from getpass import getpass
+
+if "WEAVIATE_API_KEY" not in os.environ:
+ os.environ["WEAVIATE_API_KEY"] = getpass("Weaviate API Key")
+if "WEAVIATE_URL" not in os.environ:
+ os.environ["WEAVIATE_URL"] = getpass("Weaviate URL")
+
+client = weaviate.connect_to_weaviate_cloud(
+ cluster_url=os.environ.get("WEAVIATE_URL"),
+ auth_credentials=Auth.api_key(os.environ.get("WEAVIATE_API_KEY")),
+)
+```
+
+### 新しいコレクションの作成
+
+次に、Weaviate に "Recipes" という名前の新しいコレクションを作成します。Weaviate のエージェントサービスでは、コレクション内プロパティの説明を含めることが推奨されます。これらの説明はエージェントによって利用されます。
+
+```python
+from weaviate.classes.config import Configure, DataType, Property
+
+# if client.collections.exists("Recipes"):
+# client.collections.delete("Recipes")
+
+client.collections.create(
+ "Recipes",
+ description="A dataset that lists recipes with titles, desctiptions, and labels indicating cuisine",
+ vector_config=Configure.Vectors.text2vec_weaviate(),
+ properties=[
+ Property(
+ name="title", data_type=DataType.TEXT, description="title of the recipe"
+ ),
+ Property(
+ name="labels",
+ data_type=DataType.TEXT,
+ description="the cuisine the recipe belongs to",
+ ),
+ Property(
+ name="description",
+ data_type=DataType.TEXT,
+ description="short description of the recipe",
+ ),
+ ],
+)
+```
+
+```python
+from datasets import load_dataset
+
+dataset = load_dataset("weaviate/agents", "personalization-agent-recipes", split="train", streaming=True)
+
+recipes_collection = client.collections.use("Recipes")
+
+with recipes_collection.batch.dynamic() as batch:
+ for item in dataset:
+ batch.add_object(properties=item["properties"])
+
+```
+
+## パーソナライズ エージェントの作成
+
+以下では `"Recipes"` コレクションの `PersonalizationAgent` を作成します。すでにこのコレクション用のエージェントが存在する場合は、単に接続するだけです。
+
+新しく `PersonalizationAgent` を作成する際、任意で `user_properties` を定義できます。
+
+ユーザープロパティは、エージェントに追加されるユーザーに関する有用な情報なら何でも構いません。今回はフード レコメンダー サービスを作成するため、各ペルソナに `favorite_cuisines`、`likes`、`dislikes` を追加することにします。
+
+```python
+from weaviate.agents.personalization import PersonalizationAgent
+
+if PersonalizationAgent.exists(client, "Recipes"):
+ agent = PersonalizationAgent.connect(
+ client=client,
+ reference_collection="Recipes",
+ )
+else:
+ agent = PersonalizationAgent.create(
+ client=client,
+ reference_collection="Recipes",
+ user_properties={
+ "favorite_cuisines": DataType.TEXT_ARRAY,
+ "likes": DataType.TEXT_ARRAY,
+ "dislikes": DataType.TEXT_ARRAY
+ },
+ )
+
+```
+
+### 新規ペルソナの追加
+
+`add_persona` を使って新しいユーザーを追加でき、その際に先ほど定義したユーザープロパティを指定します。お好みで下のコードブロックを自身の情報に変更して試してみてください👇
+
+```python
+from uuid import uuid4
+from weaviate.agents.classes import Persona, PersonaInteraction
+
+persona_id = uuid4()
+agent.add_persona(
+ Persona(
+ persona_id=persona_id,
+ properties={
+ "favorite_cuisines": ["Italian", "Thai"],
+ "likes": ["chocolate", "salmon", "pasta", "most veggies"],
+ "dislikes": ["okra", "mushroom"],
+ },
+ )
+)
+```
+
+```python
+agent.get_persona(persona_id)
+
+```
+
+Python output:
+```text
+Persona(persona_id=UUID('df987437-4d10-44d6-b613-dfff31f715fb'), properties={'favorite_cuisines': ['Italian', 'Thai'], 'dislikes': ['okra', 'mushroom'], 'allergies': None, 'likes': ['chocolate', 'salmon', 'pasta', 'most veggies']})
+```
+
+### インタラクションの追加
+
+少なくとも 1 つのペルソナを作成したら、そのペルソナに対するインタラクションを追加できます。フード レコメンダー サービスの場合、ペルソナの食事レビューを追加するのが理にかなっています。
+
+各インタラクションには -1.0（ネガティブ）から 1.0（ポジティブ）までの重みを設定できます。以下では、いくつかの料理に対するレビューを追加してみましょう。
+
+どのようなエンドアプリケーションがこれらのインタラクションを送信するか、また各重みが何を表すのかをルール化しておくと良いでしょう。例えばレシピサイトを想定すると:
+- 1.0: お気に入りの料理
+- 0.8: 料理を気に入った
+- 0.5: レシピページを閲覧した
+- -0.5: 料理が好みではない
+- -1.0: 料理を完全に嫌った 👎
+
+```python
+from uuid import UUID
+from weaviate.collections.classes.filters import Filter
+
+reviewed_foods = [
+ "Coq au Vin",
+ "Chicken Tikka Masala",
+ "Gnocchi alla Sorrentina",
+ "Matcha Ice Cream",
+ "Fiorentina Steak",
+ "Nabe",
+ "Duck Confit",
+ "Pappardelle with Porcini"
+]
+
+reviews_dict = {
+ recipe.properties["title"]: recipe
+ for recipe in recipes_collection.query.fetch_objects(
+ filters=Filter.by_property("title").contains_any(reviewed_foods), limit=20
+ ).objects
+}
+
+interactions = [
+ PersonaInteraction(
+ persona_id=persona_id, item_id=reviews_dict["Coq au Vin"].uuid, weight=0.8
+ ),
+ PersonaInteraction(
+ persona_id=persona_id, item_id=reviews_dict["Chicken Tikka Masala"].uuid, weight=0.8
+ ),
+ PersonaInteraction(
+ persona_id=persona_id, item_id=reviews_dict["Matcha Ice Cream"].uuid, weight=0.8
+ ),
+ PersonaInteraction(
+ persona_id=persona_id, item_id=reviews_dict["Gnocchi alla Sorrentina"].uuid, weight=0.5
+ ),
+ PersonaInteraction(
+ persona_id=persona_id, item_id=reviews_dict["Fiorentina Steak"].uuid, weight=0.8
+ ),
+ PersonaInteraction(
+ persona_id=persona_id, item_id=reviews_dict["Nabe"].uuid, weight=0.5
+ ),
+ PersonaInteraction(
+ persona_id=persona_id, item_id=reviews_dict["Duck Confit"].uuid, weight=1.0
+ ),
+ PersonaInteraction(
+ persona_id=persona_id, item_id=reviews_dict["Pappardelle with Porcini"].uuid, weight=-1.0
+ ),
+
+]
+```
+
+```python
+agent.add_interactions(interactions=interactions)
+```
+
+## レコメンデーションと根拠の取得
+
+ペルソナとそのインタラクションを用意できたので、`get_objects` でエージェントからオブジェクトを推薦してもらいましょう。ここでは `use_agent_ranking` を設定するかどうかの 2 通りがあります。
+
+`use_agent_ranking` を使用しない場合、返却されたオブジェクトは従来の機械学習クラスタリングでランク付けされます。一方、使用する場合は、LLM による追加の再ランキングが行われ、任意の `instruction` も渡せます。
+
+エージェント ランキングを使用すると、下記のように `ranking_rationale` でランキングの根拠も確認できます👇
+
+```python
+response = agent.get_objects(persona_id, limit=25, use_agent_ranking=True)
+
+print(response.ranking_rationale)
+for i, obj in enumerate(response.objects):
+ print(f"*****{i}*****")
+ print(obj.properties["title"])
+ print(obj.properties["description"])
+ print(obj.properties["labels"])
+```
+
+Python output:
+```text
+Based on your love for Italian cuisine and positive interactions with dishes like Gnocchi alla Sorrentina and Fiorentina Steak, Italian dishes like Frittata di Zucca e Pancetta and Classic Italian Margherita Pizza are highlighted. Your fondness for Chicken Tikka Masala also brought Indian dishes such as Spicy Indian Tikka Masala forward. Although you enjoyed Coq au Vin, the included mushrooms might not be to your liking, which is reflected in a balanced way within French dishes.
+*****0*****
+Frittata di Zucca e Pancetta
+A fluffy egg omelette with sweet potatoes and pancetta, seasoned with herbs and grated cheese, a beloved dish from the heart of Italy.
+Italian
+*****1*****
+Pizza Margherita
+A simple yet iconic pizza with San Marzano tomatoes, mozzarella di bufala, fresh basil, and extra-virgin olive oil, encapsulating the Neapolitan pizza tradition.
+Italian
+*****2*****
+Lasagna alla Bolognese
+Layers of pasta sheets, Bolognese sauce, and béchamel, all baked to golden perfection, embodying the comforting flavors of Emilia-Romagna.
+Italian
+*****3*****
+Lasagna alla Bolognese
+Layers of flat pasta sheets, rich Bolognese sauce, and béchamel, baked to perfection.
+Italian
+*****4*****
+Spicy Indian Tikka Masala
+A rich tomato and cream sauce with chunks of chicken, covered in a fiery blend of spices and charred chunks of chicken.
+Indian
+*****5*****
+Classic Italian Margherita Pizza
+Thin crust pizza topped with San Marzano tomatoes, fresh mozzarella, basil, and extra-virgin olive oil, representing the simplicity of Italian cuisine.
+Italian
+*****6*****
+Chicken Tikka Masala
+Marinated chicken drumsticks grilled on a spit and then simmered in a spicy tomato sauce with cream, a popular dish in Indian cuisine.
+Indian
+*****7*****
+Butter Chicken
+A creamy and aromatic tomato sauce with tender chunks of chicken, marinated in a blend of spices and cooked with yogurt and cream, often served with rice or naan bread.
+Indian
+*****8*****
+French Coq au Vin
+A hearty stew of chicken braised with wine, mushrooms, and garlic, capturing the essence of French country cooking.
+French
+*****9*****
+Sicilian Arancini
+Deep-fried balls of risotto mixed with cheese and peas, coated with breadcrumbs and Parmesan cheese.
+Italian
+*****10*****
+Ramen
+A noodle soup dish with Chinese influences, typically containing Chinese-style noodles served in a meat or fish-based broth, often flavored with soy sauce or miso, and uses toppings such as sliced pork, green onions, and nori.
+Japanese
+*****11*****
+Oden
+A hearty Japanese hotpot dish made with simmered fish cakes, tofu, konnyaku, and vegetables, in a dashi-based broth.
+Japanese
+*****12*****
+Shabu-Shabu
+A Japanese hot pot dish where thinly sliced meat and vegetables are cooked in boiling water at the table.
+Japanese
+*****13*****
+Tempura
+A Japanese dish usually made with seafood, vegetables, and sometimes meat, battered and deep-fried until crisp.
+Japanese
+*****14*****
+Oden
+A Japanese stew containing fish cakes, daikon radish, konnyaku, tofu, and boiled eggs, typically flavored with miso or dashi broth.
+Japanese
+*****15*****
+Tandoori Chicken
+Marinated in yogurt and spices, then cooked in a tandoor (clay oven), resulting in a tangy and spicy chicken dish.
+Indian
+*****16*****
+Beef Bourguignon
+A flavorful beef stew cooked slowly in red wine, beef broth, and a bouquet garni, with carrots, onions, and mushrooms, typically served with potatoes or noodles.
+French
+*****17*****
+Pizza Margherita
+Simple pizza with San Marzano tomatoes, fresh mozzarella, basil, and extra-virgin olive oil, reflecting the colors of the Italian flag.
+Italian
+*****18*****
+Butter Chicken
+Soft and tender pieces of chicken in a rich and creamy sauce made with butter, tomatoes, and a blend of Indian spices.
+Indian
+*****19*****
+Chicken Biryani
+A flavorful rice dish cooked with basmati rice, chicken, and a mix of aromatic spices such as cardamom, cinnamon, and cloves, layered with meat and vegetables.
+Indian
+*****20*****
+Milanesa a la Napolitana
+A breaded cutlet, typically veal, topped with melted cheese and tomato sauce, a popular street food item.
+Argentinian
+*****21*****
+Tempura Udon
+Thick udon noodles served with crispy tempura shrimp and vegetables, lightly coated in a dashi-based sauce for a delicate taste.
+Japanese
+*****22*****
+Miso Soup
+A traditional Japanese soup consisting of a stock called dashi into which softened miso paste is mixed, often with pieces of tofu and seaweed.
+Japanese
+*****23*****
+Udon Noodles
+A type of thick wheat flour noodle common in Japanese cuisine, served hot or cold with a dipping sauce.
+Japanese
+*****24*****
+Pappardelle with Porcini
+Thick wide ribbons of pasta served with a creamy porcini mushroom sauce and grated Parmesan cheese.
+Italian
+```
+
+### instructions 付きレコメンデーションの取得
+
+オプションとして、エージェントに instruction を与えることもできます。これにより、エージェント LLM がどのような推薦を行うべきかについて、より多くの文脈を得られます。
+
+また、初期ランキングの件数を多めに設定し、その後エージェント ランキングで絞り込むと良い場合もあります。以下ではその例を示します👇
+
+```python
+response = agent.get_objects(persona_id,
+ limit=50,
+ use_agent_ranking=True,
+ instruction="""Your task is to recommend a diverse set of dishes to the user
+ taking into account their likes and dislikes. It's especially important to avoid their dislikes.""",
+)
+
+print(response.ranking_rationale)
+for i, obj in enumerate(response.objects[:10]):
+ print(f"*****{i}*****")
+ print(obj.properties["title"])
+ print(obj.properties["description"])
+ print(obj.properties["labels"])
+```
+
+Python output:
+```text
+As you love Italian cuisine and have a special liking for foods like pasta and salmon, while disliking mushrooms, we've focused on offering you a variety of Italian and other delightful dishes without mushroom content. We've also incorporated a touch of diversity with dishes from other cuisines you enjoy, while carefully avoiding those with ingredients you dislike.
+*****0*****
+Chicken Tikka Masala
+Marinated chicken drumsticks grilled on a spit and then simmered in a spicy tomato sauce with cream, a popular dish in Indian cuisine.
+Indian
+*****1*****
+Pasta alla Norma
+Pasta served with fried eggplant, tomato sauce, and ricotta salata, a flavorful dish that showcases the vibrant flavors of Sicilian cuisine.
+Italian
+*****2*****
+Classic Italian Margherita Pizza
+Thin crust pizza topped with San Marzano tomatoes, fresh mozzarella, basil, and extra-virgin olive oil, representing the simplicity of Italian cuisine.
+Italian
+*****3*****
+Pizza Margherita
+Simple pizza with San Marzano tomatoes, fresh mozzarella, basil, and extra-virgin olive oil, reflecting the colors of the Italian flag.
+Italian
+*****4*****
+Spicy Indian Tikka Masala
+A rich tomato and cream sauce with chunks of chicken, covered in a fiery blend of spices and charred chunks of chicken.
+Indian
+*****5*****
+Lasagna alla Bolognese
+Layers of flat pasta sheets, rich Bolognese sauce, and béchamel, baked to perfection.
+Italian
+*****6*****
+Fettuccine Alfredo
+Creamy pasta dish made with fettuccine pasta tossed in a rich sauce of butter, heavy cream, and Parmesan cheese.
+Italian
+*****7*****
+Sicilian Arancini
+Deep-fried balls of risotto mixed with cheese and peas, coated with breadcrumbs and Parmesan cheese.
+Italian
+*****8*****
+Frittata di Zucca e Pancetta
+A fluffy egg omelette with sweet potatoes and pancetta, seasoned with herbs and grated cheese, a beloved dish from the heart of Italy.
+Italian
+*****9*****
+Paneer Tikka
+Small cubes of paneer marinated in spices and yogurt, then grilled and served in a spicy tomato sauce.
+Indian
+```
+
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/agents/recipes/query-agent-get-started.md b/i18n/ja/docusaurus-plugin-content-docs/current/agents/recipes/query-agent-get-started.md
new file mode 100644
index 000000000..76477165c
--- /dev/null
+++ b/i18n/ja/docusaurus-plugin-content-docs/current/agents/recipes/query-agent-get-started.md
@@ -0,0 +1,586 @@
+---
+layout: recipe
+colab: https://colab.research.google.com/github/weaviate/recipes/blob/main/weaviate-services/agents/query-agent-get-started.ipynb
+toc: True
+title: "Weaviate Query Agent を構築する – E コマースアシスタント"
+featured: True
+integration: False
+agent: True
+tags: ['Query Agent']
+---
+
+
+
+
+このレシピでは、[Weaviate Query Agent](https://docs.weaviate.io/agents) を使ってシンプルな E コマースアシスタント エージェントを構築します。エージェントは複数の Weaviate コレクションへアクセスでき、各コレクションの情報を利用してブランドや衣類アイテムに関する複雑な質問に回答します。
+
+> 📚 本サービスの詳細はブログ「[Introducing the Weaviate Query Agent](https://weaviate.io/blog/query-agent)」をご覧ください。
+
+まず、Hugging Face で公開されているオープンデータセットを用意しています。最初のステップとして、Weaviate Cloud のコレクションにデータを投入する方法を説明します。
+
+- [**E-commerce**](https://huggingface.co/datasets/weaviate/agents/viewer/query-agent-ecommerce): 衣類アイテム、価格、ブランド、レビューなどを含むデータセット
+- [**Brands**](https://huggingface.co/datasets/weaviate/agents/viewer/query-agent-brands): 親ブランド・子ブランド、平均カスタマーレーティングなどブランド情報を含むデータセット
+
+加えて、今回のレシピ内で他のエージェントに機能や多様性を持たせる際に使用できる、無関係なデータセットも用意しています。
+
+- [**Financial Contracts**](https://huggingface.co/datasets/weaviate/agents/viewer/query-agent-financial-contracts): 個人または企業間の金融契約、契約タイプや作成者情報を含むデータセット
+- [**Weather**](https://huggingface.co/datasets/weaviate/agents/viewer/query-agent-weather): 気温、風速、降水量、気圧などの日次気象情報
+
+## 1. Weaviate のセットアップとデータのインポート
+
+Weaviate Query Agent を使用するには、まず [Weaviate Cloud](https://weaviate.io/deployment/serverless) アカウントを作成します👇
+1. [Serverless Weaviate Cloud アカウントを作成](https://weaviate.io/deployment/serverless)し、無料の [Sandbox](https://docs.weaviate.io/cloud/manage-clusters/create#sandbox-clusters) をセットアップ
+2. 「Embedding」セクションで有効化します。デフォルトでは `Snowflake/snowflake-arctic-embed-l-v2.0` が埋め込みモデルとして使用されます。
+3. クラスター接続用に `WEAVIATE_URL` と `WEAVIATE_API_KEY` を控えておきます。
+
+> Info: 外部埋め込みプロバイダーのキーを追加する必要がないため、[Weaviate Embeddings](https://docs.weaviate.io/weaviate/model-providers/weaviate) の利用を推奨します。
+
+```python
+!pip install weaviate-client[agents] datasets
+```
+
+```python
+import os
+from getpass import getpass
+
+if "WEAVIATE_API_KEY" not in os.environ:
+ os.environ["WEAVIATE_API_KEY"] = getpass("Weaviate API Key")
+if "WEAVIATE_URL" not in os.environ:
+ os.environ["WEAVIATE_URL"] = getpass("Weaviate URL")
+```
+
+```python
+import weaviate
+from weaviate.auth import Auth
+
+client = weaviate.connect_to_weaviate_cloud(
+ cluster_url=os.environ.get("WEAVIATE_URL"),
+ auth_credentials=Auth.api_key(os.environ.get("WEAVIATE_API_KEY")),
+)
+```
+
+### コレクションの準備
+
+以下のコードでは、デモデータセットを Hugging Face から取得し、Weaviate Serverless クラスターに新しいコレクションとして書き込みます。
+
+> ❗️ `QueryAgent` は、クエリを解決する際に使用するコレクションやプロパティを決定するため、またプロパティの詳細情報にアクセスするために、コレクションおよびプロパティの説明を利用します。説明を変更したり、詳細を追加したりといった実験を行うと良いでしょう。例えば下記では、価格がすべて USD であることを `QueryAgent` に伝えています。これは説明がなければ得られない情報です。
+
+```python
+from weaviate.classes.config import Configure, Property, DataType
+
+# To re-run cell you may have to delete collections
+# client.collections.delete("Brands")
+client.collections.create(
+ "Brands",
+ description="A dataset that lists information about clothing brands, their parent companies, average rating and more.",
+ vector_config=Configure.Vectors.text2vec_weaviate()
+)
+
+# client.collections.delete("Ecommerce")
+client.collections.create(
+ "Ecommerce",
+ description="A dataset that lists clothing items, their brands, prices, and more.",
+ vector_config=Configure.Vectors.text2vec_weaviate(),
+ properties=[
+ Property(name="collection", data_type=DataType.TEXT),
+ Property(name="category", data_type=DataType.TEXT),
+ Property(name="tags", data_type=DataType.TEXT_ARRAY),
+ Property(name="subcategory", data_type=DataType.TEXT),
+ Property(name="name", data_type=DataType.TEXT),
+ Property(name="description", data_type=DataType.TEXT),
+ Property(name="brand", data_type=DataType.TEXT),
+ Property(name="product_id", data_type=DataType.UUID),
+ Property(name="colors", data_type=DataType.TEXT_ARRAY),
+ Property(name="reviews", data_type=DataType.TEXT_ARRAY),
+ Property(name="image_url", data_type=DataType.TEXT),
+ Property(name="price", data_type=DataType.NUMBER, description="price of item in USD"),
+ ]
+)
+
+# client.collections.delete("Weather")
+client.collections.create(
+ "Weather",
+ description="Daily weather information including temperature, wind speed, percipitation, pressure etc.",
+ vector_config=Configure.Vectors.text2vec_weaviate(),
+ properties=[
+ Property(name="date", data_type=DataType.DATE),
+ Property(name="humidity", data_type=DataType.NUMBER),
+ Property(name="precipitation", data_type=DataType.NUMBER),
+ Property(name="wind_speed", data_type=DataType.NUMBER),
+ Property(name="visibility", data_type=DataType.NUMBER),
+ Property(name="pressure", data_type=DataType.NUMBER),
+ Property(name="temperature", data_type=DataType.NUMBER, description="temperature value in Celsius")
+ ]
+)
+
+# client.collections.delete("Financial_contracts")
+client.collections.create(
+ "Financial_contracts",
+ description="A dataset of financial contracts between indivicuals and/or companies, as well as information on the type of contract and who has authored them.",
+ vector_config=Configure.Vectors.text2vec_weaviate(),
+)
+```
+
+```python
+from datasets import load_dataset
+
+brands_dataset = load_dataset("weaviate/agents", "query-agent-brands", split="train", streaming=True)
+ecommerce_dataset = load_dataset("weaviate/agents", "query-agent-ecommerce", split="train", streaming=True)
+weather_dataset = load_dataset("weaviate/agents", "query-agent-weather", split="train", streaming=True)
+financial_dataset = load_dataset("weaviate/agents", "query-agent-financial-contracts", split="train", streaming=True)
+
+brands_collection = client.collections.use("Brands")
+ecommerce_collection = client.collections.use("Ecommerce")
+weather_collection = client.collections.use("Weather")
+financial_collection = client.collections.use("Financial_contracts")
+
+with brands_collection.batch.dynamic() as batch:
+ for item in brands_dataset:
+ batch.add_object(properties=item["properties"])
+
+with ecommerce_collection.batch.dynamic() as batch:
+ for item in ecommerce_dataset:
+ batch.add_object(properties=item["properties"])
+
+with weather_collection.batch.dynamic() as batch:
+ for item in weather_dataset:
+ batch.add_object(properties=item["properties"])
+
+with financial_collection.batch.dynamic() as batch:
+ for item in financial_dataset:
+ batch.add_object(properties=item["properties"])
+```
+
+## 2. Query Agent のセットアップ
+
+Query Agent を設定する際には、以下を渡す必要があります。
+- `client`
+- エージェントにアクセスさせたい `collection`
+- （オプション）エージェントの振る舞いを説明する `system_prompt`
+- （オプション）タイムアウト（デフォルトは 60 秒）
+
+まずはシンプルなエージェントを作成しましょう。ここでは `Brands` と `Ecommerce` の両データセットにアクセスできる `agent` を作成しています。
+
+```python
+from weaviate.agents.query import QueryAgent
+
+agent = QueryAgent(
+ client=client, collections=["Ecommerce", "Brands"],
+)
+```
+
+## 3. Query Agent を実行する
+
+エージェントを実行すると、クエリに応じて以下の判断を行います。
+
+1. どのコレクションを参照するか
+2. 通常の ***検索クエリ***、使用する ***フィルター***、***集約クエリ*** を行うかどうか、またはそれらを組み合わせるか
+3. その後、**`QueryAgentResponse`** 内で応答を返します。`print_query_agent_response` 関数を用いて、レスポンスオブジェクトに含まれる各情報をわかりやすく表示します。
+
+### 質問してみる
+**まずはシンプルな質問から始めましょう: 「ヴィンテージの服が好きです。200ドル未満のアイテムをいくつか教えてくれますか？」**
+
+エージェントがどのように回答し、どのコレクションでどのような検索を行ったか、最終回答に不足情報があるかどうかなどを確認できます👇
+
+```python
+from weaviate.agents.utils import print_query_agent_response
+
+response = agent.run("I like the vintage clothes, can you list me some options that are less than $200?")
+print_query_agent_response(response)
+```
+
+╭─────────────────────────────────────────────── 🔍 Original Query ───────────────────────────────────────────────╮ +│ │ +│ I like the vintage clothes, can you list me some options that are less than $200? │ +│ │ +╰─────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯+ +
╭──────────────────────────────────────────────── 📝 Final Answer ────────────────────────────────────────────────╮ +│ │ +│ If you are looking for vintage clothing options under $200, here are some great choices: │ +│ │ +│ 1. **Vintage Philosopher Midi Dress** - Priced at $125, this dress from Echo & Stitch embraces a classic │ +│ scholarly look with its deep green velvet fabric and antique gold detailing. It's tailored for elegance and is │ +│ ideal for sophisticated occasions. │ +│ │ +│ 2. **Vintage Gale Pleated Dress** - This $120 dress from Solemn Chic features deep burgundy pleats and │ +│ vintage-inspired sleeve details, perfect for a timeless scholarly appearance. │ +│ │ +│ 3. **Retro Groove Flared Pants** - For $59, these electric blue flared pants from Vivid Verse bring back the │ +│ playful spirit of the early 2000s with a modern touch. │ +│ │ +│ 4. **Vintage Scholar Tote** - At $90, this tote from Echo & Stitch combines functionality and elegance, ideal │ +│ for everyday use, especially if you enjoy a scholarly aesthetic. │ +│ │ +│ 5. **Electric Velvet Trousers** - Priced at $60, these neon green velvet trousers from Vivid Verse offer a fun, │ +│ throwback vibe to early Y2K fashion. │ +│ │ +│ 6. **Victorian Velvet Jumpsuit** - For $120, this jumpsuit from Solemn Chic offers an elegant blend of romance │ +│ and scholarly charm, suited for library visits or cultured gatherings. │ +│ │ +│ 7. **Vintage Scholar Turtleneck** - This $55 turtleneck from Echo & Stitch suits the Dark Academia vibe, │ +│ perfect for layering or wearing alone. │ +│ │ +│ 8. **Vintage Ivy Loafers** - These $120 loafers from Solemn Chic offer timeless sophistication, with a deep │ +│ burgundy finish that complements any vintage wardrobe. │ +│ │ +│ These options cater to various preferences, from dresses and jumpsuits to pants and accessories, all capturing │ +│ the vintage essence at an affordable price. │ +│ │ +╰─────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯+ +
╭─────────────────────────────────────────── 🔭 Searches Executed 1/1 ────────────────────────────────────────────╮ +│ │ +│ QueryResultWithCollection( │ +│ queries=['vintage clothes'], │ +│ filters=[ │ +│ [ │ +│ IntegerPropertyFilter( │ +│ property_name='price', │ +│ operator=<ComparisonOperator.LESS_THAN: '<'>, │ +│ value=200.0 │ +│ ) │ +│ ] │ +│ ], │ +│ filter_operators='AND', │ +│ collection='Ecommerce' │ +│ ) │ +│ │ +╰─────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯+ +
╭─────────────────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│ │ +│ 📊 No Aggregations Run │ +│ │ +╰─────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯+ +
╭────────────────────────────────────────────────── 📚 Sources ───────────────────────────────────────────────────╮ +│ │ +│ - object_id='5e9c5298-5b3a-4d80-b226-64b2ff6689b7' collection='Ecommerce' │ +│ - object_id='48896222-d098-42e6-80df-ad4b03723c19' collection='Ecommerce' │ +│ - object_id='00b383ca-262f-4251-b513-dafd4862c021' collection='Ecommerce' │ +│ - object_id='cbe8f8be-304b-409d-a2a1-bafa0bbf249c' collection='Ecommerce' │ +│ - object_id='c18d3c5b-8fbe-4816-bc60-174f336a982f' collection='Ecommerce' │ +│ - object_id='1811da1b-6930-4bd1-832e-f8fa2119d4df' collection='Ecommerce' │ +│ - object_id='2edd1bc5-777e-4376-95cd-42a141ffb71e' collection='Ecommerce' │ +│ - object_id='9819907c-1015-4b4c-ac75-3b3848e7c247' collection='Ecommerce' │ +│ │ +╰─────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯+ + + + +
📊 Usage Statistics +┌────────────────┬──────┐ +│ LLM Requests: │ 3 │ +│ Input Tokens: │ 7774 │ +│ Output Tokens: │ 512 │ +│ Total Tokens: │ 8286 │ +└────────────────┴──────┘+ +
Total Time Taken: 16.93s+ + + +### フォローアップ質問 + +エージェントには追加のコンテキストを渡すこともできます。たとえば、前回の応答をコンテキストとして渡し、`new_response` を取得できます。 + +```python +new_response = agent.run("What about some nice shoes, same budget as before?", context=response) +print_query_agent_response(new_response) +``` + +
╭─────────────────────────────────────────────── 🔍 Original Query ───────────────────────────────────────────────╮ +│ │ +│ What about some nice shoes, same budget as before? │ +│ │ +╰─────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯+ +
╭──────────────────────────────────────────────── 📝 Final Answer ────────────────────────────────────────────────╮ +│ │ +│ Here are some great shoe options under $200 that you might like: │ +│ │ +│ 1. **Vintage Noir Loafers** - Priced at $125, these loafers are part of the Dark Academia collection by Solemn │ +│ Chic. They come in black and grey, featuring a classic design with a modern twist. Reviews highlight their │ +│ comfort and stylish appearance, making them suitable for both casual and formal settings. │ +│ │ +│ 2. **Parchment Boots** - At $145, these boots from Nova Nest's Light Academia collection are noted for their │ +│ elegant ivory leather and classical detail stitching. They are praised for their comfort and versatile style. │ +│ │ +│ 3. **Bramble Berry Loafers** - These loafers, priced at $75, come in pink and green and are marked by their │ +│ eco-friendly material and countryside aesthetic. Produced by Eko & Stitch, they are loved for their comfort and │ +│ sustainability. │ +│ │ +│ 4. **Glide Platforms** - Available for $90 from the Y2K collection by Vivid Verse, these platform sneakers are │ +│ both comfortable and stylish with a high-shine pink finish. │ +│ │ +│ 5. **Sky Shimmer Sneaks** - Costing $69, these sneakers are from the Y2K collection by Nova Nest and offer a │ +│ comfortable fit with a touch of sparkle for style. │ +│ │ +│ These selections offer a mix of formal and casual styles, ensuring you can find a perfect pair under your │ +│ budget of $200. │ +│ │ +╰─────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯+ +
╭─────────────────────────────────────────── 🔭 Searches Executed 1/1 ────────────────────────────────────────────╮ +│ │ +│ QueryResultWithCollection( │ +│ queries=['nice shoes'], │ +│ filters=[ │ +│ [ │ +│ IntegerPropertyFilter( │ +│ property_name='price', │ +│ operator=<ComparisonOperator.LESS_THAN: '<'>, │ +│ value=200.0 │ +│ ) │ +│ ] │ +│ ], │ +│ filter_operators='AND', │ +│ collection='Ecommerce' │ +│ ) │ +│ │ +╰─────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯+ +
╭─────────────────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│ │ +│ 📊 No Aggregations Run │ +│ │ +╰─────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯+ +
╭────────────────────────────────────────────────── 📚 Sources ───────────────────────────────────────────────────╮ +│ │ +│ - object_id='96b30047-8ce1-4096-9bcf-009733cf8613' collection='Ecommerce' │ +│ - object_id='61e4fcd7-d2bc-4861-beb6-4c16948d9921' collection='Ecommerce' │ +│ - object_id='6e533f7d-eba1-4e74-953c-9d43008278e7' collection='Ecommerce' │ +│ - object_id='f873ac48-1311-462a-86b2-a28b15fdda7a' collection='Ecommerce' │ +│ - object_id='93b8b13e-a417-4be2-9cce-fda8c767f35e' collection='Ecommerce' │ +│ │ +╰─────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯+ + + + +
📊 Usage Statistics +┌────────────────┬───────┐ +│ LLM Requests: │ 4 │ +│ Input Tokens: │ 9783 │ +│ Output Tokens: │ 574 │ +│ Total Tokens: │ 10357 │ +└────────────────┴───────┘+ +
Total Time Taken: 18.02s+ +次に、集計が必要となる質問を試してみましょう。どのブランドが最も多くの靴を掲載しているかを見てみます。 + +```python +response = agent.run("What is the the name of the brand that lists the most shoes?") +print_query_agent_response(response) +``` + +
╭─────────────────────────────────────────────── 🔍 Original Query ───────────────────────────────────────────────╮ +│ │ +│ What is the the name of the brand that lists the most shoes? │ +│ │ +╰─────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯+ +
╭──────────────────────────────────────────────── 📝 Final Answer ────────────────────────────────────────────────╮ +│ │ +│ The brand that lists the most shoes is Loom & Aura with a total of 118 shoe listings. │ +│ │ +╰─────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯+ +
╭─────────────────────────────────────────────────────────────────────────────────────────────────────────────────╮ +│ │ +│ 🔭 No Searches Run │ +│ │ +╰─────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯+ +
╭──────────────────────────────────────────── 📊 Aggregations Run 1/1 ────────────────────────────────────────────╮ +│ │ +│ AggregationResultWithCollection( │ +│ search_query=None, │ +│ groupby_property='brand', │ +│ aggregations=[ │ +│ IntegerPropertyAggregation(property_name='collection', metrics=<NumericMetrics.COUNT: 'COUNT'>) │ +│ ], │ +│ filters=[], │ +│ collection='Ecommerce' │ +│ ) │ +│ │ +╰─────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯+ + + + +
📊 Usage Statistics +┌────────────────┬──────┐ +│ LLM Requests: │ 3 │ +│ Input Tokens: │ 3976 │ +│ Output Tokens: │ 159 │ +│ Total Tokens: │ 4135 │ +└────────────────┴──────┘+ +
Total Time Taken: 5.33s+ + + +### 複数コレクションでの検索 + +場合によっては、複数のコレクションに対する検索結果を組み合わせる必要があります。上記の結果から、 ' Loom & Aura ' が最も多くの靴を掲載していることが分かります。 + +ここでは、ユーザーがこの会社について _さらに_ 、そして彼らが販売しているアイテムについても詳しく知りたいと想定してみましょう。 + +```python +response = agent.run("Does the brand 'Loom & Aura' have a parent brand or child brands and what countries do they operate from? " + "Also, what's the average price of a item from 'Loom & Aura'?") + +print_query_agent_response(response) +``` + +
╭─────────────────────────────────────────────── 🔍 Original Query ───────────────────────────────────────────────╮ +│ │ +│ Does the brand 'Loom & Aura' have a parent brand or child brands and what countries do they operate from? Also, │ +│ what's the average price of a item from 'Loom & Aura'? │ +│ │ +╰─────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯+ +
╭──────────────────────────────────────────────── 📝 Final Answer ────────────────────────────────────────────────╮ +│ │ +│ Loom & Aura is itself a well-established brand based in Italy and operates as the parent brand to several child │ +│ brands. These child brands include 'Loom & Aura Active', 'Loom & Aura Kids', 'Nova Nest', 'Vivid Verse', 'Loom │ +│ Luxe', 'Saffron Sage', 'Stellar Stitch', 'Nova Nectar', 'Canvas Core', and 'Loom Lure'. The countries │ +│ associated with the operations or origins of these child brands include Italy, USA, UK, Spain, South Korea, │ +│ Japan, and some extend beyond Italy as suggested by the presence of these brands in different countries. │ +│ │ +│ The average price of an item from Loom & Aura is approximately $87.11. This reflects the brand's positioning as │ +│ offering items of timeless elegance and quality craftsmanship. │ +│ │ +╰─────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯+ +
╭─────────────────────────────────────────── 🔭 Searches Executed 1/2 ────────────────────────────────────────────╮ +│ │ +│ QueryResultWithCollection( │ +│ queries=['parent brand of Loom & Aura', 'child brands of Loom & Aura'], │ +│ filters=[[], []], │ +│ filter_operators='AND', │ +│ collection='Brands' │ +│ ) │ +│ │ +╰─────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯+ +
╭─────────────────────────────────────────── 🔭 Searches Executed 2/2 ────────────────────────────────────────────╮ +│ │ +│ QueryResultWithCollection( │ +│ queries=['Loom & Aura'], │ +│ filters=[ │ +│ [ │ +│ TextPropertyFilter( │ +│ property_name='name', │ +│ operator=<ComparisonOperator.LIKE: 'LIKE'>, │ +│ value='Loom & Aura' │ +│ ) │ +│ ] │ +│ ], │ +│ filter_operators='AND', │ +│ collection='Brands' │ +│ ) │ +│ │ +╰─────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯+ +
╭──────────────────────────────────────────── 📊 Aggregations Run 1/1 ────────────────────────────────────────────╮ +│ │ +│ AggregationResultWithCollection( │ +│ search_query=None, │ +│ groupby_property=None, │ +│ aggregations=[IntegerPropertyAggregation(property_name='price', metrics=<NumericMetrics.MEAN: 'MEAN'>)], │ +│ filters=[ │ +│ TextPropertyFilter( │ +│ property_name='brand', │ +│ operator=<ComparisonOperator.EQUALS: '='>, │ +│ value='Loom & Aura' │ +│ ) │ +│ ], │ +│ collection='Ecommerce' │ +│ ) │ +│ │ +╰─────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯+ +
╭────────────────────────────────────────────────── 📚 Sources ───────────────────────────────────────────────────╮ +│ │ +│ - object_id='88433e18-216d-489a-8719-81a29b0ae915' collection='Brands' │ +│ - object_id='99f42d07-51e9-4388-9c4b-63eb8f79f5fd' collection='Brands' │ +│ - object_id='0852c2a4-0c5a-4c69-9762-1be10bc44f2b' collection='Brands' │ +│ - object_id='d172a342-da41-45c3-876e-d08db843b8b3' collection='Brands' │ +│ - object_id='a7ad0ed7-812e-4106-a29f-40442c3a106e' collection='Brands' │ +│ - object_id='b6abfa02-18e5-44cf-a002-ba140e3623ad' collection='Brands' │ +│ │ +╰─────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯+ + + + +
📊 Usage Statistics +┌────────────────┬───────┐ +│ LLM Requests: │ 5 │ +│ Input Tokens: │ 9728 │ +│ Output Tokens: │ 479 │ +│ Total Tokens: │ 10207 │ +└────────────────┴───────┘+ +
Total Time Taken: 11.38s+ +### システムプロンプトの変更 + +場合によっては、エージェントに対してカスタムの `system_prompt` を定義したいことがあります。これにより、エージェントにデフォルトの指示を与え、どのように振る舞うかを指定できます。たとえば、常にユーザーの言語でクエリに回答するエージェントを作成してみましょう。 + +さらに、`QueryAgent` に `Financial_contracts` と `Weather` という 2 つのコレクションへのアクセス権を持たせます。次に、ぜひ自分でもクエリを試してみてください！ + +```python +multi_lingual_agent = QueryAgent( + client=client, collections=["Ecommerce", "Brands", "Financial_contracts", "Weather"], + system_prompt="You are a helpful assistant that always generated the final response in the users language." + " You may have to translate the user query to perform searches. But you must always respond to the user in their own language." +) +``` + +今回は、天気に関する質問をしてみましょう！ + +```python +response = multi_lingual_agent.run("Quelles sont les vitesses minimales, maximales et moyennes du vent?") +print(response.final_answer) +``` + +Python 出力: +```text +Les vitesses de vent minimales, maximales et moyennes sont respectivement de 8,40 km/h, 94,88 km/h et 49,37 km/h. Ces données offrent une vue d'ensemble des conditions de vent typiques mesurées dans une période ou un lieu donné. +``` + +### さらに質問を試す + +たとえば、 ' Eko & Stitch ' というブランドについてもっと調べてみましょう。 + +```python +response = multi_lingual_agent.run("Does Eko & Stitch have a branch in the UK? Or if not, does it have parent or child company in the UK?") + +print(response.final_answer) +``` + +Python 出力: +```text +Yes, Eko & Stitch has a branch in the UK. The brand is part of the broader company Nova Nest, which serves as Eko & Stitch's parent brand. Eko & Stitch itself operates in the UK and has its child brands, Eko & Stitch Active and Eko & Stitch Kids, also within the UK. +``` + +`multi_lingual_agent` には "Financial_contracts" というコレクションにもアクセス権があります。このデータセットについてさらに情報を探してみましょう。 + +```python +response = multi_lingual_agent.run("What kinds of contracts are listed? What's the most common type of contract?") + +print(response.final_answer) +``` + +Python 出力: +```text +The query seeks to identify the types of contracts listed and determine the most common type. Among the types of contracts provided in the results, the following were identified: employment contracts, sales agreements, invoice contracts, service agreements, and lease agreements. The most common type of contract found in the search results is the employment contract. However, when considering data from both search and aggregation results, the aggregation reveals that the invoice contract is the most common, followed by service agreements and lease agreements. While employment contracts appear frequently in the search results, they rank fourth in the aggregation data in terms of overall occurrences. +``` + diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/agents/recipes/transformation-agent-get-started.md b/i18n/ja/docusaurus-plugin-content-docs/current/agents/recipes/transformation-agent-get-started.md new file mode 100644 index 000000000..ac8137cc7 --- /dev/null +++ b/i18n/ja/docusaurus-plugin-content-docs/current/agents/recipes/transformation-agent-get-started.md @@ -0,0 +1,345 @@ +--- +layout: recipe +colab: https://colab.research.google.com/github/weaviate/recipes/blob/main/weaviate-services/agents/transformation-agent-get-started.ipynb +toc: True +title: "Weaviate Transformation エージェントの構築" +featured: True +integration: False +agent: True +tags: ['Transformation Agent'] +--- + +
+
+
+このレシピでは、Weaviate の [`TransformationAgent`](https://docs.weaviate.io/agents/transformation) を使用して、Weaviate 内のデータを強化します。研究論文のタイトルとアブストラクトを含むコレクションにアクセスできるエージェントを構築し、そのエージェントを使ってコレクション内の各オブジェクトに追加プロパティを作成します。
+
+> ⚠️ Weaviate Transformation エージェントは、Weaviate 内のデータをインプレースで変更するよう設計されています。**技術プレビュー期間中は、本番環境での使用は避けてください。** エージェントが期待どおりに動作しない場合や、Weaviate インスタンス内のデータが予期せず変更される可能性があります。
+
+`TransformationAgent` は、任意の Weaviate コレクションにアクセスし、その中のオブジェクトに対して操作を実行できます。ただし、各操作は自然言語で定義できます。エージェントは LLM を使用して指示を実行します。
+
+> 📚 新しい `TransformationAgent` について詳しくは、併せてお読みいただけるブログ記事「[Introducing the Weaviate Transformation Agent](https://weaviate.io/blog/transformation-agent)」をご覧ください。
+
+まずは Hugging Face に公開されているオープンデータセットを用意しました。最初のステップとして、Weaviate Cloud のコレクションをどのように埋め込むかを説明します。
+
+- [**ArxivPapers:**](https://huggingface.co/datasets/weaviate/agents/viewer/query-agent-ecommerce) 研究論文のタイトルとアブストラクトをまとめたデータセットです。
+
+他のデータセットでさらにエージェントを試したい場合は、[Hugging Face Weaviate agents dataset](https://huggingface.co/datasets/weaviate/agents) にあるデモデータセット一覧をご覧ください。
+
+## Weaviate のセットアップとデータのインポート
+
+Weaviate Transformation エージェントを使用するには、まず [Weaviate Cloud](https://weaviate.io/deployment/serverless) アカウントを作成します👇
+1. [Serverless Weaviate Cloud アカウントの作成](https://weaviate.io/deployment/serverless) と無料の [Sandbox](https://docs.weaviate.io/cloud/manage-clusters/create#sandbox-clusters) のセットアップ
+2. 「Embedding」に移動して有効化します。デフォルトでは `Snowflake/snowflake-arctic-embed-l-v2.0` が埋め込みモデルとして使用されます
+3. 下記でクラスターに接続するために `WEAVIATE_URL` と `WEAVIATE_API_KEY` を控えておきます
+
+> Info: 外部埋め込みプロバイダー用の追加キーを用意しなくても済むよう、[Weaviate Embeddings](https://docs.weaviate.io/weaviate/model-providers/weaviate) の利用を推奨します。
+
+```python
+!pip install "weaviate-client[agents]" datasets
+!pip install -U weaviate-agents
+```
+
+Python output:
+```text
+/Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/pty.py:95: DeprecationWarning: This process (pid=93073) is multi-threaded, use of forkpty() may lead to deadlocks in the child.
+ pid, fd = os.forkpty()
+
+Collecting datasets
+ Using cached datasets-3.3.2-py3-none-any.whl.metadata (19 kB)
+Requirement already satisfied: weaviate-client[agents] in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (4.11.1)
+Requirement already satisfied: httpx<0.29.0,>=0.26.0 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from weaviate-client[agents]) (0.27.0)
+Requirement already satisfied: validators==0.34.0 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from weaviate-client[agents]) (0.34.0)
+Requirement already satisfied: authlib<1.3.2,>=1.2.1 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from weaviate-client[agents]) (1.3.1)
+Requirement already satisfied: pydantic<3.0.0,>=2.8.0 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from weaviate-client[agents]) (2.10.5)
+Requirement already satisfied: grpcio<2.0.0,>=1.66.2 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from weaviate-client[agents]) (1.69.0)
+Requirement already satisfied: grpcio-tools<2.0.0,>=1.66.2 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from weaviate-client[agents]) (1.69.0)
+Requirement already satisfied: grpcio-health-checking<2.0.0,>=1.66.2 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from weaviate-client[agents]) (1.69.0)
+Requirement already satisfied: weaviate-agents<1.0.0,>=0.3.0 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from weaviate-client[agents]) (0.4.0)
+Requirement already satisfied: filelock in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from datasets) (3.17.0)
+Requirement already satisfied: numpy>=1.17 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from datasets) (2.2.2)
+Collecting pyarrow>=15.0.0 (from datasets)
+ Using cached pyarrow-19.0.1-cp313-cp313-macosx_12_0_arm64.whl.metadata (3.3 kB)
+Collecting dill<0.3.9,>=0.3.0 (from datasets)
+ Using cached dill-0.3.8-py3-none-any.whl.metadata (10 kB)
+Requirement already satisfied: pandas in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from datasets) (2.2.3)
+Requirement already satisfied: requests>=2.32.2 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from datasets) (2.32.3)
+Requirement already satisfied: tqdm>=4.66.3 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from datasets) (4.67.1)
+Collecting xxhash (from datasets)
+ Using cached xxhash-3.5.0-cp313-cp313-macosx_11_0_arm64.whl.metadata (12 kB)
+Collecting multiprocess<0.70.17 (from datasets)
+ Using cached multiprocess-0.70.16-py312-none-any.whl.metadata (7.2 kB)
+Requirement already satisfied: fsspec<=2024.12.0,>=2023.1.0 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from fsspec[http]<=2024.12.0,>=2023.1.0->datasets) (2024.12.0)
+Requirement already satisfied: aiohttp in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from datasets) (3.11.11)
+Requirement already satisfied: huggingface-hub>=0.24.0 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from datasets) (0.27.1)
+Requirement already satisfied: packaging in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from datasets) (24.2)
+Requirement already satisfied: pyyaml>=5.1 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from datasets) (6.0.2)
+Requirement already satisfied: cryptography in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from authlib<1.3.2,>=1.2.1->weaviate-client[agents]) (44.0.0)
+Requirement already satisfied: aiohappyeyeballs>=2.3.0 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from aiohttp->datasets) (2.4.4)
+Requirement already satisfied: aiosignal>=1.1.2 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from aiohttp->datasets) (1.3.2)
+Requirement already satisfied: attrs>=17.3.0 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from aiohttp->datasets) (24.3.0)
+Requirement already satisfied: frozenlist>=1.1.1 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from aiohttp->datasets) (1.5.0)
+Requirement already satisfied: multidict<7.0,>=4.5 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from aiohttp->datasets) (6.1.0)
+Requirement already satisfied: propcache>=0.2.0 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from aiohttp->datasets) (0.2.1)
+Requirement already satisfied: yarl<2.0,>=1.17.0 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from aiohttp->datasets) (1.18.3)
+Requirement already satisfied: protobuf<6.0dev,>=5.26.1 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from grpcio-health-checking<2.0.0,>=1.66.2->weaviate-client[agents]) (5.29.3)
+Requirement already satisfied: setuptools in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from grpcio-tools<2.0.0,>=1.66.2->weaviate-client[agents]) (75.1.0)
+Requirement already satisfied: anyio in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from httpx<0.29.0,>=0.26.0->weaviate-client[agents]) (4.8.0)
+Requirement already satisfied: certifi in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from httpx<0.29.0,>=0.26.0->weaviate-client[agents]) (2024.12.14)
+Requirement already satisfied: httpcore==1.* in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from httpx<0.29.0,>=0.26.0->weaviate-client[agents]) (1.0.7)
+Requirement already satisfied: idna in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from httpx<0.29.0,>=0.26.0->weaviate-client[agents]) (3.10)
+Requirement already satisfied: sniffio in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from httpx<0.29.0,>=0.26.0->weaviate-client[agents]) (1.3.1)
+Requirement already satisfied: h11<0.15,>=0.13 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from httpcore==1.*->httpx<0.29.0,>=0.26.0->weaviate-client[agents]) (0.14.0)
+Requirement already satisfied: typing-extensions>=3.7.4.3 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from huggingface-hub>=0.24.0->datasets) (4.12.2)
+Requirement already satisfied: annotated-types>=0.6.0 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from pydantic<3.0.0,>=2.8.0->weaviate-client[agents]) (0.7.0)
+Requirement already satisfied: pydantic-core==2.27.2 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from pydantic<3.0.0,>=2.8.0->weaviate-client[agents]) (2.27.2)
+Requirement already satisfied: charset-normalizer<4,>=2 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from requests>=2.32.2->datasets) (3.4.1)
+Requirement already satisfied: urllib3<3,>=1.21.1 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from requests>=2.32.2->datasets) (2.3.0)
+Requirement already satisfied: rich>=13.9.4 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from weaviate-agents<1.0.0,>=0.3.0->weaviate-client[agents]) (13.9.4)
+Requirement already satisfied: python-dateutil>=2.8.2 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from pandas->datasets) (2.9.0.post0)
+Requirement already satisfied: pytz>=2020.1 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from pandas->datasets) (2024.2)
+Requirement already satisfied: tzdata>=2022.7 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from pandas->datasets) (2025.1)
+Requirement already satisfied: six>=1.5 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from python-dateutil>=2.8.2->pandas->datasets) (1.17.0)
+Requirement already satisfied: markdown-it-py>=2.2.0 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from rich>=13.9.4->weaviate-agents<1.0.0,>=0.3.0->weaviate-client[agents]) (3.0.0)
+Requirement already satisfied: pygments<3.0.0,>=2.13.0 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from rich>=13.9.4->weaviate-agents<1.0.0,>=0.3.0->weaviate-client[agents]) (2.19.1)
+Requirement already satisfied: cffi>=1.12 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from cryptography->authlib<1.3.2,>=1.2.1->weaviate-client[agents]) (1.17.1)
+Requirement already satisfied: pycparser in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from cffi>=1.12->cryptography->authlib<1.3.2,>=1.2.1->weaviate-client[agents]) (2.22)
+Requirement already satisfied: mdurl~=0.1 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from markdown-it-py>=2.2.0->rich>=13.9.4->weaviate-agents<1.0.0,>=0.3.0->weaviate-client[agents]) (0.1.2)
+Using cached datasets-3.3.2-py3-none-any.whl (485 kB)
+Using cached dill-0.3.8-py3-none-any.whl (116 kB)
+Using cached multiprocess-0.70.16-py312-none-any.whl (146 kB)
+Using cached pyarrow-19.0.1-cp313-cp313-macosx_12_0_arm64.whl (30.7 MB)
+Using cached xxhash-3.5.0-cp313-cp313-macosx_11_0_arm64.whl (30 kB)
+Installing collected packages: xxhash, pyarrow, dill, multiprocess, datasets
+Successfully installed datasets-3.3.2 dill-0.3.8 multiprocess-0.70.16 pyarrow-19.0.1 xxhash-3.5.0
+Requirement already satisfied: weaviate-agents in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (0.4.0)
+Requirement already satisfied: rich>=13.9.4 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from weaviate-agents) (13.9.4)
+Requirement already satisfied: weaviate-client>=4.11.0 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from weaviate-agents) (4.11.1)
+Requirement already satisfied: markdown-it-py>=2.2.0 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from rich>=13.9.4->weaviate-agents) (3.0.0)
+Requirement already satisfied: pygments<3.0.0,>=2.13.0 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from rich>=13.9.4->weaviate-agents) (2.19.1)
+Requirement already satisfied: httpx<0.29.0,>=0.26.0 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from weaviate-client>=4.11.0->weaviate-agents) (0.27.0)
+Requirement already satisfied: validators==0.34.0 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from weaviate-client>=4.11.0->weaviate-agents) (0.34.0)
+Requirement already satisfied: authlib<1.3.2,>=1.2.1 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from weaviate-client>=4.11.0->weaviate-agents) (1.3.1)
+Requirement already satisfied: pydantic<3.0.0,>=2.8.0 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from weaviate-client>=4.11.0->weaviate-agents) (2.10.5)
+Requirement already satisfied: grpcio<2.0.0,>=1.66.2 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from weaviate-client>=4.11.0->weaviate-agents) (1.69.0)
+Requirement already satisfied: grpcio-tools<2.0.0,>=1.66.2 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from weaviate-client>=4.11.0->weaviate-agents) (1.69.0)
+Requirement already satisfied: grpcio-health-checking<2.0.0,>=1.66.2 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from weaviate-client>=4.11.0->weaviate-agents) (1.69.0)
+Requirement already satisfied: cryptography in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from authlib<1.3.2,>=1.2.1->weaviate-client>=4.11.0->weaviate-agents) (44.0.0)
+Requirement already satisfied: protobuf<6.0dev,>=5.26.1 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from grpcio-health-checking<2.0.0,>=1.66.2->weaviate-client>=4.11.0->weaviate-agents) (5.29.3)
+Requirement already satisfied: setuptools in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from grpcio-tools<2.0.0,>=1.66.2->weaviate-client>=4.11.0->weaviate-agents) (75.1.0)
+Requirement already satisfied: anyio in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from httpx<0.29.0,>=0.26.0->weaviate-client>=4.11.0->weaviate-agents) (4.8.0)
+Requirement already satisfied: certifi in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from httpx<0.29.0,>=0.26.0->weaviate-client>=4.11.0->weaviate-agents) (2024.12.14)
+Requirement already satisfied: httpcore==1.* in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from httpx<0.29.0,>=0.26.0->weaviate-client>=4.11.0->weaviate-agents) (1.0.7)
+Requirement already satisfied: idna in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from httpx<0.29.0,>=0.26.0->weaviate-client>=4.11.0->weaviate-agents) (3.10)
+Requirement already satisfied: sniffio in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from httpx<0.29.0,>=0.26.0->weaviate-client>=4.11.0->weaviate-agents) (1.3.1)
+Requirement already satisfied: h11<0.15,>=0.13 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from httpcore==1.*->httpx<0.29.0,>=0.26.0->weaviate-client>=4.11.0->weaviate-agents) (0.14.0)
+Requirement already satisfied: mdurl~=0.1 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from markdown-it-py>=2.2.0->rich>=13.9.4->weaviate-agents) (0.1.2)
+Requirement already satisfied: annotated-types>=0.6.0 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from pydantic<3.0.0,>=2.8.0->weaviate-client>=4.11.0->weaviate-agents) (0.7.0)
+Requirement already satisfied: pydantic-core==2.27.2 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from pydantic<3.0.0,>=2.8.0->weaviate-client>=4.11.0->weaviate-agents) (2.27.2)
+Requirement already satisfied: typing-extensions>=4.12.2 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from pydantic<3.0.0,>=2.8.0->weaviate-client>=4.11.0->weaviate-agents) (4.12.2)
+Requirement already satisfied: cffi>=1.12 in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from cryptography->authlib<1.3.2,>=1.2.1->weaviate-client>=4.11.0->weaviate-agents) (1.17.1)
+Requirement already satisfied: pycparser in /Users/tuanacelik/miniconda3/envs/agent/lib/python3.13/site-packages (from cffi>=1.12->cryptography->authlib<1.3.2,>=1.2.1->weaviate-client>=4.11.0->weaviate-agents) (2.22)
+```
+```python
+import os
+from getpass import getpass
+
+if "WEAVIATE_API_KEY" not in os.environ:
+ os.environ["WEAVIATE_API_KEY"] = getpass("Weaviate API Key")
+if "WEAVIATE_URL" not in os.environ:
+ os.environ["WEAVIATE_URL"] = getpass("Weaviate URL")
+```
+
+```python
+import weaviate
+from weaviate.auth import Auth
+
+client = weaviate.connect_to_weaviate_cloud(
+ cluster_url=os.environ.get("WEAVIATE_URL"),
+ auth_credentials=Auth.api_key(os.environ.get("WEAVIATE_API_KEY")),
+)
+```
+
+### コレクションの準備
+
+以下のコードブロックでは、Hugging Face からデモの「papers」データセットを取得し、Weaviate Serverless クラスターに新しいコレクションとして書き込みます。
+
+**Important:** Weaviate Cloud コンソールで「Embeddings」を必ず有効にしてください。これにより `text2vec_weaviate` ベクトライザーを使用でき、デフォルトで `Snowflake/snowflake-arctic-embed-l-v2.0` でベクトルが作成されます。
+
+```python
+from weaviate.classes.config import Configure
+
+# To re-run cell you may have to delete collections
+# client.collections.delete("ArxivPapers")
+client.collections.create(
+ "ArxivPapers",
+ description="A dataset that lists research paper titles and abstracts",
+ vector_config=Configure.Vectors.text2vec_weaviate()
+)
+
+```
+
+Python output:
+```text
+
+
+
+従来、AI システムの評価は人間が作成した評価セットに大きく依存していました。特に、このプロセスには多大な時間とリソースが必要となり、ほとんどの開発者が AI システムを作成して適切に評価することを妨げていました。
+
+Weaviate Transformation エージェントは、合成評価データセットを迅速に生成できることで、AI 評価に革新をもたらします。
+
+このノートブックでは、Weaviate ブログの記事それぞれに対して ** 2,100 ** 件の合成質問をわずか 63 秒で生成します！
+
+続いて、このデータセットを用いて Snowflake の [ Arctic 2.0 ](https://arxiv.org/abs/2412.04506) と [ Arctic 1.5 ](https://arxiv.org/abs/2405.05374) の埋め込みモデル間で、埋め込みリコール（干し草の山からソースドキュメントを見つける）を報告します。結果は次のとおりです。
+
+| Model | Recall@1 | Recall@5 | Recall@100 |
+|------------|----------|----------|------------|
+| Arctic 1.5 | 0.7995 | 0.9245 | 0.9995 |
+| Arctic 2.0 | 0.8412 | 0.9546 | 0.9995 |
+
+Arctic 2.0 モデルは優れた性能を示し、特に Recall@1 で 4.17 %、Recall@5 で 3.01 % の向上が見られました。
+
+## ノートブックの概要
+
+
+
+```python
+import weaviate
+import os
+from weaviate.classes.init import Auth
+import weaviate.classes.config as wvcc
+import re
+from weaviate.util import get_valid_uuid
+from uuid import uuid4
+```
+
+```python
+# Connect to Weaviate Client
+
+WEAVIATE_URL = os.getenv("WEAVIATE_URL")
+WEAVIATE_API_KEY = os.getenv("WEAVIATE_API_KEY")
+
+weaviate_client = weaviate.connect_to_weaviate_cloud(
+ cluster_url=WEAVIATE_URL,
+ auth_credentials=Auth.api_key(WEAVIATE_API_KEY)
+)
+
+print(weaviate_client.is_ready())
+```
+
+Python output:
+```text
+True
+```
+## Weaviate Named ベクトル
+
+Weaviate で *同じ* プロパティから 2 つの HSNW インデックスを作成できます！
+
+さらに、それぞれに異なる埋め込みモデルを設定することも可能です。
+
+Weaviate Named ベクトルの詳細は [こちら](https://docs.weaviate.io/weaviate/config-refs/collections)、Weaviate Embedding Service については [こちら](https://docs.weaviate.io/cloud/embeddings) をご覧ください。
+
+```python
+blogs_collection = weaviate_client.collections.create(
+ name="WeaviateBlogChunks",
+ vectorizer_config=[
+ wvcc.Configure.NamedVectors.text2vec_weaviate(
+ name="content_arctic_1_5",
+ model="Snowflake/snowflake-arctic-embed-m-v1.5",
+ source_properties=["content"],
+ ),
+ wvcc.Configure.NamedVectors.text2vec_weaviate(
+ name="content_arctic_2_0",
+ model="Snowflake/snowflake-arctic-embed-l-v2.0",
+ source_properties=["content"],
+ )
+ ],
+ properties=[
+ wvcc.Property(name="content", data_type=wvcc.DataType.TEXT),
+ ]
+)
+```
+
+## ディレクトリパーサーによるブログのロード
+
+```python
+def chunk_list(lst, chunk_size):
+ """Break a list into chunks of the specified size."""
+ return [lst[i:i + chunk_size] for i in range(0, len(lst), chunk_size)]
+
+def split_into_sentences(text):
+ """Split text into sentences using regular expressions."""
+ sentences = re.split(r'(?
+• [Arctic Embed 2.0 リサーチレポート](https://arxiv.org/abs/2412.04506) +• [Arctic Embed リサーチレポート](https://arxiv.org/abs/2405.05374)
+• [Weaviate Podcast #110（Luke Merrick、Puxuan Yu、Charles Pierse）](https://www.youtube.com/watch?v=Kjqv4uk3RCs) + +## Luke さんと Puxuan さん、このノートブックのレビューに大きな感謝を！ + + + + diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/agents/transformation/index.md b/i18n/ja/docusaurus-plugin-content-docs/current/agents/transformation/index.md new file mode 100644 index 000000000..3806764c2 --- /dev/null +++ b/i18n/ja/docusaurus-plugin-content-docs/current/agents/transformation/index.md @@ -0,0 +1,118 @@ +--- +title: 変換エージェント +sidebar_position: 30 +description: "Weaviate のコレクションにある既存データを強化・拡充・変換する AI エージェントの概要。" +image: og/docs/agents.jpg +# tags: ['agents', 'getting started', 'transformation agent'] +--- + +import Tabs from '@theme/Tabs'; +import TabItem from '@theme/TabItem'; +import FilteredTextBlock from '@site/src/components/Documentation/FilteredTextBlock'; +import PyCode from '!!raw-loader!/docs/agents/_includes/transformation_agent.py'; + +# Weaviate 変換エージェント + +:::caution Technical Preview + + + + +[こちらからサインアップ](https://events.weaviate.io/weaviate-agents)して Weaviate エージェントの通知を受け取るか、[このページ](https://weaviateagents.featurebase.app/)で最新情報の確認やフィードバックの送信を行ってください。 + +::: + +:::warning 本番環境では使用しないでください +Weaviate 変換エージェントは、Weaviate 内のデータをその場で変更するよう設計されています。**テクニカルプレビュー期間中は、本番環境で使用しないでください。** エージェントが期待どおりに動作しない可能性があり、Weaviate インスタンス内のデータが予期せぬ形で変更される場合があります。 +::: + +Weaviate 変換エージェント (Transformation Agent) は、生成モデルを用いてデータを拡張・変換するエージェント型サービスです。既存のオブジェクトに対して新しいプロパティを追加したり、既存プロパティを更新したりできます。 + + + + +これにより、アプリケーションでのさらなる活用に向けて、Weaviate コレクション内オブジェクトの品質を向上させられます。 + +## アーキテクチャ + +変換エージェントは Weaviate Cloud 上のサービスとして提供され、既存の Weaviate オブジェクトに対して新しいプロパティの追加や既存プロパティの更新を行います。 + + + + +変換エージェントには、更新対象のコレクション名や確認対象の既存プロパティ、そして instructions などの指示を渡してください。エージェントは指定されたオブジェクトに対し、指示どおりの操作を実行します。 + +:::note オブジェクト総数は変わりません +オブジェクト数自体は増減せず、指定オブジェクトのプロパティのみが更新されます。 +::: + +## 変換エージェント：ワークフローの可視化 + +既存オブジェクトを変換する際、変換エージェントは以下の手順で動作します。 + +- 変換エージェントが指定条件に基づき Weaviate から既存オブジェクトを取得します（ステップ 1–2）。 +- 取得した既存プロパティのコンテキストと instructions を基に、生成モデルで新しいプロパティ値を生成します（ステップ 3–4）。 +- 変換後のオブジェクトを Weaviate に更新します。必要に応じ、指定した ベクトライザー でベクトル化が行われます（ステップ 5–7）。 +- Weaviate からジョブステータスが返され、最終的にユーザーへ返却されます（ステップ 8）。 + +### 既存オブジェクトのプロパティを更新 + +既存プロパティを更新する場合、変換エージェントは既存値を新しい値で置き換えます。ワークフローは以下のとおりです。 + + + + +### 既存オブジェクトに新しいプロパティを追加 + +プロパティを追加する場合、変換エージェントは新しい値を新規プロパティとしてオブジェクトに追加します。ワークフローは以下のとおりです。 + + + + +## 基本的な使い方 + +ここでは Weaviate 変換エージェントの基本的な利用方法を概説します。詳細は [Usage](./usage.md) ページをご覧ください。 + +### 前提条件 + +本エージェントは Weaviate Cloud インスタンスと、対応するバージョンの Weaviate クライアントライブラリでのみ利用できます。 + +### 使用例 + +変換エージェントを使用するには、次の入力でインスタンス化します。 + +- Weaviate Cloud インスタンスに接続した Weaviate クライアント（例：Python の `WeaviateClient` オブジェクト） +- 変換対象コレクションの名前 +- 実行する変換操作のリスト + +その後、操作を開始します。 + +変換操作は非同期で実行されます。各操作はワークフロー ID を返すので、ユーザーはその ID を用いてステータスを確認できます。 + +
+
+
+
+
+ 
+
+ + +Transformation エージェントは次のように動作します。 + +1. **タスクを受け取る** – 新しいプロパティを作成する、または既存プロパティを更新する。 +2. **Weaviate から必要なデータを取得する** – 更新対象、または新規プロパティ作成に使用するデータを取得。 +3. **適切なファウンデーションモデル**（例: 大規模言語モデル）を使用してデータを変換。 +4. **変換後のデータを Weaviate に保存する** – 新しいプロパティを作成するか、既存プロパティを更新。 + +
+ +## 前提条件 + +Weaviate エージェントおよび Weaviate Embedding サービスを使用するには、**[Weaviate Cloud](https://console.weaviate.cloud)** アカウントが必要です。 + +## ステップ 1: Weaviate のセットアップ + +それでは、チュートリアルで使用する Weaviate Cloud インスタンスを作成し、Python クライアントから接続してみましょう。 + +### 1.1 Weaviate Cloud クラスタの作成 + +1. Weaviate Cloud で [無料の Sandbox クラスタ](/cloud/manage-clusters/create#sandbox-clusters) を作成します。 +2. クラスタへの接続に必要な `REST Endpoint` と `Admin` API キーを控えておきます。（詳細は [クイックスタート](/cloud/manage-clusters/connect.mdx) を参照） + +:::tip +本チュートリアルでは、ベクトライザーとして [Weaviate Embeddings](../../weaviate/model-providers/weaviate/index.md) サービスを使用するため、外部埋め込みプロバイダー用の追加キーは不要です。Weaviate Embeddings ではデフォルトで `Snowflake/snowflake-arctic-embed-l-v2.0` モデルを利用します。
+別のベクトライザーを使用したい場合は、サポートされている [モデルプロバイダー](../../weaviate/model-providers/index.md) の一覧をご覧ください。 +::: + +### 1.2 Python ライブラリのインストール + +Weaviate Python クライアントと `agents` コンポーネントをインストールします。 + +
+
+
+
+
+ +
+ この画像は、データセット ArxivPapers に含まれるオブジェクトの例です。
+
+
+
+
+
+ 
+
+ arXiv.org 論文データセット
+ + +`ArxivPapers` コレクションには、インポートされるデータに基づいてプロパティを自動生成する [`auto-schema`](../../weaviate/config-refs/collections.mdx#auto-schema) オプションを使用します。 + +
+
+
+
+ + 変換結果を確認するには{" "} + Explorer tool{" "} + を開いてください。 +
+
+
+
+
+
+ 
+
+ Weaviate Cloud の Explorer tool
+ + +出力例: + +``` +[TransformationResponse(operation_name='topics', workflow_id='TransformationWorkflow-7006854bd90f949b59bb8d88c816bdd6'), +TransformationResponse(operation_name='french_abstract', workflow_id='TransformationWorkflow-7a025ef11ef8e681adb0c273755d0a2a'), +TransformationResponse(operation_name='nlp_relevance', workflow_id='TransformationWorkflow-e6db777629ae7b38ca2f8f64df35c305'), +TransformationResponse(operation_name='is_survey_paper', workflow_id='TransformationWorkflow-e70d29827271f462f2a911ec29c6cb0c'), +TransformationResponse(operation_name='title', workflow_id='TransformationWorkflow-6b2ff75370e1f80ff537037fde02cb26')] +``` + +### 4.2 オペレーションワークフローの確認 + +非同期変換オペレーションの状態を確認するには、`agent.get_status(workflow_id)` 関数を使用します。 + +
+
+
+
+
+## 料金と課金
+
+
+料金モデルの詳細については、Weaviate Embeddings の [製品ページ](https://weaviate.io/product/embeddings) をご覧ください。
+料金はトークン単位で計算されます。つまり、実際に消費されたトークン分のみ課金されます。言い換えると、API から有効なレスポンスが返されたリクエストのみが課金対象になります。
+
+Weaviate Cloud の課金に関する詳細は [こちらのページ](/cloud/platform/billing) でご確認いただけます。
+
+## 追加リソース
+
+- [Weaviate Embeddings: 概要](/cloud/embeddings)
+- [Weaviate Embeddings: クイックスタート](/cloud/embeddings/quickstart)
+- [Weaviate Embeddings: モデルの選択](/cloud/embeddings/models)
+- [モデルプロバイダー統合: Weaviate Embeddings](/weaviate/model-providers/weaviate/embeddings.md)
+
+## サポートとフィードバック
+
+import SupportAndTrouble from '/_includes/wcs/support-and-troubleshoot.mdx';
+
+
+
+ -
+
- + Weaviate Cloud コンソール を開きます。 + +
-
+ 左側のサイドバー (1) で
Weaviate Embeddingsをクリックします。 +
+ -
+
Enabledトグルボタン (2) を使用してサービスを有効化または無効化します。 +
+
+
+
+
+
+ 
+
+ Weaviate Embeddings をグローバルで無効化します。
+ +
+ +:::info 学べること + +このクイックスタートでは、 Weaviate Cloud と **Weaviate Embeddings** を組み合わせて以下を行う方法を学びます。 + +1. Weaviate Cloud インスタンスをセットアップします。（10 分） +2. Weaviate Embeddings を使ってデータを追加しベクトル化します。（10 分） +3. セマンティック（ベクトル）検索とハイブリッド検索を実行します。（10 分） + +```mermaid +flowchart LR + %% Define nodes with white backgrounds and darker borders + A1["Create a new
cluster"] --> A2["Install client
library"] + A2 --> A3["Connect to
Weaviate Cloud"] + A3 --> B1["Configure the
vectorizer"] + B1 --> B2["Import
objects"] + B2 --> C1["Semantic (vector)
search"] + + %% Group nodes in subgraphs with brand colors + subgraph sg1 ["1\. Setup"] + A1 + A2 + A3 + end + + subgraph sg2 ["2\. Populate"] + B1 + B2 + end + + subgraph sg3 ["3\. Query"] + C1 + end + + %% Style nodes with white background and darker borders + style A1 fill:#ffffff,stroke:#B9C8DF,color:#130C49 + style A2 fill:#ffffff,stroke:#B9C8DF,color:#130C49 + style A3 fill:#ffffff,stroke:#B9C8DF,color:#130C49 + style B1 fill:#ffffff,stroke:#B9C8DF,color:#130C49 + style B2 fill:#ffffff,stroke:#B9C8DF,color:#130C49 + style C1 fill:#ffffff,stroke:#B9C8DF,color:#130C49 + + %% Style subgraphs with brand colors + style sg1 fill:#ffffff,stroke:#61BD73,stroke-width:2px,color:#130C49 + style sg2 fill:#ffffff,stroke:#130C49,stroke-width:2px,color:#130C49 + style sg3 fill:#ffffff,stroke:#7AD6EB,stroke-width:2px,color:#130C49 +``` + +注意: + +- ここに掲載しているコード例は自己完結型です。コピー＆ペーストしてご自身の環境でそのままお試しいただけます。 + +::: + +## 必要条件 + +Weaviate Embeddings を利用するには、次が必要です。 + + + +- Weaviate `1.28.5` 以上で稼働する Weaviate Cloud Sandbox +- Weaviate Embeddings をサポートする Weaviate クライアント ライブラリ + - **Python** クライアント バージョン `4.9.5` 以上 + - **JavaScript/TypeScript** クライアント バージョン `3.2.5` 以上 + - **Go/Java** クライアントはまだ公式サポートされていません。以下の例のように、インスタンス化時に `X-Weaviate-Api-Key` と `X-Weaviate-Cluster-Url` ヘッダーを手動で渡す必要があります。 + +## ステップ 1: Weaviate をセットアップ + +### 1.1 新しいクラスターの作成 + +無料の **Sandbox** クラスターを Weaviate Cloud に作成するには、**[こちらの手順](/cloud/manage-clusters/create#create-a-cluster)** に従ってください。 + +import LatestWeaviateVersion from "/_includes/latest-weaviate-version.mdx"; + +
+ +## サポートとフィードバック + +import SupportAndTrouble from "/_includes/wcs/support-and-troubleshoot.mdx"; + +
+
+
+## アカウント管理
+
+#### Q: アカウントのパスワードをリセットまたは変更できますか？ {#reset-password}
+
+Answer
+ +Weaviate Cloud を使用すると、テスト用に 14 日間無料で利用できるサンドボックスにアクセスできます。さらに、すべてのデプロイ方法で利用できるわけではない [ Weaviate Embeddings ](docs/cloud/embeddings/index.md) や [ Weaviate Agents ](docs/agents/index.md) などの高度な機能も利用できます。 + +
+
+
+#### Q: 認証メールが届きません。
+
+Answer
+ +はい。[ Weaviate Cloud ログインページ](https://console.weaviate.cloud/) にアクセスし、"Log in" ボタンをクリックしてください。その後 **"Forgot Password"** をクリックしてメールアドレスを入力します。そのアドレスにリセット用メールが届きます。 + +
+
+
+## インスタンス管理
+
+#### Q: Weaviate Cloud クラスターはバックアップされていますか？
+
+Answer
+ +受信トレイに認証メールが見当たらない場合は、迷惑メールフォルダーを確認してください。それでも届いていない場合は、[ パスワードをリセット ](./faq.mdx#reset-password) して再送できます。 + +
+
+
+#### Q: Weaviate Cloud クラスターを新しいバージョンに更新できますか？
+
+Answer
+ +はい。Weaviate Cloud では毎日自動バックアップを実行しています。また、クラスターのバージョンを更新する前にもデータをバックアップします。 + +
+
+
+#### Q: クラスターリソースは自動でスケールしますか？
+
+Answer
+ +はい。Cloud Console で対象クラスターを開き **"Details."** をクリックしてください。新しいバージョンが利用可能な場合は **"Update!"** ボタンが表示されます。安全なメンテナンス時間帯にのみ更新してください。 + +
+
+
+#### Q: 追加のクラスターリソースを要求できますか？
+
+Answer
+ +現時点では自動スケーリングは行われません。Weaviate Cloud がクラスターを監視し、リサイズが必要と思われる場合に通知は行いますが、デフォルトでは自動スケールは無効です。 + +
+
+
+#### Q: 同時にいくつのクラスターを作成できますか？
+
+Answer
+ +可能な場合があります。[support@weaviate.io](mailto:support@weaviate.io) までご連絡いただき、カスタムプロビジョニングやリソース増強のご要望をお知らせください。 + +
+
+
+## インフラストラクチャ
+
+#### Q: Weaviate Cloud はどのインフラストラクチャ上で稼働していますか？
+
+Answer
+ +デフォルトでは、各組織につき **six ( 6 )** 件の serverless クラスターと **two ( 2 )** 件の sandbox クラスターを作成できます。さらに必要な場合は [ サポートへお問い合わせください ](mailto:support@weaviate.io)。 + +
+
+
+## Weaviate Cloud Console
+
+#### Q: Weaviate Cloud Console はユーザーデータを収集しますか？
+
+Answer
+ +現在、Weaviate Cloud は **Google Cloud Platform ( GCP )** 上で稼働しています。**AWS** と **Azure** への対応もロードマップにあります。 + +
+
+
+#### Q: Weaviate Cloud Console から Weaviate Cloud 以外のインスタンスに接続できますか？
+
+Answer
+ +コンソールは Weaviate インスタンスからデータを収集 **しません**。インフラ管理・保守のために **operational metrics** のみを収集します。 + +
+
+
+## サポート
+
+import SupportAndTrouble from '/_includes/wcs/support-and-troubleshoot.mdx';
+
+Answer
+ +はい。Weaviate Cloud Console にある GraphQL クエリツールは、公開アクセス可能であれば **外部 Weaviate インスタンス** にも接続できます。 + +
+
+
+
+ -
+
- + {' '}Weaviate Cloud コンソール を開きます。 + +
-
+ {' '}クラスターを選択し、
API Keysセクションへ移動します。 +
+ -
+ ローテーションしたい API キーを見つけ、隣の
Rotateボタン（画像の 1）をクリックします。 +
+
+
+
+
+
+ 
+
+ Weaviate Cloud で API キーをローテーションします。
+ + +
+
+
+### API キーの編集
+
+API キーを編集すると、その名前や関連付けられているロールを変更できます。クラスターの API キーを編集する手順は以下のとおりです。
+
+import EditAPIKey from '/docs/cloud/img/weaviate-cloud-api-key-management.png';
+import EditAPIKeyForm from '/docs/cloud/img/weaviate-cloud-api-key-edit.png';
+
+
+
+ -
+
-
+ 古いキーが無効化される旨の確認ダイアログが表示されます。
Rotate keyをクリックして続行します（画像の 1）。 +
+ - + 新しい API キーが生成されます。2 新しいキーは再表示できないため、必ず直ちにコピーして安全な場所に保存してください。 + +
+
+
+
+
+ 
+
+ API キーのローテーションを確認します。
+
+
+
+
+ -
+
- + {' '}Weaviate Cloud コンソール を開きます。 + +
-
+ {' '}クラスターを選択し、
API Keysセクションへ移動します。 +
+ -
+ 編集したい API キーを見つけ、隣の
Editボタン（画像の 1）をクリックします。 +
+
+
+
+
+
+ 
+
+ Weaviate Cloud で API キーを編集します。
+ + +
+
+
+
+
+### API キーの削除
+
+API キーを削除するには、次の手順に従います:
+
+import DeleteAPIKeyRBAC from '/docs/cloud/img/weaviate-cloud-delete-api-key.png';
+
+
+
+ -
+
-
+
Edit API keyフォームで、キーの説明／名前（1）を変更できます。 +
+ - + この API キーに関連付けるロールも更新できます。既存のロールから選択するか、{' '}別のロールを割り当ててください（2）。 + +
-
+
Saveボタン（3）をクリックして変更を適用します。 +
+
+
+
+
+
+ 
+
+ API キーの詳細を編集します。
+
+
+
+
+ -
+
- + Weaviate Cloud コンソールを開きます。 + +
-
+
+ クラスターを選択
+ {' '}
+ し、
API Keysセクションに移動します。 +
+ -
+ 削除したい API キーを探し、その横にある
Deleteボタンをクリックします (1)。 +
+
+
+
+
+
+ 
+
+ Weaviate Cloud で API キーを削除します。
+ + +import DeleteAPIKeyConfirmRBAC from '/docs/cloud/img/weaviate-cloud-delete-api-key-confirm.png'; + +
+
+
+## RBAC 無効時の認証
+
+[RBAC（Role-Based Access Control）](/weaviate/configuration/rbac/index.mdx) が有効になっていない場合、デフォルトで `ReadOnly` と `Admin` の 2 つの API キーが存在します。
+
+- `Admin` キーは読み書きが可能です。
+- `ReadOnly` キーにはデータベースへの書き込み権限がありません。
+
+Serverless クラスターをお持ちの場合、API キーの作成、削除、編集、およびローテーションが可能です。Sandbox クラスターのキーは変更できません。
+
+### API キーの取得
+
+import RetrieveAPIKeys from '/_includes/wcs/retrieve-api-keys.mdx';
+
+
+
+ -
+
- + 確認ダイアログが表示されます。削除を確定するために必要なテキスト（通常は API キー名または確認用フレーズ）を入力します (1)。 + +
-
+
Confirm and deleteボタンをクリックします (2)。 +
+
+
+
+
+
+ 
+
+ API キーの削除を確認します。
+
+
+
+
+ -
+
- + Weaviate Cloud コンソールを開きます。 + +
-
+
+ クラスターを選択
+ {' '}
+ し、
API Keysセクションを探します。 +
+ -
+
New Keyボタンをクリックします (1)。 +
+
+
+
+
+
+ 
+
+ クラスターに新しい API キーを追加します。
+ + +import NewAPIKeyConfirm from '/docs/cloud/img/weaviate-cloud-new-api-key-confirm.png'; + +
+
+
+
+ -
+
-
+
AdminキーにするかReadOnlyキーにするかを選択します。 +
+ -
+
Createボタンをクリックします。 +
+
+
+
+
+
+ 
+
+ 新しい API キーの種類を選択します。
+ + +:::info + +
+
+
+
+ -
+
- + Weaviate Cloud コンソールを開きます。 + +
-
+
+ クラスターを選択
+
+ し、
API Keysセクションを探します。 +
+ -
+ 削除したいキーの横にある
Deleteボタンをクリックします (1)。 +
+
+
+
+
+
+ 
+
+ Weaviate Cloud で API キーを削除します。
+ + +import DeleteAPIKeyConfirm from '/docs/cloud/img/weaviate-cloud-delete-api-key-confirm.png'; + +
+
+
+
+ -
+
- 削除を確認するために必要なテキストを入力します。 +
-
+
Confirm and deleteボタンをクリックします。 +
+
+
+
+
+
+ 
+
+ API キーの削除を確認します。
+ + +:::info + +
+
+
+
+ -
+
- + Weaviate Cloud コンソールを開きます。 + +
-
+
+ クラスターを選択
+ {' '}
+ し、
Rolesセクションへ移動します。 +
+ -
+
Create Roleボタン（ + 1）をクリックします。 +
+
+
+
+
+
+ 
+
+ ロール管理セクションへアクセスします。
+ + +
+
+
+
+ -
+
-
+
Role name{' '}フィールド（1）に、ロールの説明的な名前を入力します。 +
+ -
+
Collectionセクション（2）でコレクションレベルの権限を設定します: +-
+
- + ドロップダウンから対象コレクションを選択（ + 3） + +
- + Create、Read、Update、Delete の各 Collection 権限を選択（4） + +
+ -
+ コレクションでマルチテナンシーを使用している場合は、必要に応じて
Collection Tenants権限を設定します。 +
+ -
+
Createボタン（5）をクリックして新しいロールを保存します。 +
+
+
+
+
+
+ 
+
+ 新しいロールの権限を設定します。
+ + +:::info + + RBAC と利用可能な権限の詳細については、[RBAC ドキュメント](/weaviate/configuration/rbac/index.mdx)を参照してください。 + +::: + +## ロールの編集 + +既存のカスタムロールの権限や設定は、いつでも変更できます。 + +
+
+
+
+ -
+
- ロール管理ページで編集したいロールを探します。 +
-
+ そのロールの横にある
Editボタン（1）をクリックします。 +
+
+
+
+
+
+ 
+
+ ロールの権限を変更します。
+ +
+
+
+
+ -
+
-
+ ロール編集画面では、以下が行えます:
+
-
+
- + Create、Read、Update、Delete 操作のチェックボックスを切り替えてコレクション権限を更新 + +
- + ドロップダウンメニューを使用して、権限の適用対象となるコレクションなど、ロールのスコープに追加の制約を追加・削除 + +
+ -
+ 変更が完了したら、
Updateボタン（ + 1）をクリックして保存します。 +
+
+
+
+
+
+ 
+
+
+ ロールの権限を編集し、更新を確定します。
+
+ + +ロールの権限変更は、そのロールに割り当てられているすべての API キーに即時反映されます。 + + + +## ロールの削除 + +カスタムロールが不要になった場合は削除できます。この操作は現在そのロールに割り当てられているすべての API keys に影響します。 + +
+
+
+
+ -
+
- + ロール管理ページで、削除したいロールを探します。 + +
-
+ 対象ロールの横にある
Deleteボタン (1) をクリックします。 +
+
+
+
+
+
+ 
+
+
+ ロールを削除する様子。
+
+ +
+
+
+
+ -
+
- + 確認ダイアログで、削除を確定するためにロール名を正確に入力します (1)。これにより誤って削除することを防ぎます。 + +
-
+
Confirm and delete(2) をクリックしてロールを完全に削除します。 +
+
+
+
+
+
+ 
+
+
+ ロール名を入力して削除を確定します。
+
+ + +ロールの削除は永久的で、取り消すことはできません。この操作により次のことが起こります: + +- ロールとその関連するすべての権限が削除される +- このロールが割り当てられていた API keys に影響する +- このロールによって付与されていた権限に依存するアプリケーションが動作しなくなる可能性がある + +ロールを削除する前に、影響を受ける API keys を更新するか別のロールに割り当て直すようにしてください。 + +:::info +admin と viewer の組み込みロールは削除できません。これらはクラスタの基本的な操作に必要なシステム定義のロールだからです。 +::: + +## 参考リソース + +- [WCD での API keys の管理](./authentication.mdx) +- [RBAC のドキュメント](/weaviate/configuration/rbac/index.mdx) + +## サポート + +import SupportAndTrouble from '/_includes/wcs/support-and-troubleshoot.mdx'; + +
+
+
+### API キーと REST エンドポイントの取得
+
+import CreateAPIKeys from '/_includes/wcs/create-api-keys.mdx';
+
+RBAC が無効な場合の API キー接続
+ +Weaviate クライアントライブラリは API キーを使って Weaviate Cloud インスタンスへ認証します。RBAC が無効な場合、デフォルトで 2 種類の API キーが作成されます。**Serverless** と **Sandbox** の両クラスターには次のキーがあります。 + +- `Admin key`: クラスターへの読み書きアクセスを許可する管理者キー +- `ReadOnly key`: クラスターへの読み取りのみを許可するビューアーキー + +Weaviate サーバーはすべてのリクエストを認証します。 + +- Weaviate クライアントライブラリを使用する場合、クライアントをインスタンス化するときに API キーを渡します。接続が確立された後は、追加のリクエストで API キーを再度渡す必要はありません。 +- cURL などのツールを使用する場合、リクエストヘッダーに API キーを追加してください。 + +
+
+
+## トラブルシューティング
+
+ここでは一般的な問題に対する解決策を紹介します。さらにサポートが必要な場合は、[サポートへ連絡](#support--feedback) してください。
+
+### パスワードをリセットする
+
+Weaviate Cloud のパスワードをリセットするには、次の手順に従ってください。
+
+1. Weaviate Cloud の [ログインページ](https://console.weaviate.cloud) にアクセスします。
+1. ログインボタンをクリックします。
+1. `Forgot Password` をクリックします。
+1. Weaviate Cloud から送信されるパスワードリセットメールを確認します。
+1. メール内のリンクをクリックし、表示される手順に従ってパスワードをリセットします。リンクは 5 分間のみ有効です。
+
+### 接続タイムアウト
+
+新しい Python クライアントは gRPC プロトコルを使用して Weaviate Cloud に接続します。gRPC はクエリ性能を向上させますが、ネットワーク速度の影響を受けやすくなります。タイムアウトエラーが発生した場合は、接続コード内でタイムアウト値を増やしてください。
+
+import Tabs from '@theme/Tabs';
+import TabItem from '@theme/TabItem';
+import FilteredTextBlock from '@site/src/components/Documentation/FilteredTextBlock';
+import PyCodeSupp from '!!raw-loader!/_includes/code/client-libraries/python_slow_connection.py';
+
+
+
+
+ Query tool から組織外の Weaviate インスタンスへ接続する場合は、
+ リモートインスタンス用の API キーを入力してください。
+
+ API キーは Query tool タブ下部の Headers に追加します。
+
+
+
+
+
+ 
+
+
+ クラスターに適した API キーをコピーしてください。
+
+
+
+
+## 追加リソース
+
+ Weaviate クライアントライブラリで認証を行う方法については、以下をご覧ください。
+
+- [Python](/weaviate/client-libraries/python/index.mdx)
+- [TypeScript/JavaScript](../../weaviate/client-libraries/typescript/index.mdx)
+- [Go](/weaviate/client-libraries/go.md#authentication)
+- [Java](/weaviate/client-libraries/java.md#authentication)
+
+## サポート & フィードバック
+
+import SupportAndTrouble from '/_includes/wcs/support-and-troubleshoot.mdx';
+
+
+
+
+
+ クラスター URL とアプリケーションで使用している接続 URL を比較してください。旧 URL と新 URL は似ていますが、新しいものには .c0.region などのサブドメインが追加されている場合があります。
+
+
+ もし URL が異なる場合は、アプリケーションの接続コードを更新し、新しいクラスター URL を使用してください。 +
+
+
+
+
+
+ 
+
+ クラスター URL。
+
+
+
+Weaviate では、次のクラスターオプションを提供しています。
+
+- **[Sandbox クラスター](#sandbox-clusters)**: 開発用途向けの無料・短期クラスター
+- **[Serverless クラスター](#serverless-clusters)**: 永続的で本番使用に適した環境
+
+### Sandbox クラスター
+
+Sandbox クラスターを作成する手順は次のとおりです。
+
+
+
+ -
+
-
+
Clustersパネルの ➕ アイコンをクリックします ( + 2)。 +
+ -
+
Create clusterをクリックします。 +
+ - + クラスターのオプションを選択できる新しいパネルが開きます。 + +
+
+
+
+
+ 
+
+ このボタンをクリックしてクラスターを作成します。
+
+
+
+### Serverless クラスター
+
+Serverless クラスターには課金情報が必要です。まだ登録していない場合は、Weaviate Cloud から課金情報の追加を求められます。
+
+Serverless クラスターを作成する手順は次のとおりです。
+
+import Link from '@docusaurus/Link';
+
+
+
+ -
+
-
+
Sandboxタブを選択します (1)。 +
+ - + クラスター名を入力します (2)。 + +
- + ドロップダウンからクラウドリージョンを選択します (3)。 + +
-
+ 必要に応じて
Advanced configurationを設定します (4)。 +
+ -
+
Createボタンをクリックします。 +
+
Serverless クラスターの詳細設定
+次の詳細設定が利用できます。
+-
+
-
+
+
Enable auto schema generation+ +
+ -
+
+
Enable async indexing+ +
+ -
+
+
Enable async replication+ +
+ -
+
Allow all CORS origins+
+
+
+
+
+
+ 
+
+ Sandbox クラスターの設定を行います。
+
+
+
+
+
+## 認証
+
+Weaviate Cloud クラスターは API キー認証を使用します。認証方法は、[RBAC (Role-Based Access Control)](/weaviate/configuration/rbac) が有効かどうかによって異なります。
+
+### RBAC 有効時の認証
+
+新しく作成した Weaviate バージョン `v1.30` 以降のクラスターでは、既定で RBAC が有効になっています。RBAC が有効な場合は、細かなアクセス制御のためにロールを指定した API キーを作成します。
+
+クライアント アプリケーションを開発する際は、API キーを使用してクラスターに接続してください。新しいキーの作成やロール管理を含む API キーの確認・管理方法は、次のガイドをご覧ください。
+
+- **[クラスター管理: 認証](/cloud/manage-clusters/authentication.mdx)**
+
+### RBAC 無効時の認証
+
+RBAC が有効でない場合（`v1.30` 以前）、クラスターは従来の 2 つの既定 API キー方式を使用します。
+
+- **Admin キー**: データベースへの読み書きアクセスを提供
+- **ReadOnly キー**: データベースへの読み取り専用アクセスを提供
+
+Serverless クラスターでは API キーの作成、削除、編集、ローテーションが可能ですが、Sandbox クラスターでは既定キーを変更できません。
+
+## Weaviate データベース バージョン
+
+新しいクラスターをプロビジョニングすると、Weaviate Cloud は最新の Weaviate バージョンでクラスターをセットアップします。新しい Weaviate バージョンがリリースされてから Weaviate Cloud で利用可能になるまで、わずかな遅延が生じる場合があります。
+
+Weaviate Cloud は、新しい Weaviate バージョンがリリースされても既存クラスターを自動更新しません。
+
+Weaviate Cloud のバージョニングの詳細は、以下を参照してください。
+
+- **[アカウント管理: サーバーバージョン](/cloud/platform/version)**
+
+## クラスター数
+
+
+
+既定では、1 つの組織が同時に持てるクラスターは、Serverless が最大 6 基、Sandbox が最大 2 基です。これらの制限を変更したい場合は、[サポートにお問い合わせ](mailto:support@weaviate.io)ください。
+
+## サポートとフィードバック
+
+import SupportAndTrouble from '/_includes/wcs/support-and-troubleshoot.mdx';
+
+
+
+ -
+
-
+
Serverlessタブを選択します (1)。 +
+ - + クラスター名を入力します (2)。 + +
- + ドロップダウンからクラウドリージョンを選択します (3)。 + +
-
+ 必要に応じて
High Availabilityを有効にすると、アップグレードやスケーリング時のダウンタイムを削減できます。 +
+ -
+ 必要に応じて
Advanced configurationを設定します ( + 4)。 +
+ -
+
Createボタンをクリックします。 +
+
Serverless クラスターの詳細設定
+次の詳細設定が利用できます。
+-
+
-
+
+
Enable auto schema generation+ +
+ -
+
+
Enable async indexing+ +
+ -
+
+
Enable async replication+ +
+ -
+
Allow all CORS origins+
+
+
+
+
+
+ 
+
+ Serverless クラスターの設定を行います。
+ -
+
- + Weaviate Cloud コンソール を開きます。 + +
-
+ 左サイドバーの
Clustersリスト ( + 1) を開きます。 +
+ - + 確認したいクラスターを選択します ( + 2)。 + +
- 右側にクラスター詳細パネルが表示されます。 +
+
+
+
+
+ 
+
+
+
+ Weaviate Cloud でクラスター ステータスを表示します。
++ +## クラスター ステータス情報 + +ページ上部では、以下のクラスター統計情報を確認できます。 + +- `Dimensions stored` +- `Dimensions queried` +- `Object count` +- `Running costs` + +`Information` セクションには次の項目が含まれます。 + +- `Name` +- `REST Endpoint` +- `gRPC Endpoint` +- `Weaviate Database version` +- `Cloud region` +- `Created at` +- `Type`: Serverless または Sandbox +- `Support Plan` +- `High Availability` + +Serverless クラスターには `Advanced configuration` セクションがあり、以下の追加設定の有効化状況を確認または変更できます。 + +- `Enable auto schema generation` +- `Enable async indexing` +- `Enable async replication` +- `Allow all CORS origins` + +## API エンドポイント {#api-endpoint} + +プログラムからクラスター詳細を取得するには、[`nodes`](/deploy/configuration/nodes.md) REST エンドポイントを使用します。 + +import APIOutputs from '/_includes/rest/node-endpoint-info.mdx'; + +
+
+
+## サポート & フィードバック
+
+import SupportAndTrouble from '/_includes/wcs/support-and-troubleshoot.mdx';
+
+
+
+ -
+
- Weaviate Cloud コンソールを開きます。 +
-
+
Clustersをクリックし、確認したいクラスターを選択します。 +
+ -
+
modules activeセクションまでスクロールします。 +
+
+
+
+
+
+ 
+
+ クラスターで利用可能なモジュール。
+
+
+
+
+ -
+
- + Weaviate Cloud コンソール{' '} + を開き、{' '} + + クラスタを選択 + + します。 + +
-
+ 更新が利用可能な場合、クラスタ詳細ページの上部に通知バナーが表示されます (1)。バナー内の
Updateボタンをクリックします。 +
+
+
+
+
+
+ 
+
+
+ Update 通知バナーと確認用ボタン。
+
+ + +import UpdateClusterConfirm from '/docs/cloud/img/weaviate-cloud-update-cluster-confirm.png'; + +
+
+
+
+ -
+
- + 更新に使用する Weaviate バージョンを選択します ( + 2)。 + +
- + 更新を確認するためにクラスタ名を入力します ( + 3)。 + +
-
+
Confirm and updateボタンをクリックして更新プロセスを開始します (4)。 +
+
+
+
+
+
+ 
+
+
+ クラスタ更新の確認。
+
+ + +## 更新プロセスとステータス + +更新中は `Update` ボタンが無効化され、現在のステータスに応じた説明付きの読み込みインジケーターが表示されます。 + +- **Preparing**: クラスタを更新する準備中です (正常でない状態、作成中、再起動中、またはディスク拡張中の場合があります) +- **Updating**: クラスタが更新操作中、またはバージョンを更新中です +- **Backup in Progress**: データのバックアップを実行中です + +コンソールにはプロセス全体を通してステータス インジケーターが表示されます。インジケーターが消え、クラスタが準備完了になると Weaviate Cloud から確認メールが送信されます。 + +:::info 更新プロセスに関する重要な注意点 + +- Weaviate Database バージョンの更新前に、データの完全バックアップが作成されます +- 処理時間はクラスタ内のデータ量に依存します +- 大量のデータを持つクラスタでは、更新完了までに長時間を要する場合があります +- ステータス インジケーターはリアルタイムのプロビジョニング状況を反映するため、特定の順序で表示されないことがあります + +::: + +## サポートとフィードバック + +import SupportAndTrouble from '/_includes/wcs/support-and-troubleshoot.mdx'; + +
-
+
-
+
BillingセクションでAdd payment methodボタン (3) をクリックします。 +
+ - 必要な個人情報を入力します。 +
- Stripe アカウントを作成します。 +
+
+
+
+
+ 
+
+
+
+ Weaviate Cloud に支払い方法を追加します。
++ +## 使用料金 + +使用料金は、コレクション内のオブジェクトの数とサイズを反映したものです。Weaviate は各コレクションをポーリングして、日次でオブジェクト数を取得します。 + +- オブジェクトが非圧縮の場合、請求システムはオブジェクト数に次元数を掛けて `vectorDimensionsSum` を算出します。 +- オブジェクトが圧縮されている場合、請求システムはオブジェクト数にベクトルセグメント数を掛けて `vectorSegmentsSum` を算出します。 + +これらの値を合算して正規化し、基本料金を求めます。基本料金にクラスターのサポートプランの料金率を掛けて請求額を算出します。 + +クラスターが **高可用性** の場合、料金率は 3 倍になります。 + +:::tip + +**圧縮** を有効にすると大幅なコスト削減が期待できます。 + +::: + +## サポート & フィードバック レベル + +Weaviate では、[Standard](/cloud/platform/support-levels#standard-support)、[Professional](/cloud/platform/support-levels#professional-support)、[Business Critical](/cloud/platform/support-levels#business-critical-support) の 3 つのサポートレベルを提供しています。各サポートプランには使用料金に対する課金率と月額最低料金が設定されています。 + +- 使用料金がサポートプランの月額最低料金を下回る場合、Weaviate は月額最低料金を請求します。 +- 使用料金が月額最低料金を超えた場合、Weaviate は最低料金に追加料金を加えて請求します。 + +## 高可用性 + +高可用性 ( HA ) クラスターの場合、Weaviate Cloud は最低料金と使用料金を 3 倍にして、追加リソース分を考慮します。 + +## 請求サイクル + +アクティブなクラスターの料金は毎月 1 日に計算され、請求書が発行されます。 + +## サポート & フィードバック + +import SupportAndTrouble from '/_includes/wcs/support-and-troubleshoot.mdx'; + +
+
+
+
+
++ +## 調達情報の設定 + +サンドボックスインスタンスは 14 日間で期限切れになる無料の短期インスタンスです。Weaviate を試すためにサンドボックスインスタンスを使用する場合、請求の設定は不要です。 + +サーバーレスクラスターは、本番、開発、およびテストに適した永続的なインスタンスです。サーバーレスクラスターは有料インスタンスです。インスタンスのコストは、インスタンスタイプと選択したサポートプランによって異なります。サーバーレスインスタンスを作成する前に、請求設定を行う必要があります。請求アカウントの設定方法は [こちらのガイド](/cloud/platform/billing) を参照してください。 + +[AWS](https://aws.amazon.com/marketplace/pp/prodview-ng2dfhb4yjoic) や [GCP](https://console.cloud.google.com/marketplace/product/weaviate-gcp-mktplace/weaviate?inv=1&invt=AbwjlA) などのクラウドマーケットプレイスから登録した場合、請求はそのクラウドプロバイダーに統合されます。 + +## サポートとフィードバック + +import SupportAndTrouble from '/_includes/wcs/support-and-troubleshoot.mdx'; + +
+
+
+
+ -
+
- + Weaviate Cloud コンソールを開きます{' '} + Weaviate Cloud console。 + +
-
+ コンソールの左下隅にある
Accountドロップダウン メニューをクリックします (1)。 +
+ -
+
Account Settingsを選択します (2)。 +
+ -
+
Enable MFAボタンをクリックします (3)。 +
+
+
+
+
+
+ 
+
+
+ Multi-factor authentication ページを開き、
+ Enable MFA ボタンを見つけます。
+ +
+
+
+
+
+ -
+
- + 認証アプリを開き、QR コードをスキャンします (4)。 + +
- + アプリに表示されるワンタイム コードを入力します (5)。 + +
+
+
+
+
+ 
+
+
+ Multi-factor authentication を設定します。
+
+ + +MFA を設定すると、Weaviate Cloud はログインのたびにワンタイム認証コードの入力を求めます。 + +## MFA の無効化 + +MFA を無効にするには、[サポート](mailto:support@weaviate.io)にお問い合わせください。 + +## MFA とアプリケーション + +ブラウザ ホスト型アプリケーションを JavaScript/TypeScript クライアントで Weaviate に接続する場合、そのクライアントのアカウントで MFA を有効にしないでください。 + +ワンタイム認証コードをアプリケーションに渡す方法がないため、アプリケーションは Weaviate Cloud に接続できなくなります。 + +ブラウザ ベースのクライアント アプリケーションを Weaviate Cloud に接続する際は、API キーを使用してください。 + +## サポートとフィードバック + +import SupportAndTrouble from '/_includes/wcs/support-and-troubleshoot.mdx'; + +
+
+
+
+ -
+
- + Weaviate Cloud コンソール を開きます。 + +
-
+
+ クラスターを選択
+ {' '}
+ し、
Support Planフィールドを探します。 +
+ -
+
Editボタン (1) をクリックします。 +
+
+
+
+
+
+ 
+
+ Edit support plan
+ + +
+
+
+
+ -
+
-
+
dropdown menu(2) からサポートプランを選択します。 +
+ -
+
Change planボタン (3) をクリックします。 +
+
+
+
+
+
+ 
+
+ Select support plan
+ + +## 利用可能なサポートプラン + +Sandbox 環境とセルフホストクラスターは有料サポートの対象外です。 + +** Serverless Cloud ** および ** Enterprise Cloud ** クラスターでは有料サポートをご利用いただけます。 + +| Cluster Type | Standard | Professional | Business Critical | +| ------------------------------------ | -------- | ------------ | ----------------- | +| Serverless _(高可用性)_ | ✅ | ✅ | ✅ | +| Enterprise _(高可用性)_ | ✅ | ✅ | ✅ | +| Serverless _(非高可用性)_ | ✅ | ❌ | ❌ | +| Enterprise _(非高可用性)_ | ✅ | ❌ | ❌ | +| Sandbox | N/A | N/A | N/A | + +### Standard サポート + +- Standard サポートはメールベースで、営業時間内にご利用いただけます。 +- 監視: Weaviate Cloud チームがクラスターを監視します。 +- 重大度に応じてインシデントの対応時間が決まります: + +| 重大度 | 基準 | 対応時間 | +| :----------- | :-------------------------------------------------------------------------------------------------------------------------- | :------------- | +| 1 - Critical | 重大で即時対応が必要な問題。
大規模な障害や停止を引き起こしています。 | 1 営業日 | +| 2 - High | サービス機能やパフォーマンスに影響を与える可能性のある高優先度の問題。
一部のユーザーに影響します。 | 2 営業日 | +| 3 - Medium | 限定されたユーザーまたはユースケースに影響する中程度の問題。
サービス機能やパフォーマンスに影響を与えます。 | 3 営業日 | +| 4 - Low | 個々のユーザーに軽微な不便を引き起こす低優先度の問題。 | 5 営業日 | + +### Professional サポート + +- Professional サポートはメールベースで、24 時間 365 日ご利用いただけます。 +- 重大度 1 と 重大度 2 のインシデント対応にはフォローアップの電話連絡が含まれます。 +- 監視: Weaviate Cloud チームがクラスターを監視します。 +- 重大度に応じてインシデントの対応時間が決まります: + +| 重大度 | 基準 | 対応時間 | +| :----------- | :-------------------------------------------------------------------------------------------------------------------------- | :-------------- | +| 1 - Critical | 重大で即時対応が必要な問題。
大規模な障害や停止を引き起こしています。 | 4 時間 | +| 2 - High | サービス機能やパフォーマンスに影響を与える可能性のある高優先度の問題。
一部のユーザーに影響します。 | 8 時間 | +| 3 - Medium | 限定されたユーザーまたはユースケースに影響する中程度の問題。
サービス機能やパフォーマンスに影響を与えます。 | 1 営業日 | +| 4 - Low | 個々のユーザーに軽微な不便を引き起こす低優先度の問題。 | 2 営業日 | + +詳細については、サポート契約をご参照ください。 + +### Business Critical サポート + +- Business Critical サポートはメールベースで、24 時間 365 日ご利用いただけます。 +- エスカレーション用の電話ホットラインを 24 時間 365 日ご利用いただけます。 +- 重大度 1、重大度 2、重大度 3 のインシデント対応にはフォローアップの電話連絡が含まれます。 +- 監視: Weaviate Cloud チームがクラスターを監視します。 +- 重大度に応じてインシデントの対応時間が決まります: + +| 重大度 | 基準 | 対応時間 | +| :----------- | :-------------------------------------------------------------------------------------------------------------------------- | :------------- | +| 1 - Critical | 重大で即時対応が必要な問題。
大規模な障害や停止を引き起こしています。 | 1 時間 | +| 2 - High | サービス機能やパフォーマンスに影響を与える可能性のある高優先度の問題。
一部のユーザーに影響します。 | 4 時間 | +| 3 - Medium | 限定されたユーザーまたはユースケースに影響する中程度の問題。
サービス機能やパフォーマンスに影響を与えます。 | 8 時間 | +| 4 - Low | 個々のユーザーに軽微な不便を引き起こす低優先度の問題。 | 1 営業日 | + +詳細については、サポート契約をご参照ください。 + +### サンドボックス + +サンドボックス環境は有償サポートの対象外です。サンドボックス インスタンスのサポートが必要な場合は、次のリソースをご利用ください。 + +- [コミュニティ フォーラム](https://forum.weaviate.io) +- [Slack](https://weaviate.io/slack) + +## 料金 + +サーバーレス クラスターは月額で課金されます。クラスターの月額料金は、リソース使用量に応じて決まります。ご契約中のサポート プランも月額料金に影響しますが、サポートの問い合わせ件数ごとに課金されることはありません。 + +各サポート プランには課金レートがあります。 Weaviate Cloud はクラスター内のオブジェクト数をカウントし、その数にプランのレートを掛けます。圧縮が有効な場合は、この数を調整します。この結果が使用量に基づく料金になります。 + +高可用性クラスター (HA) をご利用の場合は、追加リソースを考慮して使用量料金に 3 倍を掛けた金額になります。 + +各サポート プランには月額最低料金が設定されています。使用量料金が月額最低料金を下回る場合、 Weaviate は月額最低料金を請求します。使用量料金がプランの最低料金を上回る場合は、クラスターの使用量に応じて請求されます。 + +使用量とサポート プランの組み合わせごとの料金を見積もるには、[料金計算ツール](https://weaviate.io/services/serverless)をご覧ください。 + +## サポートとフィードバック + +import SupportAndTrouble from '/_includes/wcs/support-and-troubleshoot.mdx'; + +
+
+
+
+ -
+
- + Weaviate Cloud コンソール を開きます。 + +
- + 組織ドロップダウンメニュー (1) を開きます。 + +
-
+
Add new organization(2) をクリックします。 +
+ -
+ 組織名を入力し、
Createボタンをクリックします。 +
+
+
+
+
+
+ 
+
+
+ Weaviate Cloud で新しい組織を追加します。
+
+ + +Weaviate Cloud は自動的にコンソールビューを新しい組織に切り替えます。 + +### 組織の切り替え + +組織を切り替えるには、Weaviate Cloud コンソール左上の組織ドロップダウンメニューから組織名を選択します。 + +### 組織名の編集 + +組織名を編集するには、次の手順に従ってください。 + +
+
+
+
+ -
+
- + Organization settings ページを開きます。 + +
-
+
Updateボタンをクリックします。 +
+
+
+
+
+
+ 
+
+ Weaviate Cloud で組織名を更新します。
+ +
+
+
+
+### 組織の削除
+
+import DeleteOrganization from '/docs/cloud/img/weaviate-cloud-delete-organization.png';
+
+
+
+ -
+
- 名前を編集します。 +
- チェックマークをクリックして変更を確定します。 +
+
+
+
+
+ 
+
+ 組織名の変更を送信します。
+
+
+
+
+ -
+
- + Weaviate Cloud コンソール を開きます。 + +
- + 組織のドロップダウンメニュー (1) を開きます。 + +
-
+
Organization settings(2) をクリックします。 +
+ -
+
Deleteボタン (3) をクリックします。 +
+
+
+
+
+
+ 
+
+
+ Weaviate Cloud で組織を削除します。
+
+ + +:::caution +組織にクラスタが残っている場合は削除できません。まず、すべてのクラスタを削除してください。 +::: + +## ユーザー アカウントの管理 + +組織のメンバーであれば誰でもユーザーを追加または削除できます。新しいユーザーは Weaviate Cloud アカウントを持っている必要があります。 + +### ユーザーの追加 + +Weaviate Cloud ユーザーは複数の組織に所属できます。まだ Weaviate Cloud にアカウントがなくても、そのユーザーを組織に追加でき、後からアカウントを作成できます。 + +ユーザーを追加するには、次の手順に従ってください。 + +1. ユーザーに Weaviate Cloud アカウントで使用しているメールアドレスを確認します。 +2. [Organization settings](#organization-settings) ページを開きます。 +3. `Users` セクションにユーザーのメールアドレスを入力し、`Add user` をクリックします。 + +ユーザーが組織に追加されると、Weaviate Cloud からそのユーザーにメールが送信されます。 + +### ユーザーの削除 + +ユーザーを削除するには、次の手順に従ってください。 + +1. [Organization settings](#organization-settings) ページを開きます。 +1. `Users` セクションで該当ユーザーのメールアドレスを探します。 +1. ゴミ箱アイコンをクリックしてユーザーを削除します。 +1. `Confirm` をクリックします。 + +削除したユーザーが作成したクラスタがある場合でも、再起動後もそのクラスタは利用可能です。 + +## 請求 + +[請求](/cloud/platform/billing.mdx) は組織単位で行われます。 + +請求アカウントが設定されると、組織内のすべてのユーザーが新しいクラスタを作成したり、既存のクラスタを変更したりできます。 + +アカウントにはクラスタごとに請求書が発行されます。クラスタは毎月 1 日に課金されます。 + +## サポートとフィードバック + +import SupportAndTrouble from '/_includes/wcs/support-and-troubleshoot.mdx'; + +
+
+ +:::info 学習内容 + +このクイックスタートでは、Weaviate Cloud と [Weaviate Embeddings](/cloud/embeddings) を組み合わせて、以下を行う方法を学びます。 + +1. Weaviate インスタンスをセットアップする。 (10 分) +1. データを追加してベクトル化する。 (10 分) +1. セマンティック検索および 検索拡張生成 (RAG) を実行する。 (10 分) + +```mermaid +flowchart LR + %% Define nodes with white backgrounds and darker borders + A1["Create a
cluster"] --> A2["Install client
library"] + A2 --> A3["Connect to
Weaviate"] + A3 --> B1["Define collection"] + B1 --> B2["Import data"] + B2 --> C1["Semantic search"] + C1 --> C2["RAG
(Generate)"] + + %% Group nodes in subgraphs with brand colors + + subgraph sg1 ["1\. Connect"] + A1 + A2 + A3 + end + + subgraph sg2 ["2\. Populate"] + B1 + B2 + end + + subgraph sg3 ["3\. Query"] + C1 + C2 + end + + %% Style nodes with white background and darker borders + style A1 fill:#ffffff,stroke:#B9C8DF,color:#130C49 + style A2 fill:#ffffff,stroke:#B9C8DF,color:#130C49 + style A3 fill:#ffffff,stroke:#B9C8DF,color:#130C49 + style B1 fill:#ffffff,stroke:#B9C8DF,color:#130C49 + style B2 fill:#ffffff,stroke:#B9C8DF,color:#130C49 + style C1 fill:#ffffff,stroke:#B9C8DF,color:#130C49 + style C2 fill:#ffffff,stroke:#B9C8DF,color:#130C49 + + %% Style subgraphs with brand colors + style sg1 fill:#ffffff,stroke:#61BD73,stroke-width:2px,color:#130C49 + style sg2 fill:#ffffff,stroke:#130C49,stroke-width:2px,color:#130C49 + style sg3 fill:#ffffff,stroke:#7AD6EB,stroke-width:2px,color:#130C49 +``` + +注意: + +- ここで紹介するコード例は自己完結型です。コピー＆ペーストしてご自身の環境でお試しください。 + +::: + +## 前提条件 + +- [Weaviate Cloud アカウント](./platform/create-account.mdx) +- 最後のステップで Retrieval Augmented Generation (RAG) を実行するには、[Cohere](https://dashboard.cohere.com/) アカウントが必要です。無料の Cohere トライアル API キーを利用できます。別の [モデルプロバイダー](/weaviate/model-providers) を使用する場合は、Cohere の代わりにそちらをご利用ください。 + +
+ +## ステップ 1: Weaviate Cloud のセットアップ + +### 1.1 クラスターの作成 + +Weaviate では次のクラスター オプションを提供しています。 + +- **Sandbox クラスター**: 開発目的向けの無料短期クラスター +- **Serverless クラスター**: 本番環境向けの永続的なクラスター + +[Weaviate Cloud コンソール](https://console.weaviate.cloud) にアクセスし、無料の Sandbox インスタンスを作成します。 + +
+
+
+
+
++ +:::note + +- クラスターのプロビジョニングには通常 1〜3 分かかります。 +- クラスターが準備完了すると、Weaviate Cloud はクラスター名の横にチェックマーク (`✔️`) を表示します。 +- 一意性を保つため、Sandbox クラスター名にはランダムなサフィックスが追加されます。 + +::: + +import LatestWeaviateVersion from '/_includes/latest-weaviate-version.mdx'; + +
+
+
+
+
++ +:::info REST と gRPC のエンドポイント + +Weaviate は REST と gRPC の両方のプロトコルをサポートしています。Weaviate Cloud デプロイでは REST エンドポイント URL のみを指定すれば、クライアントが自動的に gRPC を設定します。 + +::: + +**REST Endpoint URL** と **Admin API key** を取得したら、Sandbox インスタンスに接続して Weaviate を操作できます。 + +以下の例では、Weaviate に接続し、クラスターの状態を確認する基本操作を実行します。 + +import ConnectIsReady from '/_includes/code/quickstart/quickstart.is_ready.mdx'; + +
+ + + +## ステップ 2: データベースの投入 + +### 2.1 コレクションの定義 + +次の例では `Question` という _コレクション_ を作成します。内容は以下のとおりです。 + +- 取り込み時とクエリ時にベクトルを生成するための [Weaviate Embeddings モデル統合](/weaviate/model-providers/weaviate/embeddings.md) +- 検索拡張生成 (RAG) 用の Cohere [生成 AI 統合](/weaviate/model-providers/cohere/generative.md) + +import CreateCollection from '/_includes/code/quickstart/quickstart.create_collection.mdx'; + +
+ +詳しくは [モデルプロバイダー統合](/weaviate/model-providers/index.md) セクションをご覧ください。 + +::: + +### 2.2 データの読み込み + +これでコレクションにデータを追加できます。 + +次の例では、 + +- オブジェクトを読み込み、 +- バッチ処理で対象コレクション (`Question`) に追加します。 + +:::tip バッチインポート + +([バッチインポート](/weaviate/manage-objects/import.mdx)) は複数のオブジェクトを 1 回のリクエストで送信するため、大量データを追加する最も効率的な方法です。詳しくは [How-to: Batch import](/weaviate/manage-objects/import.mdx) ガイドをご覧ください。 + +::: + +import ImportObjects from '/_includes/code/quickstart/quickstart.import_objects.mdx'; + +
+ +## ステップ 3: データのクエリ + +Weaviate は、目的のデータを見つけるための多彩なクエリツールを提供しています。ここではいくつかの検索を試してみましょう。 + +### 3.1 セマンティック検索 {#semantic-search} + +セマンティック検索は意味に基づいて結果を取得します。Weaviate では `nearText` と呼ばれます。 + +次の例では、`biology` と最も意味が近い 2 つのオブジェクトを検索します。 + +import QueryNearText from '/_includes/code/quickstart/quickstart.query.neartext.mdx'; + +
+
+
+完全応答を確認すると、`biology` という単語がどこにも含まれていないことがわかります。
+
+それでも Weaviate は生物学関連のエントリーを返しました。これは意味を捉えた _ベクトル埋め込み_ によって可能となっています。内部的には、セマンティック検索はベクトル、つまりベクトル埋め込みによって実現されています。
+
+以下は Weaviate におけるワークフローを示した図です。
+
+```mermaid
+flowchart LR
+ Query["🔍 Search:JSON 形式の例示的な完全応答
+ +```json +{ + { + "answer": "DNA", + "question": "In 1953 Watson & Crick built a model of the molecular structure of this, the gene-carrying substance", + "category": "SCIENCE" + }, + { + "answer": "species", + "question": "2000 news: the Gunnison sage grouse isn't just another northern sage grouse, but a new one of this classification", + "category": "SCIENCE" + } +} +``` + +'biology'"] + + subgraph sg1 ["Vector Search"] + direction LR + VS1["Convert query
to vector"] --> VS2["Find similar
vectors"] + VS2 --> VS3["Return top
matches"] + end + + subgraph sg2 ["Results"] + R1["Most similar
documents"] + end + + Query --> VS1 + VS3 --> R1 + + %% Style nodes with white background and darker borders + style Query fill:#ffffff,stroke:#B9C8DF,color:#130C49 + style VS1 fill:#ffffff,stroke:#B9C8DF,color:#130C49 + style VS2 fill:#ffffff,stroke:#B9C8DF,color:#130C49 + style VS3 fill:#ffffff,stroke:#B9C8DF,color:#130C49 + style R1 fill:#ffffff,stroke:#B9C8DF,color:#130C49 + + %% Style subgraphs with brand colors + style sg1 fill:#ffffff,stroke:#61BD73,stroke-width:2px,color:#130C49 + style sg2 fill:#ffffff,stroke:#130C49,stroke-width:2px,color:#130C49 +``` + +:::info ベクトルはどこから来たのですか？ + +Weaviate は [Weaviate Embeddings](/cloud/embeddings) サービスを使用して、インポート時に各オブジェクトのベクトル埋め込みを生成しました。クエリ時にも、`biology` をベクトルに変換しています。 + +これは任意設定であることは前述のとおりです。独自のベクトルを用意したい場合は、[スターターガイド: Bring Your Own Vectors](/weaviate/starter-guides/custom-vectors.mdx) をご覧ください。 + +::: + +:::tip さらに利用できる検索タイプ + +Weaviate は多様な検索に対応しています。たとえば [類似度検索](/weaviate/search/similarity.md)、[キーワード検索](/weaviate/search/bm25.md)、[ハイブリッド検索](/weaviate/search/hybrid.md)、[フィルタ検索](/weaviate/search/filters.md) の How-to ガイドをご覧ください。 + +::: + +### 3.2 検索拡張生成 + +検索拡張生成 (RAG)、別名 生成検索 は、大規模言語モデル (LLM) などの生成 AI モデルのパワーと、データベースの最新かつ正確な情報を組み合わせたものです。 + +RAG は、_ユーザークエリ_ と _データベースから取得したデータ_ を組み合わせて大規模言語モデル (LLM) にプロンプトを与えることで機能します。 + +次の図は、Weaviate における RAG のワークフローを示しています。 + +```mermaid +flowchart LR + subgraph sg0 ["Weaviate Query"] + direction TB + Search["🔍 Search:
'biology'"] + Prompt["✍️ Prompt:
'Write a
tweet...'"] + end + + subgraph sg1 ["Vector Search"] + direction LR + VS1["Convert query
to vector"] --> VS2["Find similar
vectors"] + VS2 --> VS3["Return top
matches"] + end + + subgraph sg2 ["Generation"] + direction LR + G1["Send
(results + prompt)
to LLM"] + G1 --> G2["Generate
response"] + end + + subgraph sg3 ["Results"] + direction TB + R1["Most similar
documents"] + R2["Generated
content"] + end + + Search --> VS1 + VS3 --> R1 + Prompt --> G1 + VS3 --> G1 + G2 --> R2 + + %% Style nodes with white background and darker borders + style Search fill:#ffffff,stroke:#B9C8DF,color:#130C49 + style Prompt fill:#ffffff,stroke:#B9C8DF,color:#130C49 + style VS1 fill:#ffffff,stroke:#B9C8DF,color:#130C49 + style VS2 fill:#ffffff,stroke:#B9C8DF,color:#130C49 + style VS3 fill:#ffffff,stroke:#B9C8DF,color:#130C49 + style G1 fill:#ffffff,stroke:#B9C8DF,color:#130C49 + style G2 fill:#ffffff,stroke:#B9C8DF,color:#130C49 + style R1 fill:#ffffff,stroke:#B9C8DF,color:#130C49 + style R2 fill:#ffffff,stroke:#B9C8DF,color:#130C49 + + %% Style subgraphs with brand colors + style sg0 fill:#ffffff,stroke:#130C49,stroke-width:2px,color:#130C49 + style sg1 fill:#ffffff,stroke:#61BD73,stroke-width:2px,color:#130C49 + style sg2 fill:#ffffff,stroke:#7AD6EB,stroke-width:2px,color:#130C49 + style sg3 fill:#ffffff,stroke:#130C49,stroke-width:2px,color:#130C49 +``` + +以下の例では、`biology` の検索結果とツイート生成のプロンプトを組み合わせています。 + +import QueryRAG from '/_includes/code/quickstart/quickstart.query.rag.mdx'; + +
+ + + +## 次のステップ + +Weaviate についてさらに学ぶために、以下の追加リソースをご利用ください: + +import CardsSection from "/src/components/CardsSection"; + +export const nextStepsData = [ + { + title: "Serverless Cloud", + description:( + + If you need a production-ready and persistent instance, create a{' '} + Serverless cluster. + + ), + link: "/cloud/manage-clusters/create", + icon: "fa fa-server", + }, + { + title: "Weaviate Database: Documentation", + description: + "To learn how Weaviate can help you build your AI project, check out the Weaviate documentation.", + link: "/weaviate/", + icon: "fa fa-book", + }, +]; + +
-
+
-
+ まず左サイドバーから
Collectionsツール + (1) を選択します。 +
+ -
+
Clustersパネルには利用可能なクラスターが一覧表示されます。 +
+ - + 新しいコレクションを作成する、または既存のコレクションを確認するために + 一覧からクラスターを選択します ( + 2)。 + +
-
+
Detailsボタンをクリックします ( + 3)。 +
+
+
+
+
+
+ 
+
+
+
+ Weaviate Cloud でコレクションを開く。
++ +利用可能なクラスターが表示されない場合は、左メニューの `Clusters` を選択し、[新しいクラスターを作成する](/cloud/manage-clusters/create) 手順に従ってください。 + +## コレクションの作成 + +`Create collection` ボタンをクリックすると、コレクションエディターが開きます。新しいコレクションを作成するにはこのボタンをクリックします。 + +import CreateCollection from '/docs/cloud/img/weaviate-cloud-create-collection.png'; + +
-
+
-
+ まず左サイドバーから
Collectionsツール + (1) を選択します。 +
+ -
+
Clustersパネルには利用可能なクラスターが一覧表示されます。 +
+ - + 新しいコレクションを作成する、または既存のコレクションを確認するために + 一覧からクラスターを選択します ( + 2)。 + +
-
+
Create collectionボタンをクリックします ( + 3)。 +
+
+
+
+
+
+ 
+
+
+
+ Weaviate Cloud で新しいコレクションを作成。
++ +### General セクションの編集 + +
+
+
+
+
+ General セクションでは、コレクション全体の設定を行います:
+
-
+
- コレクション名を設定 +
- マルチテナンシーを有効化 +
- デフォルトのベクトライザーを設定 +
+
+
+
+
+ 
+
+ General コレクション設定。
+ + +#### コレクション名の設定 + +コレクション名は大文字で始める必要があります。 + +使用できる文字は英字・数字・アンダースコア ( _ ) のみです。スペースは使用できません。 + + + +#### マルチテナンシーの有効化 + +[マルチテナント コレクション](/weaviate/manage-collections/multi-tenancy) は、複数のユーザーがいる場合やデータを分離する必要がある場合に便利です。デフォルトでは、コレクションはシングルテナントです。マルチテナンシーを有効にするには、`Multi-tenancy` トグルをオンにします。 + +#### デフォルト ベクトライザーの設定 + +コレクションに [ベクトライザー](/weaviate/config-refs/collections.mdx#vector-configuration) を設定します。Weaviate は、ベクトル化されていないデータをインポートする場合や、ベクトル化された入力を必要とする外部 API を呼び出す際に、デフォルト ベクトライザーを使用します。 + +`Vectorizer` 設定はドロップダウン リストです。ベクトライザーを選択すると、エディターが展開され、モデルを設定できるようになります。ツールは、選択したベクトライザーに関連する設定オプションのみを表示します。 + +クラス名のベクトルを作成したくない場合は、`Vectorize class name` トグルをオフにしてください。 + +### Properties セクションの編集 + +`Properties` セクションを使用して、コレクション内の各プロパティを詳細設定できます。 + +#### コレクションへのプロパティ追加 + +プロパティ エディターにプロパティ名を入力します。 + +
+
+
+
+
+ プロパティ名は小文字で始める必要があります。
++
+ 名前に使用できる文字は、英字、数字、およびアンダースコア (`_`) + のみです。スペースは使用できません。 +
+
+
+
+
+
+ 
+
+ プロパティ編集セクション。
+ + +#### 追加詳細設定 + +一部のプロパティタイプはさらに詳細設定が可能です。追加設定が可能な場合、エディターは `Filterable` トグルの横に歯車アイコンを表示します。 + +
+
+
+
+ + これらの追加設定を更新するには、歯車アイコンをクリックし、ポップアップ + ウィンドウで設定オプションを選択してください。 +
+
+
+
+
+
+ 
+
+ プロパティ追加詳細編集セクション。
+ + +#### ネストされたプロパティの設定 + +`Object` プロパティタイプは、ネストされたサブプロパティを持つことができます。ネストされたプロパティを追加するには、次の手順に従います。 + +
+
+
+
+ -
+
- プロパティに名前を付けます。 +
-
+ タイプを
Objectに設定します。エディターに +Editボタンが表示されます。 +
+ -
+
Editボタンをクリックします。 +
+
+
+
+
+
+ 
+
+ プロパティ追加詳細編集セクション。
+ + +ネストされたプロパティの追加が完了したら、コレクション名をクリックしてコレクション エディターに戻ります。 + +#### プロパティの削除 + +プロパティを削除するには、プロパティの横にあるゴミ箱アイコンをクリックします。 + +## コレクションの変更 + +コレクションを変更するには、まず編集したい [コレクション](#collection-details) を選択します。 + +
+
+
+
+
+ + コレクションに新しいトップレベル プロパティを追加するには、エディターで名前とタイプを入力します。プロパティタイプが追加設定をサポートしている場合は、それらも更新してください。 +
++
+ コレクションに新しいトップレベル プロパティを追加するには、エディターで名前とタイプを入力します。プロパティタイプが追加設定をサポートしている場合は、それらも更新してください。 +
+
+
+
+
+
+ 
+
+ Weaviate Cloud でコレクションを変更。
+ + +## コレクションの削除 + +一度 コレクション を削除すると、復元することはできません。コレクションスキーマとコレクション内のすべてのオブジェクトはクラスタから削除されます。この操作は取り消せません。 + +コレクションを削除するには: + +import DeleteCollection from '/docs/cloud/img/weaviate-cloud-delete-collection.png'; + +
-
+
-
+ まず、左サイドバーから
Collectionsツール + (1) を選択します。 +
+ -
+
Clustersパネルには利用可能なクラスターが一覧表示されます。 +
+ - + 一覧からクラスターを選択すると、新しいコレクションを作成するか、すでに + そのクラスターに存在するコレクションを確認できます + (2)。 + +
- + ごみ箱アイコンをクリックしてコレクションを削除します + (3)。 + +
+
+
+
+
+ 
+
+
+
+ Weaviate Cloud でコレクションを削除します。
++ +import DeleteCollectionConfirm from '/docs/cloud/img/weaviate-cloud-delete-collection-confirm.png'; + +
+
+
+
+ -
+
-
+ 確認のためテキストボックスにコレクション名を入力し、
Deleteを押してコレクションを削除します。 +
+
+
+
+
+
+ 
+
+ コレクション削除の確認。
+ + +## 追加の考慮事項 + +Weaviate のコレクションスキーマは高度に設定可能で、多数の方法でチューニングできます。コレクション作成後に変更可能なスキーマ要素もありますが、多くのプロパティは変更できません。詳細は [Collection definition](/weaviate/config-refs/collections.mdx) を参照してください。 + +## 参考リソース + +- [リファレンス: Collection definition](/weaviate/config-refs/collections.mdx) +- [スターターガイド: コレクション定義 (スキーマ)](/weaviate/starter-guides/managing-collections) + +## サポート & フィードバック + +import SupportAndTrouble from '/_includes/wcs/support-and-troubleshoot.mdx'; + +
+
+
+
+
+ 
+
+
+
+ まず、左側メニューから Explorer ツールを選択します（項目 1）。
+ +
+
+
+
+
+ 
+
+
+
+ 利用可能なクラスターの一覧が読み込まれます（項目 2）。一覧からクラスターを選択すると（項目 3）、そのクラスター内のコレクションとオブジェクトを閲覧できます。
++ +### コレクションとオブジェクトの探索 + +クラスターを選択したら、[コレクション](/weaviate/concepts/data.md#collections)に入り、その[オブジェクト](/weaviate/concepts/data.md#data-object-concepts)を確認できます。 + +import ExplorerImg3 from '/docs/cloud/img/explorer-3.png'; +import ExplorerImg4 from '/docs/cloud/img/explorer-4.png'; +import ExplorerImg5 from '/docs/cloud/img/explorer-5.png'; + +
+
+
+
+
+ 
+
+
+
+ クラスターを選択すると、利用可能なコレクションが一覧表示されます（項目 4）。コレクションを選択すると（項目 5）、そのオブジェクトを閲覧できます。
++ +#### オブジェクトの確認 + +コレクションを選択すると、Explorer はオブジェクトを読みやすい形式で表示します。各オブジェクトには次の情報が示されます。 + +- 一意の識別子 (UUID) +- プロパティとその値 +- メタデータ（展開可能） +- ベクトル埋め込み + +一部の詳細は折りたたまれた状態で表示されます。カラーコードされたプロパティグループをクリックして展開し、詳細を確認してください。 + +
+
+
+
+
+ 
+
+
+
+
+ 選択したコレクションのオブジェクトが一覧で表示されます（項目 6）。
++
各オブジェクトは、そのユニーク ID とプロパティ（項目 7）が表示されます。プロパティ名にカーソルを合わせると（項目 7a）、プロパティの型が表示されます。
++ +
+
+
+
+
+ 
+
+
+
+
+ メタデータ（項目 8）やベクトル（項目 9）など、カラーコードされたプロパティグループをクリックして折りたたまれた詳細を展開します。
++
ベクトルは、名前付きベクトルを使用している場合はベクトル名と次元数のみが最初に表示されます。さらに展開すると一部のベクトル値が表示され、`copy`（項目 10）をクリックするとベクトル全体をクリップボードにコピーできます。
++ +### JSON 形式で表示 + +Explorer では、構造化ビューと生の JSON フォーマットの両方を提供しています。 + +任意のオブジェクトで以下の操作が可能です。 + +- `{}` アイコンをクリックして JSON ビューに切り替える +- もう一度クリックしてフォーマットビューに戻る +- JSON ビューでは、すべてのネストされたプロパティ、メタデータ、ベクトルを含む完全なオブジェクト構造が表示されます + +import ExplorerImg6 from '/docs/cloud/img/explorer-6.png'; + +
+
+
+
+
+ 
+
+
+
+ {} アイコン（項目 12）をクリックして、オブジェクトを JSON 形式で表示します（項目 11）。同じアイコンをもう一度クリックすると、元のオブジェクトビューに戻ります。
+ +### ページネーション & 更新 + +オブジェクトが多数あるコレクションを表示していると、リストの下部にページネーション コントロールが表示されます。これらのコントロールを使用してオブジェクトを閲覧してください。 + +さらに、ページ上部のリフレッシュ ボタンをクリックすると、コレクション内のオブジェクト一覧を更新できます。 + +import ExplorerImg7 from '/docs/cloud/img/explorer-7.png'; + +
+
+
+## サポート & フィードバック
+
+import SupportAndTrouble from '/_includes/wcs/support-and-troubleshoot.mdx';
+
+
+
+
+ 
+
+
+
+
+
+ オブジェクトが多数あるコレクションを表示していると、リストの下部にページネーション コントロール (item 13) が表示されます。これらのコントロールを使用してオブジェクトを閲覧してください。
++
ページあたりのオブジェクト数はドロップダウン (item 14) で変更できます。また、コレクション内の総オブジェクト数もここに表示されます。
++
ページ右上にある "refresh" ボタン (item 15) をクリックすると、コレクション内のオブジェクト一覧を更新できます。
+
+
+
+
+
+ -
+
-
+ まず、左サイドバーの
Importツール + (1) を選択します。 +
+ -
+
Clustersパネルには利用可能なクラスタが一覧表示されます。 + データをインポートしたいクラスタをリストから選択します + (2)。 +
+ -
+
Browse CSV filesボタン + (3) をクリックし、インポートしたい CSV ファイルを選択します。 +
+
+
+
+
+
+ 
+
+
+
+ Weaviate Cloud でインポート プロセスを開始します。
++ +CSV ファイルを選択すると、ツールにファイル名とサイズが表示されます。 + +
+
+
+
+ -
+
-
+ 正しいファイルが表示されていることを確認し、
Next{' '} + ボタン (1) をクリックしてコレクション設定へ進みます。 + ファイルを誤って選択した場合は、赤いxアイコンをクリックして削除し、別のファイルを選択できます。 +
+
+
+
+
+
+ 
+
+
+
+ インポートする CSV ファイルを確認します。
++ +## ステップ 2: コレクション設定 + +このステップでは、インポートしたデータを保存する新しいコレクションの設定を行います。 + +
+
+
+
+ -
+
-
+ 新しいコレクションの名前を入力します
+ (1)。例:
Product。 + コレクション名は大文字で始まり、英字・数字・アンダースコアのみ使用できます。 + スペースは使用できません。 +
+ - + 必要に応じて、マルチテナンシー、ベクトライザー、モデル、dimensions、base URL、および + コレクション名をベクトル化するかどうかを設定します。 + 本例ではデフォルト設定を使用します。 + +
+
+
+
+
+ 
+
+
+
+ 新しいコレクションの設定を行います。
++ + + +## ステップ 3: プロパティのマッピング + +これはインポートを開始する前の最後のステップです。ここでは、CSV ファイルの列を新しい Weaviate コレクションのプロパティにマッピングします。 + +
+
+
+
+ -
+
- + ツールは CSV ファイルで検出された列を表示します ( + 1)。 + +
-
+ 各列に対して、Weaviate コレクションで表示されるとおりの
Property Nameを指定できます ( + 2)。プロパティ名は小文字で始まり、英字・数字・アンダースコアのみを使用できます。 +
+ -
+ 各列の
Property Typeをプルダウンメニューから選択します (3)。今回のimport.csvでは: +-
+
-
+
idはInt+
+ -
+
product_nameはText+
+ -
+
priceはNumber+
+ -
+
descriptionはText+
+
+ -
+
- + トグルスイッチで各プロパティをベクトル化するかどうかを設定します (4)。意味検索を行いたいテキストフィールドでは、有効にしてください。 + +
- + インポート対象からプロパティを除外したい場合は、隣のゴミ箱アイコンをクリックします (5)。 + +
-
+ プロパティのマッピングに問題がなければ、
Submitボタン (6) をクリックしてインポートを開始します + import process. The tool will create the collection and import the data. +
+
+
+
+
+
+ 
+
+
+
+ CSV 列をコレクションのプロパティにマッピングしてインポートを開始します。
++ +画面下部の `Product Preview` セクションでは、データがどのようにマッピングされるかを確認できます。すべてが正しいことを確認してください。 + +## ステップ 4: インポート済みデータの確認 + +インポートが完了すると、自動的に [Explorer tool](./explorer-tool.mdx) が開き、新しく作成されたコレクションとそのオブジェクトを表示します。 + +
+
+
+
+
+ 
+
+
+
+ Explorer tool を使用してインポートされたデータを確認します。
++ +CSV ファイルのデータと一致するインポート済みオブジェクトが一覧表示されます。各オブジェクトを展開して、プロパティ、メタデータ、ベクトルを確認できます。 + +## 追加リソース + +- [リファレンス: コレクション定義](/weaviate/config-refs/collections.mdx) +- [スターターガイド: コレクション定義 (スキーマ)](/weaviate/starter-guides/managing-collections) +- [ハウツー: データのインポート](/weaviate/manage-objects/import) + +## サポート + +import SupportAndTrouble from '/_includes/wcs/support-and-troubleshoot.mdx'; + +
+
+
+
+## クエリ実行の追加パラメーター
+
+1 つ以上のコレクションを選択してクエリを実行するほか、次の設定も可能です。
+
+- OpenAI や Anthropic など、外部モデルプロバイダー用の API キーを指定する
+- コレクションに複数のベクトルがある場合、どのベクトルを検索するかを指定する
+- エージェントに追加情報や指示を与える _system prompt_ を設定する（例：トーンや使用言語など）
+
+
+
+
+
+## コードスニペットの生成
+
+クエリ実行後、Python または TypeScript の Weaviate Agents クライアントライブラリを用いて同じ処理を行うコードスニペットを生成することもできます。
+
+
+
+
+
+## 使用方法と制限事項
+
+### 使用制限
+
+import UsageLimits from "/_includes/agents/query-agent-usage-limits.mdx";
+
+
+
+
+## クエリツールの起動
+
+クラスターのクエリツールを開く手順:
+
+import QueryTool from '/docs/cloud/img/weaviate-cloud-query-tool.png';
+
+
+
+
+ + + GraphiQL + {' '} + はクエリツールに組み込まれています。GraphiQL は、GraphQL を対話的に扱いやすくする多くの機能を提供します。 +
++
-
+
- 構文ハイライト +
- インテリジェントなタイプアヘッド +
- クエリおよび変数の自動補完 +
- クエリおよび変数のリアルタイムエラーハイライトとレポート +
+
+
+
+
+ 
+
+ Weaviate Cloud のクエリツール。
+
+
+
+## クエリツールコンソール
+
+クエリツールは以下のコンポーネントで構成されています。
+
+import QueryToolConsole from '/docs/cloud/img/weaviate-cloud-query-tool-console.png';
+
+
+
+ -
+
- + Weaviate Cloud コンソール + を開きます。 + +
-
+
Queryボタンをクリックし、リストからクラスターを選択します。 +
+
+
+
+
+
+ 
+
+ Weaviate Cloud のクエリツール。
+
+
+
+### 認証
+
+クエリツールは、Weaviate Cloud のサンドボックスおよびサーバーレス クラスターへ追加の認証情報なしで接続します。
+
+### Inference キーの設定 {#pass-inference-keys}
+
+Inference モジュール用の API キーを渡すには、リクエストヘッダーを使用します。`Headers` タブはクエリ画面の下部にあります。サービスの inference キーをクエリのヘッダーに追加してください。
+
+この例では、`X-OpenAI-Api-Key` ヘッダーで OpenAI の API キーを設定しています。このヘッダーには複数のキーを渡すこともできます。
+
+## 参考リソース
+
+- [GraphiQL ライブラリ](https://github.com/graphql/graphiql/tree/main/packages/graphiql)
+- [ベクトライザーインテグレーション](/weaviate/model-providers/)
+
+## サポートとフィードバック
+
+import SupportAndTrouble from '/_includes/wcs/support-and-troubleshoot.mdx';
+
+
+
+ -
+
- + GraphQL クエリを記述するためのエディター (1)。 + +
- + クエリを実行するボタン (2)。 + +
- + レスポンスを表示するパネル (3)。 + +
- + 変数とヘッダーの設定 のパネル ( + 4)。 + +
+
+
+
+
+ 
+
+ Weaviate Cloud のクエリツール。
+ +This means that the feature is still under development and may change in future releases, including potential breaking changes. +**We do not recommend using this feature in production environments at this time.** + +::: + +## Questions and feedback + +import DocsFeedback from "/_includes/docs-feedback.mdx"; + +
+
+
+
+機能制御
+ +#### `ASYNC_REPLICATION_DISABLED` +非同期レプリケーション機能全体をグローバルに無効化します。 + +- 既定値は `false` です。 +- **ユースケース**: テナントやコレクションが多数存在し、一時的にグローバルで無効化する必要がある（デバッグ中や重大なメンテナンス時など）場合に便利です。 +- **特記事項**: + - この設定はコレクションごとの設定よりも優先されます。 + +
+
+
+レプリケーション制御
+ +#### `ASYNC_REPLICATION_PROPAGATION_LIMIT` +1 回の非同期レプリケーションのイテレーション（ハッシュツリー比較 1 回後）で伝播されるオブジェクトの最大数を定義します。 + - 既定値は 10,000 です。 + - **ユースケース**: ネットワーク容量や求める収束速度に応じて調整できます。 + - **注意点**: 差分がこの数を超えて検出されても、現在のイテレーションで伝播されるのはこの数までです。残りの差分は次回以降のイテレーションで処理されます。 + + +#### `ASYNC_REPLICATION_PROPAGATION_DELAY` +オブジェクトを伝播対象とみなす前に遅延を導入します。この遅延より古いオブジェクトのみが対象となります。 + - 既定値は 30 秒です。 + - **ユースケース**: オブジェクトが 1 つのノードに挿入され、挿入処理がまだ進行中の場合にハッシュ比較で検出される可能性があります。この遅延を設けることで、ローカルの書き込み操作が完全に完了する前に非同期レプリケーションが伝播を試みることを防ぎます。 + - **注意点**: システムの一般的な書き込みレイテンシを基に設定してください。 +
+
+
+### パフォーマンスチューニング
+
+運用可視性
+ +#### `ASYNC_REPLICATION_LOGGING_FREQUENCY` +バックグラウンドの非同期レプリケーションプロセスが活動をログする頻度を制御します。 + - 既定値は 5 秒です。 + - **ユースケース**: 頻度を高くすると詳細なログが得られますが、低くするとログの冗長性を抑えられます。 +
+
+
+
+メモリ最適化
+ +#### `ASYNC_REPLICATION_HASHTREE_HEIGHT` +各ノードがローカルに保持するデータを表現するハッシュツリーの高さをカスタマイズします。 +- 既定値は 16 で、各ノードのシャードあたりおよそ 2 MB の RAM を使用します。 +- **ユースケース**: + - マルチテナント環境でテナント数が多い場合、高さを下げるとメモリ使用量を抑えられます。 + - 非常に大規模なコレクションでは、高さを上げることで差分データ範囲の特定がより効率的になることがあります。 +- **特記事項**: + - ハッシュツリーの高さを変更すると、各ノードでハッシュツリーを再構築する必要があり、既存オブジェクトをすべて走査します。 + +
+
+
+
+スループットと並行性
+ +#### `ASYNC_REPLICATION_PROPAGATION_CONCURRENCY` +伝播フェーズでオブジェクトのバッチを送信する際に使用する同時実行 goroutine（またはスレッド）の数を制御します。 + - 既定値は 5 です。 + - **注意点**: 並行度を上げると伝播速度が向上する場合がありますが、CPU やネットワークなどのリソース競合とのバランスを取る必要があります。 + +
+
+
+
+### 整合性チューニング
+
+バッチ処理
+ +#### `ASYNC_REPLICATION_DIFF_BATCH_SIZE` +比較フェーズで 1 リクエストあたりに取得するオブジェクトメタデータの数を設定します。 + - 既定値は 1000 です。 + - **ユースケース**: ネットワークレイテンシが低く、ノードが大きなリクエストを処理できる場合、値を増やすことでパフォーマンスが向上する可能性があります。 + - **注意点**: メタデータをバッチ取得することでネットワーク通信を最適化します。 + + +#### `ASYNC_REPLICATION_PROPAGATION_BATCH_SIZE` +リモートノードへデータを伝播する際、各バッチに含めるオブジェクトの最大数を設定します。 + - 既定値は 100 です。 + - **ユースケース**: + - 大きなオブジェクトの場合、バッチサイズを小さくすると伝播中のメモリ使用を抑制できます。バッチサイズは初期データ挿入時に使用したバッチサイズに近い値にするとよいでしょう。 + - 小さなオブジェクトの場合、バッチサイズを大きくすると個別リクエストのオーバーヘッドが減り伝播効率が向上する可能性がありますが、メモリプレッシャーとのバランスが必要です。 + - **注意点**: この設定は大きなオブジェクトの場合に特に重要で、大きなバッチでは送信中のメモリ消費が増加します。`ASYNC_REPLICATION_PROPAGATION_LIMIT` に到達するまで、1 イテレーション内で複数バッチが送信されることがあります。 + +
+
+
+
+同期頻度
+ + + +#### `ASYNC_REPLICATION_FREQUENCY` +各ノードがローカルデータ（ハッシュツリー経由）を、同じシャードを保持する他のノードと比較する処理を開始する頻度を定義します。明示的な変更がトリガーされていなくても、定期的に不整合をチェックします。 +- デフォルト値は 30 秒です。 +- **ユースケース** + - 頻度を短くすると、最終的な整合性への収束を高速化したいアプリケーションに有用です。 + - 頻度を長くすると、最終的な整合性を緩和することでシステム負荷を軽減できます。 + +#### `ASYNC_REPLICATION_FREQUENCY_WHILE_PROPAGATING` +前回の伝播サイクルが完了しなかった場合（検出された差分がすべて同期されなかった場合）に、後続の比較および伝播試行に用いる短い頻度を定義します。 + - デフォルトでは 20 ミリ秒に設定されています。 + - **ユースケース**: 不整合が存在すると分かっている場合、同期プロセスを迅速化します。 + - **考慮事項**: 伝播サイクルで差分が検出されたものの、制限によりすべてを伝播できなかった後に有効化されます。 + +
+
+
+ノードステータス監視
+ +#### `ASYNC_REPLICATION_ALIVE_NODES_CHECKING_FREQUENCY` +クラスター内のノードの可用性変化をチェックする頻度を定義します。 + - デフォルトでは 5 秒に設定されています。 + - **ユースケース**: ダウンタイム後にノードが再参加すると、同期が取れていない可能性が高いです。この設定により、レプリケーションプロセスが迅速に開始されます。 + +
+
+
+
+
+### 追加リソース
+
+- [概念: Replication](https://docs.weaviate.io/weaviate/concepts/replication-architecture/consistency)
+
+- [Replication How-To](/deploy/configuration/replication.md#async-replication-settings)
+
+- [環境変数](/deploy/configuration/env-vars/index.md#async-replication)
+
+## 質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+タイムアウト管理
+ +#### `ASYNC_REPLICATION_DIFF_PER_NODE_TIMEOUT` +比較フェーズでリモートノードからオブジェクトメタデータを要求する際の応答待ち最大時間を定義し、ノードが応答しない場合の無限待機を防ぎます。 + - デフォルトは 10 秒です。 + - **ユースケース**: ネットワーク遅延が大きい環境や応答が遅いノードがある可能性がある場合、増加が必要となることがあります。 + +#### `ASYNC_REPLICATION_PROPAGATION_TIMEOUT` +リモートノードへ単一の伝播リクエスト（実際のオブジェクトデータ送信）を行う際に許容される最大時間を設定します。 + - デフォルトは 30 秒です。 + - **ユースケース**: ネットワーク遅延が大きい場合、オブジェクトサイズ（例: 画像、 ベクトル）が大きい場合、または大量のオブジェクトをバッチ送信する場合に増加が必要となることがあります。 + - **考慮事項**: ネットワーク遅延、バッチサイズ、伝播するオブジェクトのサイズがタイムアウトに影響します。 + +Request"] + AuthCheck{"AuthN
Enabled?"} + AccessCheck{"Check
AuthZ"} + Access["✅ Access
Granted"] + Denied["❌ Access
Denied"] + + %% Define authentication method nodes + subgraph auth ["AuthN"] + direction LR + API["API Key"] + OIDC["OIDC"] + AuthResult{"Success?"} + end + + %% Define connections + Request --> AuthCheck + AuthCheck -->|"No"| AccessCheck + AuthCheck -->|"Yes"| auth + API --> AuthResult + OIDC --> AuthResult + AuthResult -->|"Yes"| AccessCheck + AuthResult -->|"No"| Denied + + AccessCheck -->|"Pass"| Access + AccessCheck -->|"Fail"| Denied + + %% Style nodes + style Request fill:#ffffff,stroke:#B9C8DF,color:#130C49 + style AuthCheck fill:#ffffff,stroke:#B9C8DF,color:#130C49 + style AccessCheck fill:#ffffff,stroke:#B9C8DF,color:#130C49 + style Access fill:#ffffff,stroke:#B9C8DF,color:#130C49 + style Denied fill:#ffffff,stroke:#B9C8DF,color:#130C49 + style API fill:#ffffff,stroke:#B9C8DF,color:#130C49 + style OIDC fill:#ffffff,stroke:#B9C8DF,color:#130C49 + style AuthResult fill:#ffffff,stroke:#B9C8DF,color:#130C49 + + %% Style subgraph + style auth fill:#ffffff,stroke:#130C49,stroke-width:2px,color:#130C49 +``` + +たとえば、 API キー `jane-secret` でログインしたユーザーには管理者権限が付与され、 API キー `ian-secret` でログインした別のユーザーには読み取り専用権限が付与される、といった使い分けが可能です。 + +まとめると、 Weaviate では次の認証方法を利用できます。 + +- API キー +- OpenID Connect ( OIDC ) +- 匿名アクセス ( 認証なし。本番環境以外の開発・評価時のみ推奨 ) + +API キー認証と OIDC 認証は同時に有効化できます。 + +認証の設定方法は、 Docker で実行するか Kubernetes で実行するかといったデプロイ方法によって異なります。以下では両方の例を示します。 + +:::info What about Weaviate Cloud (WCD)? +Weaviate Cloud ( WCD ) インスタンスでは、 OIDC と API キーのアクセスがあらかじめ設定されています。 WCD の認証情報を使用して [OIDC で Weaviate に認証](/weaviate/connections/connect-cloud.mdx) するか、[API キー](/cloud/manage-clusters/connect.mdx) を用いて接続できます。 +::: + +## API キー認証 + +API キー認証は、ユーザーを認証するための簡単かつ効果的な方法です。各ユーザーには一意の API キーが割り当てられ、そのキーを用いて認証が行われます。 + +### API キー: データベースユーザー + +[プログラムでデータベースユーザーを作成](/weaviate/configuration/rbac/manage-users.mdx#create-a-user) すると、各ユーザーには作成時に固有の API キーが割り当てられます。これらの API キーは [再生成 ( ローテーション )](/weaviate/configuration/rbac/manage-users.mdx#rotate-user-api-key) することも可能です。 + +### API キー: Docker + +API キー認証は環境変数で設定できます。 Docker Compose では、以下の例のように構成ファイル ( `docker-compose.yml` ) に設定します。 + +```yaml +services: + weaviate: + ... + environment: + ... + # Disable anonymous access. + AUTHENTICATION_ANONYMOUS_ACCESS_ENABLED: 'false' + + # Enables API key authentication. + AUTHENTICATION_APIKEY_ENABLED: 'true' + + # List one or more keys in plaintext separated by commas. Each key corresponds to a specific user identity below. + AUTHENTICATION_APIKEY_ALLOWED_KEYS: 'user-a-key,user-b-key' + + # List one or more user identities, separated by commas. Each identity corresponds to a specific key above. + AUTHENTICATION_APIKEY_USERS: 'user-a,user-b' +``` + +この設定は次のことを行います。 +- 匿名アクセスを無効化 +- API キー認証を有効化 +- `AUTHENTICATION_APIKEY_ALLOWED_KEYS` に平文の API キーを定義 +- `AUTHENTICATION_APIKEY_USERS` に API キーと関連付けるユーザーを定義 + +これらのユーザーには、認可設定に基づいて権限を割り当てられます。 + +import DynamicUserManagement from '/_includes/configuration/dynamic-user-management.mdx'; + +
+
+
+:::tip TIP: OIDC and RBAC
+[ユーザー管理 API](/weaviate/configuration/rbac/manage-users.mdx#oidc-user-permissions-management) を使用すると、 [ロールベースアクセス制御 ( RBAC )](/weaviate/configuration/rbac/index.mdx) により OIDC ユーザーにカスタムロールと権限を割り当てることができます。
+:::
+
+### OIDC: Docker
+
+OIDC ベースの認証を Weaviate に設定するには、次の環境変数を構成ファイルに追加します。
+
+例として、 `docker-compose.yml` は次のようになります。
+
+```yaml
+services:
+ weaviate:
+ ...
+ environment:
+ ...
+ # enabled (optional - defaults to false) turns OIDC auth on. All other fields in
+ # this section will only be validated if enabled is set to true.
+ AUTHENTICATION_OIDC_ENABLED: 'true'
+
+ # issuer (required) tells weaviate how to discover the token issuer. This
+ # endpoint must implement the OpenID Connect Discovery spec, so that weaviate
+ # can retrieve the issuer's public key.
+ #
+ # The example URL below uses the path structure commonly found with keycloak
+ # where an example realm 'my-weaviate-usecase' was created. The exact
+ # path structure depends on the token issuer. See the token issuer's documentation
+ # about which endpoint implements OIDC Discovery.
+ AUTHENTICATION_OIDC_ISSUER: 'http://my-token-issuer/auth/realms/my-weaviate-usecase'
+
+ # client_id (required unless skip_client_id_check is set to true) tells
+ # Weaviate to check for a particular OAuth 2.0 client_id in the audience claim.
+ # This is to prevent that a token which was signed by the correct issuer
+ # but never intended to be used with Weaviate can be used for authentication.
+ #
+ # For more information on what clients are in OAuth 2.0, see
+ # https://tools.ietf.org/html/rfc6749#section-1.1
+ AUTHENTICATION_OIDC_CLIENT_ID: 'my-weaviate-client'
+
+ # username_claim (required) tells Weaviate which claim in the token to use for extracting
+ # the username. The username will be passed to the authorization plugin.
+ AUTHENTICATION_OIDC_USERNAME_CLAIM: 'email'
+
+ # skip_client_id_check (optional, defaults to false) skips the client_id
+ # validation in the audience claim as outlined in the section above.
+ # Not recommended to set this option as it reduces security, only set this
+ # if your token issuer is unable to provide a correct audience claim
+ AUTHENTICATION_OIDC_SKIP_CLIENT_ID_CHECK: 'false'
+
+ # scope (optional) these will be used by clients as default scopes for authentication
+ AUTHENTICATION_OIDC_SCOPES: ''
+```
+
+:::info OIDC and Azure
+2022 年 11 月時点で、 Microsoft Azure の OIDC 実装は他と比較していくつかの違いがあることを確認しています。 Azure を利用していて問題が発生する場合は、[こちらの外部ブログ記事](https://xsreality.medium.com/making-azure-ad-oidc-compliant-5734b70c43ff) が参考になるかもしれません。
+:::
+
+
+
+### OIDC：Kubernetes
+
+Helm を使用した Kubernetes デプロイメントでは、OIDC 認証を `authentication` セクション配下の `values.yaml` ファイルで設定できます。以下は設定例です。
+
+```yaml
+authentication:
+ anonymous_access:
+ # Disable anonymous access.
+ enabled: false
+ oidc:
+ # enabled (optional - defaults to false) turns OIDC auth on. All other fields in
+ # this section will only be validated if enabled is set to true.
+ enabled: true
+
+ # issuer (required) tells weaviate how to discover the token issuer. This
+ # endpoint must implement the OpenID Connect Discovery spec, so that weaviate
+ # can retrieve the issuer's public key.
+ #
+ # The example URL below uses the path structure commonly found with keycloak
+ # where an example realm 'my-weaviate-usecase' was created. The exact
+ # path structure depends on the token issuer. See the token issuer's documentation
+ # about which endpoint implements OIDC Discovery.
+ issuer: 'http://my-token-issuer/auth/realms/my-weaviate-usecase'
+
+ # client_id (required unless skip_client_id_check is set to true) tells
+ # Weaviate to check for a particular OAuth 2.0 client_id in the audience claim.
+ # This is to prevent that a token which was signed by the correct issuer
+ # but never intended to be used with Weaviate can be used for authentication.
+ #
+ # For more information on what clients are in OAuth 2.0, see
+ # https://tools.ietf.org/html/rfc6749#section-1.1
+ client_id: 'my-weaviate-client'
+
+ # username_claim (required) tells Weaviate which claim in the token to use for extracting
+ # the username. The username will be passed to the authorization plugin.
+ username_claim: 'email'
+
+ # skip_client_id_check (optional, defaults to false) skips the client_id
+ # validation in the audience claim as outlined in the section above.
+ # Not recommended to set this option as it reduces security, only set this
+ # if your token issuer is unable to provide a correct audience claim
+ skip_client_id_check: 'false'
+
+ # scope (optional) these will be used by clients as default scopes for authentication
+ scopes: ''
+
+ # groups_claim: ''
+```
+
+### 注記：OIDC トークン発行者の設定
+
+import WCDOIDCWarning from '/_includes/wcd-oidc.mdx';
+
+詳細: OIDC について
+ +[OpenID Connect](https://openid.net/connect/) ( OAuth2 をベース ) では、外部のアイデンティティプロバイダー兼トークン発行者 ( 以降「トークン発行者」 ) がユーザー管理を担当します。 + +OIDC 認証では、トークン発行者から有効なトークンを取得し、それを Weaviate へのリクエストヘッダーに含める必要があります。これは REST と GraphQL の両方のリクエストに当てはまります。 + +Weaviate がトークン ( JSON Web Token または JWT ) を受け取ると、設定されたトークン発行者によって実際に署名されているかを検証します。署名が正しければ、トークンの内容は信頼され、その情報に基づいてユーザーが認証されます。 + +Scheme?"} + + subgraph rbac ["RBAC Authorization"] + direction TB + AdminRole["Admin Role"] + ViewerRole["Viewer Role"] + CustomRole["Custom Roles"] + + Perms1["Full Access
All Operations"] + Perms2["Read-only
Access"] + Perms3["Custom
Permissions"] + + AdminRole --> Perms1 + ViewerRole --> Perms2 + CustomRole --> Perms3 + end + + subgraph adminlist ["Admin List Authorization"] + direction TB + AdminUser["Admin Users"] + ReadOnly["Read-only Users"] + AnonUser["Anonymous Users
(Optional)"] + + AllPerms["Full Access
All Operations"] + ReadPerms["Read-only
Access"] + + AdminUser --> AllPerms + ReadOnly --> ReadPerms + AnonUser -.->|"If enabled"| AllPerms + AnonUser -.->|"If enabled"| ReadPerms + end + + subgraph undiffer ["Undifferentiated Access"] + AllAccess["Full Access
All Operations"] + end + + AuthScheme -->|"RBAC"| rbac + AuthScheme -->|"Admin List"| adminlist + AuthScheme -->|"Undifferentiated"| undiffer + + %% Style nodes + style User fill:#f9f9f9,stroke:#666 + style AuthScheme fill:#f5f5f5,stroke:#666 + style AnonUser fill:#f9f9f9,stroke:#666,stroke-dasharray: 5 5 + + %% Style subgraphs + style rbac fill:#e6f3ff,stroke:#4a90e2 + style adminlist fill:#e6ffe6,stroke:#2ea44f + style undiffer fill:#fff0e6,stroke:#ff9933 +``` + +## 利用可能な認可方式 + + Weaviate では、次の認可方式が利用できます。 + +- [ロールベースアクセス制御 (RBAC)](#ロールベースアクセス制御-rbac) +- [管理者リスト](#管理者リスト) +- [区別のないアクセス](#区別のないアクセス) + +管理者リスト方式では、[匿名ユーザー](#匿名ユーザー) に権限を付与できます。 + +認可の設定方法は、 Weaviate を Docker で実行するか Kubernetes で実行するかなど、デプロイ方法によって異なります。以下では、両方の例を示します。 + +:::info Weaviate Cloud (WCD) について + Weaviate Cloud (WCD) インスタンスでは、認可は管理者リスト方式であらかじめ設定されています。OIDC を使用して WCD 資格情報で [ Weaviate に認証](/weaviate/connections/connect-cloud.mdx) するか、[管理者または読み取り専用 API キー](/cloud/manage-clusters/connect.mdx) で接続できます。 +
+ +RBAC アクセスは将来のリリースで WCD に追加される予定です。 +::: + +## ロールベースアクセス制御 (RBAC) + +:::info `v1.29` から利用可能 +ロールベースアクセス制御 (RBAC) は、バージョン `v1.29` から Weaviate で一般利用可能です。 +::: + +ロールベースアクセス制御 (RBAC) は、ユーザーのロールに基づいてリソースへのアクセスを制限する方法です。 Weaviate では、RBAC を使用して **ロール** を定義し、そのロールに **権限** を割り当てることができます。ユーザーをロールに割り当てると、そのロールに関連付けられた権限を継承します。 + +RBAC の設定方法やロール・ユーザー管理の例については、専用の **[RBAC ドキュメント](/weaviate/configuration/rbac/index.mdx)** を参照してください。 Weaviate インスタンスでの [RBAC の設定](/deploy/configuration/configuring-rbac.md) や [ロールとユーザーの管理](/weaviate/configuration/rbac/manage-roles.mdx) 方法が記載されています。 + +## 管理者リスト + +「管理者リスト」認可方式では、 Weaviate 内のすべての操作を実行できるフル権限を持つ管理者ユーザーと、読み取り操作のみを実行できる読み取り専用ユーザーのリストを指定できます。 + +これらの権限はカスタマイズや拡張ができません。より細かい権限制御が必要な場合は、[RBAC](#ロールベースアクセス制御-rbac) を利用してください。 + +管理者リスト方式は RBAC と併用できません。 + +### 管理者リスト: Docker + +管理者リスト認可は環境変数で設定できます。Docker Compose では、以下のように `docker-compose.yml` に設定します。 + +```yaml +services: + weaviate: + ... + environment: + ... + # Example authentication configuration using API keys + # OIDC access can also be used with RBAC + AUTHENTICATION_ANONYMOUS_ACCESS_ENABLED: 'false' + AUTHENTICATION_APIKEY_ENABLED: 'true' + AUTHENTICATION_APIKEY_ALLOWED_KEYS: 'user-a-key,user-b-key,user-c-key' + AUTHENTICATION_APIKEY_USERS: 'user-a,user-b,user-c' + + # Authorization configuration + # Enable admin list + AUTHORIZATION_ADMINLIST_ENABLED: 'true' + + # Provide pre-configured roles to users + # This assumes that the relevant user has been authenticated and identified + # + # You MUST define at least one admin user + AUTHORIZATION_ADMINLIST_USERS: 'user-a' + AUTHORIZATION_ADMINLIST_READONLY_USERS: 'user-b' +``` + +この設定では以下を行っています。 +- 管理者リスト認可を有効化 +- `user-a` を組み込みの管理者権限ユーザーとして設定 +- `user-b` を組み込みの閲覧者権限ユーザーとして設定 + +この構成では、`user-c` には権限がありません。 + +### 管理者リスト: Kubernetes + +Helm を使用した Kubernetes デプロイでは、`values.yaml` の `authorization` セクションで API キー認証を設定します。以下はその例です。 + +```yaml +# Example authentication configuration using API keys +authentication: + anonymous_access: + enabled: false + apikey: + enabled: true + allowed_keys: + - user-a-key + - user-b-key + - user-c-key + users: + - user-a + - user-b + - user-c + +# Authorization configuration +authorization: + admin_list: + # Enable admin list + enabled: true + + # Provide pre-configured roles to users + # This assumes that the relevant user has been authenticated and identified + # + # You MUST define at least one admin user + users: + - user-a + read_only_users: + - user-b +``` + +### 匿名ユーザー + +匿名ユーザーは Weaviate では `anonymous` として識別されます。管理者リスト認可方式では、匿名ユーザーに権限を付与できます。RBAC 方式は匿名ユーザーに対応していません。 + +管理者リスト方式で匿名ユーザーに権限を与えるには、以下のように設定で `anonymous` キーワードを使用します。 + +import Tabs from '@theme/Tabs'; +import TabItem from '@theme/TabItem'; + +
+
+ +## 質問およびフィードバック + +import DocsFeedback from "/_includes/docs-feedback.mdx"; + +
オプション。デフォルトは `""` で、バックアップはサブフォルダーではなくバケットのルートに保存されます。 | +| `BACKUP_S3_ENDPOINT` | no | 使用する S3 エンドポイントです。
オプション。デフォルトは `"s3.amazonaws.com"` です。 | +| `BACKUP_S3_USE_SSL` | no | 接続を SSL/TLS で保護するかどうか。
オプション。デフォルトは `"true"` です。 | + +#### S3 設定 (AWS 固有) + +AWS では、Weaviate に認証情報を提供する必要があります。アクセスキー認証と ARN ベース認証のいずれかを選択できます。 + +#### オプション 1: IAM と ARN ロールを使用 + +バックアップモジュールは最初に AWS IAM を使用して認証を試みます。認証に失敗した場合は `Option 2` で認証を試行します。 + +#### オプション 2: アクセスキーとシークレットアクセスキーを使用 + +| 環境変数 | 説明 | +| --- | --- | +| `AWS_ACCESS_KEY_ID` | 対象アカウントの AWS アクセスキー ID。 | +| `AWS_SECRET_ACCESS_KEY` | 対象アカウントの AWS シークレットアクセスキー。 | +| `AWS_REGION` | (Optional) AWS リージョン。指定しない場合、モジュールは `AWS_DEFAULT_REGION` を解析しようとします。 | + + +### GCS (Google Cloud Storage) + +- Google Cloud Storage で動作します +- マルチノードデプロイをサポートします +- 本番環境での使用を推奨します + +`backup-gcs` を設定するには、モジュールを有効化し、必要な設定を行います。 + +#### モジュールの有効化 + +`backup-gcs` を `ENABLE_MODULES` 環境変数に追加します。たとえば `text2vec-cohere` モジュールと併せて S3 モジュールを有効化する場合は、次のように設定します: + +``` +ENABLE_MODULES=backup-gcs,text2vec-cohere +``` + +#### GCS バケット関連変数 + +| 環境変数 | 必須 | 説明 | +| --- | --- | --- | +| `BACKUP_GCS_BUCKET` | yes | すべてのバックアップに使用する GCS バケット名です。 | +| `BACKUP_GCS_USE_AUTH` | no | 認証に資格情報を使用するかどうか。デフォルトは `true` です。ローカル GCS エミュレーターを使用する場合は `false` にすることがあります。 | +| `BACKUP_GCS_PATH` | no | バケット内でバックアップをコピーおよび取得する先頭パスです。
オプション。デフォルトは `""` で、バックアップはサブフォルダーではなくバケットのルートに保存されます。 | + +#### Google Application Default Credentials + +`backup-gcs` モジュールは Google の [Application Default Credentials](https://cloud.google.com/docs/authentication/application-default-credentials) のベストプラクティスに従います。これにより、環境変数、ローカルの Google Cloud CLI 設定、またはアタッチされたサービスアカウントを通じて資格情報を検出できます。 + +そのため、異なる環境で同じモジュールを簡単に使用できます。たとえば、本番環境では環境変数ベースの方法を使用し、ローカルマシンでは CLI ベースの方法を使用できます。これにより、リモート環境で作成したバックアップをローカル環境に簡単に取得でき、問題のデバッグに役立ちます。 + +#### 環境変数による設定 + +| 環境変数 | 例 | 説明 | +| --- | --- | --- | +| `GOOGLE_APPLICATION_CREDENTIALS` | `/your/google/credentials.json` | GCP サービスアカウントまたはワークロードアイデンティティファイルへのパス。 | +| `GCP_PROJECT` | `my-gcp-project` | オプション。`GOOGLE_APPLICATION_CREDENTIALS` でサービスアカウントを使用している場合、プロジェクトはサービスアカウントに含まれています。ユーザー資格情報を使用し複数プロジェクトへアクセスできる場合などに、明示的にプロジェクトを設定できます。 | + +### Azure Storage + +- Microsoft Azure Storage で動作します +- マルチノードデプロイをサポートします +- 本番環境での使用を推奨します + +`backup-azure` を設定するには、モジュールを有効化し、必要な設定を行います。 + +#### モジュールの有効化 + +`backup-azure` を `ENABLE_MODULES` 環境変数に追加します。たとえば `text2vec-cohere` モジュールと併せて Azure モジュールを有効化する場合は、次のように設定します: + +``` +ENABLE_MODULES=backup-azure,text2vec-cohere +``` + +モジュールを有効化するだけでなく、環境変数を使用して設定する必要があります。コンテナー関連の変数と認証関連の変数があります。 + +#### Azure コンテナー関連変数 + +| 環境変数 | 必須 | 説明 | +| --- | --- | --- | +| `BACKUP_AZURE_CONTAINER` | yes | すべてのバックアップに使用する Azure コンテナー名です。 | +| `BACKUP_AZURE_PATH` | no | コンテナー内でバックアップをコピーおよび取得する先頭パスです。
オプション。デフォルトは `""` で、バックアップはサブフォルダーではなくコンテナーのルートに保存されます。 | + + + +#### Azure 認証情報 + +`backup-azure` で Azure に対して認証を行う方法は 2 通りあります。次のいずれかを使用できます: + +1. Azure Storage の接続文字列、または +1. Azure Storage のアカウント名とキー + +どちらの方法も、以下の環境変数で設定できます。 + +| Environment variable | Required | Description | +| --- | --- | --- | +| `AZURE_STORAGE_CONNECTION_STRING` | yes (*see note) | 認証情報を含む文字列です（[Azure のドキュメント](https://learn.microsoft.com/en-us/azure/storage/common/storage-configure-connection-string) を参照）。
`AZURE_STORAGE_ACCOUNT` よりも先にこちらがチェックされ、使用されます。 | +| `AZURE_STORAGE_ACCOUNT` | yes (*see note) | Azure Storage アカウントの名前です。 | +| `AZURE_STORAGE_KEY` | no | Azure Storage アカウントのアクセスキーです。
匿名アクセスを行う場合は `""` を指定してください。 | + +`AZURE_STORAGE_CONNECTION_STRING` と `AZURE_STORAGE_ACCOUNT` の両方が指定されている場合、認証には `AZURE_STORAGE_CONNECTION_STRING` が使用されます。 + +:::note At least one credential option is required +`AZURE_STORAGE_CONNECTION_STRING` または `AZURE_STORAGE_ACCOUNT` のいずれかは必ず設定する必要があります。 +::: + +#### Azure ブロック サイズと並列度 + +| Environment variable | Required | Default | Description | +| --- | --- | --- | --- | +| `AZURE_BLOCK_SIZE` | no | `41943040` (40MB) | Azure のブロックサイズ（バイト単位） | +| `AZURE_CONCURRENCY` | no | `1` | アップロードの並列度 | + +:::note +クライアントヘッダーのパラメーターとして `X-Azure-Block-Size` および `X-Azure-Concurrency` を使用することもできます。これらが指定された場合、環境変数より優先されます。 +::: + +### ファイルシステム + +- Google Cloud Storage で動作します +- シングルノード デプロイのみをサポートします +- 本番利用には推奨されません + +`backup-filesystem` を設定するには、モジュールを有効化し、必要な設定を行います。 + +#### モジュールの有効化 + +`ENABLE_MODULES` 環境変数に `backup-filesystem` を追加します。たとえば、S3 モジュールと `text2vec-cohere` モジュールを併用する場合は、次のように設定します: + +``` +ENABLE_MODULES=backup-filesystem,text2vec-cohere +``` + +#### バックアップ設定 + +モジュールを有効化するだけでなく、以下の環境変数で設定を行う必要があります。 + +| Environment variable | Required | Description | +| --- | --- | --- | +| `BACKUP_FILESYSTEM_PATH` | yes | すべてのバックアップをコピーして取得するルートパス | + +### その他のバックアップバックエンド + +ご希望のバックアップモジュールがない場合は、[Weaviate GitHub リポジトリ](https://github.com/weaviate/weaviate/issues) でフィーチャーリクエストを提出できます。新しいバックアップモジュールに関するコミュニティからの貢献も歓迎しています。 + +## API + +REST API の詳細は
既定:`json` 出力例: `{"action":"startup","level":"debug","msg":"finished initializing modules","time":"2023-04-12T05:07:43Z"}`
`text`: 文字列出力例: `time="2023-04-12T04:54:23Z" level=debug msg="finished initializing modules" action=startup` | `string` | | +| `LOG_LEVEL` | Weaviate のログ レベルを設定します。既定: `info`
`panic`: パニックのみ (`v1.24` で追加)
`fatal`: 致命的エントリのみ (`v1.24`)
`error`: エラーのみ (`v1.24`)
`warning`: 警告のみ (`v1.24`)
`info`: 一般運用ログ
`debug`: 非常に詳細
`trace`: `debug` よりさらに詳細 | `string` | | +| `MAXIMUM_ALLOWED_COLLECTIONS_COUNT` | 1 ノードあたりの最大コレクション数を設定します。`-1` で無制限。既定: `1000`
制限を引き上げる代わりに [アーキテクチャの再検討](/weaviate/starter-guides/managing-collections/collections-scaling-limits.mdx) を推奨します。
`v1.30` で追加 | `string - number` | `20` | +| `MEMORY_READONLY_PERCENTAGE` | メモリ使用率が指定パーセンテージを超えると、そのノード上のすべてのシャードが `READONLY` とマークされ、以降の書き込み要求が失敗します。（既定: `0` ＝無制限） | `string - number` | `75` | +| `MEMORY_WARNING_PERCENTAGE` | メモリ使用率が指定パーセンテージを超えると、そのノードのディスク上のすべてのシャードが警告をログに出力します。（既定: `0` ＝無制限） | `string - number` | `85` | +| `MODULES_CLIENT_TIMEOUT` | Weaviate モジュールへのリクエストのタイムアウト。既定: `50s` | `string - duration` | `5s`, `10m`, `1h` | +| `ORIGIN` | Weaviate の http(s) オリジンを設定します。 | `string - HTTP origin` | `https://my-weaviate-deployment.com` | +| `PERSISTENCE_DATA_PATH` | Weaviate データ ストアのパス。
[ファイルシステムとパフォーマンスに関する注意](/weaviate/concepts/resources.md#file-system)。 | `string - file path` | `/var/lib/weaviate`
v1.24 以降の既定: `./data` | +| `PERSISTENCE_HNSW_DISABLE_SNAPSHOTS` | 設定すると [HNSW スナップショット](/weaviate/concepts/storage.md#persistence-and-crash-recovery) を無効化します。既定: `true`
`v1.31` で追加 | `boolean` | `false` | +| `PERSISTENCE_HNSW_SNAPSHOT_INTERVAL_SECONDS` | 次のスナップショット作成までに必要な最小時間（秒）。既定: `21600` 秒 (6 時間)
`v1.31` で追加 | `string - number` | `3600` | +| `PERSISTENCE_HNSW_SNAPSHOT_MIN_DELTA_COMMITLOGS_NUMBER` | 前回スナップショット以降に作成された新しいコミットログ ファイルの最小数。既定: `1`
`v1.31` で追加 | `string - number` | `100` | +| `PERSISTENCE_HNSW_SNAPSHOT_MIN_DELTA_COMMITLOGS_SIZE_PERCENTAGE` | 新しいコミットログの合計サイズが次のスナップショットをトリガーするために必要な割合（前回スナップショット サイズに対するパーセンテージ）。既定: `5`
`v1.31` で追加 | `string - number` | `15` | +| `PERSISTENCE_HNSW_SNAPSHOT_ON_STARTUP` | 設定すると、起動時にコミットログに変更があれば新しいスナップショットを作成します。変更がなければ既存スナップショットを読み込みます。既定: `true`
`v1.31` で追加 | `boolean` | `false` | +| `PERSISTENCE_HNSW_MAX_LOG_SIZE` | HNSW の [write-ahead-log](/weaviate/concepts/storage.md#hnsw-vector-index-storage) の最大サイズ。大きくするとログ圧縮効率が向上、小さくするとメモリ要件が減少します。既定: 500 MiB | `string` | `4GiB`, `4GB`, `4000000000` | +| `PERSISTENCE_LSM_ACCESS_STRATEGY` | 仮想メモリ内でディスクデータにアクセスする方法。既定: `mmap` | `string` | `mmap` または `pread` | +| `PERSISTENCE_LSM_MAX_SEGMENT_SIZE` | [LSM ストア](/weaviate/concepts/storage.md#object-and-inverted-index-store) のセグメント最大サイズ。コンパクション時のディスク使用スパイクをセグメント サイズの約 2 倍に抑えたい場合に設定します。既定: 制限なし | `string` | `4GiB`, `4GB`, `4000000000` | +| `PROMETHEUS_MONITORING_ENABLED` | 設定すると [Prometheus 互換形式のメトリクス](/deploy/configuration/monitoring.md) を収集します。 | `boolean` | `false` | +| `PROMETHEUS_MONITORING_GROUP` | 設定すると、同一クラスのメトリクスをすべてのシャードでグループ化します。 | `boolean` | `true` | +| `QUERY_CROSS_REFERENCE_DEPTH_LIMIT` | クエリで解決されるクロスリファレンスの最大深さ。既定: 5。
`v1.24.25`, `v1.25.18`, `v1.26.5` で追加。 | `string - number` | `3` | +| `QUERY_DEFAULTS_LIMIT` | クエリで返されるオブジェクト数の既定値。 | `string - number` | `25`
v1.24 以降の既定: `10` | +| `QUERY_MAXIMUM_RESULTS` | 取得可能なオブジェクトの総数の上限を設定します。 | `string - number` | `10000` | +| `QUERY_SLOW_LOG_ENABLED` | デバッグ用に遅いクエリをログに記録します。更新には再起動が必要です。
(1.24.16, 1.25.3 で追加) | `boolean` | `False` | +| `QUERY_SLOW_LOG_THRESHOLD` | 遅いクエリとして記録する閾値時間を設定します。更新には再起動が必要です。
(1.24.16, 1.25.3 で追加) | `string` | `2s`
値例: `3h`, `2s`, `100ms` | +| `REINDEX_SET_TO_ROARINGSET_AT_STARTUP` | 起動時に一度だけ再インデックスを実行し、[Roaring Bitmap](/weaviate/concepts/filtering.md#migration-to-indexFilterable) を使用できるようにします。
`1.18` 以降で利用可能。 | `boolean` | `true` | +| `TOKENIZER_CONCURRENCY_COUNT` | GSE と Kagome の合計同時実行数を制限します。既定: `GOMAXPROCS` | `string - number` | `NUMBER_OF_CPU_CORES` | +| `TOMBSTONE_DELETION_CONCURRENCY` | トゥームストーン削除に使用する最大コア数。クリーンアップで使用するコア数を制限できます。既定: 利用可能コアの半分。（`v1.24.0` で追加） | `string - int` | `4` | +| `TOMBSTONE_DELETION_MAX_PER_CYCLE` | 1 回のクリーンアップ サイクルで削除するトゥームストーンの最大数。リソース集約的なクリーンアップ サイクルを制限するために設定します。例: 3 億オブジェクト シャードのクラスターでは 10000000 (10M) を設定。既定: なし | `string - int` (New in `v1.24.15` / `v1.25.2`) | `10000000` | +| `TOMBSTONE_DELETION_MIN_PER_CYCLE` | 1 回のクリーンアップ サイクルで削除するトゥームストーンの最小数。閾値以下で不要なクリーンアップが走るのを防ぎます。例: 3 億オブジェクト シャードのクラスターでは 1000000 (1M) を設定。既定: 0 (New in `v1.24.15`, `v1.25.2`) | `string - int` | `100000` | +| `USE_GSE` | [`GSE` トークナイザー](/weaviate/config-refs/collections.mdx) を有効にします。
（`ENABLE_TOKENIZER_GSE` と同じ。命名の一貫性のため `ENABLE_TOKENIZER_GSE` の使用を推奨） | `boolean` | `true` | +| `USE_INVERTED_SEARCHABLE` | BlockMax WAND アルゴリズム向けに設計された、より効率的なオンディスク形式で検索可能プロパティを保存します。`USE_BLOCKMAX_WAND` とともに `true` にすると、クエリ時に BlockMax WAND が有効になります。
`v1.28` 追加時の既定: `false`
`v1.30` から既定: `true`
詳細 | `boolean` | `true` | +| `USE_BLOCKMAX_WAND` | BM25 とハイブリッド検索で BlockMax WAND アルゴリズムを使用します。`USE_INVERTED_SEARCHABLE` とともに有効にすることで性能向上が得られます。
`v1.28` 追加時の既定: `false`
`v1.30` から既定: `true`
詳細 | `boolean` | `true` | + +```mdx-code-block +
`v1.27` で追加（既定: `false`）
`text2vec-contextionary` では `true` を推奨 | `boolean` | `true` | +| `OFFLOAD_S3_BUCKET` | オフロードに使用する S3 バケット（既定: `weaviate-offload`） | `string` | `my-custom-offload-bucket` | +| `OFFLOAD_S3_BUCKET_AUTO_CREATE` | オフロード用 S3 バケットが存在しない場合、自動で作成するかどうか（既定: `false`） | `boolean` | `true` | +| `OFFLOAD_S3_CONCURRENCY` | オフロード操作中に並列アップロード/ダウンロードされるパート数の上限（既定: `25`） | `string - number` | `10` | +| `OFFLOAD_TIMEOUT` | リクエスト タイムアウト値（秒）（既定: `120`） | `string - number` | `60` | +| `TRANSFORMERS_INFERENCE_API` | `transformers` モジュールが有効な場合のエンドポイント | `string` | `http://text2vec-transformers:8080` | +| `USE_GOOGLE_AUTH` | Google Cloud 資格情報を自動検出し、必要に応じて Vertex AI アクセス トークンを生成します（[詳細](/weaviate/model-providers/google/index.md)）。既定: `false` | `boolean` | `true` | +| `USE_SENTENCE_TRANSFORMERS_VECTORIZER` | (実験的) 既定のベクトライザーの代わりに `sentence-transformer` ベクトライザーを使用します（カスタム イメージのみ適用）。 | `boolean` | `true` | +| `CLIP_WAIT_FOR_STARTUP` | `true` の場合、`multi2vec-clip` モジュールの起動を待ってから Weaviate を起動します（既定: `true`）。 | `boolean` | `true` | +| `NER_WAIT_FOR_STARTUP` | `true` の場合、`ner-transformers` モジュールの起動を待ってから Weaviate を起動します（既定: `true`）。(`v1.25.27`, `v1.26.12`, `v1.27.7` で利用可能) | `boolean` | `true` | +| `QNA_WAIT_FOR_STARTUP` | `true` の場合、`qna-transformers` モジュールの起動を待ってから Weaviate を起動します（既定: `true`）。(`v1.25.27`, `v1.26.12`, `v1.27.7` で利用可能) | `boolean` | `true` | +| `RERANKER_WAIT_FOR_STARTUP` | `true` の場合、`reranker-transformers` モジュールの起動を待ってから Weaviate を起動します（既定: `true`）。(`v1.25.27`, `v1.26.12`, `v1.27.7` で利用可能) | `boolean` | `true` | +| `SUM_WAIT_FOR_STARTUP` | `true` の場合、`sum-transformers` モジュールの起動を待ってから Weaviate を起動します（既定: `true`）。(`v1.25.27`, `v1.26.12`, `v1.27.7` で利用可能) | `boolean` | `true` | +| `GPT4ALL_WAIT_FOR_STARTUP` | `true` の場合、`text2vec-gpt4all` モジュールの起動を待ってから Weaviate を起動します（既定: `true`）。(`v1.25.27`, `v1.26.12`, `v1.27.7` で利用可能) | `boolean` | `true` | +| `TRANSFORMERS_WAIT_FOR_STARTUP` | `true` の場合、`text2vec-transformers` モジュールの起動を待ってから Weaviate を起動します（既定: `true`）。(`v1.25.27`, `v1.26.12`, `v1.27.7` で利用可能) | `boolean` | `true` | +| `USAGE_GCS_BUCKET` | GCS バケット名（GCS 使用時は必須） | `string` | `my-weaviate-usage-bucket` | +| `USAGE_GCS_PREFIX` | GCS レポート用のオプションのオブジェクト プレフィックス | `string` | `usage-reports` | +| `USAGE_S3_BUCKET` | S3 バケット名（S3 使用時は必須） | `string` | `my-weaviate-usage-bucket` | +| `USAGE_S3_PREFIX` | S3 レポート用のオプションのオブジェクト プレフィックス | `string` | `usage-reports` | +| `RUNTIME_OVERRIDES_ENABLED` | ランタイム オーバーライド構成を有効にします。 | `boolean` | `true` | +| `RUNTIME_OVERRIDES_PATH` | ランタイム オーバーライド構成ファイルのパス | `string` | `${PWD}/tools/dev/config.runtime-overrides.yaml` | +| `RUNTIME_OVERRIDES_LOAD_INTERVAL` | ランタイム オーバーライド構成のリロード間隔 | `duration` | `30s` | +| `USAGE_SCRAPE_INTERVAL` | 使用状況メトリクスを収集する間隔 | `duration` | `2h` | +| `USAGE_SHARD_JITTER_INTERVAL` | シャード ループのジッタ。多数のシャードがある場合にファイルシステムへの負荷を平準化するために使用します。 | `duration` | `100ms` | +| `USAGE_POLICY_VERSION` | オプションのポリシー バージョン | `string` | `2025-06-01` | +| `USAGE_VERIFY_PERMISSIONS` | 起動時にバケットの権限を検証します（オプトイン）。 | `boolean` | `false` | + + +```mdx-code-block +
v1.24 以降ではデフォルトは `true` です | +| `AUTHENTICATION_APIKEY_ALLOWED_KEYS` | 許可される API キー。
各キーは下記の特定ユーザー ID に対応します。 | `string - comma-separated list` | `jane-secret-key,ian-secret-key` | +| `AUTHENTICATION_APIKEY_ENABLED` | API キーを用いた認証を有効にします | `boolean` | `false` | +| `AUTHENTICATION_APIKEY_USERS` | API キーに基づくユーザー ID。
各 ID は上記の特定キーに対応します。 | `string - comma-separated list` | `jane@doe.com,ian-smith` | +| `AUTHENTICATION_DB_USERS_ENABLED` | 実行時の [ユーザー管理](/weaviate/configuration/rbac/manage-users.mdx) を許可します。デフォルト: `false` | `boolean` | `true` | +| `AUTHENTICATION_OIDC_CLIENT_ID` | OIDC クライアント ID | `string` | `my-client-id` | +| `AUTHENTICATION_OIDC_ENABLED` | OIDC ベースの認証を有効にします | `boolean` | `false` | +| `AUTHENTICATION_OIDC_GROUPS_CLAIM` | OIDC Groups Claim | `string` | `groups` | +| `AUTHENTICATION_OIDC_ISSUER` | OIDC トークン発行者 | `string - URL` | `https://myissuer.com` | +| `AUTHENTICATION_OIDC_USERNAME_CLAIM` | OIDC Username Claim | `string` | `email` | +| `AUTHORIZATION_ADMINLIST_ENABLED` | AdminList 認可方式を有効にします（`AUTHORIZATION_RBAC_ENABLED` との併用不可） | `boolean` | `true` | +| `AUTHORIZATION_ADMINLIST_USERS` | AdminList 方式使用時に管理者権限を持つユーザー | `string - comma-separated list` | `jane@example.com,john@example.com` | +| `AUTHORIZATION_ADMINLIST_READONLY_USERS` | AdminList 方式使用時に読み取り専用権限を持つユーザー | `string - comma-separated list` | `alice@example.com,dave@example.com` | + +```mdx-code-block +
- `LeaderOnly` (デフォルト): 常にリーダーノードから定義を取得
- `LocalOnly`: 常にローカル定義を使用
- `LeaderOnMismatch`: 定義が古い場合に取得
v1.32 で追加 | `string - number` | `5` | +| `REPLICATION_MINIMUM_FACTOR` | クラスタ内のすべてのコレクションに適用される最小レプリケーションファクターです。 | `string - number` | `3` | +| `REPLICA_MOVEMENT_MINIMUM_ASYNC_WAIT` | ファイルコピー後、移動を確定する前に進行中の書き込みが完了するまで待機する時間です。デフォルト: `60` 秒
v1.32 で追加 | `string - number` | `90` | + +```mdx-code-block +
[メモリ使用量増加の可能性についてはこちら](/weaviate/concepts/replication-architecture/consistency#memory-and-performance-considerations-for-async-replication) | `string - number` | `10` | +| `ASYNC_REPLICATION_FREQUENCY` | ノード間で定期的にデータ比較を行う間隔（秒）。デフォルト: `30` | `string - number` | `60` | +| `ASYNC_REPLICATION_FREQUENCY_WHILE_PROPAGATING` | ノードが同期された後にデータ比較を行う間隔（ミリ秒）。デフォルト: `10` | `string - number` | `20` | +| `ASYNC_REPLICATION_ALIVE_NODES_CHECKING_FREQUENCY` | バックグラウンドプロセスがノードの可用性変化をチェックする間隔（秒）。デフォルト: `5` | `string - number` | `20` | +| `ASYNC_REPLICATION_LOGGING_FREQUENCY` | バックグラウンドプロセスがイベントをログ出力する間隔（秒）。デフォルト: `5` | `string - number` | `7` | +| `ASYNC_REPLICATION_DIFF_BATCH_SIZE` | ノード間でダイジェスト情報を比較する際のバッチサイズです。デフォルト: `1000`、最小: `1`、最大: `10000` | `string - number` | `2000` | +| `ASYNC_REPLICATION_DIFF_PER_NODE_TIMEOUT` | ノードが比較応答を返すまでのタイムアウト（秒）。デフォルト: `10` | `string - number` | `30` | +| `ASYNC_REPLICATION_PROPAGATION_TIMEOUT` | ノードが伝播応答を返すまでのタイムアウト（秒）。デフォルト: `30` | `string - number` | `60` | +| `ASYNC_REPLICATION_PROPAGATION_LIMIT` | 1 回の非同期レプリケーションで伝播できる未同期オブジェクトの上限です。デフォルト: `10000`、最小: `1`、最大: `1000000` | `string - number` | `5000` | +| `ASYNC_REPLICATION_PROPAGATION_DELAY` | 新規または更新済みオブジェクトを伝播する前に、非同期書き込みがシャード／テナントの全ノードに到達するまで待機する遅延時間です。デフォルト: `30` | `string - number` | `40` | +| `ASYNC_REPLICATION_PROPAGATION_CONCURRENCY` | オブジェクトをバッチ伝播するワーカー数です。デフォルト: `5`、最小: `1`、最大: `20` | `string - number` | `10` | +| `ASYNC_REPLICATION_PROPAGATION_BATCH_SIZE` | 1 バッチで伝播するオブジェクトの最大数です。デフォルト: `100`、最小: `1`、最大: `1000` | `string - number` | `200` | + +```mdx-code-block +
+
+
+3. **更新間隔を設定する**
+ `RUNTIME_OVERRIDES_LOAD_INTERVAL` 変数で、Weaviate が構成変更をチェックする頻度を定義します（デフォルトは `2m`）。
+
+4. **インスタンスを再起動する**
+ セットアップを完了するために、Weaviate インスタンスを再起動します。
+
+### 構成変数
+
+ランタイム構成管理を制御するために使用される環境変数は以下のとおりです。
+
+| Variable | Description | Type |
+| :-------------------------------- | :------------------------------------------------------------------------------ | :------------------- |
+| `RUNTIME_OVERRIDES_ENABLED` | 設定するとランタイム構成管理が有効になります。デフォルト: `false` | `boolean` |
+| `RUNTIME_OVERRIDES_PATH` | 構成オーバーライドファイルのパス。 | `string - file path` |
+| `RUNTIME_OVERRIDES_LOAD_INTERVAL` | 構成変更の有無を確認するリフレッシュ間隔。デフォルト: `2m` | `string - duration` |
+
+## ランタイムで設定可能な環境変数
+
+以下はランタイムで変更可能な環境変数と、オーバーライドファイルで使用すべき名前の一覧です。
+
+| Environment variable name | Runtime override name |
+| :---------------------------------- | :---------------------------------- |
+| `ASYNC_REPLICATION_DISABLED` | `async_replication_disabled` |
+| `AUTOSCHEMA_ENABLED` | `autoschema_enabled` |
+| `MAXIMUM_ALLOWED_COLLECTIONS_COUNT` | `maximum_allowed_collections_count` |
+
+各変数の詳細については、[Environment variables](./index.md) ページを参照してください。
+
+## 運用とモニタリング
+
+ランタイム構成は構成ファイルの変更を追跡する仕組みに基づいており、運用上の注意点がいくつかあります。
+無効なランタイム構成ファイル（例: 不正な YAML）で Weaviate を起動しようとすると、プロセスは起動に失敗し終了します。
+
+稼働中の Weaviate インスタンスでランタイム構成ファイルを変更し、その新しい構成が無効だった場合、Weaviate はメモリに保持している最後に有効な構成を引き続き使用します。エラーログとメトリクスにより、構成の読み込み失敗を確認できます。
+
+### メトリクス
+
+Weaviate はランタイム構成の状態を監視するため、次の [メトリクス](../../configuration/monitoring.md) を提供します。
+
+| Metric Name | Description |
+| :------------------------------------------ | :------------------------------------------------------------------------------------------------------- |
+| `weaviate_runtime_config_last_load_success` | 直近の読み込みが成功したかを示します（成功で `1`、失敗で `0`）。 |
+| `weaviate_runtime_config_hash` | 現在アクティブなランタイム構成のハッシュ値。新しい構成が適用されたかを追跡するのに便利です。 |
+
+### ログ
+
+Weaviate はランタイム構成の変更を監視し、問題をトラブルシュートするための詳細なログを提供します。
+
+#### 構成変更
+
+ランタイム構成値が正常に更新されると、`INFO` ログが出力されます。例:
+
+```
+runtime overrides: config 'MaximumAllowedCollectionsCount' changed from '-1' to '7' action=runtime_overrides_changed field=MaximumAllowedCollectionsCount new_value=7 old_value=-1
+```
+
+#### 構成検証エラー
+
+Weaviate が稼働中に無効な構成を検出すると、`ERROR` ログが出力されます。例:
+
+```
+loading runtime config every 2m failed, using old config: invalid yaml
+```
+
+### 障害モード
+
+ランタイム構成管理は、データ破損やサイレントフェイルを防ぐため「早期失敗（fail early, fail fast）」の原則に従います。
+
+1. **無効な構成での起動**
+ 無効なランタイム構成ファイルで Weaviate を起動しようとすると、プロセスは起動に失敗し終了します。これにより不正な設定で実行されることを防ぎます。
+
+2. **稼働中に構成が無効化**
+ Weaviate が稼働中にランタイム構成ファイルが無効になった場合:
+
+ - Weaviate はメモリに保持している最後に有効な構成を引き続き使用します
+ - エラーログとメトリクスが構成読み込み失敗を示します
+ - Weaviate がクラッシュまたはメモリ不足で停止した場合、構成が修正されるまで再起動に失敗します
+
+この設計により、ランタイムオーバーライドが失敗した際に環境変数のデフォルトに戻ることを防ぎ、意図しない動作やデータ問題を回避します。
+
+例として、次のようなシナリオを考えます。
+
+1. 環境変数 `MAXIMUM_ALLOWED_COLLECTIONS_COUNT` が 10 に設定されている
+2. ランタイム構成 `MaximumAllowedCollectionsCount` で 4 にオーバーライドしている
+3. その後、ランタイム構成ファイルが無効になる
+4. Weaviate は稼働中、最後に有効だった値（4）を使用し続ける
+5. Weaviate がクラッシュすると、構成ファイルが修正されるまで再起動に失敗する
+6. これによりデフォルト値（10）で起動してしまう誤動作を防ぐ
+
+このため、提供されているメトリクスとログを基にしたモニタリングとアラート設定を行い、構成問題を早期に検知・解決できるようにしておくことが重要です。
+
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/deploy/configuration/horizontal-scaling.mdx b/i18n/ja/docusaurus-plugin-content-docs/current/deploy/configuration/horizontal-scaling.mdx
new file mode 100644
index 000000000..8edf30698
--- /dev/null
+++ b/i18n/ja/docusaurus-plugin-content-docs/current/deploy/configuration/horizontal-scaling.mdx
@@ -0,0 +1,375 @@
+---
+sidebar_label: Horizontal scaling
+title: 水平スケーリングのデプロイ戦略
+---
+
+import FilteredTextBlock from '@site/src/components/Documentation/FilteredTextBlock';
+import TabItem from '@theme/TabItem';
+import Tabs from '@theme/Tabs';
+import PyCode from '!!raw-loader!/_includes/code/howto/manage-data.collections.py';
+import PyCodeV3 from '!!raw-loader!/_includes/code/howto/manage-data.collections-v3.py';
+import TSCode from '!!raw-loader!/_includes/code/howto/manage-data.collections.ts';
+import TSCodeLegacy from '!!raw-loader!/_includes/code/howto/manage-data.collections-v2.ts';
+import JavaCode from '!!raw-loader!/_includes/code/howto/java/src/test/java/io/weaviate/docs/manage-data.classes.java';
+import GoCode from '!!raw-loader!/_includes/code/howto/go/docs/manage-data.classes_test.go';
+
+
+Weaviate には、デプロイをスケールさせるための 2 つの補完的な強み ― シャーディングとレプリケーション ― があります。
+シャーディングはデータを分割して複数ノードに分散させることで、単一マシンでは処理できないほど大きなデータセットを扱えるようにします。
+一方、レプリケーションはデータの冗長コピーを作成し、個々のノードが障害やメンテナンスで停止しても高可用性を維持します。
+どちらのスケーリング方式も単独で優れていますが、両者を組み合わせることで真の力を発揮します。
+
+これらの機能を活用し、大規模かつ堅牢なデプロイを構築する方法を見ていきましょう!
+
+## Scaling Methods
+
+
+
+### Replication
+
+レプリケーションはデータの冗長コピーを作成し、高可用性が必要な場合に役立ちます。
+
+
+
+### Sharding
+
+シャーディングはデータをノード間で分割し、単一ノードでは扱えない大規模データセットに対応します。
+
+
+
+
+### Choosing your strategy
+
+構成オーバーライドファイルの例
+ + ```yaml title="overrides.yaml" + maximum_allowed_collections_count: 8 + autoschema_enabled: true + async_replication_disabled: false + ``` + +| 要件 / 目的 | +シャーディング | +レプリケーション | +両方併用 | +主な検討事項 | +
|---|---|---|---|---|
| + 単一ノードでは収まらないデータセットを扱う + | +
+ はい
+ |
+
+ いいえ
+ |
+
+ はい
+ |
+
+
+
+ どれくらいのデータを保存しますか？ +
|
+
| + クエリスループットを向上させる + | +
+ たぶん*
+ |
+
+ はい
+ |
+
+ はい
+ |
+
+
+
+ 読み取り中心のワークロードですか？ +
|
+
| + データインポートを高速化する + | +
+ はい
+ |
+
+ いいえ
+ |
+
+ はい
+ |
+
+
+
+ インポート速度が優先事項ですか？ +
|
+
| + 高可用性を確保する + | +
+ いいえ
+ |
+
+ はい
+ |
+
+ はい
+ |
+
+
+
+ ダウンタイムを許容できますか？ +
|
+
| + ゼロダウンタイムのアップグレードを実現する + | +
+ いいえ
+ |
+
+ はい
+ |
+
+ はい
+ |
+
+
+
+ 継続運用はどれほど重要ですか？ +
|
+
| + リソース利用を最適化する + | +
+ はい
+ |
+
+ たぶん*
+ |
+
+ たぶん*
+ |
+
+
+
+ リソースが制約されていますか？ +
|
+
| + 地理的分散 + | +
+ いいえ
+ |
+
+ はい
+ |
+
+ はい
+ |
+
+
+
+ マルチリージョンサポートが必要ですか？ +
|
+
+
+ +### 認可と認証 + +export const authData = [ + { + title: "認証", + description: "デプロイのアクセス管理を構成します。", + link: "/deploy/configuration/authentication", + icon: "fas fa-shield-halved", + }, + { + title: "認可", + description: "ユーザーロールと権限を定義および管理します。", + link: "/deploy/configuration/authorization", + icon: "fas fa-user-shield", + }, + { + title: "RBAC の設定", + description: + "きめ細かな権限のために Role-Based Access Control を設定します。", + link: "/deploy/configuration/configuring-rbac", + icon: "fas fa-users-cog", + }, + { + title: "OIDC 構成", + description: + "Weaviate と安全に認証するために OpenID Connect を構成します。", + link: "/deploy/configuration/oidc", + icon: "fas fa-lock", + }, +]; + +
+
+ +### レプリケーション + +export const replicationData = [ + { + title: "レプリケーション", + description: + "高可用性とフォールトトレランスのためにノード間でデータをレプリケートします。", + link: "/deploy/configuration/replication", + icon: "fas fa-copy", + }, + { + title: "非同期レプリケーション", + description: + "分散クラスタ内のノード間で最終的な一貫性を確保します。", + link: "/deploy/configuration/async-rep", + icon: "fas fa-clone", + }, +]; + +
+
+ +### クラスタ情報 + +export const clusterInfoData = [ + { + title: "クラスタメタデータ", + description: "Weaviate クラスタに関するメタデータへアクセスし管理します。", + link: "/deploy/configuration/meta", + icon: "fas fa-info-circle", + }, + { + title: "モニタリング、メトリクス、ログ", + description: "Weaviate インスタンスの状態とヘルスを監視します。", + link: "/deploy/configuration/monitoring", + icon: "fas fa-chart-bar", + }, + { + title: "クラスタノードデータ", + description: "クラスタ内の各ノードに関するデータを表示および管理します。", + link: "/deploy/configuration/nodes", + icon: "fas fa-server", + }, + { + title: "ステータス", + description: "Weaviate インスタンスの状態とヘルスを監視します。", + link: "/deploy/configuration/status", + icon: "fas fa-heartbeat", + }, + { + title: "テレメトリー", + description: + "Weaviate のテレメトリーがどのように機能するかと、その構成方法を理解します。", + link: "/deploy/configuration/telemetry", + icon: "fas fa-chart-line", + }, +]; + +
+
+ + + +## 質問とフィードバック + +import DocsFeedback from "/_includes/docs-feedback.mdx"; + +
+
+
+## レプリカ移動の開始
+
+ソースノード、デスティネーションノード、コレクション名、シャード ID、そして操作タイプ ( `MOVE` または `COPY` ) を指定して、シャードレプリカを COPY または MOVE できます。
+
+Code output
+ +``` +Shards in 'MyReplicatedDocCollection': ['0QK7V2bbAHQ2', 'arxzWNklLIU7', 'w5OcBGbNvRt4'] +Nodes for shard '0QK7V2bbAHQ2': ['node3', 'node1'] +Nodes for shard 'arxzWNklLIU7': ['node1', 'node2'] +Nodes for shard 'w5OcBGbNvRt4': ['node2', 'node3'] +``` + +
+
+
+## レプリケーション操作のステータス確認
+
+シャードのレプリケーション操作は非同期で実行されます。操作のステータスを問い合わせることができ、完全な操作履歴を表示するオプションもあります。
+
+Code output
+ +``` +Replication initiated, ID: 32536c0e-09e1-4ea1-a2c5-e85af10a9d58 +``` + +
+ , errors=[])
+History for f771aae1-f3c4-4fac-bae6-90597e8c70bd: [ReplicateOperationStatus(state=, errors=[]), ReplicateOperationStatus(state=, errors=[])]
+```
+
+
+
+:::note
+移動操作は次のいずれかの状態になります:
+
+- `REGISTERED`
+- `HYDRATING`
+- `FINALIZING`
+- `DEHYDRATING`
+- `READY`
+- `CANCELLED`
+
+レプリケーション状態について詳しくは、[ 概念: レプリケーションアーキテクチャ ](/docs/weaviate/concepts/replication-architecture/consistency.md#replica-movement) を参照してください。
+
+:::
+
+## レプリケーション操作の一覧取得
+
+進行中および完了済みのすべての操作を一覧表示します。ノード、コレクション、シャードでフィルタリングできます。
+
+Code output
+ +``` +Status for f771aae1-f3c4-4fac-bae6-90597e8c70bd: ReplicateOperationStatus(state=
+
+
+## レプリケーション操作のキャンセル
+
+可能な場合、操作を停止します。正常にキャンセルされると、その状態は `CANCELLED` に変わります。
+
+コード出力
+ +``` +Total replication operations: 1 +Filtered operations for collection 'MyReplicatedDocCollection' on 'node3': 1 +``` + +
+
+
+
+#### Q2: AWS Marketplace で Weaviate をデプロイするにはどうすればよいですか？
+
+回答
+ +ほとんどの場合、ディスク容量が不足しています。Weaviate は、ディスク使用量が設定した閾値を超えると自動的に読み取り専用モードに切り替えて自己保護を行います。Weaviate が利用できるディスクサイズを増やし、その後読み取り専用ステータスをリセットしてください。 + +
+
+
+
+#### Q3: GCP Marketplace で Weaviate をデプロイするにはどうすればよいですか？
+
+回答
+ +こちらの [ページ](../installation-guides/aws-marketplace.md) で、AWS Marketplace を利用して Weaviate をデプロイするための手順をすべてご確認いただけます。 + +
+
+
+
+#### Q4: コレクション数の推奨上限はありますか？
+
+回答
+ +こちらの [ページ](../installation-guides/gcp-marketplace.md) で、GCP Marketplace を利用して Weaviate をデプロイするための手順をすべてご確認いただけます。 + +
+
+
+
+#### Q5: デプロイ時によく起こる問題は何ですか？
+
+回答
+ +20 以上のコレクションを作成する予定がある場合は、スケーリングとパフォーマンス向上のためにマルチテナンシーを検討することをお勧めします。 + +**追加情報:** [コレクションのスケーリング制限](/weaviate/starter-guides/managing-collections/collections-scaling-limits.mdx) + +
+
+
+
+#### Q6: Weaviate と他のデータベースの違いは何ですか？
+
+回答
+ +デプロイ時によく発生する問題には、次のようなものがあります。 + +- クラスターが `read-only` になる。 +- クエリ結果が一貫しない。 +- ノードがコンセンサスを維持できない。 +- コレクションを作り過ぎている。 + +#### 参考リソース + +詳細については、[トラブルシューティングページ](./troubleshooting.md) をご覧ください。一般的な問題への対処方法を確認できます。 + +
+
+
+
+#### Q7: オブジェクトを削除するとリソースはすぐに解放されますか？
+
+回答
+ +Weaviate には複雑な処理があるため、取り込みと削除には他のデータベースより多くのステップが必要です。ベクトル化を行うためデータ取り込みは従来のデータベースより時間がかかり、オブジェクト削除も埋め込みのコストがかかるため高価になります。 +
+
+
+
+#### Q8: クライアントタイムアウトとモジュールタイムアウトの違いは何ですか？
+
+回答
+ +いいえ、即時には解放されません。オブジェクトを削除するとトゥームストーンが作成され、データ削除とインデックスクリーンアップはバックグラウンドプロセスとして行われます。 + +
+
+
+
+## 質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+回答
+ +- **Client timeout:** クライアントと Weaviate サーバー間のタイムアウトです。 +- **Module timeout:** Weaviate が LLM やベクトライザーなどの外部モジュールと連携する際に発生するタイムアウトです。 + +
+
+
+
+### クエリ結果が一貫しない
+
+Answer
+ +#### 問題の特定 + +まずはクラスターのログを確認して、問題を特定します。ログに「read-only」や「disk space」といった文言が含まれている場合、ディスク容量不足によりクラスターが `read-only` 状態になっている可能性が高いです。 + +#### 解決方法 + +この謎を解くには、ノードの空きディスク容量を増やす必要があります。ディスク容量を増やした後、影響を受けたシャードまたはコレクションを手動で再度書き込み可能に設定してください。 +また、[`MEMORY_WARNING_PERCENTAGE`](/deploy/configuration/env-vars/index.md#MEMORY_WARNING_PERCENTAGE) 環境変数を設定すると、メモリ使用量が上限に近づいたときに警告を発することができます。 + +
+
+
+
+### ノードが通信・クラスタ参加・コンセンサス維持を行えない
+
+Answer
+ +#### 問題の特定 + +まず同じクエリを複数回実行して、結果が一貫しないことを確認します。結果の不一致が続く場合、デプロイで非同期レプリケーションが無効になっている可能性があります。 + +#### 解決方法 + +設定を確認し、非同期レプリケーションが有効かどうかを確かめてください。`async_replication_disabled` が "true" の場合は "false" に変更します。有効化すると、ログにノード間のピアチェックと同期が成功した旨のメッセージが表示されます。 + +
+
+live と ready の REST エンドポイント をテストし、ノードのネットワーク設定を確認してください。
+
+
+
+### ダウングレード後、クラスターが `Ready` 状態に到達しない
+
+Answer
+ +#### 問題の特定 + +まず同じクエリを複数回実行して、結果が一貫しないことを確認します。結果の不一致が続く場合、デプロイで非同期レプリケーションが無効になっている可能性があります。 + +#### 解決方法 + +設定を確認し、非同期レプリケーションが有効かどうかを確かめてください。`async_replication_disabled` が "true" の場合は "false" に変更します。有効化すると、ログにノード間のピアチェックと同期が成功した旨のメッセージが表示されます。 +さらに、
+
+
+
+Vector Land での冒険を続ける中で、熟練したベクトル探偵でも時には不可解な事件に遭遇するものです。すべてのエラーメッセージの背後には、Weaviate を最適に運用するための手がかりが隠れています！
+
+## 質問とフィードバック
+
+import DocsFeedback from '/\_includes/docs-feedback.mdx';
+
+Answer
+ +#### 問題の特定 + +`1.28.13+`、`1.29.5+`、または `1.30.2+` を実行している複数ノードのインスタンスを、`1.27.26` より前の `v1.27.x` バージョンにダウングレードした場合に発生します。 + +#### 解決方法 + +Weaviate を `v1.27.x` へダウングレードする必要がある場合は、`1.27.26` 以上を使用してください。 + +- [移行ガイド](../migration/index.md) + +
+
+
+
+
+## インストール手順
+
+1. Weaviate の [AWS Marketplace リスティング](https://aws.amazon.com/marketplace/pp/prodview-ng2dfhb4yjoic?sr=0-3&ref_=beagle&applicationId=AWSMPContessa) にアクセスします。
+1. ページの指示に従って製品を購読します。
+ 1. View Purchase Options をクリックし、次のページに進みます。
+ 2. 価格と利用規約を確認し、Subscribe をクリックします。
+その後、Weaviate Cloud でアカウントを設定するように求められます。
+
+:::info
+
+
+
+
+:::
+
+### 課金
+
+Weaviate の料金は AWS から直接請求されます。
+
+:::warning
+
+Weaviate AWS Marketplace サブスクリプションをキャンセルすると、Weaviate の組織とそのクラスターは Weaviate によって削除されます。
+
+:::
+
+### その他の Marketplace 製品
+
+- [Weaviate serverless cloud](https://aws.amazon.com/marketplace/pp/prodview-ng2dfhb4yjoic?sr=0-2&ref_=beagle&applicationId=AWSMPContessa)
+- [Weaviate enterprise cloud](https://aws.amazon.com/marketplace/pp/prodview-27nbweprm7hha?sr=0-3&ref_=beagle&applicationId=AWSMPContessa)
+
+
+## 質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+補足情報
+ +- AWS Marketplace から Weaviate Serverless Cloud をデプロイすると、AWS 顧客向けに特別に構築された Software as a Service (SaaS) ソリューションにサブスクライブしたことになります。 + +- Weaviate のサーバーレスクラスターが利用可能になると、AWS から通知が届きます。 + +**このソリューションが最適なケース:** + +- AWS 請求統合が必要な組織 +- リージョンを指定したデプロイが必要な規制要件を持つ組織 + +
+
+
+:::note Port number conventions
+Weaviate では `CLUSTER_GOSSIP_BIND_PORT` より 1 大きい値を `CLUSTER_DATA_BIND_PORT` に設定するのが慣例です。
+:::
+
+## シェルのアタッチオプション
+
+`docker compose up` の出力はすべてのコンテナのログにアタッチするため、かなり冗長になります。
+
+代わりに次のコマンドを実行すると、Weaviate 自身のログのみにアタッチできます。
+
+```bash
+# Run Docker Compose
+docker compose up -d && docker compose logs -f weaviate
+```
+
+あるいは、`docker compose up -d` で完全にデタッチして起動し、`{bindaddress}:{port}/v1/meta` をステータス `200 OK` を受け取るまでポーリングする方法もあります。
+
+
+
+## トラブルシューティング
+
+### `CLUSTER_HOSTNAME` の変動に備えた設定
+
+システムによっては、クラスターのホスト名が時間とともに変わる場合があります。これは単一ノードの Weaviate デプロイで問題を引き起こすことが知られています。これを回避するために、`values.yaml` ファイルで `CLUSTER_HOSTNAME` 環境変数をクラスターのホスト名に設定してください。
+
+```yaml
+---
+services:
+ weaviate:
+ # ...
+ environment:
+ CLUSTER_HOSTNAME: 'node1'
+...
+```
+
+## 関連ページ
+
+- Docker が初めての方は [Weaviate ユーザーのための Docker 入門](https://weaviate.io/blog/docker-and-containers-with-weaviate) をご覧ください。
+
+## 質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+3 ノードのレプリケーション構成用 Docker Compose ファイル
+ +```yaml +services: + weaviate-node-1: + init: true + command: + - --host + - 0.0.0.0 + - --port + - '8080' + - --scheme + - http + image: cr.weaviate.io/semitechnologies/weaviate:||site.weaviate_version|| + ports: + - 8080:8080 + - 6060:6060 + - 50051:50051 + restart: on-failure:0 + volumes: + - ./data-node-1:/var/lib/weaviate + environment: + LOG_LEVEL: 'debug' + QUERY_DEFAULTS_LIMIT: 25 + AUTHENTICATION_ANONYMOUS_ACCESS_ENABLED: 'true' + PERSISTENCE_DATA_PATH: '/var/lib/weaviate' + ENABLE_API_BASED_MODULES: 'true' + CLUSTER_HOSTNAME: 'node1' + CLUSTER_GOSSIP_BIND_PORT: '7100' + CLUSTER_DATA_BIND_PORT: '7101' + RAFT_JOIN: 'node1,node2,node3' + RAFT_BOOTSTRAP_EXPECT: 3 + + weaviate-node-2: + init: true + command: + - --host + - 0.0.0.0 + - --port + - '8080' + - --scheme + - http + image: cr.weaviate.io/semitechnologies/weaviate:||site.weaviate_version|| + ports: + - 8081:8080 + - 6061:6060 + - 50052:50051 + restart: on-failure:0 + volumes: + - ./data-node-2:/var/lib/weaviate + environment: + LOG_LEVEL: 'debug' + QUERY_DEFAULTS_LIMIT: 25 + AUTHENTICATION_ANONYMOUS_ACCESS_ENABLED: 'true' + PERSISTENCE_DATA_PATH: '/var/lib/weaviate' + ENABLE_API_BASED_MODULES: 'true' + CLUSTER_HOSTNAME: 'node2' + CLUSTER_GOSSIP_BIND_PORT: '7102' + CLUSTER_DATA_BIND_PORT: '7103' + CLUSTER_JOIN: 'weaviate-node-1:7100' + RAFT_JOIN: 'node1,node2,node3' + RAFT_BOOTSTRAP_EXPECT: 3 + + weaviate-node-3: + init: true + command: + - --host + - 0.0.0.0 + - --port + - '8080' + - --scheme + - http + image: cr.weaviate.io/semitechnologies/weaviate:||site.weaviate_version|| + ports: + - 8082:8080 + - 6062:6060 + - 50053:50051 + restart: on-failure:0 + volumes: + - ./data-node-3:/var/lib/weaviate + environment: + LOG_LEVEL: 'debug' + QUERY_DEFAULTS_LIMIT: 25 + AUTHENTICATION_ANONYMOUS_ACCESS_ENABLED: 'true' + PERSISTENCE_DATA_PATH: '/var/lib/weaviate' + ENABLE_API_BASED_MODULES: 'true' + CLUSTER_HOSTNAME: 'node3' + CLUSTER_GOSSIP_BIND_PORT: '7104' + CLUSTER_DATA_BIND_PORT: '7105' + CLUSTER_JOIN: 'weaviate-node-1:7100' + RAFT_JOIN: 'node1,node2,node3' + RAFT_BOOTSTRAP_EXPECT: 3 +``` + +
+
+
+
+
+### 手順
+
+1. Weaviate の [AWS Marketplace リスティング](https://aws.amazon.com/marketplace/pp/prodview-5h4od6j4wtcrw?sr=0-4&ref_=beagle&applicationId=AWSMPContessa) に移動します。
+1. ページの指示に従って製品をサブスクライブします。
+1. "View Purchase Options" をクリックし、次のページへ進みます。
+1. 既定では契約期間は 1 か月ですが、"auto-renew" を選択して契約を自動更新できます。
+1. 既定では m7g.medium の EC2 インスタンスが使用されます。
+1. "Create contract" をクリックすると契約が作成されます。
+1. "Continue to configuration" をクリックして次のページへ進みます。
+1. "ECS" をクリックし、"Quick launch the template" を選択して設定を開始します。
+1. このページで "stack name" を作成し、既存の VPC を選択し、サブネットを選択し、必要に応じてタグを追加します。
+1. CloudFormation テンプレートの設定が完了したら、確認のチェックボックスをオンにします。
+1. "Create stack" をクリックすると CloudFormation テンプレートがデプロイされます。
+ AWS からスタックが作成されたことが通知されます。
+
+## インスタンスの削除
+
+CloudFormation スタックを削除することでクラスターを削除できます。
+
+### いくつかのリソースは手動での削除が必要になる場合があります
+
+:::caution
+使用していないリソースがすべて削除されていることを確認してください。未削除のリソースは引き続き料金が発生します。
+:::
+
+#### ヒント
+
+- CloudFormation スタックが "DELETE_FAILED" と表示される場合、それらのリソースの削除を再試行できることがあります。
+- CloudFormation スタックの `Resources` タブを確認し、削除されていないリソースを探します。
+
+### 請求
+
+Weaviate と関連リソースの料金は AWS から直接請求されます。
+
+### その他の Marketplace オファリング
+
+- [Weaviate serverless cloud](https://aws.amazon.com/marketplace/pp/prodview-ng2dfhb4yjoic?sr=0-2&ref_=beagle&applicationId=AWSMPContessa)
+- [Weaviate enterprise cloud](https://aws.amazon.com/marketplace/pp/prodview-27nbweprm7hha?sr=0-3&ref_=beagle&applicationId=AWSMPContessa)
+
+
+## 質問とフィードバック
+
+import DocsFeedback from '/\_includes/docs-feedback.mdx';
+
+
+
+
+## インストール手順
+
+### 動画
+
+動画をご覧になりたい場合は、以下のウォークスルーをご参照ください。2023 年 9 月に収録されており、一部詳細が変更されている可能性があります。
+
++ どのリソースが作成・インストールされるのか？ +
+ +以下のリソースがセットアップされます。 + +- 単一ノードグループを持つ EKS クラスター + - デフォルト VPC、または CIDR 10.0.0.0/16 の新規 VPC +- EKS 用 Load Balancer Controller +- EKS 用 aws-ebs-csi-driver +- 選択した最新版の Weaviate（例: `1.20` を選択した場合は `1.20.3`） + - 公式 Helm chart を使用してインストールされます + +
+
+ +
+
+### AWS Marketplace
+
+1. Weaviate の [AWS Marketplace リスティング](https://aws.amazon.com/marketplace/pp/prodview-cicacyv63r43i) へアクセス
+1. ページの案内に従って AWS Marketplace で本製品を購読します。（2023 年 8 月現在の手順）
+ 1. Continue to Subscribe をクリックして次のページへ
+ 1. Continue to Configuration をクリックして次のページへ
+ 1. 一覧から Fulfillment オプションとソフトウェアバージョンを選択し、Continue to Launch をクリック
+1. CloudFormation テンプレートを使用してソフトウェアを起動します（希望するアベイラビリティゾーン用のテンプレートを下表から選択）。
+
+| Region | CloudFormation テンプレートリンク（アベイラビリティゾーン別） |
+| ------ | ---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- |
+| AP | [ap-northeast-1](https://ap-northeast-1.console.aws.amazon.com/cloudformation/home?region=ap-northeast-1#/stacks/quickcreate?templateURL=https://weaviate-aws-marketplace.s3.amazonaws.com/cdk-assets/latest/WeaviateEKS.template.json); [ap-northeast-2](https://ap-northeast-2.console.aws.amazon.com/cloudformation/home?region=ap-northeast-2#/stacks/quickcreate?templateURL=https://weaviate-aws-marketplace.s3.amazonaws.com/cdk-assets/latest/WeaviateEKS.template.json); [ap-northeast-3](https://ap-northeast-3.console.aws.amazon.com/cloudformation/home?region=ap-northeast-3#/stacks/quickcreate?templateURL=https://weaviate-aws-marketplace.s3.amazonaws.com/cdk-assets/latest/WeaviateEKS.template.json); [ap-south-1](https://ap-south-1.console.aws.amazon.com/cloudformation/home?region=ap-south-1#/stacks/quickcreate?templateURL=https://weaviate-aws-marketplace.s3.amazonaws.com/cdk-assets/latest/WeaviateEKS.template.json); [ap-southeast-1](https://ap-southeast-1.console.aws.amazon.com/cloudformation/home?region=ap-southeast-1#/stacks/quickcreate?templateURL=https://weaviate-aws-marketplace.s3.amazonaws.com/cdk-assets/latest/WeaviateEKS.template.json); [ap-southeast-2](https://ap-southeast-2.console.aws.amazon.com/cloudformation/home?region=ap-southeast-2#/stacks/quickcreate?templateURL=https://weaviate-aws-marketplace.s3.amazonaws.com/cdk-assets/latest/WeaviateEKS.template.json) |
+| CA | [ca-central-1](https://ca-central-1.console.aws.amazon.com/cloudformation/home?region=ca-central-1#/stacks/quickcreate?templateURL=https://weaviate-aws-marketplace.s3.amazonaws.com/cdk-assets/latest/WeaviateEKS.template.json) |
+| EU | [eu-central-1](https://eu-central-1.console.aws.amazon.com/cloudformation/home?region=eu-central-1#/stacks/quickcreate?templateURL=https://weaviate-aws-marketplace.s3.amazonaws.com/cdk-assets/latest/WeaviateEKS.template.json); [eu-north-1](https://eu-north-1.console.aws.amazon.com/cloudformation/home?region=eu-north-1#/stacks/quickcreate?templateURL=https://weaviate-aws-marketplace.s3.amazonaws.com/cdk-assets/latest/WeaviateEKS.template.json); [eu-west-1](https://eu-west-1.console.aws.amazon.com/cloudformation/home?region=eu-west-1#/stacks/quickcreate?templateURL=https://weaviate-aws-marketplace.s3.amazonaws.com/cdk-assets/latest/WeaviateEKS.template.json); [eu-west-2](https://eu-west-2.console.aws.amazon.com/cloudformation/home?region=eu-west-2#/stacks/quickcreate?templateURL=https://weaviate-aws-marketplace.s3.amazonaws.com/cdk-assets/latest/WeaviateEKS.template.json); [eu-west-3](https://eu-west-3.console.aws.amazon.com/cloudformation/home?region=eu-west-3#/stacks/quickcreate?templateURL=https://weaviate-aws-marketplace.s3.amazonaws.com/cdk-assets/latest/WeaviateEKS.template.json) |
+| SA | [sa-east-1](https://sa-east-1.console.aws.amazon.com/cloudformation/home?region=sa-east-1#/stacks/quickcreate?templateURL=https://weaviate-aws-marketplace.s3.amazonaws.com/cdk-assets/latest/WeaviateEKS.template.json) |
+| US | [us-east-1](https://us-east-1.console.aws.amazon.com/cloudformation/home?region=us-east-1#/stacks/quickcreate?templateURL=https://weaviate-aws-marketplace.s3.amazonaws.com/cdk-assets/latest/WeaviateEKS.template.json); [us-east-2](https://us-east-2.console.aws.amazon.com/cloudformation/home?region=us-east-2#/stacks/quickcreate?templateURL=https://weaviate-aws-marketplace.s3.amazonaws.com/cdk-assets/latest/WeaviateEKS.template.json); [us-west-1](https://us-west-1.console.aws.amazon.com/cloudformation/home?region=us-west-1#/stacks/quickcreate?templateURL=https://weaviate-aws-marketplace.s3.amazonaws.com/cdk-assets/latest/WeaviateEKS.template.json); [us-west-2](https://us-west-2.console.aws.amazon.com/cloudformation/home?region=us-west-2#/stacks/quickcreate?templateURL=https://weaviate-aws-marketplace.s3.amazonaws.com/cdk-assets/latest/WeaviateEKS.template.json) |
+
+### 設定とクラスター作成
+
+:::info 開始前の注意点
+
+#### 起動後に変更できない設定があります
+
+起動後に変更できない設定もあります。例として以下は現在変更できません。
+
+- weaviatePVCSize
+- albDriver
+- ebsDriver
+- vpcUseDefault
+
+#### 変更によりクラスターが再作成される設定があります
+
+- インスタンスタイプを変更すると、ノードプールが再作成されます。
+
+#### 推奨設定
+
+- 既定値は大半のケースで適切です。
+- `weaviatePVCSize`: 本番環境では StatefulSet ポッドあたり少なくとも 500GB を推奨します（開発環境ではより小さいディスクでも可）。
+- `weaviateAuthType`: Weaviate を匿名アクセスで実行しないことを推奨します。`apikey` を設定し、例えば `pwgen -A -s 32` で生成したランダム文字列をキーとして設定してください。
+
+:::
+
+CloudFormation テンプレートを開くと、以下のようなオプションが表示されます。
+
+ここで以下を設定できます。
+
+1. AWS でスタックを識別するための `stack name`（必須）
+1. Weaviate／AWS の各種パラメーター
+ - ノード数
+ - インスタンスタイプ
+ - Weaviate 認証パラメーター
+1. 必要なリソースを確認し、Create stack へ進む
+ - このテンプレートでは追加のリソースと権限が必要になる場合があります
+
+Create stack をクリックすると、作成にはおよそ 30 分程度かかる場合があります。
+
+`Events` タブで個々のリソースの状態を確認できます。スタックの作成が完了すると、ステータスは `✅ CREATE_COMPLETE` に変わります。
+
+## クラスターへのアクセス
+
+スタック作成後、[`kubectl`](https://kubernetes.io/docs/tasks/tools/) を使ってクラスターに、ロードバランサーを使って Weaviate にアクセスできます。
+
+### `kubectl` を使った操作
+
+以下のコマンドを実行すると、Weaviate クラスター用の kubeconfig ファイルを更新または作成できます。
+
+```
+aws eks update-kubeconfig --name [cluster-name] --region [aws-region]--role-arn arn:aws:iam::[AccountID]:role/[StackName]-MastersRole[XX]
+```
+
+:::tip kubectl コマンドの場所
+正確なコマンドは CloudFormation スタックの `Outputs` タブにある `EKSClusterConfigCommand` 出力で確認できます。
+:::
+
+設定が完了したら、通常どおり `kubectl` コマンドを実行できます。例:
+
+- `kubectl get pods -n weaviate` — `weaviate` ネームスペース内のポッド一覧
+- `kubectl get svc --all-namespaces` — すべてのネームスペースのサービス一覧
+
+
+
+### Weaviate URL の確認
+
+スタックが作成されたら、ロードバランサーの URL から Weaviate にアクセスできます。
+
+Weaviate のエンドポイント URL は次の方法で確認できます。
+
+- AWS の `Services` セクションで `EC2` > `Load Balancers` に移動し、対象のロードバランサーの `DNS name` 列を確認します。
+- `kubectl get svc -n weaviate` を実行し、`weaviate` サービスの `EXTERNAL-IP` を確認します。
+
+ロードバランサーの URL（例: `a520f010285b8475eb4b86095cabf265-854109584.eu-north-1.elb.amazonaws.com`）が Weaviate の URL（例: `http://a520f010285b8475eb4b86095cabf265-854109584.eu-north-1.elb.amazonaws.com`）となります。
+
+## クラスターの削除
+
+CloudFormation スタックを削除すると、クラスターも削除されます。
+
+ :::caution
+ この操作により Weaviate 内のデータが削除されます。データを保持したい場合は、クラスターを削除する前にバックアップやエクスポートを行ってください。
+:::
+
+### 一部のリソースは手動削除が必要な場合があります
+
+:::caution
+未使用リソースがすべて削除されたことを確認してください。削除されていないリソースには費用が発生し続けます。
+:::
+
+CloudFormation スタックを削除しても、自動的に削除されない AWS リソースが存在する場合があります。たとえば、EBS ボリュームや Key Management Service (KMS) キーが削除されないことがあります。
+
+これらは手動で削除する必要があります。
+
+#### ヒント
+
+- CloudFormation スタックが "DELETE_FAILED" と表示された場合、該当リソースの削除を再実行できる場合があります。
+- CloudFormation スタックの `Resources` タブを確認し、削除されていないリソースを特定してください。
+- Key Management Service (KMS) キーは KMS コンソールから手動で削除できます。キーの削除をスケジュールする必要がある場合があります。
+
+## 課金
+
+Weaviate および関連リソースの費用は AWS から直接請求されます。
+
+たとえば、EC2 インスタンス、EBS ボリューム、その他クラスターで使用されるリソースが含まれます。
+
+### その他のマーケットプレイス製品
+
+- [Weaviate serverless cloud](https://aws.amazon.com/marketplace/pp/prodview-ng2dfhb4yjoic?sr=0-2&ref_=beagle&applicationId=AWSMPContessa)
+- [Weaviate enterprise cloud](https://aws.amazon.com/marketplace/pp/prodview-27nbweprm7hha?sr=0-3&ref_=beagle&applicationId=AWSMPContessa)
+
+
+## 質問とフィードバック
+
+import DocsFeedback from '/\_includes/docs-feedback.mdx';
+
++ 動画: AWS Marketplace で Weaviate を実行する方法 +
+ ++ +
+
+
+AWS policies needed
+ +EKS クラスターを作成し操作するための十分な権限を持っていることを確認してください。 +以下のポリシーがあれば、クラスターを作成するための権限が適切に付与されます。 + +- eks:CreateCluster +- eks:DescribeCluster +- eks:ListClusters +- eks:UpdateClusterConfig +- eks:DeleteCluster +- iam:CreateRole +- iam:AttachRolePolicy +- iam:PutRolePolicy +- iam:GetRole +- iam:ListRolePolicies +- iam:ListAttachedRolePolicies +- ec2:DescribeSubnets +- ec2:DescribeVpcs +- ec2:DescribeSecurityGroups +- ec2:CreateSecurityGroup +- ec2:AuthorizeSecurityGroupIngress +- ec2:RevokeSecurityGroupIngress +- cloudformation:CreateStack +- cloudformation:DescribeStacks +- cloudformation:UpdateStack +- cloudformation:DeleteStack +- ec2:CreateTags +- ec2:DescribeInstances +- ec2:DescribeNetworkInterfaces +- ec2:DescribeAvailabilityZones + +
+
+
+
+
+#### ツールの確認
+
+開始する前に、以下のツールがインストールされていることを確認してください:
+
+```bash
+helm version
+aws --version
+kubectl version
+eksctl version
+```
+
+
+
+### ステップ 1: クラスター作成
+
+クラスターを作成するには、任意の名前 (例: `eks-cluster.yaml`) で `yaml` ファイルを用意します。
+
+```yaml
+apiVersion: eksctl.io/v1alpha5
+kind: ClusterConfig
+metadata:
+ name: `XDG_CACHE_HOME` が設定されている場合のデフォルト: `XDG_CACHE_HOME/weaviate-embedded/`
`XDG_CACHE_HOME` が設定されていない場合のデフォルト: `~/.cache/weaviate-embedded` | +| `hostname` | string | 127.0.0.1 | ホスト名または IP アドレス | +| `persistence_data_path` | string | 可変 | データ保存ディレクトリ。
`XDG_DATA_HOME` が設定されている場合のデフォルト: `XDG_DATA_HOME/weaviate/`
`XDG_DATA_HOME` が設定されていない場合のデフォルト: `~/.local/share/weaviate` | +| `port` | integer | 8079 | Weaviate サーバーのリクエストポート | +| `version` | string | 最新安定版 | 次のいずれかでバージョンを指定します。
- `"latest"`
- バージョン番号文字列: `"1.19.6"`
- Weaviate バイナリの URL（[下記参照](/deploy/installation-guides/embedded.md#file-url)） | + +:::warning `XDG_CACHE_HOME` または `XDG_DATA_HOME` を変更しないでください +`XDG_DATA_HOME` と `XDG_CACHE_HOME` の環境変数は多くのシステムで使用されています。これらを変更すると、他のアプリケーションが正常に動作しなくなる可能性があります。 +::: + +## デフォルトモジュール + +次のモジュールがデフォルトで有効になっています: +- `generative-openai` +- `qna-openai` +- `ref2vec-centroid` +- `text2vec-cohere` +- `text2vec-huggingface` +- `text2vec-openai` + +追加のモジュールを有効にするには、インスタンス生成コードにモジュールを追加してください。 + +たとえば、`backup-s3` モジュールを追加する場合は次のようにクライアントを生成します。 + +import EmbeddedInstantiationModule from '/_includes/code/embedded.instantiate.module.mdx'; + +
+
+
+
+
+## インストール手順
+
+1. Weaviate の [Google Cloud Marketplace のリスティング](https://console.cloud.google.com/marketplace/product/weaviate-gcp-mktplace/weaviate) ページに移動し、Subscribe をクリックします。
+1. 画面の指示に従って Weaviate を構成してデプロイします。
+
+完了すると、[Weaviate サーバーレス クラウド](/cloud/index.mdx) がデプロイされます。
+
+:::info
+
+
+
+
+:::
+
+## 課金
+
+Weaviate と関連リソースの料金は Google Cloud から直接請求されます。
+
+:::warning
+
+Weaviate GCP Marketplace のサブスクリプションを解約すると、Weaviate によりお客様の Weaviate 組織およびそのクラスタが削除されます。
+
+:::
+
+## 質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+背景情報
+ +- GCP Marketplace から Weaviate Serverless Cloud をデプロイすると、GCP のお客様向けに構築された Software as a Service ( SaaS ) ソリューションにサブスクライブすることになります。 +- Weaviate サーバーレス クラスタが利用可能になると、GCP から通知が届きます。 + +**このソリューションは次のようなケースに最適です:** + +- GCP の請求連携が必要な組織 +- 規制要件により特定のリージョンでのデプロイが必要な組織 + +
+
+
+
+
+
+## インストール手順
+
+大まかな流れは次のとおりです。
+
+1. Weaviate の Google Cloud Marketplace のリストページに移動し、Configure をクリックします。
+1. 画面の指示に従って Weaviate を設定してデプロイします。
+
+
+
+以下でこれらの手順を詳しく説明します。
+
+### 設定オプション
+
+:::info 開始する前に
+
+
+
+#### 推奨設定
+
+- `Global Query limit`、`Modules`、`Storage Size` などのデフォルト値は多くの場合そのままで問題ありません。
+- `Storage size`: 本番環境では 1 ポッドあたり少なくとも 500GB を推奨します。(開発環境ではより小さいディスクでも十分な場合があります。)
+
+
+:::
+
+デプロイページに進むと、さまざまなオプションが表示されます。
+
+1. Weaviate をデプロイする GKE クラスターを選択します。
+ 1. 任意で、新しいクラスターを作成してそれを指定することもできます。
+1. `namespace` (クラスターリソースを分割するため) と、アプリケーションを識別する一意の `app instance name` を設定します。
+1. アプリインスタンス名を設定します。
+1. 請求用のサービスアカウントを設定します。
+1. `Replicas of Weaviate Instances`、`Global Query Limit`、`Enable Modules`、`Storage Size` などの Weaviate パラメーターを設定します。
+
+1. 内容に同意する場合は、利用規約を承諾し、Deploy をクリックします。
+
+これで Weaviate が選択したクラスターにデプロイされます。数分かかる場合があります。
+
+## クラスターへのアクセス
+
+アプリケーションが作成されると、ロードバランサー経由でクラスターにアクセスできます。
+
+`kubectl` を使用するか、Weaviate API 経由でクラスターと対話できます。以下に例を示します。
+
+### `kubectl` での操作
+
+次のコマンドを実行すると、Weaviate クラスター用の kubeconfig ファイルが更新または作成されます。
+
+```
+gcloud container clusters get-credentials [YOUR_CLUSTER_NAME] --zone [YOUR_GC_ZONE] --project [YOUR_GC_PROJECT]
+```
+
+:::tip kubectl コマンドの見つけ方
+正確なコマンドは Kubernetes Engine ページで、対象クラスターの縦三点リーダ ( ) をクリックし、Connect を選択すると確認できます。
+:::
+
+設定が完了したら、通常どおり `kubectl` コマンドを実行できます。例えば
+- `kubectl get pods -n default` で `default` ネームスペース (または指定したネームスペース) 内のすべての Pod を一覧表示します。
+- `kubectl get svc --all-namespaces` で全ネームスペースの Service を一覧表示します。
+
+
+ 443/TCP 11m
+default kubernetes ClusterIP 10.24.0.1 443/TCP 11m
+default weaviate LoadBalancer 10.24.13.245 34.173.96.14 80:30664/TCP 8m38s
+default weaviate-headless ClusterIP None 80/TCP 8m38s
+gmp-system alertmanager ClusterIP None 9093/TCP 10m
+gmp-system gmp-operator ClusterIP 10.24.12.8 8443/TCP,443/TCP 10m
+kalm-system kalm-controller-manager-service ClusterIP 10.24.7.189 443/TCP 11m
+kube-system default-http-backend NodePort 10.24.12.61 80:32508/TCP 10m
+kube-system kube-dns ClusterIP 10.24.0.10 53/UDP,53/TCP 11m
+kube-system metrics-server ClusterIP 10.24.13.204 443/TCP
+```
+
+ここでは、外部からアクセス可能な Weaviate の IP は `34.173.96.14` です。
+
+
+
+### Weaviate URL の確認
+
+アプリケーションが作成されたら、ロードバランサーの URL から Weaviate にアクセスできます。
+
+Weaviate のエンドポイント URL は次のいずれかの方法で確認できます:
+
+- Google Cloud の `Kubernetes Engine` セクションで `Service & Ingress` を開き、ロードバランサーを探して `Endpoints` 列を確認します。
+- `kubectl get svc -n [YOUR_NAMESPACE_NAME]` を実行し、`weaviate` Service の `EXTERNAL-IP` を確認します。
+
+ロードバランサーの URL (例: `34.38.6.240`) がそのまま Weaviate の URL (例: `http://34.38.6.240`) になります。
+
+## Weaviate とクラスターの削除
+
+:::caution
+未使用のリソースがすべて削除されていることを確認してください。残っているリソースについてはコストが発生し続けます。
+:::
+
+### Weaviate の削除
+
+Weaviate と関連サービスを削除するには、 Google Cloud の `Kubernetes Engine` の `Applications` セクションに移動し、 Weaviate デプロイメントを削除します。
+
+`Services & Ingress` セクションおよび `Storage` セクションも確認し、関連するサービスとストレージがすべて削除されたことを確認してください。残っているリソースがある場合は、手動で削除する必要があります。
+
+### クラスターの削除
+
+クラスターが不要になった場合 (例: Weaviate 用に新しいクラスターを作成した場合) は、 Google Cloud の `Kubernetes Engine` の `Applications` セクションからクラスターを削除できます。リストからクラスターを選択し、 DELETE をクリックして、表示される指示に従って削除してください。
+
+## 課金
+
+Weaviate と関連リソースの料金は Google Cloud から直接請求されます。
+
+たとえば、コンピュートインスタンス、ボリューム、およびクラスターで使用されるその他のリソースが含まれます。
+
+## 質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+例の出力
+ +`kubectl get svc --all-namespaces` の例の出力は次のとおりです。 + +```bash +NAMESPACE NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE +application-system application-controller-manager-service ClusterIP 10.24.8.231+ +デプロイ時に `values.yaml` ファイルでバージョンを設定するか、[既定値を上書き](#deploy-install-the-helm-chart) してください。 +::: + +Kubernetes クラスターに Weaviate チャートをインストールする手順は次のとおりです。 + +### ツールセットアップとクラスターアクセスの確認 + +```bash +# Check if helm is installed +helm version +# Make sure `kubectl` is configured correctly and you can access the cluster. +# For example, try listing the pods in the currently configured namespace. +kubectl get pods +``` + +### Helm チャートの取得 + +Weaviate Helm リポジトリを追加します。 + +```bash +helm repo add weaviate https://weaviate.github.io/weaviate-helm +helm repo update +``` + +Weaviate Helm チャートから既定の `values.yaml` 設定ファイルを取得します。 +```bash +helm show values weaviate/weaviate > values.yaml +``` + +### values.yaml の変更 + +環境に合わせて Helm チャートをカスタマイズするには、[`values.yaml`](https://github.com/weaviate/weaviate-helm/blob/master/weaviate/values.yaml) を編集します。既定の `yaml` ファイルには詳細なドキュメントが記載されており、設定の参考になります。 + +#### レプリケーション + +既定の設定では、Weaviate 1 レプリカ クラスターが定義されています。 + +#### ローカルモデル + +`text2vec-transformers`、`qna-transformers`、`img2vec-neural` などのローカルモデルは既定で無効になっています。モデルを有効にするには、各モデルの `enabled` フラグを `true` に設定してください。 + +#### リソース制限 + +Helm チャート バージョン 17.0.1 以降では、パフォーマンス向上のためモジュールリソースの制約がコメントアウトされています。特定モジュールのリソースを制限したい場合は、`values.yaml` に制約を追加してください。 + +#### gRPC サービス設定 + +Helm チャート バージョン 17.0.0 以降では、gRPC サービスが既定で有効です。古い Helm チャートを使用している場合は、`values.yaml` を編集して gRPC を有効にしてください。 + +`enabled` フィールドが `true`、`type` フィールドが `LoadBalancer` になっていることを確認します。これにより、Kubernetes クラスター外部から [gRPC API](https://weaviate.io/blog/grpc-performance-improvements) にアクセスできます。 + +```yaml +grpcService: + enabled: true # ⬅️ Make sure this is set to true + name: weaviate-grpc + ports: + - name: grpc + protocol: TCP + port: 50051 + type: LoadBalancer # ⬅️ Set this to LoadBalancer (from NodePort) +``` + +#### 認証と認可 + +:::tip +Weaviate Helm チャートは、Kubernetes へデプロイされるたびにランダムなユーザー名/パスワードを自動生成します。そのため、Helm チャートでデプロイされた場合、ノード間通信は常に保護されています。 +::: + +認証の例: + +```yaml +authentication: + apikey: + enabled: true + allowed_keys: + - readonly-key + - secr3tk3y + users: + - readonly@example.com + - admin@example.com + anonymous_access: + enabled: false + oidc: + enabled: true + issuer: https://auth.wcs.api.weaviate.io/auth/realms/SeMI + username_claim: email + groups_claim: groups + client_id: wcs +authorization: + admin_list: + enabled: true + users: + - someuser@weaviate.io + - admin@example.com + readonly_users: + - readonly@example.com +``` + +この例では、キー `readonly-key` は `readonly@example.com` として、`secr3tk3y` は `admin@example.com` としてユーザーを認証します。 + +また、OIDC 認証も有効になっており、WCD がトークン発行者/アイデンティティ プロバイダーとして設定されています。WCD アカウントを持つユーザーは認証される可能性があります。この構成では `someuser@weaviate.io` が管理者ユーザーとして設定されているため、当該ユーザーが認証されると読み書き両方の権限が付与されます。 + +import WCDOIDCWarning from '/_includes/wcd-oidc.mdx'; + +
+ +1. 現在の Weaviate インスタンスのバックアップを作成します。 +1. [Weaviate リリースページ](https://github.com/weaviate/weaviate/tags) にアクセスし、 + 1. 最新の `v1.26` パッチバージョン（例: `1.26.11`）を探します。 + 1. 最新の `v1.27` パッチバージョン（例: `1.27.5`）を探します。 +1. `v1.26` の最新パッチバージョンへアップグレードします。 +1. 続いて `v1.27` の最新パッチバージョンへアップグレードします。 + +::: + +### Raft マイグレーション (v1.25.0+) + +Weaviate `v1.25.0` では、[クラスタメタデータの合意アルゴリズムとして Raft を導入しました](/weaviate/concepts/replication-architecture/cluster-architecture#metadata-replication-raft)。これにより、クラスタメタデータの一度きりのマイグレーションが必要です。 + +[Docker ベースのセルフホスト環境](/deploy/installation-guides/docker-installation.md) では、マイグレーションは自動で行われます。 + +[Kubernetes ベースのセルフホスト環境](/deploy/installation-guides/k8s-installation.md) では、手動でマイグレーションを実行する必要があります。詳細は [Weaviate `v1.25.0` マイグレーションガイド](./weaviate-1-25.md) を参照してください。 + +これは Weaviate アーキテクチャにおける大きな変更です。そのため、`v1.25.latest` へアップグレードした後、さらにアップグレードを進める前にもう一度バックアップを取得しておくことを推奨します。 + +### バックアップリストアの修正 (v1.23.13+) + +`v1.23.13` より前のバージョンでは、バックアップリストア処理に不具合があり、データが正しく保存されない可能性がありました。 + +`v1.23.13` より前のバージョンからアップグレードする場合は、次の手順を推奨します。 + +1. 現在の Weaviate インスタンスのバックアップを作成します。 +2. 上記の[一般的なアップグレード手順](#一般的なアップグレード手順)に従い、少なくとも `v1.23.13`（可能なら `v1.23.16`）以上へアップグレードします。 +3. アップグレード後のインスタンスにバックアップをリストアします。 + +## ダウングレード + +### RAFT スナップショット (v1.28.13+, v1.29.5+, v1.30.2+) + +`1.28.13+`、`1.29.5+`、`1.30.2+` を実行する複数ノードの Weaviate インスタンスを `v1.27.x`（`1.27.26` より前）へダウングレードすると、データベースでの RAFT スナップショットの保存方式変更によりクラスタが **Ready** 状態に到達しない問題が発生する可能性があります。 + +この問題の修正は `1.27.26` でリリースされ、`1.27` への安全なダウングレードが可能になります。 + +Weaviate を `v1.27.x` にダウングレードする必要がある場合は、`1.27.26` 以上を使用してください。 + +## 質問とフィードバック + +import DocsFeedback from '/_includes/docs-feedback.mdx'; + +
+ +影響を最小限にするため、サービス利用が少ない時間帯に実施するか、メインクラスタを再起動する間にセカンダリクラスタを用意することを推奨します。 +::: + +## アップグレード手順 + +:::note namespace +デプロイが別のネームスペースにある場合は、以下の `-n` オプションを適宜変更してください。たとえば `my_namespace` であれば、最初のコマンドは `kubectl delete sts weaviate -n my_namespace` となります。 +::: + +### （任意）バックアップ + +アップグレード前に Weaviate データベースの [バックアップ](/deploy/configuration/backups.md) を取得することを推奨します。バックアップが難しい場合は、手動で [データをエクスポート](/weaviate/manage-collections/migrate.mdx) するなどの方法も検討してください。 + +### 1. StatefulSet の削除 + +まず、既存の StatefulSet を削除します。これによりネームスペース内のすべての Pod が削除されます。 + +```bash +kubectl delete sts weaviate -n weaviate +``` + +次のような出力が表示されます。 + +```bash +statefulset.apps "weaviate" deleted +``` + +StatefulSet が削除されると、ネームスペース内に Pod は存在しなくなります。 + +```bash +kubectl get pods -n weaviate +``` + +### 2. Helm チャートの更新 + +次に、リポジトリを更新して最新の変更を取得します。 + +```bash +helm repo update weaviate +``` + +以下のように helm チャートのバージョンを確認してください。（ `17.0.0` 以上である必要があります。） + +```bash +helm search repo weaviate +``` + +### 3. Weaviate のデプロイ + +続いて、以下のように Weaviate を再デプロイします。既存の設定ファイル `values.yaml` を適用し、新しい合意アルゴリズム（Raft）の下でクラスタを再起動します。 + +ここではイメージタグを `1.25.0` に上書きしています。 `values.yaml` 内で直接この値を変更しても構いません。 + +```bash +helm upgrade weaviate weaviate/weaviate \ + --namespace weaviate \ + --values ./values.yaml \ + --set image.tag="1.25.0" \ +``` + +### 4. 更新の確認 + +Pod が再度起動して稼働するまでに少し時間がかかる場合があります。クラスタが稼働しているかどうかは、 `v1/cluster/statistics` エンドポイントで確認できます。 + +たとえば、 `curl` （および整形用に `jq` ）を使ってクラスタの状態を確認できます。（ `localhost:8080` は実際の URL とポートに置き換えてください。） + +```bash +curl -s localhost:8080/v1/cluster/statistics | jq +``` + +成功すると、次のようなレスポンスが得られます。 + +```json +{ + "statistics": [ + { + // ... + "leaderAddress": "10.244.2.3:8300", + "leaderId": "weaviate-0", + "name": "weaviate-0", + "open": true, + "raft": {}, + "ready": true, + "status": "HEALTHY" + }, + { + // ... + "leaderAddress": "10.244.1.3:8300", + "leaderId": "weaviate-1", + "name": "weaviate-1", + "open": true, + "raft": {}, + "ready": true, + "status": "HEALTHY" + }, + { + // ... + "leaderAddress": "10.244.0.4:8300", + "leaderId": "weaviate-2", + "name": "weaviate-2", + "open": true, + "raft": {}, + "ready": true, + "status": "HEALTHY" + } + ], + // highlight-start + "synchronized": true + // highlight-end +} +``` + +`statistics` 内のオブジェクト数が `values.yaml` で設定したレプリカ数と一致し、 `synchronized` フラグが `true` であれば、クラスタは正常に稼働しています。 + +## ダウングレード手順 + +`1.25` から pre-`1.25` バージョンへダウングレードする場合は、まず `v1/cluster/schema-v1` へ `POST` リクエスト（ペイロード不要）を送り、クラスターメタデータをダウングレードする必要があります。 + +### 1. クラスターメタデータのダウングレード + +次のリクエストを実行してクラスターメタデータをダウングレードします。これにより、pre-`1.25` バージョンへのダウングレード準備が整います。（ `localhost:8080` は実際の URL とポートに置き換えてください。） + +```bash +curl -X POST -s -o /dev/null -w "%{http_code}" localhost:8080/v1/cluster/schema-v1 +``` + +`200` ステータスコードが返されるはずです。 + +### 2. StatefulSet の削除 + +メタデータをダウングレードした後、既存の StatefulSet を削除します。これによりネームスペース内のすべての Pod が削除されます。 + +```bash +kubectl delete sts weaviate -n weaviate +``` + +### 3. Weaviate のダウングレード + +では、 Weaviate をダウングレードします。たとえば、バージョン `1.24.10` へダウングレードするには、次のコマンドを実行してください。 + +```bash +helm upgrade weaviate weaviate/weaviate \ + --namespace weaviate \ + --values ./values.yaml \ + --set image.tag="1.24.10" +``` + +これにより、クラスターは指定した `1.25` 以前のバージョンに戻ります。 + +## 質問とフィードバック + +import DocsFeedback from '/_includes/docs-feedback.mdx'; + +
+
+
+## マルチテナンシー特有の注意点
+
+テナントは動的に変化するため、マルチテナンシーコレクションは多少異なる挙動を示します。
+
+- `REINDEX_MAP_TO_BLOCKMAX_AT_STARTUP` が設定されている場合、テナントはアクティブ化時に移行されます
+- 非アクティブ化すると移行が停止します。短時間だけテナントをアクティブにする場合、十分に進行しない可能性があるため避けてください
+- テナントの再アクティブ化（active → cold → active）は再起動と同等です:
+ - テナントでバケットを入れ替えるには、`REINDEX_MAP_TO_BLOCKMAX_SWAP_BUCKETS=true` を設定したうえで再アクティブ化が必要です
+ - 片付けを行うには、`REINDEX_MAP_TO_BLOCKMAX_TIDY_BUCKETS=true` が設定されていると、入れ替えたテナントは再アクティブ化時に片付けを行います
+ - 手順間でサーバー変数を変更した場合でも、再起動が必要です
+- 移行中に作成されたテナントは旧フォーマットで作成され、他のテナントと同様に移行されます
+ - `REINDEX_MAP_TO_BLOCKMAX_TIDY_BUCKETS` が設定されていれば、デフォルトで BlockMax フォーマットを使用し始めます
+- 最終片付けステップ後も、すべてのテナントが最終的に移行されるよう、サーバーはすべての移行変数を保持しておく必要があります
+
+## 移行ステータスの監視
+
+移行プロセスはいくつかの段階を経て進行し、ステータスエンドポイントで監視できます。
+
+1. **Not active**（マルチテナンシーのみ）
+
+ - Status: `shard_not_loaded`
+ - Message: `shard not loaded`
+ - テナントがアクティブではありません
+
+2. **Not Started**
+
+ - Status: `not_started`
+ - Message: `no searchable_map_to_blockmax found` または `no started.mig found`
+ - まだ移行ファイルが存在しない、またはプロセスが開始されていません
+
+3. **Started**
+
+ - Status: `started`
+ - `started.mig` から開始時刻を記録
+ - `properties.mig` が存在しない場合、Message は `computing properties to reindex`
+
+4. **In Progress**
+
+ - Status: `in progress`
+ - `progress.mig.*` ファイル（スナップショット）で進捗を追跡
+ - 約 15 分ごとに `latest_snapshot` を更新
+ - 進捗ファイルがない場合、Message は `no progress.mig.* files found, no snapshots created yet`
+
+5. **Reindexed**
+
+ - Status: `reindexed`
+ - Message: `reindexing done` または `reindexing done, merging buckets`
+ - 再インデックスが完了したことを示します
+
+6. **Merged**
+
+ - Status: `merged`
+ - Message: `merged reindex and ingest buckets`
+ - バケットはマージ済みですが、まだ入れ替えられていません
+
+7. **Swapped**
+
+ - Status: `swapped`
+ - Message: `swapped buckets` または `swapped X files`
+ - 複数の `swapped.mig.*` ファイルが存在する場合があります
+
+8. **Done**
+
+ - Status: `done`
+ - Message: `reindexing done`
+ - 移行が完了した最終状態です
+
+9. **Error**（どの段階でも発生し得ます）
+ - Status: `error`
+ - 失敗したファイル操作に応じたエラーメッセージが表示されます
+
+## トラブルシューティング
+
+### 移行中に Weaviate がクラッシュする
+
+- 移行変数が設定されたまま再起動すれば、変換は自動的に再開します
+- 再起動時に環境変数がリセットされると、移行は停止します
+- 変数が解除され新しいデータが流入している場合、最初から移行プロセスをやり直す必要があります
+
+### 移行を中止してロールバックする
+
+再インデックス処理に問題があり停止したい場合:
+
+1. abort エンドポイントを呼び出します:
+
+ ```
+ http://マルチノード移行の手順例
+ +ノード名が `weaviate-0`, `weaviate-1`, `weaviate-2` などの場合。 + +1. `weaviate-0` を移行します: + +``` +REINDEX_MAP_TO_BLOCKMAX_AT_STARTUP=weaviate-0 +``` + +2. `weaviate-0` が完了したら、`weaviate-1` を移行します: + +``` +REINDEX_MAP_TO_BLOCKMAX_AT_STARTUP=weaviate-0,weaviate-1 +REINDEX_MAP_TO_BLOCKMAX_SWAP_BUCKETS=weaviate-1 +``` + +3. `weaviate-1` が完了したら、`weaviate-2` を移行します: + +``` +REINDEX_MAP_TO_BLOCKMAX_AT_STARTUP=weaviate-0,weaviate-1,weaviate-2 +REINDEX_MAP_TO_BLOCKMAX_SWAP_BUCKETS=weaviate-1,weaviate-2 +``` + +4. 他のノードについても同じ手順を繰り返します。 + +5. すべての移行が完了し、クリーンアップ前であれば、フルノードリストの代わりに `true` を使用できます: + +``` +REINDEX_MAP_TO_BLOCKMAX_AT_STARTUP=true +REINDEX_MAP_TO_BLOCKMAX_SWAP_BUCKETS=true +``` + +
+
+
+Helm チャートで RBAC を有効化した例
+ +```yaml + authorization: + rbac: + enabled: true + root_users: + - admin_user1 + - admin_user2 +``` +
+
+
+:::tip
+Admin list を使用すると、すべての Weaviate リソースにわたり、管理者または読み取り専用のユーザー / API キーのペアを定義できます。 一方、 RBAC ではロールを定義し、それらをユーザー ( API キーまたは OIDC 経由 ) に割り当てることで、よりきめ細かな権限管理が可能です。
+:::
+
+## ステップ 3: スケーリング
+
+- 高可用性を確保するために水平スケーリングを実装します。
+
+```yaml
+replicaCount: 3
+```
+
+- Pod の効率を最適化するために CPU / メモリの limits と requests を定義します。
+
+RBAC を使用しない場合の admin list を実装した例
+ +```yaml + admin_list: + enabled: true + users: + - admin_user1 + - admin_user2 + - api-key-user-admin + read_only_users: + - readonly_user1 + - readonly_user2 + - api-key-user-readOnly +``` +[Admin List Configuration](/deploy/configuration/authorization.md#admin-list-kubernetes) + +
+
+
+## ステップ 4: 監視とログ
+
+- Prometheus と Grafana を使用してパフォーマンスメトリクスを収集・分析します。
+- 問題解決のためにアラートを設定します。
+
+CPU とメモリの limit およびコア数を定義する例
+ +```yaml +resources: + requests: + cpu: "500m" + memory: "1Gi" + limits: + cpu: "2" + memory: "4Gi" +``` +
+
+
+
+## ステップ 5: アップグレードとバックアップ
+
+- ダウンタイムを最小化するために、 Helm が利用するローリングアップデート戦略を使用します。
+
+サービス監視を有効化する例
+ +```yaml +serviceMonitor: + enabled: true + interval: 30s + scrapeTimeout: 10s +``` +
+
+
+- 新しい Weaviate バージョンを本番環境にデプロイする前にテストします。
+- データを迅速に復旧できるよう、ディザスタリカバリ手順を実装します。
+
+### まとめ
+
+Voila! これで本番環境に *ある程度* 対応したデプロイが完成しました。 次のステップとして、自己評価を実施し、ギャップを特定してください。
+
+### 次のステップ: [本番環境準備完了度セルフアセスメント](./production-readiness.md)
+
+## 質問やフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+ローリングアップデート戦略を構成する例
+ +```yaml +updateStrategy: + type: RollingUpdate + rollingUpdate: + maxSurge: 1 + maxUnavailable: 0 +``` ++
+## 質問とフィードバック + +import DocsFeedback from '/_includes/docs-feedback.mdx'; + +
+
+:::
+
+
+
+`root-user` で Weaviate に接続した後、新しいロールを作成し、そのロールを `custom-user` という新規ユーザーに割り当てます。
+
+## 読み取り・書き込み権限
+
+### Step 1: Weaviate への接続
+
+ロールを管理できる十分な権限を持つユーザーで Weaviate に接続されていることを確認してください。これは、[Weaviate の設定](/deploy/configuration/configuring-rbac.md)時にあらかじめ用意されている `root` ロールを使用するか、ユーザーに [`manage_roles` 権限](/weaviate/configuration/rbac/manage-roles.mdx#role-management-permissions) を付与することで達成できます。
+
+RBAC 関連の環境変数
+ +- `AUTHORIZATION_ENABLE_RBAC`: RBAC を有効にします。 +- `AUTHENTICATION_ANONYMOUS_ACCESS_ENABLED`: 匿名ユーザーが Weaviate インスタンスへアクセスできるかを制御します。 +- `AUTHENTICATION_DB_USERS_ENABLED`: 実行時のユーザー管理を有効／無効にします。 +- `AUTHENTICATION_APIKEY_ENABLED`: API キーによる認証を有効にします。 +- `AUTHENTICATION_APIKEY_USERS`: `AUTHENTICATION_APIKEY_ENABLED` に対応する API キーのユーザー ID を設定します。 +- `AUTHENTICATION_APIKEY_ALLOWED_KEYS`: 特定のユーザー ID に対応する許可された API キーを設定します。 +- `AUTHORIZATION_RBAC_ROOT_USERS`: root／管理者ユーザーを定義します。 + +その他の環境変数については [こちら](../configuration/env-vars/index.md) を参照してください。 +
+
+
+## カテゴリーについて
+エコシステムは次のカテゴリーに分かれています:
+
+* **クラウド ハイパースケーラー** - 大規模な計算とストレージ
+* **コンピュート インフラストラクチャ** - コンテナ化されたアプリケーションの実行とスケール
+* **データ プラットフォーム** - データ取り込みと Web スクレイピング
+* **LLM と エージェント フレームワーク** - エージェントおよび生成 AI アプリケーションの構築
+* **オペレーション** - 生成 AI ワークフローの監視と分析ツール
+
+
+
+## 企業一覧
+
+| 企業カテゴリー | 企業 |
+|------------------|-----------|
+| クラウド ハイパースケーラー | [AWS](/integrations/cloud-hyperscalers/aws), [Google](/integrations/cloud-hyperscalers/google)|
+| コンピュート インフラストラクチャ | [Modal](/integrations/compute-infrastructure/modal), [Replicate](/integrations/compute-infrastructure/replicate), [Replicated](/integrations/compute-infrastructure/replicated) |
+| データ プラットフォーム |[Airbyte](/integrations/data-platforms/airbyte), [Aryn](/integrations/data-platforms/aryn/), [Boomi](/integrations/data-platforms/boomi/), [Box](/integrations/data-platforms/box/), [Confluent](/integrations/data-platforms/confluent), [Astronomer](/integrations/data-platforms/astronomer), [Context Data](/integrations/data-platforms/context-data/), [Databricks](/integrations/data-platforms/databricks/), [Firecrawl](/integrations/data-platforms/firecrawl), [IBM](/integrations/data-platforms/ibm/), [Unstructured](/integrations/data-platforms/unstructured) |
+| LLM と エージェント フレームワーク | [Agno](/integrations/llm-agent-frameworks/agno/) , [Composio](/integrations/llm-agent-frameworks/composio/), [CrewAI](/integrations/llm-agent-frameworks/crewai/), [DSPy](/integrations/llm-agent-frameworks/dspy/), [Dynamiq](/integrations/llm-agent-frameworks/dynamiq/), [Haystack](/integrations/llm-agent-frameworks/haystack/), [LangChain](/integrations/llm-agent-frameworks/langchain/), [LlamaIndex](/integrations/llm-agent-frameworks/llamaindex/), [N8n](/integrations/llm-agent-frameworks/n8n/), [Semantic Kernel](/integrations/llm-agent-frameworks/semantic-kernel/) |
+| オペレーション | [AIMon](/integrations/operations/aimon/), [Arize](/integrations/operations/arize/), [Cleanlab](/integrations/operations/cleanlab/), [Comet](/integrations/operations/comet/), [DeepEval](/integrations/operations/deepeval/), [Langtrace](/integrations/operations/langtrace/), [LangWatch](/integrations/operations/langwatch/), [Nomic](/integrations/operations/nomic/), [Patronus AI](/integrations/operations/patronus/), [Ragas](/integrations/operations/ragas/), [TruLens](/integrations/operations/trulens/), [Weights & Biases](/integrations/operations/wandb/) |
+
+## モデル プロバイダーとのインテグレーション
+Weaviate は、さまざまなプロバイダーが提供するセルフホスト型および API ベースのエンベディング モデルと連携します。
+
+モデル プロバイダーの全リストについては、[ドキュメント ページ](/weaviate/model-providers)をご覧ください。
+
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/integrations/llm-agent-frameworks/agno/index.md b/i18n/ja/docusaurus-plugin-content-docs/current/integrations/llm-agent-frameworks/agno/index.md
new file mode 100644
index 000000000..717562c70
--- /dev/null
+++ b/i18n/ja/docusaurus-plugin-content-docs/current/integrations/llm-agent-frameworks/agno/index.md
@@ -0,0 +1,45 @@
+---
+title: Agno
+sidebar_position: 1
+---
+
+[Agno](https://docs.agno.com/introduction) は、マルチモーダル エージェント を構築するための軽量ライブラリです。LLM を統一された API として公開し、メモリ、ナレッジ、tools、推論といったスーパーパワーを付与します。
+
+
+## Agno と Weaviate
+Weaviate は Agno で [サポートされている ベクトル データベース](https://docs.agno.com/vectordb/weaviate) です。まずは次のようにして ベクトル ストア を作成します。
+
+```python
+from agno.agent import Agent
+from agno.knowledge.pdf_url import PDFUrlKnowledgeBase
+from agno.vectordb.search import SearchType
+from agno.vectordb.weaviate import Distance, VectorIndex, Weaviate
+
+vector_db = Weaviate(
+ collection="recipes",
+ search_type=SearchType.hybrid,
+ vector_index=VectorIndex.HNSW,
+ distance=Distance.COSINE,
+ local=True, # Set to False if using Weaviate Cloud and True if using local instance
+)
+```
+
+次に、エージェント のためのナレッジベースを作成します。
+
+```python
+knowledge_base = PDFUrlKnowledgeBase(
+ urls=["https://agno-public.s3.amazonaws.com/recipes/ThaiRecipes.pdf"],
+ vector_db=vector_db,
+)
+```
+
+## 当社リソース
+[**Hands on Learning**](#hands-on-learning): エンドツーエンドのチュートリアルで技術的理解を深めましょう。
+
+### Hands on Learning
+
+| トピック | 説明 | リソース |
+| --- | --- | --- |
+| Weaviate Query Agent with Agno | このノートブックでは、Agno を通じて Weaviate Query Agent を tool として定義する方法を紹介します。 | [ノートブック](https://github.com/weaviate/recipes/blob/main/integrations/llm-agent-frameworks/agno/agno-weaviate-query-agent.ipynb) |
+
+
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/integrations/llm-agent-frameworks/composio/index.md b/i18n/ja/docusaurus-plugin-content-docs/current/integrations/llm-agent-frameworks/composio/index.md
new file mode 100644
index 000000000..12c4f74f4
--- /dev/null
+++ b/i18n/ja/docusaurus-plugin-content-docs/current/integrations/llm-agent-frameworks/composio/index.md
@@ -0,0 +1,23 @@
+[Composio](https://docs.composio.dev/introduction/intro/overview) は、function calling を使用してツールを言語モデルや AI エージェントと連携・統合します。
+
+## Composio と Weaviate
+Weaviate の検索機能を利用することで、エージェントをパーソナライズし、よりコンテキストを把握させることができます。
+
+この統合は、LangChain ベクトルストアを介してサポートされています。
+
+統合を設定するには、ベクトルストアを作成し、ご使用の Weaviate インスタンスに接続します:
+```python
+WeaviateVectorStore.from_documents( )
+```
+
+ベクトルストアの作成方法については [こちら](https://python.langchain.com/v0.2/docs/integrations/vectorstores/weaviate/#step-1-data-import) をご覧ください。
+
+## 参考リソース
+[ **Hands on Learning**](#hands-on-learning): エンドツーエンドのチュートリアルで技術的理解を深めましょう。
+
+### ハンズオン学習
+
+| トピック | 説明 | リソース |
+| --- | --- | --- |
+| Gmail エージェント | Composio の Gmail ツールを Weaviate と統合し、新着メッセージに返信するエージェントを作成します。 | [Notebook](https://github.com/weaviate/recipes/blob/main/integrations/llm-agent-frameworks/function-calling/composio/agent.ipynb) |
+
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/integrations/llm-agent-frameworks/crewai/index.md b/i18n/ja/docusaurus-plugin-content-docs/current/integrations/llm-agent-frameworks/crewai/index.md
new file mode 100644
index 000000000..b9977f8e3
--- /dev/null
+++ b/i18n/ja/docusaurus-plugin-content-docs/current/integrations/llm-agent-frameworks/crewai/index.md
@@ -0,0 +1,43 @@
+---
+title: CrewAI
+sidebar_position: 1
+---
+
+[CrewAI](https://www.crewai.com/) はマルチ エージェント アプリケーションを構築するためのフレームワークです。
+
+## CrewAI と Weaviate
+Weaviate は CrewAI で [サポートされている ベクトル 検索ツール](https://docs.crewai.com/tools/weaviatevectorsearchtool) です。これにより、Weaviate クラスターに保存されているドキュメントに対してセマンティック検索クエリを実行できます。
+
+次のようにツールを初期化できます:
+
+```python
+from crewai_tools import WeaviateVectorSearchTool
+
+# Initialize the tool
+tool = WeaviateVectorSearchTool(
+ collection_name='example_collections',
+ limit=3,
+ weaviate_cluster_url="https://your-weaviate-cluster-url.com",
+ weaviate_api_key="your-weaviate-api-key",
+)
+```
+
+## リソース
+リソースは 2 つのカテゴリーに分かれています:
+1. [**ハンズオン学習**](#hands-on-learning) : エンドツーエンドのチュートリアルで技術的な理解を深めます。
+2. [**読み物と動画**](#read-and-listen) : これらの技術について概念的な理解を深めます。
+
+### ハンズオン学習
+
+| トピック | 説明 | リソース |
+| --- | --- | --- |
+| Weaviate Query Agent with Crew AI | Crew AI を通じて Weaviate Query Agent をツールとして定義する方法を示します。 | [Notebook](https://github.com/weaviate/recipes/blob/main/integrations/llm-agent-frameworks/crewai/crewai-query-agent-as-tool.ipynb) |
+
+### 読み物と動画
+
+| トピック | 説明 | リソース |
+| --- | --- | --- |
+| Practical Multi Agent RAG using CrewAI, Weaviate, Groq and ExaTool | code_interpretation、rag、memory、カスタムツールを可能にする RAG 搭載 CrewAI エージェントの構築方法を学びます。 | [Blog](https://lorenzejay.dev/articles/practical-agentic-rag) |
+| Rag Techniques Tutorial for Agentic Rag | RAG 初心者向けのテクニックを解説する動画です。 | [Video](https://youtu.be/zXBlvpaFNxE?si=KkE14m1KngPZvu_W) |
+| How to Build an Agentic RAG Recommendation Engine | Knowledge を活用して、エージェントのクルーに関連するコンテキストと情報へアクセスさせる方法を学びます。 | [Video](https://youtu.be/2Fu_GgS-Q4s?si=ZnDeucXrGnG7UaQY) |
+
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/integrations/llm-agent-frameworks/dspy/index.md b/i18n/ja/docusaurus-plugin-content-docs/current/integrations/llm-agent-frameworks/dspy/index.md
new file mode 100644
index 000000000..ac73a4f82
--- /dev/null
+++ b/i18n/ja/docusaurus-plugin-content-docs/current/integrations/llm-agent-frameworks/dspy/index.md
@@ -0,0 +1,68 @@
+---
+title: DSPy
+sidebar_position: 1
+image: og/docs/more-resources.jpg
+---
+
+[DSPy](https://github.com/stanfordnlp/dspy) は、Stanford NLP 発の言語モデルプログラミングフレームワークです。
+
+DSPy では 2 つの重要なコンセプト、**プログラミングモデル** と **オプティマイザー** が導入されています。
+
+- **プログラミングモデル**: プログラミングモデルでは、言語モデルにリクエストを送る一連のコンポーネントを定義できます。コンポーネントには、入力フィールド・出力フィールド・タスク説明・Weaviate のような ベクトル データベースへの呼び出しなどが含まれます。
+
+- **オプティマイザー**: オプティマイザーは DSPy プログラムをコンパイルし、言語モデルのプロンプトや重みをチューニングします。
+
+## DSPy と Weaviate
+
+Weaviate はリトリーバーモデル経由で DSPy と統合されています。
+
+Weaviate クラスター（WCD またはローカルインスタンス）を DSPy に接続し、[リトリーバーモジュール](https://github.com/stanfordnlp/dspy/blob/6270e951b1f20b2cb02a3fdc769156e7e16dbd26/dspy/retrieve/weaviate_rm.py#L17) を使用してコレクションを渡します。
+
+```python
+weaviate_client = weaviate.Client("http://localhost:8080") # or pass in your WCD cluster url
+
+retriever_module = WeaviateRM("WeaviateBlogChunk", # collection name
+ weaviate_client=weaviate_client)
+```
+
+## リソース
+以下は、DSPy の活用方法について Weaviate チームが提供するリソースです。
+
+リソースは 2 つのカテゴリに分かれています。
+1. [**Hands on Learning**](#hands-on-learning): エンドツーエンドのチュートリアルで技術的理解を深める
+2. [**Read and Listen**](#read-and-listen): コンセプト面の理解を深める
+
+### Hands on Learning
+
+| Topic | Description | Resource |
+| --- | --- | --- |
+| DSPy での RAG 入門 | DSPy の概要とプログラムの構築方法を学習: インストール、設定、データセット、LLM メトリクス、DSPy プログラミングモデル、最適化。 | [Notebook](https://github.com/weaviate/recipes/blob/main/integrations/llm-agent-frameworks/dspy/1.Getting-Started-with-RAG-in-DSPy.ipynb)、[Video](https://youtu.be/CEuUG4Umfxs?si=4Gp8gR9glmoMJNaU) |
+| DSPy + Weaviate で次世代 LLM アプリを構築 | クエリからブログ記事を生成する 4 レイヤーの DSPy プログラムを構築。 | [Notebook](https://github.com/weaviate/recipes/blob/main/integrations/llm-agent-frameworks/dspy/2.Writing-Blog-Posts-with-DSPy.ipynb)、[Video](https://youtu.be/ickqCzFxWj0?si=AxCbD9tq2cbAH6bB)|
+| Persona 付き RAG | DSPy・Cohere・Weaviate を用いて、言語モデルにパーソナを追加する複合 AI システムを構築。 | [Notebook](https://github.com/weaviate/recipes/blob/main/integrations/llm-agent-frameworks/dspy/fullstack-recipes/RAGwithPersona/4.RAG-with-Persona.ipynb)、[Post](https://twitter.com/ecardenas300/status/1765444492348243976)|
+| RAG プログラムに深みを追加 | 独自の入出力例や複数 LLM を統合して DSPy プログラムを強化。 | [Notebook](https://github.com/weaviate/recipes/blob/main/integrations/llm-agent-frameworks/dspy/3.Adding-Depth-to-RAG-Programs.ipynb)、[Video](https://youtu.be/0c7Ksd6BG88?si=YUF2wm1ncUTkSuPQ) |
+| Hurricane: 生成フィードバックループでブログ記事を作成 | ブログ記事の生成フィードバックループをデモする Web アプリ Hurricane の紹介。 | [Notebook](https://github.com/weaviate-tutorials/Hurricane)、[Blog](https://weaviate.io/blog/hurricane-generative-feedback-loops) |
+| DSPy での構造化出力 | DSPy プログラムで出力を構造化する 3 つの方法。 | [Notebook](https://github.com/weaviate/recipes/blob/main/integrations/llm-agent-frameworks/dspy/4.Structured-Outputs-with-DSPy.ipynb)、[Video](https://youtu.be/tVw3CwrN5-8?si=P7fWeXzQ7p-2SFYF) |
+| Cohere の Command R+ と DSPy・Weaviate で RAG 構築 | Command R+ の概要と DSPy での簡単な RAG デモ。 | [Notebook](https://github.com/weaviate/recipes/blob/main/integrations/llm-agent-frameworks/dspy/llms/Command-R-Plus.ipynb)、[Video](https://youtu.be/6dgXALb_5Ag?si=nSX2AnmpbUau_2JF) |
+| DSPy の高度なオプティマイザー | さまざまな手法で DSPy プログラムを最適化。 | [Notebook](https://github.com/weaviate/recipes/blob/main/integrations/llm-agent-frameworks/dspy/5.Advanced-Optimizers.ipynb) |
+| Llama 3 RAG デモ: DSPy 最適化・Ollama・Weaviate | Llama 3 を DSPy に統合し、MIPRO でプロンプトを最適化。 | [Notebook](https://github.com/weaviate/recipes/blob/main/integrations/llm-agent-frameworks/dspy/llms/Llama3.ipynb)、[Video](https://youtu.be/1h3_h8t3L14?si=G4d-aY5Ynpv8ckea)|
+| BigQuery と Weaviate を DSPy でオーケストレーション | BigQuery と Weaviate を使用したエンドツーエンドの RAG パイプラインを DSPy で構築。 | [Notebook](https://github.com/weaviate/recipes/blob/main/integrations/cloud-hyperscalers/google/bigquery/BigQuery-Weaviate-DSPy-RAG.ipynb)|
+| DSPy と Weaviate Query Agent | Query Agent を DSPy の Tool として利用 | [Notebook](https://github.com/weaviate/recipes/blob/main/integrations/llm-agent-frameworks/dspy/Query-Agent-as-a-Tool.ipynb) |
+
+### Read and Listen
+
+| Topic | Description | Resource |
+| --- | --- | --- |
+| DSPy と ColBERT - Omar Khattab 登場！Weaviate Podcast #85 | Omar Khattab が登場し、DSPy と ColBERT について語ります。 | [Video](https://www.youtube.com/watch?v=CDung1LnLbY) |
+| DSPy Explained | DSPy のコアコンセプトを学習。イントロノートブックで Retrieve-Then-Read RAG と Multi-Hop RAG を実装。 | [Video](https://youtu.be/41EfOY0Ldkc?si=sFieUeHc9rXRn6uk)|
+| XMC.dspy - Karel D'Oosterlinck 登場！Weaviate Podcast #87 | Karel D'Oosterlinck が IReRa（Infer-Retrieve-Rank）を解説。 | [Video](https://youtu.be/_ye26_8XPcs?si=ZBodgHbOcaq2Kwky)
+| Intro to DSPy: Goodbye Prompting, Hello Programming | DSPy の概要と、LLM アプリにおける脆弱性問題の解決方法。 | [Blog](https://towardsdatascience.com/intro-to-dspy-goodbye-prompting-hello-programming-4ca1c6ce3eb9)|
+| Fine-Tuning Cohere’s Reranker | DSPy で合成データを生成し、Cohere の reranker モデルをファインチューニング。 |[Blog](https://weaviate.io/blog/fine-tuning-coheres-reranker)|
+| Your Language Model Deserves Better Prompting | プロンプトチューニング用 DSPy オプティマイザーの概要。 | [Blog](https://weaviate.io/blog/dspy-optimizers)|
+
+
+## 質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+
+
+
+## Weaviate Query Agent と LlamaIndex
+
+このノートブックでは、 LlamaIndex を通じて Weaviate Query Agent をツールとして定義する方法を説明します。
+
+### 必要条件
+1. Weaviate Cloud インスタンス (WCD): 現在、 Weaviate Query Agent には WCD からのみアクセスできます。サーバーレス クラスターまたは 14 日間無料のサンドボックスを [こちら](https://console.weaviate.cloud/) から作成できます。
+2. `pip install llama-index` で LlamaIndex をインストールします (このノートブックではバージョン `0.12.22` を使用)。
+3. `pip install weaviate-agents` で Weaviate Agents パッケージをインストールします。
+4. データが入った Weaviate クラスターが必要です。まだお持ちでない場合は、 Weaviate Blogs をインポートするために [このノートブック](https://github.com/weaviate/recipes/blob/main/integrations/Weaviate-Import-Example.ipynb) をご覧ください。
+
+### LlamaIndex エージェント ワークフローのリソース
+1. [クイックスタート ガイド](https://docs.llamaindex.ai/en/latest/getting_started/starter_example/)
+1. [エージェント チュートリアル](https://docs.llamaindex.ai/en/latest/understanding/agent/)
+1. [エージェント ワークフローの主な機能](https://docs.llamaindex.ai/en/latest/examples/agent/agent_workflow_basic/)
+
+### ライブラリとキーのインポート
+
+```python
+import weaviate
+from weaviate_agents.query import QueryAgent
+import os
+import json
+
+from llama_index.llms.openai import OpenAI
+from llama_index.core.agent.workflow import AgentWorkflow
+```
+
+```python
+os.environ["WEAVIATE_URL"] = ""
+os.environ["WEAVIATE_API_KEY"] = ""
+os.environ["OPENAI_API_KEY"] = ""
+```
+
+### Query Agent 関数の定義
+
+```python
+def query_agent_request(query: str) -> str:
+ """
+ Send a query to the database and get the response.
+
+ Args:
+ query (str): The question or query to search for in the database. This can be any natural language question related to the content stored in the database.
+
+ Returns:
+ str: The response from the database containing relevant information.
+ """
+
+ # connect to your Weaviate Cloud instance
+ weaviate_client = weaviate.connect_to_weaviate_cloud(
+ cluster_url=os.getenv("WEAVIATE_URL"),
+ auth_credentials=weaviate.auth.AuthApiKey(os.getenv("WEAVIATE_API_KEY")),
+ headers={ "X-OpenAI-Api-Key": os.getenv("OPENAI_API_KEY")
+ }
+ )
+
+ # connect the query agent to your Weaviate collection(s)
+ query_agent = QueryAgent(
+ client=weaviate_client,
+ collections=["Blogs"]
+ )
+ return query_agent.run(query).final_answer
+```
+
+### モデルの定義
+
+```python
+llm = OpenAI(model="gpt-4o-mini")
+```
+
+### エージェント ワークフローの作成
+
+```python
+workflow = AgentWorkflow.from_tools_or_functions(
+ [query_agent_request],
+ llm=llm,
+ system_prompt="You are an agent that can search a database of Weaviate blog content and answer questions about it.",
+)
+```
+
+### クエリ実行
+
+```python
+response = await workflow.run(user_msg="How do I run Weaviate with Docker?")
+print(response)
+```
+
+Python 出力:
+```text
+/Library/Frameworks/Python.framework/Versions/3.10/lib/python3.10/site-packages/weaviate/warnings.py:314: ResourceWarning: Con004: The connection to Weaviate was not closed properly. This can lead to memory leaks.
+ Please make sure to close the connection using `client.close()`.
+ warnings.warn(
+
+To run Weaviate with Docker, follow these steps:
+
+1. **Install Docker and Docker Compose**: Ensure that you have Docker (version 17.09.0 or higher) and Docker Compose installed. You can find installation guides for various operating systems on the Docker documentation site.
+
+2. **Download a Weaviate Docker Image**: Use the command to pull the latest version of Weaviate:
+ \```bash
+ docker pull cr.weaviate.io/semitechnologies/weaviate:latest
+ \```
+
+3. **Run Weaviate**: Start a Weaviate instance using the following command:
+ \```bash
+ docker run -p 8080:8080 -p 50051:50051 cr.weaviate.io/semitechnologies/weaviate:latest
+ \```
+ This command will map the ports and start the Weaviate instance.
+
+4. **Using Docker Compose**: For a more manageable configuration, it's recommended to use Docker Compose. Create a `docker-compose.yml` file with the required setup. Here’s a simple example:
+ \```yaml
+ version: '3.8'
+ services:
+ weaviate:
+ image: cr.weaviate.io/semitechnologies/weaviate:latest
+ ports:
+ - "8080:8080"
+ - "50051:50051"
+ environment:
+ AUTHENTICATION_ANONYMOUS_ACCESS_ENABLED: "true"
+ PERSISTENCE_DATA_PATH: "/var/lib/weaviate"
+ \```
+ Place this file in a directory and run:
+ \```bash
+ docker-compose up -d
+ \```
+
+5. **Check the Status**: After starting, you can check if Weaviate is running by sending a request to its readiness endpoint:
+ \```bash
+ curl --fail -s localhost:8080/v1/.well-known/ready
+ \```
+ This command will confirm if Weaviate is up and ready for use.
+```
+
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/integrations/recipes/crewai-query-agent-as-tool.md b/i18n/ja/docusaurus-plugin-content-docs/current/integrations/recipes/crewai-query-agent-as-tool.md
new file mode 100644
index 000000000..3fca53cfe
--- /dev/null
+++ b/i18n/ja/docusaurus-plugin-content-docs/current/integrations/recipes/crewai-query-agent-as-tool.md
@@ -0,0 +1,179 @@
+---
+layout: recipe
+colab: https://colab.research.google.com/github/weaviate/recipes/blob/main/integrations/llm-agent-frameworks/crewai/crewai-query-agent-as-tool.ipynb
+toc: True
+title: "Weaviate クエリ エージェントと Crew AI"
+featured: False
+integration: True
+agent: False
+tags: ['Query Agent', 'Integration']
+---
+
+
+
+
+このノートブックでは、Crew AI を通じて Weaviate クエリ エージェントをツールとして定義する方法をご紹介します。
+
+## 必要条件
+1. Weaviate Cloud インスタンス ( WCD )：Weaviate クエリ エージェントは現時点では WCD でのみ利用できます。サーバーレス クラスターまたは 14 日間無料のサンドボックスを [こちら](https://console.weaviate.cloud/) から作成できます。
+2. `pip install crewai` で Crew AI をインストールします。
+3. `pip install weaviate-agents` で Weaviate Agents パッケージをインストールします。
+4. データを含む Weaviate クラスターが必要です。まだお持ちでない場合は、Weaviate ブログをインポートするために [このノートブック](https://github.com/weaviate/recipes/blob/main/integrations/Weaviate-Import-Example.ipynb) をご覧ください。
+
+## ライブラリとキーのインポート
+
+```python
+import weaviate
+from weaviate_agents.query import QueryAgent
+import os
+
+from crewai.tools import tool
+from crewai import Agent
+from crewai import Task
+from crewai import Crew, Process
+from pydantic import BaseModel, Field
+from typing import Type
+from crewai.tools import BaseTool
+
+```
+
+Python output:
+```text
+/usr/local/lib/python3.11/site-packages/litellm/utils.py:149: DeprecationWarning: open_text is deprecated. Use files() instead. Refer to https://importlib-resources.readthedocs.io/en/latest/using.html#migrating-from-legacy for migration advice.
+ with resources.open_text(
+```
+```python
+os.environ["WEAVIATE_URL"] = ""
+os.environ["WEAVIATE_API_KEY"] = ""
+```
+
+## Weaviate クエリ エージェントをツールとして定義
+
+```python
+class WeaviateQuerySchema(BaseModel):
+ """Input for WeaviateQueryAgentTool."""
+
+ query: str = Field(
+ ...,
+ description="The query to search retrieve relevant information from the Weaviate database. Pass only the query, not the question.",
+ )
+
+class WeaviateQueryAgentTool(BaseTool):
+ name: str = Field(default="Weaviate Query Agent")
+ description: str = Field(
+ default="Send a query to the database and get the response."
+ )
+ args_schema: Type[BaseModel] = WeaviateQuerySchema
+
+ def send_query_agent_request(self, query: str) -> str:
+ """
+ Send a query to the database and get the response.
+
+ Args:
+ query (str): The question or query to search for in the database. This can be any natural language question related to the content stored in the database.
+
+ Returns:
+ str: The response from the database containing relevant information.
+ """
+
+ weaviate_client = weaviate.connect_to_weaviate_cloud(
+ cluster_url=os.getenv("WEAVIATE_URL"),
+ auth_credentials=weaviate.auth.AuthApiKey(os.getenv("WEAVIATE_API_KEY")),
+ )
+ query_agent = QueryAgent(
+ client=weaviate_client,
+ collections=[
+ "Blogs" # we are using the Weaviate Embeddings for our Blogs collection
+ ],
+ )
+ runner = query_agent.run(query)
+ print("runner", runner)
+ return runner.final_answer
+
+ def _run(self, query: str) -> str:
+ return self.send_query_agent_request(query)
+
+
+query_agent_tool = WeaviateQueryAgentTool()
+```
+
+###
+
+```python
+researcher = Agent(
+ role="Blog Content Researcher",
+ goal="Find relevant blog posts and extract key information",
+ backstory="You're specialized in analyzing blog content to extract insights and answers",
+ verbose=True,
+ tools=[query_agent_tool]
+)
+```
+
+```python
+research_task = Task(
+ description="Research blog posts about packaging software applications with Docker",
+ expected_output="A summary of key information from relevant blog posts",
+ agent=researcher
+)
+```
+
+```python
+blog_crew = Crew(
+ agents=[researcher],
+ tasks=[research_task],
+ process=Process.sequential,
+ verbose=True
+)
+```
+
+## クエリの実行
+
+```python
+result = blog_crew.kickoff()
+
+print(result)
+```
+
+Python output:
+```text
+# Agent: Blog Content Researcher
+## Task: Research blog posts about packaging software applications with Docker
+runner original_query='packaging software applications with Docker' collection_names=['Blogs'] searches=[[QueryResultWithCollection(queries=['packaging software applications with Docker'], filters=[[]], filter_operators='AND', collection='Blogs')]] aggregations=[] usage=Usage(requests=3, request_tokens=6692, response_tokens=386, total_tokens=7078, details=None) total_time=10.477295398712158 aggregation_answer=None has_aggregation_answer=False has_search_answer=True is_partial_answer=False missing_information=[] final_answer="Docker is a platform that uses OS-level virtualization to package software applications in units called containers. These containers are similar to lightweight virtual machines, possessing their own file systems and operating system libraries, yet sharing the host system's kernel. Containers are beneficial for software application packaging as they provide considerable isolation with reduced overhead compared to traditional virtual machines. \n\nA standard Docker practice is to package a single application per container, with the container's lifecycle managed by the application's main process. If this process ends, the container typically stops. This approach ensures applications run in isolation with a consistent environment across different systems.\n\nOne of the key benefits of using Docker is its portability: as long as the Docker Engine is installed, containers can run on any OS. Docker also aids in maintaining isolation and predictability, especially for applications with complex dependencies, by encapsulating all necessary runtime dependencies within the container. This allows for easier distribution and version control via platforms like Docker Hub, facilitating seamless application upgrades and rollbacks.\n\nDocker Compose is often used in parallel with Docker to manage multi-container applications. It allows developers to define and run multi-container Docker applications in a single file, making it easier to manage complex applications that consist of multiple interacting services." sources=[Source(object_id='00a4a399-f39a-4435-b91f-7183e05ba6dd', collection='Blogs'), Source(object_id='063cb063-34cf-49ca-8c1a-c5ef9b1a89c1', collection='Blogs'), Source(object_id='cf285909-f7a3-4bd0-8810-7df41d80e20e', collection='Blogs'), Source(object_id='3757021e-f5f2-409a-9327-3b4616e78911', collection='Blogs'), Source(object_id='64183423-7f56-4b0b-8a48-6ef15cdd6bcf', collection='Blogs')]
+
+# Agent: Blog Content Researcher
+## Thought: I need to find relevant blog posts about packaging software applications with Docker. I will formulate a query to search for this topic in the Weaviate database.
+## Using tool: Weaviate Query Agent
+## Tool Input:
+"{\"query\": \"packaging software applications with Docker\"}"
+## Tool Output:
+Docker is a platform that uses OS-level virtualization to package software applications in units called containers. These containers are similar to lightweight virtual machines, possessing their own file systems and operating system libraries, yet sharing the host system's kernel. Containers are beneficial for software application packaging as they provide considerable isolation with reduced overhead compared to traditional virtual machines.
+
+A standard Docker practice is to package a single application per container, with the container's lifecycle managed by the application's main process. If this process ends, the container typically stops. This approach ensures applications run in isolation with a consistent environment across different systems.
+
+One of the key benefits of using Docker is its portability: as long as the Docker Engine is installed, containers can run on any OS. Docker also aids in maintaining isolation and predictability, especially for applications with complex dependencies, by encapsulating all necessary runtime dependencies within the container. This allows for easier distribution and version control via platforms like Docker Hub, facilitating seamless application upgrades and rollbacks.
+
+Docker Compose is often used in parallel with Docker to manage multi-container applications. It allows developers to define and run multi-container Docker applications in a single file, making it easier to manage complex applications that consist of multiple interacting services.
+
+/usr/local/lib/python3.11/site-packages/weaviate/warnings.py:314: ResourceWarning: Con004: The connection to Weaviate was not closed properly. This can lead to memory leaks.
+ Please make sure to close the connection using `client.close()`.
+ warnings.warn(
+
+# Agent: Blog Content Researcher
+## Final Answer:
+Docker is a platform that uses OS-level virtualization to package software applications in units called containers. These containers are similar to lightweight virtual machines, possessing their own file systems and operating system libraries, yet sharing the host system's kernel. Containers are beneficial for software application packaging as they provide considerable isolation with reduced overhead compared to traditional virtual machines.
+
+A standard Docker practice is to package a single application per container, with the container's lifecycle managed by the application's main process. If this process ends, the container typically stops. This approach ensures applications run in isolation with a consistent environment across different systems.
+
+One of the key benefits of using Docker is its portability: as long as the Docker Engine is installed, containers can run on any OS. Docker also aids in maintaining isolation and predictability, especially for applications with complex dependencies, by encapsulating all necessary runtime dependencies within the container. This allows for easier distribution and version control via platforms like Docker Hub, facilitating seamless application upgrades and rollbacks.
+
+Docker Compose is often used in parallel with Docker to manage multi-container applications. It allows developers to define and run multi-container Docker applications in a single file, making it easier to manage complex applications that consist of multiple interacting services.
+
+Docker is a platform that uses OS-level virtualization to package software applications in units called containers. These containers are similar to lightweight virtual machines, possessing their own file systems and operating system libraries, yet sharing the host system's kernel. Containers are beneficial for software application packaging as they provide considerable isolation with reduced overhead compared to traditional virtual machines.
+
+A standard Docker practice is to package a single application per container, with the container's lifecycle managed by the application's main process. If this process ends, the container typically stops. This approach ensures applications run in isolation with a consistent environment across different systems.
+
+One of the key benefits of using Docker is its portability: as long as the Docker Engine is installed, containers can run on any OS. Docker also aids in maintaining isolation and predictability, especially for applications with complex dependencies, by encapsulating all necessary runtime dependencies within the container. This allows for easier distribution and version control via platforms like Docker Hub, facilitating seamless application upgrades and rollbacks.
+
+Docker Compose is often used in parallel with Docker to manage multi-container applications. It allows developers to define and run multi-container Docker applications in a single file, making it easier to manage complex applications that consist of multiple interacting services.
+```
+
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/integrations/recipes/haystack-query-agent-tool.md b/i18n/ja/docusaurus-plugin-content-docs/current/integrations/recipes/haystack-query-agent-tool.md
new file mode 100644
index 000000000..67ef7c757
--- /dev/null
+++ b/i18n/ja/docusaurus-plugin-content-docs/current/integrations/recipes/haystack-query-agent-tool.md
@@ -0,0 +1,137 @@
+---
+layout: recipe
+colab: https://colab.research.google.com/github/weaviate/recipes/blob/main/integrations/llm-agent-frameworks/haystack/haystack-query-agent-tool.ipynb
+toc: True
+title: "Haystack を使用した Weaviate Query エージェント"
+featured: False
+integration: True
+agent: False
+tags: ['Query Agent', 'Integration']
+---
+
+
+
+
+## Haystack を使用した Weaviate Query エージェント
+
+このノートブックでは、Haystack を通じて Weaviate Query エージェントをツールとして定義する方法を紹介します。
+
+### 必要条件
+1. Weaviate Cloud インスタンス (WCD): Weaviate Query エージェントは現在 WCD でのみ利用可能です。サーバーレス クラスターまたは 14 日間無料のサンドボックスを [こちら](https://console.weaviate.cloud/) で作成できます。
+1. `pip install haystack-ai` で Haystack をインストール
+1. `pip install weaviate-agents` で Weaviate Agents パッケージをインストール
+1. データが入った Weaviate クラスターが必要です。お持ちでない場合は、Weaviate Blogs をインポートするために [このノートブック](https://github.com/weaviate/recipes/blob/main/integrations/Weaviate-Import-Example.ipynb) をご覧ください。
+
+### ライブラリとキーのインポート
+
+```python
+import weaviate
+from weaviate_agents.query import QueryAgent
+import os
+import json
+
+from haystack.tools import Tool
+from haystack.dataclasses import ChatMessage
+from haystack.components.generators.chat import OpenAIChatGenerator
+from haystack.components.tools import ToolInvoker
+```
+
+```python
+os.environ["WEAVIATE_URL"] = ""
+os.environ["WEAVIATE_API_KEY"] = ""
+os.environ["OPENAI_API_KEY"] = ""
+```
+
+### Query エージェント関数の定義
+
+```python
+def send_query_agent_request(query: str) -> str:
+ """
+ Send a query to the database and get the response.
+
+ Args:
+ query (str): The question or query to search for in the database. This can be any natural language question related to the content stored in the database.
+
+ Returns:
+ str: The response from the database containing relevant information.
+ """
+
+ # connect to your Weaviate Cloud instance
+ weaviate_client = weaviate.connect_to_weaviate_cloud(
+ cluster_url=os.getenv("WEAVIATE_URL"),
+ auth_credentials=weaviate.auth.AuthApiKey(os.getenv("WEAVIATE_API_KEY")),
+ headers={"X-OpenAI-Api-Key": os.getenv("OPENAI_API_KEY")}, # add the API key to the model provider from your Weaviate collection
+ )
+
+ # connect the query agent to your Weaviate collection(s)
+ query_agent = QueryAgent(
+ client=weaviate_client,
+ collections=["Blogs"]
+ )
+ return query_agent.run(query).final_answer
+```
+
+### ツールの定義
+
+```python
+parameters = {
+ "type": "object",
+ "properties": {
+ "query": {"type": "string"}
+ },
+ "required": ["query"]
+}
+
+query_agent_tool = Tool(
+ name="weaviate_query_agent_tool",
+ description="This tool queries a database containing blog content about Weaviate and returns relevant information. You can ask any natural language question about the blogs stored in the database.",
+ parameters=parameters,
+ function=send_query_agent_request
+)
+
+# Example usage:
+print(query_agent_tool.tool_spec)
+print(query_agent_tool.invoke(query="What are the main topics covered in the blogs?"))
+```
+
+Python 出力:
+```text
+{'name': 'weaviate_query_agent_tool', 'description': 'This tool queries a database containing blog content about Weaviate and returns relevant information. You can ask any natural language question about the blogs stored in the database.', 'parameters': {'type': 'object', 'properties': {'query': {'type': 'string'}}, 'required': ['query']}}
+The main topic covered in the blogs is Docker and Containers, with a focus on their use with Weaviate. The articles provide background information on Docker and containers, explain their importance for Weaviate users, and cover topics such as Docker installation and setup, isolation and predictability of environments, distribution via Docker Hub, and the use of Docker Compose. Additionally, they address questions about Docker's role in the Weaviate stack, outlining reasons such as portability, isolation, and dependency management. There’s also discussion on deploying Weaviate using Kubernetes and Helm for more stable environments.
+
+/Library/Frameworks/Python.framework/Versions/3.10/lib/python3.10/site-packages/weaviate/warnings.py:314: ResourceWarning: Con004: The connection to Weaviate was not closed properly. This can lead to memory leaks.
+ Please make sure to close the connection using `client.close()`.
+ warnings.warn(
+```
+### ツール呼び出しを伴うチャット対話
+
+```python
+chat_generator = OpenAIChatGenerator(model="gpt-4o-mini", tools=[query_agent_tool])
+tool_invoker = ToolInvoker(tools=[query_agent_tool])
+
+user_message = ChatMessage.from_user("How do I run Weaviate with Docker?")
+
+replies = chat_generator.run(messages=[user_message])["replies"]
+print(f"assistant messages: {replies}")
+
+if replies[0].tool_calls:
+ tool_messages = tool_invoker.run(messages=replies)["tool_messages"]
+ print(f"tool messages: {tool_messages}")
+ # we pass all the messages to the Chat Generator
+ messages = [user_message] + replies + tool_messages
+ final_replies = chat_generator.run(messages=messages)["replies"]
+ print(f"final assistant messages: {final_replies}")
+```
+
+Python 出力:
+```text
+assistant messages: [ChatMessage(_role=
+
+
+## `offset` を用いたページネーション
+
+結果をページ単位で取得するには、 `offset` と `limit` を併用してレスポンスのサブセットを指定します。
+
+たとえば最初の 10 件を表示するには、 `limit: 10` と `offset: 0` を設定します。次の 10 件を表示する場合は `offset: 10` にします。さらに続けて取得する場合は offset を増やしてください。詳細は [パフォーマンス上の考慮事項](./additional-operators.md#performance-considerations) を参照してください。
+
+ `Get` と `Explore` の各関数は `offset` をサポートしています。
+
+import GraphQLFiltersOffset from '/_includes/code/graphql.filters.offset.mdx';
+
+想定されるレスポンス
+ +```json +{ + "data": { + "Get": { + "Article": [ + { + "title": "Backs on the rack - Vast sums are wasted on treatments for back pain that make it worse" + }, + { + "title": "Graham calls for swift end to impeachment trial, warns Dems against calling witnesses" + }, + { + "title": "Through a cloud, brightly - Obituary: Paul Volcker died on December 8th" + }, + { + "title": "Google Stadia Reviewed \u2013 Against The Stream" + }, + { + "title": "Managing Supply Chain Risk" + } + ] + } + } +} +``` + +
+
+
+### パフォーマンス上の考慮事項
+
+ページネーションはカーソル ベース実装ではありません。これには次の影響があります:
+
+- **ページ数が増えるとレスポンス時間とシステム負荷が増大します**。 offset が増えるたびに、各ページ リクエストではコレクション全体に対してより大きな呼び出しが行われます。たとえば `offset` と `limit` が 21–30 の結果を指定する場合、Weaviate は 30 個のオブジェクトを取得し、最初の 20 個を破棄します。次の呼び出しでは 40 個を取得し、最初の 30 個を破棄します。
+- **マルチ シャード構成ではリソース要件が増幅されます。** 各シャードがオブジェクト一覧全体を取得し、 offset 以前のオブジェクトを破棄します。たとえば 10 シャード構成で 91–100 の結果を要求すると、Weaviate は 1,000 個（各シャード 100 個）のオブジェクトを取得し、そのうち 990 個を破棄します。
+- **取得できるオブジェクト数に制限があります。** 1 回のクエリで返されるのは最大 `QUERY_MAXIMUM_RESULTS` 件です。 `offset` と `limit` の合計が `QUERY_MAXIMUM_RESULTS` を超えると、Weaviate はエラーを返します。上限を変更するには `QUERY_MAXIMUM_RESULTS` 環境変数を編集してください。値を上げる場合は、パフォーマンス問題を避けるため最小限にしてください。
+ - **ページネーションはステートフルではありません。** 呼び出し間にデータベース状態が変化すると、ページが結果を取り逃す可能性があります。挿入や削除はオブジェクト数を変化させ、更新はオブジェクトの順序を変える可能性があります。ただし書き込みがなければ、大きな 1 ページで取得しても複数の小さなページで取得しても、全体の結果セットは同一です。
+
+
+## autocut
+
+autocut 関数は、結果セット内の不連続（ジャンプ）に基づいて結果を制限します。具体的には、ベクトル 距離や検索スコアなどの結果メトリクスにおけるジャンプを検出します。
+
+autocut を使用するには、クエリ内で許容するジャンプ数を指定します。指定したジャンプ数を超えた時点で、それ以降の結果は返されません。
+
+例として、 `nearText` 検索が次の距離値を返すとします。
+
+ `[0.1899, 0.1901, 0.191, 0.21, 0.215, 0.23]`
+
+autocut の返却結果は以下のようになります。
+
+- `autocut: 1`: `[0.1899, 0.1901, 0.191]`
+- `autocut: 2`: `[0.1899, 0.1901, 0.191, 0.21, 0.215]`
+- `autocut: 3`: `[0.1899, 0.1901, 0.191, 0.21, 0.215, 0.23]`
+
+autocut が利用できる関数:
+
+- `nearXXX`
+- `bm25`
+- `hybrid`
+
+ `hybrid` 検索で autocut を使用する場合は、 `relativeScoreFusion` ランキング メソッドを指定してください。
+
+autocut はデフォルトで無効です。明示的に無効化するには、ジャンプ数を `0` または負の値に設定します。
+
+autocut と limit フィルターを組み合わせると、autocut は `limit` で制限された最初のオブジェクトのみを対象に評価します。
+
+
+
+サンプル クライアント コード:
+
+想定されるレスポンス
+ +```json +{ + "data": { + "Get": { + "Article": [ + { + "title": "Through a cloud, brightly - Obituary: Paul Volcker died on December 8th" + }, + { + "title": "Google Stadia Reviewed \u2013 Against The Stream" + }, + { + "title": "Managing Supply Chain Risk" + }, + { + "title": "Playing College Football In Madden" + }, + { + "title": "The 50 best albums of 2019, No 3: Billie Eilish \u2013 When We All Fall Asleep, Where Do We Go?" + } + ] + } + } +} +``` + +
+
+
+各機能カテゴリごとのクライアント コード例については、次のページを参照してください。
+
+- [類似度検索での autocut](../../search/similarity.md#limit-result-groups)
+- [ `bm25` 検索での autocut](../../search/bm25.md#limit-result-groups)
+- [ `hybrid` 検索での autocut](../../search/hybrid.md#limit-result-groups)
+
+## `after` を用いたカーソル
+
+バージョン `v1.18` からは、`after` を使用してオブジェクトを順次取得できます。たとえば、`after` を使ってコレクション内のオブジェクトを一式取得できます。
+
+`after` は、単一シャード構成およびマルチシャード構成のどちらにも対応したカーソルを生成します。
+
+`after` はオブジェクト ID に基づいて機能するため、リストクエリでのみ使用できます。`after` は `where`、`near例: 応答
+ +The output is like this: + +
+
+
+## ソート
+
+結果は `text`、`number`、`int` などのプリミティブプロパティでソートできます。
+
+### ソートの考慮事項
+
+オブジェクト取得時にはソートを適用できますが、**検索オペレーター使用時には利用できません**。検索オペレーターは自動的に [`certainty` または `distance`](./search-operators.md#vector-search-operators) などの要素で結果をランク付けするため、ソートはサポートされていません。
+
+Weaviate のソート実装では大きなメモリスパイクは発生しません。Weaviate はすべてのオブジェクトプロパティをメモリにロードせず、ソート対象のプロパティ値のみを保持します。
+
+ディスク上にソート専用のデータ構造も使用していません。オブジェクトをソートする際、Weaviate はオブジェクトを特定し、該当プロパティを抽出します。これは小規模（数十万〜数百万オブジェクト）では十分に機能しますが、非常に大きなリスト（数億〜数十億オブジェクト）をソートする場合は高コストです。将来的には、この性能制限を克服するためにカラム指向ストレージメカニズムが追加される可能性があります。
+
+### ソート順
+
+#### boolean 値
+`false` は `true` より小さい値と見なされます。昇順では `false` が `true` の前に、降順では `true` の後に配置されます。
+
+#### null 値
+`null` はすべての非 `null` 値より小さいと見なされます。昇順では `null` が最初に、降順では最後に配置されます。
+
+#### 配列
+配列は要素ごとに比較されます。配列の先頭から同じ位置の要素を比較し、ある位置で一方の配列の要素がもう一方より小さい場合、その配列全体が小さいと判断されます。
+
+配列の長さが同じで全要素が等しい場合は等しいと見なされます。一方の配列がもう一方のサブセットである場合、サブセットの方が小さいと見なされます。
+
+例:
+- `[1, 2, 3] = [1, 2, 3]`
+- `[1, 2, 4] < [1, 3, 4]`
+- `[2, 2] > [1, 2, 3, 4]`
+- `[1, 2, 3] < [1, 2, 3, 4]`
+
+### ソート API
+
+ソートは 1 つ以上のプロパティで実行できます。最初のプロパティ値が同一の場合、Weaviate は次のプロパティで順序を決定します。
+
+sort 関数には、プロパティとソート順を記述したオブジェクト、またはその配列を渡します。
+
+| パラメーター | 必須 | 型 | 説明 |
+|-------------|------|---------------|------|
+| `path` | yes | `text` | ソート対象フィールドへのパス。単一要素の配列でフィールド名を含みます。GraphQL ではフィールド名を直接指定できます。 |
+| `order` | クライアントにより異なる | `asc` または `desc` | ソート順。昇順 (デフォルト) または降順。|
+
+Expected response
+ +```json +{ + "data": { + "Get": { + "Article": [ + { + "_additional": { + "id": "00313a4c-4308-30b0-af4a-01773ad1752b" + }, + "title": "Managing Supply Chain Risk" + }, + { + "_additional": { + "id": "0042b9d0-20e4-334e-8f42-f297c150e8df" + }, + "title": "Playing College Football In Madden" + }, + { + "_additional": { + "id": "0047c049-cdd6-3f6e-bb89-84ae20b74f49" + }, + "title": "The 50 best albums of 2019, No 3: Billie Eilish \u2013 When We All Fall Asleep, Where Do We Go?" + }, + { + "_additional": { + "id": "00582185-cbf4-3cd6-8c59-c2d6ec979282" + }, + "title": "How artificial intelligence is transforming the global battle against human trafficking" + }, + { + "_additional": { + "id": "0061592e-b776-33f9-8109-88a5bd41df78" + }, + "title": "Masculine, feminist or neutral? The language battle that has split Spain" + } + ] + } + } +} +``` + +
+
+
+
+#### 複数プロパティによるソート
+
+複数のプロパティでソートするには、`{ path, order }` オブジェクトの配列を sort 関数に渡します。
+
+Expected response
+ +```json +{ + "data": { + "Get": { + "JeopardyQuestion": [ + { + "answer": "$5 (Lincoln Memorial in the background)", + "points": 600, + "question": "A sculpture by Daniel Chester French can be seen if you look carefully on the back of this current U.S. bill" + }, + { + "answer": "(1 of 2) Juneau, Alaska or Augusta, Maine", + "points": 0, + "question": "1 of the 2 U.S. state capitals that begin with the names of months" + }, + { + "answer": "(1 of 2) Juneau, Alaska or Honolulu, Hawaii", + "points": 0, + "question": "One of the 2 state capitals whose names end with the letter \"U\"" + } + ] + } + } +} +``` + +
+
+
+
+
+## グルーピング
+
+類似したコンセプトをまとめるために group を使用できます（ _entity merging_ とも呼ばれます）。意味的に類似したオブジェクトをグループ化する方法は 2 つあり、`closest` と `merge` です。最も近いコンセプトを返すには `type: closest` を設定します。類似したエンティティを 1 つの文字列に結合するには `type: merge` を設定します。
+
+### 変数
+
+| 変数 | 必須 | 型 | 説明 |
+| --------- | -------- | ---- | ----------- |
+| `type` | yes | `string` | `closest` または `merge` |
+| `force` | yes | `float` | 特定の移動に適用する force です。Python クライアント v4 のプロパティ名
+ +| プロパティ名 | ソート用プロパティ名 | +| :- | :- | +| `uuid` | `_id` | +| `creation_time` | `_creationTimeUnix` | +| `last_update_time` | `_lastUpdateTimeUnix` | + +`0` から `1` の間で指定します。`0` は移動なし、`1` は最大移動です。 | + +### 例 + +import GraphQLFiltersGroup from '/_includes/code/graphql.filters.group.mdx'; + +
+
+
+## 質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+期待されるレスポンス
+ +```json +{ + "data": { + "Get": { + "Publication": [ + { + "name": "Fox News" + }, + { + "name": "Wired" + }, + { + "name": "The New York Times Company (New York Times, International New York Times)" + }, + { + "name": "Game Informer" + }, + { + "name": "New Yorker" + }, + { + "name": "Wall Street Journal" + }, + { + "name": "Vogue" + }, + { + "name": "The Economist" + }, + { + "name": "Financial Times" + }, + { + "name": "The Guardian" + }, + { + "name": "CNN" + } + ] + } + } +} +``` + +
+
+
+## 追加プロパティ
+
+### id
+
+オブジェクトの [UUID](https://en.wikipedia.org/wiki/Universally_unique_identifier) を取得するには `id` フィールドを使用します。
+
+### vector
+
+データオブジェクトの ベクトル 埋め込みを取得するには `vector` フィールドを使用します。
+
+### generate
+
+:::info [生成モデル統合](../../model-providers/index.md) が必要です
+:::
+
+`generate` フィールドを使用すると、[検索拡張生成](../../search/generative.md) を実行できます。
+
+`generate` クエリを実行すると、`singleResult`、`groupedResult`、`error` などの追加結果フィールドが利用可能になります。
+
+例については、[関連の How-to ページ](../../search/generative.md) をご覧ください。
+
+### rerank
+
+:::info [リランカー統合](../../model-providers/index.md) が必要です
+:::
+
+`rerank` フィールドは [検索結果を再順位付け](../../search/rerank.md) するために使用できます。受け取れるパラメータは 2 つです:
+
+| パラメータ | 必須 | 型 | 説明 |
+|------------|------|----|------|
+| `property` | yes | `string` | リランカーに渡すプロパティを指定します。たとえば Products コレクションで類似検索を行い、その後 Name フィールドだけでリランクしたい場合などに利用します。 |
+| `query` | no | `string` | 別のクエリを任意で指定できます。 |
+
+`rerank` クエリを実行すると、追加の `score` フィールドが利用可能になります。
+
+例については、[関連の How-to ページ](../../search/rerank.md) をご覧ください。
+
+### creationTimeUnix
+
+データオブジェクトの作成タイムスタンプを取得するには `creationTimeUnix` フィールドを使用します。
+
+### lastUpdateTimeUnix
+
+データオブジェクトの最終更新タイムスタンプを取得するには `lastUpdateTimeUnix` フィールドを使用します。
+
+### ベクトル検索メタデータ
+
+検索クエリ ベクトル と各検索結果との類似度メトリックを取得するには、`distance` または `certainty` フィールドを使用します。
+
+#### Distance
+
+:::info Added in `v1.14.0`
+:::
+
+`Distance` は ベクトル 検索で計算された生の距離であり、使用している距離メトリックと同じ単位で表示されます。
+
+[距離メトリックと想定される距離範囲](../../config-refs/distances.md#available-distance-metrics) の詳細な概要をご覧ください。
+
+距離の値が小さいほど、2 つのベクトルが互いに近いことを示します。
+
+#### Certainty（コサイン距離のみ）
+
+`Certainty` は 0 から 1 の間の値を返す経験的な指標です。そのため `cosine` のような固定範囲の距離メトリックでのみ利用できます。
+
+### キーワード検索メタデータ
+
+キーワード（BM25）検索の各結果に対するスコアおよびその説明を取得するには、`score` と `explainScore` フィールドを使用します。
+
+#### Score
+
+`score` は結果の BM25F スコアです。このスコアはデータセットおよびクエリに依存する相対値である点にご注意ください。
+
+#### ExplainScore
+
+`explainScore` は結果の BM25F スコアを構成要素ごとに分解して説明します。これにより、結果がそのスコアになった理由を理解できます。
+
+### ハイブリッド検索メタデータ
+
+ハイブリッド検索の各結果について、そのスコアとスコアリング理由を取得するには、 `score` フィールドと `explainScore` フィールドを使用します。
+
+#### スコア
+
+`score` は、指定された [融合アルゴリズム](./search-operators.md#fusion-algorithms) に基づくハイブリッドスコアです。この値はデータセットとクエリに対して相対的なものです。
+
+#### ExplainScore
+
+`explainScore` は、結果のハイブリッドスコアをベクトル検索成分とキーワード検索成分に分解したものです。これにより、特定のスコアが付いた理由を理解できます。
+
+
+### 分類
+
+データオブジェクトが 期待されるレスポンス
+ +```json +{ + "data": { + "Get": { + "Article": [ + { + "_additional": { + "distance": 0.15422738, + "id": "e76ec9ae-1b84-3995-939a-1365b2215312" + }, + "title": "How to Dress Up For an Untraditional Holiday Season" + }, + { + "_additional": { + "distance": 0.15683109, + "id": "a2d51619-dd22-337a-8950-e1a407dab3d2" + }, + "title": "2020's biggest fashion trends reflect a world in crisis" + }, + ... + ] + } + } +} +``` + +
+
+
+上記の結果は次のようにプロットできます（赤色が最初の結果）。
+
+
+
+#### ベストプラクティスおよび注意事項
+* `t-SNE` アルゴリズムは O(n^2) の計算量を持つため、リクエストサイズは 100 項目以下に抑えることを推奨します。
+* `t-SNE` は非決定的かつ損失を伴い、クエリごとにリアルタイムで実行されます。そのため、返される次元はクエリ間で意味を持ちません。
+* コストの高いアルゴリズムであるため、応答時間が重要な高負荷状況では `featureProjection` を含むリクエストの数を制限してください。 `featureProjection` を含む並列リクエストは避け、他の時間的制約があるリクエストを処理するスレッドを確保しましょう。
+
+
+## 質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+Expected response
+ +```json +{ + "data": { + "Get": { + "Article": [ + { + "_additional": { + "featureProjection": { + "vector": [ + -115.17981, + -16.873344 + ] + } + }, + "title": "Opinion | John Lennon Told Them \u2018Girls Don\u2019t Play Guitar.\u2019 He Was So Wrong." + }, + { + "_additional": { + "featureProjection": { + "vector": [ + -117.78348, + -21.845968 + ] + } + }, + "title": "Opinion | John Lennon Told Them \u2018Girls Don\u2019t Play Guitar.\u2019 He Was So Wrong." + }, + ... + ] + } + } +} +``` + +
+ (groupBy:[]) {
+ groupedBy { # requires `groupBy` filter
+ path
+ value
+ }
+ meta {
+ count
+ }
+ {
+ count
+ type
+ topOccurrences (limit: ) {
+ value
+ occurs
+ }
+ }
+ {
+ count
+ type
+ minimum
+ maximum
+ mean
+ median
+ mode
+ sum
+ }
+ {
+ count
+ type
+ totalTrue
+ totalFalse
+ percentageTrue
+ percentageFalse
+ }
+
+ pointingTo
+ type
+ }
+ }
+}
+```
+
+
+
+以下は `Article` コレクションのメタ情報を取得する例です。ここではデータのグループ化は行っておらず、結果は `Article` コレクション内のすべてのデータオブジェクトに関係します。
+
+import GraphQLAggregateSimple from '/_includes/code/graphql.aggregate.simple.mdx';
+
+GraphQL Aggregate フォーマットを見る
+ +```graphql +{ + Aggregate { +
+
+
+### 追加フィルター
+
+`Aggregate` 関数は条件フィルターで拡張できます。[詳細はこちら](filters.md)。
+
+### `topOccurrences` プロパティ
+
+集計時には `topOccurrences` プロパティが利用可能です。カウントはトークナイゼーションには依存せず、プロパティ全体、または配列の場合はその値ごとの出現回数を基に計算されます。
+
+`limit` パラメーターを指定して返却件数を制限できます。例: `limit: 5` で最も頻度の高い上位 5 件を返します。
+
+### 整合性レベル
+
+:::info `Aggregate` では利用できません
+`Aggregate` クエリでは現在、異なる整合性レベルは利用できません。
+:::
+
+### マルチテナンシー
+
+:::info `v1.20` で追加
+:::
+
+マルチテナンシーが設定されている場合、`Aggregate` 関数は特定テナントの結果を集計できます。
+
+クエリ内、またはクライアントで `tenant` パラメーターを指定してください。
+
+```graphql
+{
+ Aggregate {
+ Article (
+ tenant: "tenantA"
+ ) {
+ meta {
+ count
+ }
+ }
+ }
+}
+```
+
+:::tip HOW-TO ガイドを見る
+マルチテナンシーの使用方法については、[マルチテナンシー操作ガイド](../../manage-collections/multi-tenancy.mdx) を参照してください。
+:::
+
+
+
+## ベクトル検索の集約 / ファセット ベクトル検索
+
+:::note
+この機能は `v1.13.0` で追加されました
+:::
+
+ベクトル検索（例: `nearObject`、`nearVector`、`nearText`、`nearImage` など）と集約を組み合わせることができます。内部的には 2 段階のプロセスで、まずベクトル検索で目的のオブジェクトを取得し、その結果を集約します。
+
+### 検索空間の制限
+
+ベクトル検索はオブジェクトを類似度でランク付けしますが、どのオブジェクトも除外しません。したがって、検索演算子が集約に影響を与えるようにするには、クエリに `objectLimit` か `certainty` のいずれかを設定して検索空間を制限する必要があります:
+
+* `objectLimit`、例: `objectLimit: 100` は、ベクトル検索クエリで取得された最初の 100 件のオブジェクトを集約するように Weaviate に指示します。あらかじめ提供したい結果数が分かっている場合、たとえば 100 件のレコメンデーションを生成したいレコメンド シナリオで便利です。
+
+* `certainty`、例: `certainty: 0.7` は、確信度スコアが 0.7 以上のすべてのベクトル検索結果を集約するように Weaviate に指示します。このリストには固定長がなく、十分にマッチするオブジェクト数によって変わります。これは EC などのユーザー向け検索シナリオで便利です。ユーザーは「apple iphone」と意味的に類似するすべての検索結果に興味を持ち、その後ファセットを生成したい場合があります。
+
+`objectLimit` と `certainty` のいずれも設定されていない場合、集約クエリは失敗します。
+
+### 例
+
+以下に `nearObject`、`nearVector`、`nearText` の例を示します。任意の `near想定されるレスポンス
+ +```json +{ + "data": { + "Aggregate": { + "Article": [ + { + "groupedBy": { + "path": [ + "inPublication" + ], + "value": "weaviate://localhost/Publication/16476dca-59ce-395e-b896-050080120cd4" + }, + "meta": { + "count": 829 + }, + "wordCount": { + "mean": 604.6537997587454 + } + }, + { + "groupedBy": { + "path": [ + "inPublication" + ], + "value": "weaviate://localhost/Publication/c9a0e53b-93fe-38df-a6ea-4c8ff4501783" + }, + "meta": { + "count": 618 + }, + "wordCount": { + "mean": 917.1860841423949 + } + }, + ... + ] + } + } +} +``` + +
+
+
+## フィルター構造
+
+`where` フィルターは [代数的オブジェクト](https://en.wikipedia.org/wiki/Algebraic_structure) で、次の引数を取ります。
+
+- `Operator`（以下のいずれか）
+ - `And`
+ - `Or`
+ - `Equal`
+ - `NotEqual`
+ - `GreaterThan`
+ - `GreaterThanEqual`
+ - `LessThan`
+ - `LessThanEqual`
+ - `Like`
+ - `WithinGeoRange`
+ - `IsNull`
+ - `ContainsAny` (*配列および text プロパティのみ*)
+ - `ContainsAll` (*配列および text プロパティのみ*)
+- `Path`：コレクションのプロパティ名を示す [XPath](https://en.wikipedia.org/wiki/XPath#Abbreviated_syntax) 形式の文字列リスト。
+ - プロパティがクロスリファレンスの場合、パスは文字列のリストとしてたどります。たとえば `inPublication` というリファレンスプロパティが `Publication` コレクションを参照している場合、`name` を指定するパスセレクターは `["inPublication", "Publication", "name"]` になります。
+- `valueType`
+ - `valueInt`：`int` データ型
+ - `valueBoolean`：`boolean` データ型
+ - `valueString`：`string` データ型（`string` は非推奨）
+ - `valueText`：`text`、`uuid`、`geoCoordinates`、`phoneNumber` データ型
+ - `valueNumber`：`number` データ型
+ - `valueDate`：`date` データ型（ISO 8601 タイムスタンプ、[RFC3339](https://datatracker.ietf.org/doc/rfc3339/) 形式）
+
+演算子が `And` または `Or` の場合、オペランドは `where` フィルターのリストになります。
+
+Expected response
+ +``` +{ + "data": { + "Get": { + "Article": [ + { + "title": "Anywhere but Washington: an eye-opening journey in a deeply divided nation" + }, + { + "title": "The world is still struggling to implement meaningful climate policy" + }, + ... + ] + } + } +} +``` + +
+ (where: {
+ operator: ,
+ operands: [{
+ path: [path],
+ operator:
+ :
+ }, {
+ path: [],
+ operator: ,
+ :
+ }]
+ }) {
+ {
+
+ ... on {
+
+ }
+ }
+ }
+ }
+}
+```
+
+
+
+Example filter structure (GraphQL)
+ +```graphql +{ + Get { +
+
+
+:::note `Not` operator
+Weaviate にはフィルターを反転する演算子（例：`Not Like ...`）はありません。追加をご希望の場合は [問題をアップボートしてください](https://github.com/weaviate/weaviate/issues/3683)。
+:::
+
+### フィルターの挙動
+
+#### `Equal` フィルターでの複数語クエリ
+
+`where` フィルターにおける `Equal` 演算子の複数語テキストプロパティに対する挙動は、そのプロパティの `tokenization` 設定によって異なります。
+
+利用可能なトークナイゼーションタイプの違いについては、[スキーマプロパティのトークナイゼーション](../../config-refs/collections.mdx#tokenization) を参照してください。
+
+#### `text` フィルターにおけるストップワード
+
+`v1.12.0` 以降、[転置インデックスのストップワードリスト](/weaviate/config-refs/indexing/inverted-index.mdx#stopwords) を独自に設定できます。
+
+## 複数オペランド
+
+複数のオペランドを設定したり、[条件をネスト](../../search/filters.md#nested-filters) することができます。
+
+:::tip
+`valueDate` を [RFC3339](https://datatracker.ietf.org/doc/rfc3339/) 形式の `string` として指定すれば、日時も数値と同様にフィルタリングできます。
+:::
+
+import GraphQLFiltersWhereOperands from '/_includes/code/graphql.filters.where.operands.mdx';
+
+Example response
+ +```json +{ + "data": { + "Get": { + "Article": [ + { + "title": "Opinion | John Lennon Told Them ‘Girls Don't Play Guitar.' He Was So Wrong." + } + ] + } + }, + "errors": null +} +``` + +
+
+
+## フィルター演算子
+
+### `Like`
+
+`Like` 演算子は、部分一致に基づいて `text` データをフィルタリングします。次のワイルドカードを使用できます。
+
+- `?` → ちょうど 1 文字の不明文字
+ - `car?` は `cart`、`care` にマッチしますが `car` にはマッチしません
+- `*` → 0 文字以上の不明文字
+ - `car*` は `car`、`care`、`carpet` などにマッチします
+ - `*car*` は `car`、`healthcare` などにマッチします。
+
+import GraphQLFiltersWhereLike from '/_includes/code/graphql.filters.where.like.mdx';
+
+Expected response
+ +```json +{ + "data": { + "Get": { + "Article": [ + { + "title": "China\u2019s long-distance lorry drivers are unsung heroes of its economy" + }, + { + "title": "\u2018It\u2019s as if there\u2019s no Covid\u2019: Nepal defies pandemic amid a broken economy" + }, + { + "title": "A tax hike threatens the health of Japan\u2019s economy" + } + ] + } + } +} +``` + +
+
+
+
+
+#### `Like` のパフォーマンス
+
+各 `Like` フィルターは、そのプロパティの全ての 転置インデックス を走査します。検索時間はデータセット サイズに比例して増加し、大規模なデータセットでは遅くなる可能性があります。
+
+#### `Like` でのワイルドカード文字のリテラル一致
+
+現在、`Like` フィルターはワイルドカード文字（`?` と `*`）をリテラル文字として一致させることができません。たとえば、`car`、`care`、`carpet` ではなく文字列 `car*` のみを一致させることは現状では不可能です。これは既知の制限であり、将来の Weaviate のバージョンで対応される可能性があります。
+
+
+### `ContainsAny` / `ContainsAll`
+
+`ContainsAny` と `ContainsAll` の各オペレーターは、配列の値を基準にオブジェクトをフィルターします。
+
+両オペレーターとも値の配列を受け取り、入力値に基づいて一致するオブジェクトを返します。
+
+:::note `ContainsAny` and `ContainsAll` notes:
+- `ContainsAny` と `ContainsAll` の各オペレーターはテキストを配列として扱います。テキストは選択されたトークナイゼーション方式に基づいてトークン配列に分割され、その配列に対して検索が行われます。
+- REST API を使った [バッチ削除](../../manage-objects/delete.mdx#delete-multiple-objects) で `ContainsAny` または `ContainsAll` を使用する場合、テキスト配列は `valueTextArray` 引数で指定する必要があります。検索時の使用方法とは異なり、`valueText` 引数は使用できません。
+:::
+
+
+#### `ContainsAny`
+
+`ContainsAny` は、入力配列の値のうち少なくとも 1 つが存在するオブジェクトを返します。
+
+`Person` データセットを想定し、各オブジェクトが `text` 型の `languages_spoken` プロパティを持つとします。
+
+`path` が `["languages_spoken"]`、`value` が `["Chinese", "French", "English"]` の `ContainsAny` クエリは、`languages_spoken` 配列にこれらの言語のいずれかが含まれるオブジェクトを返します。
+
+#### `ContainsAll`
+
+`ContainsAll` は、入力配列の全ての値が存在するオブジェクトを返します。
+
+上記と同じ `Person` データセットで、`path` が `["languages_spoken"]`、`value` が `["Chinese", "French", "English"]` の `ContainsAll` クエリは、`languages_spoken` 配列に 3 つ全ての言語が含まれるオブジェクトを返します。
+
+## Filter performance
+
+import RangeFilterPerformanceNote from '/_includes/range-filter-performance-note.mdx';
+
+Expected response
+ +```json +{ + "data": { + "Get": { + "Publication": [ + { + "name": "The New York Times Company" + }, + { + "name": "International New York Times" + }, + { + "name": "New York Times" + }, + { + "name": "New Yorker" + } + ] + } + } +} +``` + +
+
+
+### タイムスタンプでのフィルター
+
+`creationTimeUnix` や `lastUpdateTimeUnix` などの内部タイムスタンプでもフィルターできます。これらの値は Unix エポックミリ秒、または [RFC3339](https://datatracker.ietf.org/doc/rfc3339/) 形式の日時として表現可能です。エポックミリ秒は `valueText`、RFC3339 形式の日時は `valueDate` として渡す必要があります。
+
+:::info
+タイムスタンプでのフィルターには、対象クラスがタイムスタンプの インデックス を有効化している必要があります。詳細は [こちら](/weaviate/config-refs/indexing/inverted-index.mdx#indextimestamps) を参照してください。
+:::
+
+import GraphQLFiltersWhereTimestamps from '/_includes/code/graphql.filters.where.timestamps.mdx';
+
+Expected response
+ +```json +{ + "data": { + "Get": { + "Article": [ + { + "title": "Backs on the rack - Vast sums are wasted on treatments for back pain that make it worse" + } + ] + } + } +} +``` + +
+
+
+### プロパティ長でのフィルター
+
+プロパティの長さを基準にフィルターできます。
+
+長さの計算方法は型によって異なります。
+- 配列型: 配列の要素数を使用します。null（プロパティが存在しない）と空配列はいずれも長さ 0 と見なされます。
+- 文字列およびテキスト: 文字数（たとえば Unicode 文字の「世」は 1 文字としてカウントされます）。
+- 数値、ブーリアン、地理座標、電話番号、データ ブロブはサポートされていません。
+
+```graphql
+{
+ Get {
+ Expected response
+ +```json +{ + "data": { + "Get": { + "Article": [ + { + "title": "Army builds new body armor 14-times stronger in the face of enemy fire" + }, + ... + ] + } + } +} +``` + +
+
+
+### 参照数でのフィルター
+
+前述の例では「New Yorker が出版した全ての記事を探す」のような単純な質問を解決できますが、「少なくとも 2 本の記事を書いた著者が執筆した記事を探す」のような質問は対応できません。ただし、参照数でフィルターすることは可能です。既存の比較オペレーター（`Equal`、`LessThan`、`LessThanEqual`、`GreaterThan`、`GreaterThanEqual`）を参照要素に直接指定します。例:
+
+import GraphQLFiltersWhereBeaconCount from '/_includes/code/graphql.filters.where.beacon.count.mdx';
+
+Expected response
+ +```json +{ + "data": { + "Get": { + "Article": [ + { + "inPublication": [ + { + "name": "New Yorker" + } + ], + "title": "The Hidden Costs of Automated Thinking" + }, + { + "inPublication": [ + { + "name": "New Yorker" + } + ], + "title": "The Real Deal Behind the U.S.\u2013Iran Prisoner Swap" + }, + ... + ] + } + } +} +``` + +
+
+
+### Geo 座標
+
+`Where` フィルターの特別なケースとして geoCoordinates が存在します。このフィルターは `Get{}` 関数でのみサポートされます。geoCoordinates プロパティタイプを設定している場合、キロメートル単位でエリア内を検索できます。
+
+例えば、次のクエリは特定の地理位置を中心とした半径 2 KM 内のすべてを返します:
+
+import GraphQLFiltersWhereGeocoords from '/_includes/code/graphql.filters.where.geocoordinates.mdx';
+
+Expected response
+ +```json +{ + "data": { + "Get": { + "Author": [ + { + "name": "Agam Shah", + "writesFor": [ + { + "name": "Wall Street Journal" + }, + { + "name": "Wall Street Journal" + } + ] + }, + { + "name": "Costas Paris", + "writesFor": [ + { + "name": "Wall Street Journal" + }, + { + "name": "Wall Street Journal" + } + ] + }, + ... + ] + } + } +} +``` + +
+
+
+geoCoordinates は内部で ベクトル インデックスを使用していることに注意してください。
+
+import GeoLimitations from '/_includes/geo-limitations.mdx';
+
+Expected response
+ +```json +{ + "data": { + "Get": { + "Publication": [ + { + "headquartersGeoLocation": { + "latitude": 51.512737, + "longitude": -0.0962234 + }, + "name": "Financial Times" + }, + { + "headquartersGeoLocation": { + "latitude": 51.512737, + "longitude": -0.0962234 + }, + "name": "International New York Times" + } + ] + } + } +} +``` + +(No if using gRPC API) | +| Cross-references | 取得するクロスリファレンス | No | +| [メタデータ](./additional-properties.md) | 取得するメタデータ（追加プロパティ） | No | +| [条件フィルター](./filters.md) | 取得するオブジェクトをフィルタリング | No | +| [検索オペレーター](./search-operators.md) | 検索戦略を指定（例: near text、hybrid、bm25） | No | +| [追加オペレーター](./additional-operators.md) | 追加オペレーターを指定（例: limit、offset、sort） | No | +| [Tenant name](#multi-tenancy) | テナント名を指定 | Yes, if multi-tenancy enabled. ([詳細: マルチテナンシーとは?](../../concepts/data.md#multi-tenancy)) | +| [Consistency level](#consistency-levels) | コンシステンシーレベルを指定 | No | + + +#### 使用例 + +import GraphQLGetSimple from '/_includes/code/graphql.get.simple.mdx'; + +
+
+
+レスポンス例
+ +上記のクエリを実行すると、次のような結果が得られます: + +``` +{'points': 400.0, 'answer': 'Refrigerator Car', 'air_date': '1997-02-14', 'hasCategory': 'TRANSPORTATION', 'question': 'In the 19th century Gustavus Swift developed this type of railway car to preserve his packed meat', 'round': 'Jeopardy!'} +{'points': 800.0, 'hasCategory': 'FICTIONAL CHARACTERS', 'answer': 'Forsyte', 'air_date': '1998-05-27', 'question': 'Last name of Soames & Irene, the 2 principal characters in John Galsworthy\'s 3 novel "saga"', 'round': 'Double Jeopardy!'} +{'points': 500.0, 'answer': 'Duluth', 'air_date': '1996-12-17', 'hasCategory': 'MUSEUMS', 'question': 'This eastern Minnesota city is home to the Lake Superior Museum of Transportation', 'round': 'Jeopardy!'} +{'points': 1000.0, 'answer': 'Ear', 'air_date': '1988-11-16', 'hasCategory': 'HISTORY', 'round': 'Double Jeopardy!', 'question': "An eighteenth-century war was named for this part of Robert Jenkins' body, reputedly cut off by Spaniards"} +{'points': 400.0, 'answer': 'Bonnie Blair', 'air_date': '1997-02-28', 'hasCategory': 'SPORTS', 'round': 'Jeopardy!', 'question': "At the 1994 Olympics, this U.S. woman speed skater surpassed Eric Heiden's medal total"} +{'points': 1600.0, 'answer': 'Turkish', 'air_date': '2008-03-24', 'hasCategory': 'LANGUAGES', 'question': 'In the 1920s this language of Anatolia switched from the Arabic to the Latin alphabet', 'round': 'Double Jeopardy!'} +{'points': 100.0, 'answer': 'Ireland', 'air_date': '1998-10-01', 'hasCategory': 'POTPOURRI', 'round': 'Jeopardy!', 'question': "Country in which you'd find the Book of Kells"} +{'points': 800.0, 'answer': 'Ichabod Crane', 'air_date': '2008-01-03', 'hasCategory': 'LITERATURE', 'round': 'Double Jeopardy!', 'question': 'Washington Irving based this character on his friend Jesse Merwin, a schoolteacher'} +{'points': 300.0, 'air_date': '1997-12-05', 'hasCategory': 'LITERATURE', 'answer': '"The Prince and the Pauper"', 'question': 'Tom Canty, born in a slum called Offal Court, & Edward Tudor are the title characters in this Twain novel', 'round': 'Jeopardy!'} +{'points': 500.0, 'answer': 'Seattle', 'air_date': '1999-05-10', 'hasCategory': 'U.S. CITIES', 'round': 'Jeopardy!', 'question': "The site of the World's Fair in 1962, it's flanked on the west by Puget Sound & on the east by Lake Washington"} +``` + +
+
+
+:::tip さらに詳しく
+- [検索方法: 基本](../../search/basics.md)
+:::
+
+### `Get` groupBy
+
+クエリに一致するオブジェクトをグループ単位で取得できます。
+
+グループはプロパティによって定義され、グループ数やグループごとのオブジェクト数を制限できます。
+
+import GroupbyLimitations from '/_includes/groupby-limitations.mdx';
+
+取得オブジェクトの順序
+ +引数を指定しない場合、オブジェクトは ID 順で取得されます。 + +したがって、このような `Get` クエリは実質的なオブジェクト検索戦略には適していません。その用途には [Cursor API](./additional-operators.md#cursor-with-after) の使用をご検討ください。 + +
+
+
+:::tip Read more
+- [クロスリファレンスされたプロパティの取得方法](../../search/basics.md#retrieve-cross-referenced-properties)
+:::
+
+## 追加プロパティ / メタデータ
+
+さまざまなメタデータプロパティは `Get{}` リクエストで取得できます。以下が例です:
+
+Property | Description |
+-------- | ----------- |
+`id` | オブジェクト ID |
+`vector` | オブジェクト ベクトル |
+`generate` | 生成モジュールの出力 |
+`rerank` | リランカー モジュールの出力 |
+`creationTimeUnix` | オブジェクトの作成時刻 |
+`lastUpdateTimeUnix` | オブジェクトの最終更新時刻 |
+`distance` | クエリとの ベクトル 距離（ベクトル検索のみ） |
+`certainty` | クエリとの ベクトル 距離を確信度に正規化（ベクトル検索のみ） |
+`score` | 検索スコア（BM25 およびハイブリッドのみ） |
+`explainScore` | スコアの説明（BM25 およびハイブリッドのみ） |
+`classification` | 分類モジュールの出力 |
+`featureProjection` | 特徴量プロジェクションの出力 |
+
+これらはレスポンスの `_additional` プロパティを通じて返されます。
+
+詳細は以下を参照してください:
+
+:::tip Read more
+- [リファレンス: GraphQL: Additional properties](./additional-properties.md)
+- [ハウツー検索: 取得プロパティの指定](../../search/basics.md#specify-object-properties)
+:::
+
+
+## 検索オペレーター
+
+利用可能な検索オペレーターは以下のとおりです。
+
+| Argument | 説明 | 必要な統合タイプ | 詳細 |
+| --- | --- | --- | --- |
+| `nearObject` | Weaviate オブジェクトを使用した ベクトル検索 | *none* | [Learn more](./search-operators.md#nearobject) |
+| `nearVector` | 生の ベクトル を使用した ベクトル検索 | *none* | [Learn more](./search-operators.md#nearvector) |
+| `nearText` | テキストクエリを使用した ベクトル検索 | Text embedding model | |
+| `nearImage` | 画像を使用した ベクトル検索 | Multi-modal embedding model |
+| `hybrid` | ベクトル検索結果と BM25 検索結果を組み合わせます | *none* | [Learn more](../graphql/search-operators.md#hybrid) |
+| `bm25` | BM25F ランキングによるキーワード検索 | *none* | [Learn more](../graphql/search-operators.md#bm25) |
+
+詳細は以下を参照してください:
+
+:::tip Read more
+- [リファレンス: GraphQL: Search operators](./search-operators.md)
+- [ハウツー検索: 類似度検索](../../search/similarity.md)
+- [ハウツー検索: 画像検索](../../search/image.md)
+- [ハウツー検索: BM25 検索](../../search/bm25.md)
+- [ハウツー検索: ハイブリッド検索](../../search/hybrid.md)
+:::
+
+## 条件付きフィルター
+
+`Get{}` クエリは条件付きフィルターと組み合わせることができます。
+
+詳細は以下を参照してください:
+
+:::tip Read more
+- [リファレンス: GraphQL: Conditional Filters](./filters.md)
+- [ハウツー検索: フィルター](../../search/filters.md)
+:::
+
+
+## 追加オペレーター
+
+`Get{}` クエリは `limit`, `offset`, `autocut`, `after`, `sort` などの追加オペレーターと組み合わせることができます。
+
+詳細は以下を参照してください:
+
+:::tip Read more
+- [リファレンス: GraphQL: Additional Operators](./additional-operators.md)
+:::
+
+
+## 関連ページ
+- [ハウツー: 検索: 基本](../../search/basics.md)
+
+
+## 質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+期待されるレスポンス
+ +
+
+
+
+
+### nearText
+
+`nearText` オペレーターは、自然言語クエリとのベクトル類似度に基づいてデータオブジェクトを検索します。
+
+このオペレーターは、コレクションに互換性のある ベクトライザー モジュールが設定されている場合に有効になります。互換性のある ベクトライザー モジュールは以下のとおりです。
+
+* 任意の `text2vec` モジュール
+* 任意の `multi2vec` モジュール
+
+
+#### 変数
+
+| 変数 | 必須 | 型 | 説明 |
+| --- | --- | --- | --- |
+| `concepts` | yes | `[string]` | 自然言語クエリや単語を含む文字列配列。複数の文字列を指定した場合、セントロイドを計算して使用します。コンセプトの解析方法の詳細は [こちら](#concept-parsing) を参照してください。 |
+| `distance` | no | `float` | 指定した検索入力に対して許容される最大距離。 `certainty` 変数と同時には使用できません。距離値の解釈は [使用している距離メトリック](/weaviate/config-refs/distances.md) に依存します。 |
+| `certainty` | no | `float` | 結果アイテムと検索ベクトル間の正規化された距離。0（完全に反対）〜 1（同一ベクトル）の範囲に正規化されます。 `distance` 変数と同時には使用できません。 |
+| `autocorrect` | no | `boolean` | 入力テキストを自動修正します。 [`text-spellcheck` モジュール](../../modules/spellcheck.md) が存在し、かつ有効になっている必要があります。 |
+| `moveTo` | no | `object{}` | キーワードで表される別のベクトルに検索語を近づけます。 |
+| `moveTo{concepts}` | no | `[string]` | 自然言語クエリや単語を含む文字列配列。複数の文字列を指定した場合、セントロイドを計算して使用します。 |
+| `moveTo{objects}` | no | `[UUID]` | 結果を近づけたいオブジェクト ID。NLP 検索結果をベクトル空間上の特定方向にバイアスするために使用します。 |
+| `moveTo{force}` | no | `float` | 移動に適用する強さ。0 は移動なし、1 は最大移動量を表します。 |
+| `moveAwayFrom` | no | `object{}` | キーワードで表される別のベクトルから検索語を遠ざけます。 |
+| `moveAwayFrom{concepts}` | no | `[string]` | 自然言語クエリや単語を含む文字列配列。複数の文字列を指定した場合、セントロイドを計算して使用します。 |
+| `moveAwayFrom{objects}` | no | `[UUID]` | 結果を遠ざけたいオブジェクト ID。NLP 検索結果をベクトル空間上の特定方向にバイアスするために使用します。 |
+| `moveAwayFrom{force}` | no | `float` | 移動に適用する強さ。0 は移動なし、1 は最大移動量を表します。 |
+
+#### 例 I
+
+この例は `nearText` オペレーターの使用例を示しており、別の検索クエリへ結果をバイアスする方法も含みます。
+
+import GraphQLFiltersNearText from '/_includes/code/graphql.filters.nearText.mdx';
+
+想定されるレスポンス
+ +```json +{ + "data": { + "Get": { + "Publication": [ + { + "_additional": { + "distance": -1.1920929e-07 + }, + "name": "The New York Times Company" + }, + { + "_additional": { + "distance": 0.059879005 + }, + "name": "New York Times" + }, + { + "_additional": { + "distance": 0.09176409 + }, + "name": "International New York Times" + }, + { + "_additional": { + "distance": 0.13954824 + }, + "name": "New Yorker" + }, + ... + ] + } + } +} +``` + +
+
+
+#### 追加情報
+
+##### コンセプト解析
+
+`nearText` クエリは、配列入力の各要素を別々の文字列として ベクトル 化します。複数の文字列が渡された場合、クエリ ベクトル は各文字列 ベクトル の平均となります。
+
+- `["New York Times"]` = 単一の ベクトル 位置が語の出現に基づいて決定される
+- `["New", "York", "Times"]` = すべてのコンセプトが同じ重みを持つ
+- `["New York", "Times"]` = 上記 2 つの組み合わせ
+
+実用例: `concepts: ["beatles", "John Lennon"]`
+
+##### セマンティックパス
+
+* `txt2vec-contextionary` モジュールのみで利用可能
+
+セマンティックパスは、クエリからデータオブジェクトまでのコンセプトの配列を返します。これにより、Weaviate がどのようなステップを踏んだか、およびクエリとデータオブジェクトがどのように解釈されたかを確認できます。
+
+| Property | 説明 |
+| --- | --- |
+| `concept` | このステップで見つかったコンセプト |
+| `distanceToNext` | 次のステップまでの距離（最後のステップの場合は null） |
+| `distanceToPrevious` | 前のステップまでの距離（最初のステップの場合は null） |
+| `distanceToQuery` | このステップからクエリまでの距離 |
+| `distanceToResult` | このステップから結果までの距離 |
+
+_注: セマンティックパスを構築できるのは、探索語がパスの開始、各検索結果がパスの終端を表すため [`nearText: {}` オペレーター](#neartext) が設定されている場合のみです。現在 `nearText: {}` クエリは GraphQL でのみ利用可能なため、`semanticPath` は REST API では利用できません。_
+
+例: エッジなしでセマンティックパスを表示
+
+import GraphQLUnderscoreSemanticpath from '/_includes/code/graphql.underscoreproperties.semanticpath.mdx';
+
+期待されるレスポンス
+ +```json +{ + "data": { + "Get": { + "Article": [ + { + "_additional": { + "certainty": 0.9619976580142975 + }, + "summary": "We've scoured the planet for what we think are 50 of the most delicious foods ever created. A Hong Kong best food, best enjoyed before cholesterol checks. When you have a best food as naturally delicious as these little fellas, keep it simple. Courtesy Matt@PEK/Creative Commons/FlickrThis best food Thai masterpiece teems with shrimp, mushrooms, tomatoes, lemongrass, galangal and kaffir lime leaves. It's a result of being born in a land where the world's most delicious food is sold on nearly every street corner.", + "title": "World food: 50 best dishes" + }, + { + "_additional": { + "certainty": 0.9297388792037964 + }, + "summary": "The look reflects the elegant ambiance created by interior designer Joyce Wang in Hong Kong, while their mixology program also reflects the original venue. MONO Hong Kong , 5/F, 18 On Lan Street, Central, Hong KongKoral, The Apurva Kempinski Bali, IndonesiaKoral's signature dish: Tomatoes Bedugul. Esterre at Palace Hotel TokyoLegendary French chef Alain Ducasse has a global portfolio of restaurants, many holding Michelin stars. John Anthony/JW Marriott HanoiCantonese cuisine from Hong Kong is again on the menu, this time at the JW Marriott in Hanoi. Stanley takes its name from the elegant Hong Kong waterside district and the design touches reflect this legacy with Chinese antiques.", + "title": "20 best new Asia-Pacific restaurants to try in 2020" + } + ... + ] + } + } +} +``` + +
+
+
+
+ランキングアルゴリズムはこれらのスコアを用いてハイブリッドランキングを導出します。
+
+#### ランク融合
+
+結果の rank によって score が決まります。score は `1/(RANK + 60)` で計算されます。
+
+
+
+
+表が示すように、入力 score に関係なく、各ランクの結果は同一です。
+
+#### 相対スコア融合
+
+ここでは score を正規化します。最大 score を 1、最小を 0 とし、その間は **最大値** と **最小値** からの **相対距離** に基づいてスケーリングされます。
+
+
+
+
+ここでの score は元の score の相対的な分布を反映しています。例えば、vector 検索の先頭 4 件の score はほぼ同一であり、正規化後も同様です。
+
+#### 重み付けと最終スコア
+
+これらの score を合算する前に、alpha パラメーターに従って重み付けされます。ここでは alpha=0.5 とし、両検索タイプが最終結果に等しく寄与するため、各 score に 0.5 を掛けます。
+
+これで各ドキュメントの score を合算し、両方の融合アルゴリズムの結果を比較できます。
+
+
+
+
+#### 考察
+
+vector 検索では、上位 4 オブジェクト（**ID 2, 4, 0, 1**）の score がほぼ同一で、いずれも良好な結果でした。一方、keyword 検索では 1 つのオブジェクト（**ID 1**）が他を大きく上回っていました。
+
+これは `relativeScoreFusion` の最終結果に反映され、オブジェクト **ID 1** がトップに選ばれました。これは、このドキュメントが keyword 検索で次点と大きな差を付けて最良であり、かつ vector 検索でも上位グループに入っていたためです。
+
+これに対し、`rankedFusion` ではオブジェクト **ID 2** がトップとなり、**ID 1** と **ID 0** が僅差で続きました。
+
+
+
+融合メソッドの詳細については、[こちらのブログ記事](https://weaviate.io/blog/hybrid-search-fusion-algorithms) を参照してください。
+
+### 追加メタデータのレスポンス
+
+Hybrid 検索の結果は、BM25F score と `nearText` 類似度を融合した score によって並べ替えられます（値が大きいほど関連性が高い）。この `score` と、さらに `explainScore` メタデータはレスポンスで任意に取得できます。
+
+
+### 例
+
+import GraphQLFiltersHybrid from '/_includes/code/graphql.filters.hybrid.mdx';
+
+融合スコアリング比較
+ +この例では、小さな検索結果セットを用いて ranked fusion と relative fusion のアルゴリズムを比較します。表には以下の情報が示されています。 + +- `document id`（ 0 〜 4 ） +- `keyword score`（ソート済み） +- `vector search score`（ソート済み） + +| Search Type | +(id): score | (id): score | (id): score | (id): score | (id): score | +
|---|---|---|---|---|---|
| Keyword | +(1): 5 | (0): 2.6 | (2): 2.3 | (4): 0.2 | (3): 0.09 | +
| Vector | +(2): 0.6 | (4): 0.598 | (0): 0.596 | (1): 0.594 | (3): 0.009 | +
| 検索タイプ | +(id): score | (id): score | (id): score | (id): score | (id): score | +
|---|---|---|---|---|---|
| Keyword | +(1): 0.0154 | (0): 0.0160 | (2): 0.0161 | (4): 0.0167 | (3): 0.0166 | +
| Vector | +(2): 0.016502 | (4): 0.016502 | (0): 0.016503 | (1): 0.016503 | (3): 0.016666 | +
| 検索タイプ | +(id): score | (id): score | (id): score | (id): score | (id): score | +
|---|---|---|---|---|---|
| Keyword | +(1): 1.0 | (0): 0.511 | (2): 0.450 | (4): 0.022 | (3): 0.0 | +
| Vector | +(2): 1.0 | (4): 0.996 | (0): 0.993 | (1): 0.986 | (3): 0.0 | +
| アルゴリズムタイプ | +(id): score | (id): score | (id): score | (id): score | (id): score | +
|---|---|---|---|---|---|
| Ranked | +(2): 0.016301 | (1): 0.015952 | (0): 0.015952 | (4): 0.016600 | (3): 0.016630 | +
| Relative | +(1): 0.993 | (0): 0.752 | (2): 0.725 | (4): 0.509 | (3): 0.0 | +
+
+
+### 条件フィルター付き BM25
+
+:::info Added in `v1.18`
+:::
+
+`bm25` は [条件 (`where`) フィルター](../graphql/filters.md) と併用できます。
+
+import GraphQLFiltersBM25FilterExample from '/_includes/code/graphql.filters.bm25.filter.example.mdx';
+
+想定されるレスポンス
+ +```json +{ + "data": { + "Get": { + "Article": [ + { + "_additional": { + "certainty": null, + "distance": null, + "score": "3.4985464" + }, + "title": "Tim Dowling: is the dog’s friendship with the fox sweet – or a bad omen?" + } + ] + } + }, + "errors": null +} +``` + +
+
+
+### 検索オペレーター
+
+:::info Added in `v1.31`
+:::
+
+`searchOperator` を使用すると、クエリトークンのうち何個が対象オブジェクトに含まれていれば一致とみなすかを設定できます。これにより、関連キーワードを一定数以上含むオブジェクトのみを返したい場合に便利です。
+
+利用可能なオプションは `And` と `Or` です。`Or` を設定した場合は、追加パラメーター `minimumOrTokensMatch` を指定する必要があります。これは、一致と判断するためにクエリトークンが何個一致する必要があるかを定義します。
+
+未指定の場合、キーワード検索は `Or` が設定され、`minimumOrTokensMatch` が 1 と同等に動作します。
+
+## ask オペレーター
+
+モジュール [Question Answering](/weaviate/modules/qna-transformers.md) によって有効化されます。
+
+このオペレーターは、取得した結果を Q&A モデルに通すことで質問への回答を返します。
+
+### 変数
+
+| 変数 | 必須 | 型 | 説明 |
+| --------- | -------- | ---- | ----------- |
+| `question` | yes | `string` | 質問文。 |
+| `certainty` | no | `float` | 求める最小確信度。値が高いほど検索は厳密に、低いほど曖昧になります。設定しない場合、抽出できたすべての回答が返されます。 |
+| `properties` | no | `[string]` | テキストを含むクエリコレクションのプロパティ。指定しない場合はすべてが対象になります。 |
+| `rerank` | no | `boolean` | 有効にすると、qna モジュールが回答スコアを基に結果を再ランク付けします。例として、以前の (セマンティック) 検索で 3 番目だった結果に最も可能性の高い回答が含まれていた場合、その結果が 1 位に繰り上がります。*v1.10.0 以降でサポート* |
+
+### 例
+
+import QNATransformersAsk from '/_includes/code/qna-transformers.ask.mdx';
+
+想定されるレスポンス
+ +```json +{ + "data": { + "Get": { + "Article": [ + { + "summary": "Sometimes, the hardest part of setting a fishing record is just getting the fish weighed. A Kentucky fisherman has officially set a new record in the state after reeling in a 9.05-pound saugeye. While getting the fish in the boat was difficult, the angler had just as much trouble finding an officially certified scale to weigh it on. In order to qualify for a state record, fish must be weighed on an officially certified scale. The previous record for a saugeye in Kentucky ws an 8 pound, 8-ounce fish caught in 2019.", + "title": "Kentucky fisherman catches record-breaking fish, searches for certified scale" + }, + { + "summary": "Unpaid last month because there wasn\u2019t enough money. Ms. Hunt picks up shifts at JJ Fish & Chicken, bartends and babysits. three daughters is subsidized,and cereal fromErica Hunt\u2019s monthly budget on $12 an hourErica Hunt\u2019s monthly budget on $12 an hourExpensesIncome and benefitsRent, $775Take-home pay, $1,400Varies based on hours worked. Daycare, $600Daycare for Ms. Hunt\u2019s three daughters is subsidized, as are her electricity and internet costs. Household goods, $300Child support, $350Ms. Hunt picks up shifts at JJ Fish & Chicken, bartends and babysits to make more money.", + "title": "Opinion | What to Tell the Critics of a $15 Minimum Wage" + }, + ... + ] + } + } +} + +``` + +
+
+ {CodeExamples}
+
+
++ +もし上記のコードサンプルが十分でない場合、次の方法をお試しください。 + +- Weaviate ドキュメントの該当セクションからコードサンプルを収集する。 +- Weaviate ドキュメントの `Ask AI` 機能で具体的なタスク方法を検索し、そこで得たコードをプロンプトに使用する。 + +:::tip 小規模モデル +一般に、小規模モデルはゼロショットのコード生成が得意ではありません。しかし Anthropic の `claude-3-5-haiku-20241022` と OpenAI の `gpt-4.1` / `gpt-4.1-mini` は、インコンテキストサンプルがあれば良質なコードを生成できました。 +::: + +## 一般的なヒント + +上記の具体的推奨事項に加え、以下の一般的なヒントもご覧ください。 + +### 最新モデルを使用する + +すでに好みのモデルプロバイダーがある場合でも、最新モデルを試してみてください。 + +後発モデルはより新しいデータで学習されているため、ゼロショットのコード生成性能が高い可能性があります。これは、2024 年に書き換えられた Weaviate Python クライアントのようにコードベースが大幅に更新されたケースで特に重要です。 + +### 指示追従性の高いモデルを探す + +モデルによっては、インコンテキストの指示をより忠実に守るものがあります。 + +そのようなモデルは、最新のインコンテキストサンプルをより尊重してくれます。 + +### 生成コードをハルシネーションチェックする + +生成されたコードにハルシネーションの兆候がないか確認しましょう。 + +Weaviate Python クライアントの場合、`weaviate.Client` クラスを用いて接続しようとしているコードは、旧バージョン（ v3 ）の書き方であり、 v4 では存在しません。これはハルシネーションまたは古い情報に基づくコードの典型例です。 + +最新の Weaviate Python クライアントでは、`WeaviateClient` クラスと `weaviate.connect_to_xyz()` の各ヘルパー関数で接続します。 + +### 追加ドキュメントをインデックスする + +Cursor など一部の AI 支援コード生成ツールでは、追加ドキュメントをインデックスできます。これにより、コード生成に必要なコンテキストを拡充できます。 IDE にインデックスしたドキュメントを基にコード生成を促すことも可能です。 + +お使いの IDE がこの機能を備えているか、またその利用方法を確認してください。 + +### Weaviate エージェントの利用を検討する + +[Weaviate エージェント](/agents) は、[クエリ](/agents/query)、[データ変換](/agents/transformation/)、[コンテンツのパーソナライズ](/agents/personalization) など特定タスク向けに設計されたエージェント型サービスです。 + +Weaviate Cloud ユーザーは、自然言語でインスタンスと対話できるエージェントを利用できます。ユースケースによっては、 AI 支援コード生成ツールより適している場合があります。 + +## このページの改善にご協力ください + +上記の推奨事項は、生成型 AI モデルを使ったコード生成の経験に基づいています。 + +このページのために体系的なデータを収集する目的で、[こちらのリポジトリ](https://github.com/weaviate-tutorials/weaviate-vibe-eval) で一連の評価を実施しました。 + +テストでは、さまざまな LLM を用いて Weaviate Python クライアント v4 のコードを生成し、実行可能かどうかを確認しました。各タスクはゼロショットで一度、インコンテキストサンプル付きで少なくとも一度実行しました。 + +一部の結果は [このディレクトリ](https://github.com/weaviate-tutorials/weaviate-vibe-eval/tree/main/example_results) に掲載しています。 + +ご注意: これはガイドライン提供を目的とした小規模評価です。独自の評価を実施したい場合は、ぜひリポジトリをご覧ください。 + +質問やフィードバックがありましたら、[GitHub](https://github.com/weaviate-tutorials/weaviate-vibe-eval/issues) で Issue を開いてお知らせください。 + +## 質問とフィードバック + +import DocsFeedback from '/_includes/docs-feedback.mdx'; + +
+
+
+:::tip 参考リソース
+- [概念: リソース計画](../concepts/resources.md)
+:::
+
+### メモリ使用量を素早く確認する方法
+
+本番環境では、Grafana や Prometheus などを用いたクラスタ[監視](/deploy/configuration/monitoring.md)を設定することを推奨します。
+
+しかし、Weaviate のメモリ使用量を素早く確認する別の方法もあります。
+
+:::note すでに Prometheus 監視を設定済みの場合
+内容に依存せず全体の使用量だけを確認したい場合、既存の Prometheus 監視で `go_memstats_heap_inuse_bytes` メトリクスを確認すると、常に完全なメモリフットプリントが得られます。
+:::
+
+#### `pprof` 経由
+
+システムに `go` がインストールされている場合、Golang の `pprof` ツールでヒーププロファイルを確認できます。
+
+- Go ランタイムをインストールするか、Go ベースの Docker コンテナを起動します。
+- Docker/K8s で実行している場合はポート 6060 を公開します。
+
+プロファイルを可視化するには:
+
+```bash
+go tool pprof -png http://{host}:6060/debug/pprof/heap
+```
+
+テキスト出力を表示するには:
+
+```bash
+go tool pprof -top http://{host}:6060/debug/pprof/heap
+```
+
+#### コンテナ使用量の確認
+
+Kubernetes で Weaviate を実行している場合、`kubectl` でコンテナ全体のメモリ使用量を確認できます。
+
+```bash
+kubectl exec weaviate-0 -- /usr/bin/free
+```
+
+`weaviate-0` はポッド名です。
+
+外部（OS/コンテナレベル）から見ると、表面的なメモリ消費ははるかに大きく見える点に注意してください。Go ランタイムは非常にオポチュニスティックで、しばしば [MADV_FREE](https://www.man7.org/linux/man-pages/man2/madvise.2.html) を使用します。これは、必要に応じてメモリの一部を容易に解放できることを意味します。その結果、Weaviate がコンテナ内で唯一のアプリケーションの場合、実際に必要な量より多くのメモリを保持しますが、他プロセスが必要とした際には迅速に解放可能です。
+
+したがって、この方法はメモリ使用量の上限を把握するのに有用ですが、`pprof` を用いた方が Weaviate のヒーププロファイルをより正確に把握できます。
+
+### シャード読み込み動作の設定によるシステムとデータ可用性のバランス
+
+Weaviate は起動時に、デプロイ内のすべてのシャードからデータを読み込みます。デフォルトでは、遅延シャード読み込みにより、バックグラウンドでシャードを読み込みつつ、すでに読み込まれたシャードへ即座にクエリを実行できるため、起動が速くなります。
+
+しかし、単一テナントのコレクションで高負荷がかかる場合、遅延読み込みはインポート操作を遅延させたり、部分的に失敗させたりすることがあります。このようなシナリオでは、以下の環境変数を設定して[遅延読み込みを無効化](../concepts/storage.md#lazy-shard-loading)することを検討してください。
+
+```
+DISABLE_LAZY_LOAD_SHARDS: "true"
+```
+
+これにより、Weaviate が Ready と報告する前に、すべてのシャードが完全に読み込まれます。
+
+:::caution 重要
+遅延シャード読み込みを無効化するのは単一テナントのコレクションに限ってください。マルチテナント環境では、遅延読み込みを有効にしておくことで起動時間を大幅に短縮できます。
+:::
+
+## データ構造
+
+### クロスリファレンスと平坦化プロパティ
+
+データスキーマを設計する際、クロスリファレンスを使用するか、プロパティを平坦化するかを検討してください。リレーショナルデータベースの経験がある場合、データを正規化してクロスリファレンスを使いたくなるかもしれません。
+
+しかし、Weaviate ではクロスリファレンスにはいくつかの欠点があります。
+
+- ベクトル化されないため、その情報がオブジェクトのベクトル表現に含まれません。
+- 参照先オブジェクトの取得に追加クエリが必要となるため、クエリが遅くなる可能性があります。Weaviate はグラフ的なクエリやジョインを前提として設計されていません。
+
+代わりに、各オブジェクトに情報を別のプロパティとして直接埋め込むことを検討してください。これにより情報がベクトル化され、より効率的にクエリできます。
+
+
+
+
+
+
+
+## データ操作
+
+### データスキーマの明示的定義
+
+Weaviate には便利な["オートスキーマ"機能](../config-refs/collections.mdx#auto-schema)があり、データのスキーマを自動的に推測できます。
+
+しかし、本番環境ではスキーマを明示的に定義し、オートスキーマ機能を無効化（`AUTOSCHEMA_ENABLED: 'false'` に設定）することを推奨します。これにより、データが Weaviate に正しく解釈され、不正なデータがシステムに取り込まれるのを防げます。
+
+例として、次の 2 件のオブジェクトをインポートする場合を考えます。
+
+```json
+[
+ {"title": "The Bourne Identity", "category": "Action"},
+ {"title": "The Bourne Supremacy", "cattegory": "Action"},
+ {"title": "The Bourne Ultimatum", "category": 2007},
+]
+```
+
+この例では、2 件目と 3 件目のオブジェクトが不正です。2 件目は `cattegory` というプロパティ名のタイプミスがあり、3 件目は `category` が数値であるべきでないにもかかわらず数値です。
+
+オートスキーマが有効だと、Weaviate はコレクションに `cattegory` プロパティを作成してしまい、データクエリ時に予期せぬ動作を招く可能性があります。また 3 件目では、`category` プロパティが `INT` 型で作成されてしまうかもしれません。
+
+オートスキーマを無効にし、スキーマを明示的に定義しましょう。
+
+```python
+from weaviate.classes.config import Property, DataType
+
+client.collections.create(
+ name="WikiArticle",
+ properties=[
+ Property(name="title", data_type=DataType.TEXT)
+ Property(name="category", data_type=DataType.TEXT)
+ ],
+)
+```
+
+これにより、正しいスキーマを持つオブジェクトのみが Weaviate に取り込まれ、不正なスキーマのオブジェクトをインポートしようとした際にはユーザーに通知されます。
+
+:::tip 参考リソース
+- [概念: データスキーマ](../concepts/data.md#data-schema)
+- [リファレンス: コレクション定義 - オートスキーマ](../config-refs/collections.mdx#auto-schema)
+:::
+
+
+
+### バッチインポートによるデータ取り込みの高速化
+
+10 個を超えるオブジェクトなど、一定量以上のデータを取り込む場合はバッチインポートを使用してください。これにより、以下 2 つの理由からインポート速度が大幅に向上します。
+
+- 送信する Weaviate へのリクエスト数が減り、ネットワークのオーバーヘッドが削減されます。
+- Weaviate でデータのベクトル化をオーケストレーションしている場合、ベクトル化リクエストもバッチで送信できるため高速化されます。特に推論を GPU で行う場合に効果的です。
+
+```python
+# ⬇️ Don't do this
+for obj in objects:
+ collection.data.insert(properties=obj)
+
+# ✅ Do this
+with collection.batch.fixed_size(batch_size=200) as batch:
+ for obj in objects:
+ batch.add_object(properties=obj)
+```
+
+:::tip さらに詳しく
+- [How-to: バッチインポートでデータを取り込む](../manage-objects/import.mdx)
+:::
+
+### 非アクティブテナントのオフロードによるコスト最小化
+
+マルチテナンシーを使用しており、頻繁にクエリされないテナントがある場合は、それらをコールド（クラウド）ストレージへオフロードすることをご検討ください。
+
+
+
+オフロードされたテナントはクラウドストレージバケットに保存され、必要に応じて Weaviate へリロードできます。これにより Weaviate のメモリおよびディスク使用量を大幅に削減でき、コスト削減につながります。
+
+再び使用される可能性がある場合（例: ユーザーがログインしたときなど）は、テナントを Weaviate へリロードし、再びクエリ可能にできます。
+
+:::info オープンソース版 Weaviate のみで利用可能
+現時点では、テナントのオフロード機能はオープンソース版 Weaviate のみで利用可能です。 Weaviate Cloud でも提供予定です。
+:::
+
+:::tip さらに詳しく
+- [スターターガイド: リソース管理](../starter-guides/managing-resources/index.md)
+- [How-to: テナント状態を管理する](../manage-collections/tenant-states.mdx)
+:::
+
+
+
+
+
+## アプリケーション設計と統合
+
+### クライアント生成の最小化
+
+ Weaviate クライアントオブジェクトを生成する際には、接続確立やヘルスチェックを行う I/O 処理のためパフォーマンスのオーバーヘッドが発生します。
+
+可能な限り、同じクライアントオブジェクトを再利用して多くの操作を実行してください。一般にクライアントオブジェクトはスレッドセーフであり、複数スレッド間で並行して使用できます。
+
+どうしても複数のクライアントオブジェクトが必要な場合は、初期チェックをスキップすることをご検討ください（例: [ Python ](../client-libraries/python/notes-best-practices.mdx#initial-connection-checks)）。これにより複数クライアント生成時のオーバーヘッドを大幅に削減できます。
+
+クライアントライブラリごとの制限にもご注意ください。たとえば Weaviate Python クライアントは、[クライアントオブジェクト 1 つにつきバッチインポートスレッドは 1 つ](../client-libraries/python/notes-best-practices.mdx#thread-safety)の使用に限定されています。
+
+加えて、非同期環境でのパフォーマンス向上のために[非同期クライアント API](#use-the-relevant-async-client-as-needed)の利用をご検討ください。
+
+### 必要に応じた Async Client の利用
+
+非同期環境で Weaviate を使用する場合は、非同期クライアント API の使用を検討してください。特に複数クエリを並行して実行する際、アプリケーションの性能を大幅に向上させられます。
+
+#### Python
+
+ Weaviate Python クライアント `4.7.0` 以降には、[非同期クライアント API (`WeaviateAsyncClient`)](../client-libraries/python/async.md) が含まれています。
+
+#### Java
+
+ Weaviate Java クライアント `5.0.0` 以降には、[非同期クライアント API (`WeaviateAsyncClient`)](https://javadoc.io/doc/io.weaviate/client/latest/io/weaviate/client/v1/async/WeaviateAsyncClient.html) が含まれています。
+
+## 質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+この数値はどのように算出したのか？
+ +量子化を使用しない場合、各ベクトルは n 次元の float として保存されます。1024 次元ベクトルの場合は次のとおりです。 + +- 4 byte / float × 1024 次元 × 1 M ベクトル = 4 GB + +インデックス構造や追加のオーバーヘッドを加味すると、おおよそ 6 GB になります。 + +{props.clientName} クライアントは、複数の OIDC 認証フローを含む、Weaviate への認証方法を複数提供します。
+ +クライアントに適した認証オプションと方法は、主に Weaviate インスタンスの具体的な設定に依存します。 + diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/client-libraries/_components/client.auth.oidc.introduction.mdx b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/client-libraries/_components/client.auth.oidc.introduction.mdx new file mode 100644 index 000000000..b610371cf --- /dev/null +++ b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/client-libraries/_components/client.auth.oidc.introduction.mdx @@ -0,0 +1,6 @@ +Weaviate に対して OIDC を用いて認証するには、アイデンティティプロバイダーが提供するフローを選択し、そのフロー専用の認証設定を作成する必要があります。 + +この設定はその後、 Weaviate クライアントによる認証に使用されます。設定には、クライアントが `access token` を取得し、設定されている場合は `refresh token` を取得するのに役立つシークレットが含まれます。 + +`access token` は各リクエストの HTTP ヘッダーに追加され、 Weaviate での認証に使用されます。通常、このトークンには有効期限があるため、必要に応じて `refresh token` を使用して新しいトークンを取得できます。 + diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/client-libraries/_components/client.auth.wcs.mdx b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/client-libraries/_components/client.auth.wcs.mdx new file mode 100644 index 000000000..ff72fe888 --- /dev/null +++ b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/client-libraries/_components/client.auth.wcs.mdx @@ -0,0 +1,6 @@ +:::tip WCD + Weaviate client +[Weaviate Cloud (WCD)](https://console.weaviate.cloud/) 内の各 Weaviate インスタンスは、OIDC 認証用のトークン発行者としてあらかじめ設定されています。 +::: + +お好みの Weaviate クライアントを使用して WCD に対して認証する方法については、[WCD 認証ドキュメント](/cloud/manage-clusters/connect) をご覧ください。 + diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/client-libraries/_includes/feedback.mdx b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/client-libraries/_includes/feedback.mdx new file mode 100644 index 000000000..36c3a0701 --- /dev/null +++ b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/client-libraries/_includes/feedback.mdx @@ -0,0 +1,8 @@ +:::note 質問 +API のこのセクションに関連して回答してください。 + +- 気に入った点や気に入らなかった点はありますか？ +- エラーや困難に遭遇しましたか？あった場合は、具体的に教えてください。 +- その他、改善のためのメモや提案はありますか？ +::: + diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/client-libraries/community.md b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/client-libraries/community.md new file mode 100644 index 000000000..7326d3c14 --- /dev/null +++ b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/client-libraries/community.md @@ -0,0 +1,38 @@ +--- +title: コミュニティ製クライアント +sidebar_position: 95 +description: 追加言語サポートのためにコミュニティが開発した Weaviate クライアントライブラリおよび統合機能です。 +image: og/docs/client-libraries.jpg +# tags: ['client libraries', 'cli'] +--- + +Weaviate は次の言語向けに公式クライアントライブラリを提供しています: + +- [Python](/weaviate/client-libraries/python) +- [TypeScript](/weaviate/client-libraries/typescript) +- [Go](/weaviate/client-libraries/go) +- [Java](/weaviate/client-libraries/java) + +Weaviate コミュニティのメンバーは、さらに多くの言語向けにクライアントライブラリを提供しています。これらのコミュニティ提供ライブラリは Weaviate によって公式に保守されているわけではありませんが、私たちは開発者の皆様の貢献に大変感謝しており、ここで共有いたします。 + +## コミュニティ保守クライアントライブラリ + +| 言語 | メンテナー | ソースコード | パッケージマネージャー | ドキュメント | ライセンス | +| -------- | ---------- | ----------- | --------------- | ------------------------ | ------- | +| .NET/C# | [Antonio Cisternino](https://github.com/cisterni) | [GitHub](https://github.com/Unipisa/WeaviateNET/tree/master) | [NuGet](https://www.nuget.org/packages/WeaviateNET) | [GitHub README](https://github.com/Unipisa/WeaviateNET/blob/master/README.md)[統合テスト](https://github.com/Unipisa/WeaviateNET/tree/master/src/WeaviateNET.Test) | [MIT](https://github.com/Unipisa/WeaviateNET/blob/master/LICENSE.txt) | +| .NET/C# | Stuart Cam
[Search Pioneer](https://searchpioneer.com/) | [GitHub](https://github.com/searchpioneer/weaviate-dotnet-client) | [NuGet](https://www.nuget.org/packages/SearchPioneer.Weaviate.Client) | [GitHub README](https://github.com/searchpioneer/weaviate-dotnet-client)
[統合テスト](https://github.com/searchpioneer/weaviate-dotnet-client/tree/main/tests-integration/SearchPioneer.Weaviate.Client.IntegrationTests/Api) | [Apache 2.0](https://github.com/searchpioneer/weaviate-dotnet-client/blob/main/license.txt) | +| PHP | [Tim Kleyersburg](https://www.tim-kleyersburg.de/) | [GitHub](https://github.com/timkley/weaviate-php) | [Packagist](https://packagist.org/packages/timkley/weaviate-php) | [GitHub README](https://github.com/timkley/weaviate-php) | [MIT](https://github.com/timkley/weaviate-php/blob/main/LICENSE.md) | +| Ruby | Andrei Bondarev
[Source Labs](https://www.sourcelabs.io/) | [GitHub](https://github.com/andreibondarev/weaviate-ruby) | [RubyGems](https://rubygems.org/gems/weaviate-ruby) | [RubyDoc](https://rubydoc.info/gems/weaviate-ruby) | [MIT](https://github.com/andreibondarev/weaviate-ruby/blob/main/LICENSE.txt) | + +## 貢献方法 + +これらのライブラリに貢献したい場合は、メンテナーに直接ご連絡ください。 + +ここに追加したい Weaviate クライアントライブラリをお持ちの場合は、フォーラムまたは Slack でお知らせください。 + +## 質問とフィードバック + +import DocsFeedback from '/_includes/docs-feedback.mdx'; + +
+
+
+## 質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+Weaviate と対応クライアントバージョンの一覧はこちらをクリック
+ +import ReleaseHistory from '/_includes/release-history.md'; + ++
+ +import ClientCapabilitiesOverview from "/_includes/client.capabilities.mdx"; + +
+
+
+## 質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+Weaviate と対応するクライアント バージョンの表を表示
+ +import ReleaseHistory from '/_includes/release-history.md'; + +
+
+
+ベータ版のインストール方法
+ +```bash +pip install --pre -U "weaviate-client==4.*"` +``` + +
+
+
+#### Weaviate エージェント
+
+[Weaviate Agents](../../../agents/index.md) を使用するために、オプションの agents エクストラ付きで Weaviate クライアントライブラリをインストールできます。以下のコマンドを実行してください。
+
+```bash
+pip install -U weaviate-client[agents]
+```
+
+## はじめる
+
+import BasicPrereqs from "/_includes/prerequisites-quickstart.md";
+
+要件: Weaviate バージョン互換性 & gRPC
+ +#### Weaviate バージョン互換性 + +`v4` Python クライアントは Weaviate `1.23.7` 以上が必要です。一般的に、Python クライアントと Weaviate データベースは最新バージョンのご利用を推奨します。 + +Weaviate Cloud では、2024-01-31 以降に作成された Sandbox は `v4` クライアントと互換性があります。この日付以前に作成された Sandbox は `v4` クライアントと互換性がありません。 + +#### gRPC + +`v4` クライアントは内部で RPC を使用します。そのため、Weaviate サーバーへの gRPC 用ポートを開放しておく必要があります。 + +
+
+
+docker-compose.yml の例
+ +Docker で Weaviate を実行している場合、デフォルトポート（`50051`）を次のように `docker-compose.yml` にマッピングできます。 + +```yaml +ports: + - 8080:8080 + - 50051:50051 +``` + +
+
+
+
+
+#### ベクトライザー API 変更 `v4.16.0`
+
+Weaviate と対応クライアントバージョンの表はこちらをクリック
+ +import ReleaseHistory from "/_includes/release-history.md"; + +
+
Filter.by_creation_time()
Filter.by_update_time() | + +pre-4.4b7 のフィルター構文は非推奨です。新しい v4.4b7 構文は次のようになります。 + +```python +import weaviate +import datetime +import weaviate.classes as wvc + +client = weaviate.connect_to_local() + +jeopardy = client.collections.use("JeopardyQuestion") +response = jeopardy.query.fetch_objects( + filters=wvc.query.Filter.by_property("round").equal("Double Jeopardy!") & + wvc.query.Filter.by_creation_time().greater_or_equal(datetime.datetime(2005, 1, 1)) | + wvc.query.Filter.by_creation_time().greater_or_equal(datetime.datetime(2000, 12, 31)), + limit=3 + ) + + +client.close() +``` + +##### `reference_add_many` の更新 + +`reference_add_many` の構文が更新され、 `DataReferenceOneToMany` は `DataReference` になりました。 + +```python +collection.data.reference_add_many( + [ + DataReference( + from_property="ref", + from_uuid=uuid_from, + to_uuid=*one or a list of UUIDs*, + ) + ] +) +``` + +##### 参照 + +複数ターゲット参照が更新されました。新しい関数は次のとおりです: + +- `ReferenceProperty.MultiTarget` +- `DataReference.MultiTarget` +- `QueryReference.MultiTarget` + +複数ターゲット参照には `ReferenceToMulti` を使用してください。 + +#### 旧クライアントの変更点 + +##### 参照 + +- コレクションの作成、オブジェクトの挿入、およびクエリーの際に、参照は `references` パラメーターを通じて追加されるようになりました。 +- `FromReference` クラスは `QueryReference` と呼ばれるようになりました。 + +##### クラス／パラメーターの再編成 + +- `weaviate.classes` サブモジュールはさらに以下に分割されました: + - `weaviate.classes.config` + - `weaviate.classes.data` + - `weaviate.classes.query` + - `weaviate.classes.generic` +- `wvc.config.Configure` および `wvc.config.Reconfigure` の `vector_index_config` パラメーターのファクトリー関数は、例えば次のように変更されました: + ```python + client.collections.create( + name="MyCollection", + # highlight-start + vector_index_config=wvc.config.Configure.VectorIndex.hnsw( + distance_metric=wvc.config.VectorDistances.COSINE, + vector_cache_max_objects=1000000, + quantizer=wvc.config.Configure.VectorIndex.Quantizer.pq() + ), + # highlight-end + ) + ``` + - `vector_index_type` パラメーターは削除されました。 +- `Property` コンストラクター メソッドの `vectorize_class_name` パラメーターは `vectorize_collection_name` に変更されました。 +- `[collection].data.update()` / `.replace()` の *args の順序が変更され、更新時にプロパティを省略できるようになりました。 +- `[collection].data.reference_add` / `.reference_delete` / `.reference_replace` で、 `ref` キーワードは `to` に改名されました。 +- `collections.create()` / `get()` において、ジェネリックを指定するための `data_model` キーワード引数は `data_model_properties` に変更されました。 +- `[object].metadata.uuid` は `[object].uuid` になりました。 +- `[object].metadata.creation_time_unix` は `[object].metadata.creation_time` になりました。 +- `[object].metadata.last_update_time_unix` は `[object].metadata.last_update` になりました。 +- `quantitizer` は `quantizer` に改名されました。 +- 返却データに ベクトル を含めるには、 `include_vector` パラメーターを使用してください。 + + +##### データ型 + +- 作成日時および最終更新日時のメタデータは `datetime` オブジェクトを返すようになり、 `MetadataQuery` ではパラメーター名が `creation_time` と `last_update_time` に変更されました。 + - `metadata.creation_time.timestamp() * 1000` は従来と同じ値を返します。 +- `query.fetch_object_by_id()` は内部で REST ではなく gRPC を使用するようになり、他のクエリーと同じ形式でオブジェクトを返します。 +- `UUID` と `DATE` プロパティは型付きオブジェクトとして返されます。 + +
+
+## コード例と追加リソース
+
+import CodeExamples from "/_includes/clients/code-examples.mdx";
+
+移行ガイド - ベータリリース
+ +#### `v4.4b9` における変更点 + +##### `weaviate.connect_to_x` メソッド + +`timeout` 引数は `additional_config` 引数の一部になりました。入力として `weaviate.config.AdditionalConfig` クラスを受け取ります。 + +##### クエリ + +`query` 名前空間内のすべてのオプション引数は、キーワード引数としてのみ指定する必要があります。 + +クエリ引数を解析する実行時ロジックが追加され、正しい型が強制されます。 + +##### バッチ処理 + +バックグラウンドで異なるバッチ方式を用いる 3 種類のアルゴリズムが導入されました: + +- `client.batch.dynamic()` +- `client.batch.fixed_size()` +- `client.batch.rate_limit()` + +`client.batch.dynamic() as batch` は、以前の `client.batch as batch`（非推奨、正式リリース時に削除予定）のドロップインリプレースメントです。 + +```python +with client.batch.dynamic() as batch: + ... +``` + +は次と同等です: + +```python +with client.batch as batch: + ... +``` + +`client.batch.fixed_size() as batch` は、固定サイズのみを使用するバッチングアルゴリズムを設定する方法です。 + +```python +with client.batch.dynamic() as batch: + ... +``` + +は次と同等です: + +```python +client.batch.configure_fixed_size() +with client.batch as batch: + ... +``` + +`client.batch.rate_limit() as batch` は、サードパーティ ベクトル化 API のレートリミットに達するのを回避する新しい方法です。`rate_limit()` メソッドで `request_per_minute` を指定することで、サードパーティ API が処理可能な速度でオブジェクトを Weaviate に送信するようバッチングアルゴリズムを制御できます。 + +これらのメソッドは完全にローカライズされたコンテキストマネージャを返します。つまり、あるバッチの `failed_objects` や `failed_references` は後続の呼び出しには含まれません。 + +最後に、バッチ送信を担当するバックグラウンドスレッドで例外が発生した場合、メインスレッドで再スローされ、静かに失敗することはありません。 + +##### フィルター + +`Filter.by_property` の引数 `prop` は `name` に改名されました。 + +参照カウントは `Filter([ref])` ではなく `Filter.by_ref_count(ref)` で実現できます。 + +#### `v4.4b8` における変更点 + +##### 参照フィルター + +参照フィルターの構文が簡略化されました。新しい構文は次のとおりです: + +```python +Filter.by_ref("ref").by_property("target_property") +``` + +#### `v4.4b7` における変更点 + +##### ライブラリのインポート + +`weaviate` から直接インポートする方法は非推奨になりました。代わりに `import weaviate.classes as wvc` を使用してください。 + +##### クライアント接続のクローズ + +v4.4b7 以降、クライアント接続を明示的にクローズする必要があります。クローズする方法は 2 つあります。 + +`client.close()` を使用してクライアント接続を明示的にクローズします。 + +```python +import weaviate +client = weaviate.connect_to_local() + +print(client.is_ready()) + +client.close() +``` + +コンテキストマネージャを使用して接続を自動でクローズさせることもできます。 + +```python +import weaviate + +with weaviate.connect_to_local() as client: + print(client.is_ready()) + +# Python closes the client when you leave the 'with' block +``` + +##### バッチ処理 + +v4.4b7 クライアントでは `client.batch` に変更があります。 + +- `client.batch` ではコンテキストマネージャが必須になりました。 +- マニュアルモードは削除され、`.create_objects` でバッチを送信できなくなりました。 +- バッチサイズと同時リクエスト数は動的に割り当てられます。値を指定するには `batch.configure_fixed_size` を使用してください。 +- `add_reference` メソッドが更新されました。 +- `to_object_collection` メソッドは削除されました。 + +更新後の `client.batch` パラメータ + +| 旧値 | v4.4b7 の値 | +| :--------------------------------------- | :------------------------------------------- | +| from_object_uuid: UUID | from_uuid: UUID | +| from_object_collection: str | from_collection: str | +| from_property_name: str | from_property: str | +| to_object_uuid: UUID | to: Union[WeaviateReference, List[UUID]] | +| to_object_collection: Optional[str] = None | | +| tenant: Optional[str] = None | tenant: Optional[str] = None | + +##### フィルター構文 + +フィルター構文は v4.4b7 で更新されました。 + +**注意**: [参照フィルター構文](#reference-filters) は 4.4b8 で簡略化されています。 + +| 旧構文 | v4.4b7 の新構文 | +| :---------------------------------------------------- | :-------------------------------------------------------------------------------- | +| Filter(path=property) | Filter.by_property(property) | +| Filter(path=["ref", "target_class", "target_property"]) | Filter.by_ref().link_on("ref").by_property("target_property") | +| FilterMetadata.ByXX | Filter.by_id()Filter.by_creation_time()
Filter.by_update_time() | + +pre-4.4b7 のフィルター構文は非推奨です。新しい v4.4b7 構文は次のようになります。 + +```python +import weaviate +import datetime +import weaviate.classes as wvc + +client = weaviate.connect_to_local() + +jeopardy = client.collections.use("JeopardyQuestion") +response = jeopardy.query.fetch_objects( + filters=wvc.query.Filter.by_property("round").equal("Double Jeopardy!") & + wvc.query.Filter.by_creation_time().greater_or_equal(datetime.datetime(2005, 1, 1)) | + wvc.query.Filter.by_creation_time().greater_or_equal(datetime.datetime(2000, 12, 31)), + limit=3 + ) + + +client.close() +``` + +##### `reference_add_many` の更新 + +`reference_add_many` の構文が更新され、 `DataReferenceOneToMany` は `DataReference` になりました。 + +```python +collection.data.reference_add_many( + [ + DataReference( + from_property="ref", + from_uuid=uuid_from, + to_uuid=*one or a list of UUIDs*, + ) + ] +) +``` + +##### 参照 + +複数ターゲット参照が更新されました。新しい関数は次のとおりです: + +- `ReferenceProperty.MultiTarget` +- `DataReference.MultiTarget` +- `QueryReference.MultiTarget` + +複数ターゲット参照には `ReferenceToMulti` を使用してください。 + +#### 旧クライアントの変更点 + +##### 参照 + +- コレクションの作成、オブジェクトの挿入、およびクエリーの際に、参照は `references` パラメーターを通じて追加されるようになりました。 +- `FromReference` クラスは `QueryReference` と呼ばれるようになりました。 + +##### クラス／パラメーターの再編成 + +- `weaviate.classes` サブモジュールはさらに以下に分割されました: + - `weaviate.classes.config` + - `weaviate.classes.data` + - `weaviate.classes.query` + - `weaviate.classes.generic` +- `wvc.config.Configure` および `wvc.config.Reconfigure` の `vector_index_config` パラメーターのファクトリー関数は、例えば次のように変更されました: + ```python + client.collections.create( + name="MyCollection", + # highlight-start + vector_index_config=wvc.config.Configure.VectorIndex.hnsw( + distance_metric=wvc.config.VectorDistances.COSINE, + vector_cache_max_objects=1000000, + quantizer=wvc.config.Configure.VectorIndex.Quantizer.pq() + ), + # highlight-end + ) + ``` + - `vector_index_type` パラメーターは削除されました。 +- `Property` コンストラクター メソッドの `vectorize_class_name` パラメーターは `vectorize_collection_name` に変更されました。 +- `[collection].data.update()` / `.replace()` の *args の順序が変更され、更新時にプロパティを省略できるようになりました。 +- `[collection].data.reference_add` / `.reference_delete` / `.reference_replace` で、 `ref` キーワードは `to` に改名されました。 +- `collections.create()` / `get()` において、ジェネリックを指定するための `data_model` キーワード引数は `data_model_properties` に変更されました。 +- `[object].metadata.uuid` は `[object].uuid` になりました。 +- `[object].metadata.creation_time_unix` は `[object].metadata.creation_time` になりました。 +- `[object].metadata.last_update_time_unix` は `[object].metadata.last_update` になりました。 +- `quantitizer` は `quantizer` に改名されました。 +- 返却データに ベクトル を含めるには、 `include_vector` パラメーターを使用してください。 + + +##### データ型 + +- 作成日時および最終更新日時のメタデータは `datetime` オブジェクトを返すようになり、 `MetadataQuery` ではパラメーター名が `creation_time` と `last_update_time` に変更されました。 + - `metadata.creation_time.timestamp() * 1000` は従来と同じ値を返します。 +- `query.fetch_object_by_id()` は内部で REST ではなく gRPC を使用するようになり、他のクエリーと同じ形式でオブジェクトを返します。 +- `UUID` と `DATE` プロパティは型付きオブジェクトとして返されます。 + +
`generate` サブモジュールは、大規模言語モデルを使用してテキストを生成します。このサブモジュールは、言語モデルおよびその API の応答速度に依存します。 +
タイムアウト値を長く設定することで、クライアントが言語モデルの応答をより長く待機できるようになります。 +::: + +#### 認証 + +いくつかの `connect` ヘルパー関数は認証情報を受け取ります。たとえば、`connect_to_weaviate_cloud` は WCD API キーまたは OIDC 認証情報を受け付けます。 + +
+
+
+## 接続の終了
+
+クライアント接続は必ず閉じる必要があります。`client.close()` を使用するか、コンテキスト マネージャを使って自動で接続を閉じることもできます。
+
+### `try` / `finally` を使った `client.close()`
+
+`try` ブロックが完了したとき（または例外が発生したとき）にクライアント接続を閉じます。
+
+サブモジュール一覧を見る
+ +| モジュール | 説明 | +| ------------------------------- | ---------------------------------- | +| `weaviate.classes.config` | コレクションの作成 / 変更 | +| `weaviate.classes.data` | CUD 操作 | +| `weaviate.classes.query` | クエリ / 検索操作 | +| `weaviate.classes.aggregate` | 集約操作 | +| `weaviate.classes.generic` | 汎用 | +| `weaviate.classes.init` | 初期化 | +| `weaviate.classes.tenants` | テナント | +| `weaviate.classes.batch` | バッチ操作 | + ++ +`v4.10.0` 以降、[Weaviate Python クライアントのインストール](https://pypi.org/project/weaviate-client/)には `v3` API（つまり `weaviate.Client` クラス）が含まれません。これにより、開発者体験を最適化し、最新の Weaviate 機能をサポートできるようになりました。 +
+ +`v3` クライアントには、今後もしばらくの間は重大なセキュリティアップデートとバグ修正が提供されますが、新機能の追加は行われません。 +
+ +**これは何を意味するのでしょうか？** +
+ +最新の Weaviate Database の開発成果を利用するために、コードベースを [`v4` クライアント API](./index.mdx) へ移行することを推奨します。 +
+ +ドキュメントには[移行ガイド](./v3_v4_migration.md)があり、多くのコード例で `v3` と `v4` の構文を併記しています。今後も移行を容易にする専用リソースを追加していく予定です。 +
+ +既存のコードベースと Weaviate Database を当面変更しない予定の場合は、`requirements.txt` などの要件ファイルでバージョンを固定してください。例: + +```bash + weaviate-client>=3.26.7,<4.0.0 +``` + +コード移行は手間がかかることがありますが、最終的な体験と機能セットがその価値を十分に上回ると確信しています。 +
+ +移行ドキュメントやリソースに関する具体的な要望がございましたら、[GitHub リポジトリ](https://github.com/weaviate/docs/issues)までお気軽にお知らせください。 +::: + +## インストールとセットアップ + +### 要件 + +`v3` クライアントは、Weaviate `1.22` で導入された gRPC API とは併用できません。Weaviate `1.22` 以降でも `v3` クライアントを使用できますが、gRPC API による改善の恩恵は受けられません。gRPC API を利用する場合は `v4` クライアントをご使用ください。 + +### インストール + +`v3` Python ライブラリは [PyPI.org](https://pypi.org/project/weaviate-client/) で利用可能です。パッケージは [pip](https://pypi.org/project/pip/) を使用してインストールできます。クライアントは Python 3.7 以上で開発・テストされています。 + +```bash +pip install "weaviate-client==3.*" +``` + +### セットアップ + +Python スクリプト内では次のようにクライアントを使用できます。 + +```python +import weaviate + +client = weaviate.Client("https://WEAVIATE_INSTANCE_URL") # Replace WEAVIATE_INSTANCE_URL with your instance URL. + +assert client.is_ready() # Will return True if the client is connected & the server is ready to accept requests +``` + +あるいは、以下のような追加引数を指定することも可能です。 + +```python +import weaviate + +client = weaviate.Client( + url="https://WEAVIATE_INSTANCE_URL", # URL of your Weaviate instance + auth_client_secret=auth_config, # (Optional) If the Weaviate instance requires authentication + timeout_config=(5, 15), # (Optional) Set connection timeout & read timeout time in seconds + additional_headers={ # (Optional) Any additional headers; e.g. keys for API inference services + "X-Cohere-Api-Key": "YOUR-COHERE-API-KEY", # Replace with your Cohere key + "X-HuggingFace-Api-Key": "YOUR-HUGGINGFACE-API-KEY", # Replace with your Hugging Face key + "X-OpenAI-Api-Key": "YOUR-OPENAI-API-KEY", # Replace with your OpenAI key + } +) + +assert client.is_ready() # Will return True if the client is connected & the server is ready to accept requests +``` + +## 認証 + +import ClientAuthIntro from '/docs/weaviate/client-libraries/_components/client.auth.introduction.mdx' + +
値 | 目的 | +| :- | :- | :- | :- | +| `batch_size` | integer | 50 - 200 | 初期バッチサイズ | +| `num_workers` | integer | 1 - 2 | 同時実行ワーカーの最大数 | +| `dynamic` | boolean | True | `batch_size` に基づきバッチサイズを動的に調整するか | + +### マルチスレッドバッチインポート + +:::info Weaviate Python クライアント バージョン `3.9.0` で追加されました。 +::: + +マルチスレッドバッチインポートは `Auto-batching` と `Dynamic-batching` の両方で動作します。 + +利用するには、`.configure(...)`（`.__call__(...)` と同じ）でバッチ設定の引数 `num_workers` にワーカー（スレッド）の数を指定します。詳しくは後述の [Batch configuration](#batch-configuration) をご覧ください。 + +:::warning +マルチスレッドはデフォルトでは無効（`num_workers=1`）です。ご利用の Weaviate インスタンスを過負荷にしないようご注意ください。 +::: + +**Example** + +```python +client.batch( # or client.batch.configure( + batch_size=100, + dynamic=True, + num_workers=4, +) +``` + +### Auto-batching + +この方法では、Python クライアントが `object` と `reference` のインポート／作成をすべて処理します。つまり、オブジェクトやクロスリファレンスを明示的に作成する必要はありません。インポート／作成したいものをすべて `Batch` に追加するだけで、`Batch` がオブジェクトとクロスリファレンスの作成を行います。Auto-batching を有効にするには、`batch_size` を正の整数（デフォルトは `None`）に設定します（詳細は [Batch configuration](#batch-configuration) を参照）。`Batch` は「オブジェクト数 + リファレンス数 == `batch_size`」になったタイミングで、オブジェクトを作成し、その後クロスリファレンスを作成します。例を以下に示します。 + +```python +import weaviate +from weaviate.util import generate_uuid5 +client = weaviate.Client("http://localhost:8080") + +# create schema +schema = { + "classes": [ + { + "class": "Author", + "properties": [ + { + "name": "name", + "dataType": ["text"] + }, + { + "name": "wroteBooks", + "dataType": ["Book"] + } + ] + }, + { + "class": "Book", + "properties": [ + { + "name": "title", + "dataType": ["text"] + }, + { + "name": "ofAuthor", + "dataType": ["Author"] + } + ] + } + ] +} + +client.schema.create(schema) + +author = { + "name": "Jane Doe", +} +book_1 = { + "title": "Jane's Book 1" +} +book_2 = { + "title": "Jane's Book 2" +} + +client.batch.configure( + batch_size=5, # int value for batch_size enables auto-batching, see Batch configuration section below +) + +with client.batch as batch: + # add author + uuid_author = generate_uuid5(author, "Author") + batch.add_data_object( + data_object=author, + class_name="Author", + uuid=uuid_author, + ) + # add book_1 + uuid_book_1 = generate_uuid5(book_1, "Book") + batch.add_data_object( + data_object=book_1, + class_name="Book", + uuid=uuid_book_1, + ) + # add references author ---> book_1 + batch.add_reference( + from_object_uuid=uuid_author, + from_object_class_name="Author", + from_property_name="wroteBooks", + to_object_uuid=uuid_book_1, + to_object_class_name="Book", + ) + # add references author <--- book_1 + batch.add_reference( + from_object_uuid=uuid_book_1, + from_object_class_name="Book", + from_property_name="ofAuthor", + to_object_uuid=uuid_author, + to_object_class_name="Author", + ) + # add book_2 + uuid_book_2 = generate_uuid5(book_2, "Book") + batch.add_data_object( + data_object=book_2, + class_name="Book", + uuid=uuid_book_2, + ) + # add references author ---> book_2 + batch.add_reference( + from_object_uuid=uuid_author, + from_object_class_name="Author", + from_property_name="wroteBooks", + to_object_uuid=uuid_book_2, + to_object_class_name="Book", + ) + # add references author <--- book_2 + batch.add_reference( + from_object_uuid=uuid_book_2, + from_object_class_name="Book", + from_property_name="ofAuthor", + to_object_uuid=uuid_author, + to_object_class_name="Author", + ) + +# NOTE: When exiting context manager the method `batch.flush()` is called +# done, everything is imported/created +``` + +### Dynamic-batching + +この方法も、Python クライアントがオブジェクトとクロスリファレンスのインポート／作成を動的に処理します（[Auto-batching](#auto-batching) と同様、ユーザーが明示的に行う必要はありません）。Dynamic-batching を有効にするには、`batch_size` を正の整数（デフォルトは `None`）に設定し、さらに `dynamic` を `True`（デフォルトは `False`）にします（詳細は [Batch configuration](#batch-configuration) を参照）。この方法では、最初の `Batch` 作成後に `recommended_num_objects` と `recommended_num_references` が計算され、その初期値として `batch_size` が使用されます。`Batch` は現在のオブジェクト数が `recommended_num_objects` に達するか、リファレンス数が `recommended_num_references` に達した時点で、オブジェクトまたはリファレンスを作成します。例を以下に示します。 + +```python +import weaviate +from weaviate.util import generate_uuid5 +client = weaviate.Client("http://localhost:8080") + +# create schema +schema = { + "classes": [ + { + "class": "Author", + "properties": [ + { + "name": "name", + "dataType": ["text"] + }, + { + "name": "wroteBooks", + "dataType": ["Book"] + } + ] + }, + { + "class": "Book", + "properties": [ + { + "name": "title", + "dataType": ["text"] + }, + { + "name": "ofAuthor", + "dataType": ["Author"] + } + ] + } + ] +} + +client.schema.create(schema) + +author = { + "name": "Jane Doe", +} +book_1 = { + "title": "Jane's Book 1" +} +book_2 = { + "title": "Jane's Book 2" +} + +client.batch.configure( + batch_size=5, # int value for batch_size enables auto-batching, see Batch configuration section below + dynamic=True, # makes it dynamic +) + +with client.batch as batch: + # add author + uuid_author = generate_uuid5(author, "Author") + batch.add_data_object( + data_object=author, + class_name="Author", + uuid=uuid_author, + ) + # add book_1 + uuid_book_1 = generate_uuid5(book_1, "Book") + batch.add_data_object( + data_object=book_1, + class_name="Book", + uuid=uuid_book_1, + ) + # add references author ---> book_1 + batch.add_reference( + from_object_uuid=uuid_author, + from_object_class_name="Author", + from_property_name="wroteBooks", + to_object_uuid=uuid_book_1, + to_object_class_name="Book", + ) + # add references author <--- book_1 + batch.add_reference( + from_object_uuid=uuid_book_1, + from_object_class_name="Book", + from_property_name="ofAuthor", + to_object_uuid=uuid_author, + to_object_class_name="Author", + ) + # add book_2 + uuid_book_2 = generate_uuid5(book_2, "Book") + batch.add_data_object( + data_object=book_2, + class_name="Book", + uuid=uuid_book_2, + ) + # add references author ---> book_2 + batch.add_reference( + from_object_uuid=uuid_author, + from_object_class_name="Author", + from_property_name="wroteBooks", + to_object_uuid=uuid_book_2, + to_object_class_name="Book", + ) + # add references author <--- book_2 + batch.add_reference( + from_object_uuid=uuid_book_2, + from_object_class_name="Book", + from_property_name="ofAuthor", + to_object_uuid=uuid_author, + to_object_class_name="Author", + ) +# NOTE: When exiting context manager the method `batch.flush()` is called +# done, everything is imported/created +``` + +### Manual-batching + +この方法では、`Batch` の操作をすべてユーザーが制御します。つまり、`Batch` はインポート／作成を自動では行わず、全てユーザーに委ねます。例を以下に示します。 + +```python +import weaviate +from weaviate.util import generate_uuid5 +client = weaviate.Client("http://localhost:8080") + +# create schema +schema = { + "classes": [ + { + "class": "Author", + "properties": [ + { + "name": "name", + "dataType": ["text"] + }, + { + "name": "wroteBooks", + "dataType": ["Book"] + } + ] + }, + { + "class": "Book", + "properties": [ + { + "name": "title", + "dataType": ["text"] + }, + { + "name": "ofAuthor", + "dataType": ["Author"] + } + ] + } + ] +} + +client.schema.create(schema) + +author = { + "name": "Jane Doe", +} +book_1 = { + "title": "Jane's Book 1" +} +book_2 = { + "title": "Jane's Book 2" +} + +client.batch.configure( + batch_size=None, # None disable any automatic functionality +) + +with client.batch as batch: + # add author + uuid_author = generate_uuid5(author, "Author") + batch.add_data_object( + data_object=author, + class_name="Author", + uuid=uuid_author, + ) + # add book_1 + uuid_book_1 = generate_uuid5(book_1, "Book") + batch.add_data_object( + data_object=book_1, + class_name="Book", + uuid=uuid_book_1, + ) + result = batch.create_objects() # <----- implicit object creation + + # add references author ---> book_1 + batch.add_reference( + from_object_uuid=uuid_author, + from_object_class_name="Author", + from_property_name="wroteBooks", + to_object_uuid=uuid_book_1, + to_object_class_name="Book", + ) + # add references author <--- book_1 + batch.add_reference( + from_object_uuid=uuid_book_1, + from_object_class_name="Book", + from_property_name="ofAuthor", + to_object_uuid=uuid_author, + to_object_class_name="Author", + ) + result = batch.create_references() # <----- implicit reference creation + + + # add book_2 + uuid_book_2 = generate_uuid5(book_2, "Book") + batch.add_data_object( + data_object=book_2, + class_name="Book", + uuid=uuid_book_2, + ) + result = batch.create_objects() # <----- implicit object creation + + # add references author ---> book_2 + batch.add_reference( + from_object_uuid=uuid_author, + from_object_class_name="Author", + from_property_name="wroteBooks", + to_object_uuid=uuid_book_2, + to_object_class_name="Book", + ) + # add references author <--- book_2 + batch.add_reference( + from_object_uuid=uuid_book_2, + from_object_class_name="Book", + from_property_name="ofAuthor", + to_object_uuid=uuid_author, + to_object_class_name="Author", + ) + result = batch.create_references() # <----- implicit reference creation + +# NOTE: When exiting context manager the method `batch.flush()` is called +# done, everything is imported/created +``` + +### Batch configuration + +`Batch` オブジェクトは `batch.configure()` メソッド、または `batch()`（`__call__`）メソッドで設定できます。両者は同じ関数です。上記の例では `batch_size` と `dynamic` を設定しましたが、利用可能なパラメーターは以下のとおりです。 + +- `batch_size` - (`int` または `None`、デフォルト `None`): `int` を指定すると Auto／Dynamic-batching が有効になります。Auto-batching では「オブジェクト数 + リファレンス数 == `batch_size`」になるとオブジェクト → リファレンスの順で作成します（詳細は [Auto-batching](#auto-batching) を参照）。Dynamic-batching では初期値として `recommended_num_objects` と `recommended_num_references` に使用されます（詳細は [Dynamic-batching](#dynamic-batching) を参照）。`None` の場合は Manual-batching となり、自動作成は行われません。 +- `dynamic` - (`bool`, デフォルト `False`): Dynamic-batching の有効／無効を切り替えます。`batch_size` が `None` の場合は無効です。 +- `creation_time` - (`int` または `float`, デフォルト `10`): バッチのインポート／作成を行う時間間隔（秒）です。`recommended_num_objects` と `recommended_num_references` の計算に使用され、Dynamic-batching に影響します。 +- `callback` (Optional[Callable[[dict], None]], デフォルト `weaviate.util.check_batch_result`): `batch.create_objects()` と `batch.create_references()` の結果に対して呼び出されるコールバック関数です。Auto／Dynamic-batching におけるエラーハンドリングに使用されます。`batch_size` が `None` の場合は影響しません。 +- `timeout_retries` - (`int`, デフォルト `3`): `TimeoutError` になる前にバッチのインポート／作成を再試行する回数です。 +- `connection_error_retries` - (`int`, デフォルト `3`): `ConnectionError` になる前にバッチのインポート／作成を再試行する回数です。**注:** `weaviate-client 3.9.0` で追加されました。 +- `num_workers` - (`int`, デフォルト `1`): バッチインポートを並列化する最大スレッド数です。Manual-batching 以外（AUTO または DYNAMIC）のみで使用されます。***Weaviate インスタンスを過負荷にしないようご注意ください。*** **注:** `weaviate-client 3.9.0` で追加されました。 + +NOTE: このメソッドを呼び出すたびに、必要な設定をすべて指定してください。指定しない設定はデフォルト値に置き換えられます。 +```python +client.batch( + batch_size=100, + dynamic=False, + creation_time=5, + timeout_retries=3, + connection_error_retries=5, + callback=None, + num_workers=1, +) +``` + +### ヒント & コツ + +* コミット／作成前にバッチへ追加できるオブジェクト／リファレンスの数に制限はありません。ただし、バッチが大きすぎると TimeOut エラーが発生する場合があります。これは、Weaviate が指定された時間内にバッチ内のすべてのオブジェクトを処理・作成できなかったことを意味します（タイムアウト設定は [こちら](https://weaviate-python-client.readthedocs.io/en/latest/weaviate.html#weaviate.Client) や [こちら](https://weaviate-python-client.readthedocs.io/en/latest/weaviate.html#weaviate.Client.timeout_config) を参照）。タイムアウト設定を 60 秒以上にする場合は docker-compose.yml／Helm chart の変更が必要です。 +* Python クライアントの `batch` クラスは次の 3 通りの使い方ができます。 + * ケース 1: すべてユーザーが実行。ユーザーはオブジェクト／オブジェクト参照を追加し、任意のタイミングで作成します。データ型を作成するには `create_objects`、`create_references`、`flush` を使用します。この場合、Batch インスタンスの `batch_size` は `None` です（`configure` または `__call__` のドキュメントを参照）。コンテキストマネージャでも使用できます。 + * ケース 2: バッチが満杯になると自動作成。Batch インスタンスの `batch_size` を正の整数に設定します（`configure` または `__call__` を参照）。このとき `batch_size` は追加されたオブジェクトとリファレンスの合計に対応します。ユーザーによるバッチ作成は必須ではありませんが、行うことも可能です。要件を満たさない最後のバッチを作成するには `flush` を使用します。コンテキストマネージャでも使用できます。 + * ケース 3: ケース 2 と似ていますが、Dynamic-batching を使用します。すなわち、オブジェクトまたはリファレンスのいずれかが `recommended_num_objects` または `recommended_num_references` に達した時点で自動作成されます。設定方法は `configure` または `__call__` のドキュメントを参照してください。 + * **コンテキストマネージャ対応**: `with` 文と共に使用できます。コンテキストを抜ける際に `flush` を自動で呼び出します。`configure` または `__call__` と組み合わせて、上記の任意のケースに設定できます。 + +### エラー処理 + +`Batch` でオブジェクトを作成する方が、オブジェクト／リファレンスを個別に作成するより高速ですが、その分いくつかのバリデーションステップをスキップします。バリデーションをスキップすると、作成に失敗するオブジェクトや、追加に失敗するリファレンスが発生する場合があります。このとき `Batch` 自体は失敗しませんが、個々のオブジェクト／リファレンスが失敗する可能性があります。そのため、`batch.create_objects()` や `batch.create_references()` の戻り値をチェックし、すべてがエラーなくインポート／作成されたか確認することを推奨します。以下に、個々の `Batch` オブジェクト／リファレンスでエラーを検出・処理する方法を示します。 + +まず、エラーをチェックして出力する関数を定義します。 +```python +def check_batch_result(results: dict): + """ + Check batch results for errors. + + Parameters + ---------- + results : dict + The Weaviate batch creation return value. + """ + + if results is not None: + for result in results: + if "result" in result and "errors" in result["result"]: + if "error" in result["result"]["errors"]: + print(result["result"]) +``` + +次に、この関数を使用してアイテム（オブジェクト／リファレンス）レベルのエラーメッセージを出力します。Auto／Dynamic-batching を用い、`create` メソッドを暗黙的に呼び出さない場合の例を示します。 + +```python +client.batch( + batch_size=100, + dynamic=True, + creation_time=5, + timeout_retries=3, + connection_error_retries=3, + callback=check_batch_result, +) + +# done, easy as that +``` + +Manual-batching では、戻り値に対してこの関数を呼び出せます。 +```python +# on objects +result = client.batch.create_object() +check_batch_result(result) + +# on references +result = client.batch.create_references() +check_batch_result(result) +``` + + +
+
+
+
+## 設計
+
+### GraphQL クエリビルダー パターン
+
+複雑な GraphQL クエリ（例: フィルターを使用する場合）を扱う際、クライアントではビルダー パターンを使用してクエリを組み立てます。以下は、複数のフィルターを持つクエリの例です:
+
+```python
+import weaviate
+client = weaviate.Client("http://localhost:8080")
+
+where_filter = {
+ "path": ["wordCount"],
+ "operator": "GreaterThan",
+ "valueInt": 1000
+}
+
+near_text_filter = {
+ "concepts": ["fashion"],
+ "certainty": 0.7,
+ "moveAwayFrom": {
+ "concepts": ["finance"],
+ "force": 0.45
+ },
+ "moveTo": {
+ "concepts": ["haute couture"],
+ "force": 0.85
+ }
+}
+
+query_result = client.query\
+ .get("Article", ["title"])\
+ .with_where(where_filter)\
+ .with_near_text(near_text_filter)\
+ .with_limit(50)\
+ .do()
+
+print(query_result)
+```
+
+クエリを実行するには `.do()` メソッドを使用する必要がある点にご注意ください。
+
+:::tip
+`.build()` を使用すると、生成される GraphQL クエリ を確認できます
+:::
+
+```python
+query_result = client.query\
+ .get("Article", ["title"])\
+ .with_where(where_filter)\
+ .with_near_text(near_text_filter)\
+ .with_limit(50)
+
+query_result.build()
+
+>>> '{Get{Article(where: {path: ["wordCount"] operator: GreaterThan valueInt: 1000} limit: 50 nearText: {concepts: ["fashion"] certainty: 0.7 moveTo: {force: 0.85 concepts: ["haute couture"]} moveAwayFrom: {force: 0.45 concepts: ["finance"]}} ){title}}}'
+
+```
+
+## ベストプラクティスと注意事項
+
+### スレッド セーフティ
+
+Python クライアントは基本的にスレッド セーフになるよう設計されていますが、`requests` ライブラリに依存しているため、完全なスレッド セーフティは保証されません。
+
+この点については将来的に改善を検討しています。
+
+:::warning Thread safety
+クライアントのバッチ処理アルゴリズムはスレッド セーフではありません。Python クライアントをマルチスレッド環境で使用する際は、この点を念頭に置き、よりスムーズで予測しやすい動作を確保してください。
+:::
+
+マルチスレッド環境でバッチ処理を行う場合は、任意の時点でバッチ ワークフローを実行するスレッドが 1 つだけになるようにしてください。複数のスレッドが同じ `client.batch` オブジェクトを同時に使用することはできません。
+
+## リリース
+
+[GitHub のリリース ページ](https://github.com/weaviate/weaviate-python-client/releases) にアクセスすると、Python クライアント ライブラリのリリース履歴を確認できます。
+
+例コード
+ +以下の Python コードは、バッチ内の個々のデータオブジェクトでエラーを処理する方法を示しています。 + +```python +import weaviate + +client = weaviate.Client("http://localhost:8080") + +def check_batch_result(results: dict): + """ + Check batch results for errors. + + Parameters + ---------- + results : dict + The Weaviate batch creation return value, i.e. returned value of the client.batch.create_objects(). + """ + if results is not None: + for result in results: + if 'result' in result and 'errors' in result['result']: + if 'error' in result['result']['errors']: + print("We got an error!", result) + +object_to_add = { + "name": "Jane Doe", + "writesFor": [{ + "beacon": "weaviate://localhost/f81bfe5e-16ba-4615-a516-46c2ae2e5a80" + }] +} + +client.batch.configure( + # `batch_size` takes an `int` value to enable auto-batching + # (`None` is used for manual batching) + batch_size=100, + # dynamically update the `batch_size` based on import speed + dynamic=False, + # `timeout_retries` takes an `int` value to retry on time outs + timeout_retries=3, + # checks for batch-item creation errors + # this is the default in weaviate-client >= 3.6.0 + callback=check_batch_result, + consistency_level=weaviate.data.replication.ConsistencyLevel.ALL, # default QUORUM +) + +with client.batch as batch: + batch.add_data_object(object_to_add, "Author", "36ddd591-2dee-4e7e-a3cc-eb86d30a4303", vector=[1,2]) + # lets force an error, adding a second object with unmatching vector dimensions + batch.add_data_object(object_to_add, "Author", "cb7d0da4-ceaa-42d0-a483-282f545deed7", vector=[1,2,3]) +``` + +同じ方法はリファレンスの追加にも適用できます。特にリファレンスをバッチで送信する場合、オブジェクトやリファレンスレベルのバリデーションが一部スキップされます。上記のように単一データオブジェクトで検証を行うことで、エラーが見逃される可能性を低減できます。 + +
+
+
+## 質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+Weaviate と対応するクライアント バージョンの一覧を表示するにはここをクリック
+ +import ReleaseHistory from '/_includes/release-history.md'; + +
+
+
+## クライアントのインスタンス化
+
+` v4 ` クライアントは `WeaviateClient` オブジェクトによってインスタンス化されます。`WeaviateClient` オブジェクトはすべての API 操作へのメイン エントリ ポイントです。
+
+`WeaviateClient` オブジェクトを直接インスタンス化することもできますが、ほとんどの場合は `connect_to_local` や `connect_to_weaviate_cloud` などの接続ヘルパー関数を使用する方が簡単です。
+
+docker-compose.yml の例
+ + Docker で Weaviate を実行している場合、` 50051 ` のデフォルト ポートをマッピングするには、`docker-compose.yml` ファイルに次を追加します。 + + ```yaml + ports: + - 8080:8080 + - 50051:50051 + ``` + +
+
+
+## はじめに
+
+import BasicPrereqs from "/_includes/prerequisites-quickstart.md";
+
+tsconfig.json ファイル
+ +```json +{ + "compilerOptions": { + "target": "ESNext", + "module": "NodeNext", + "moduleResolution": "NodeNext", + "esModuleInterop": true, + "skipLibCheck": true, + "allowSyntheticDefaultImports": true, + "strict": true + }, + "include": ["src/index.ts"] // this compiles only src/.index.ts, to compile all .ts files, use ["*.ts"] +} +``` + +
+
+
+
+
+#### ベクトライザー API の変更点 `v3.8.0`
+
+Weaviate JS/TS クライアント `v3.8.0` から、コレクションを作成する際のベクトライザー設定 API に複数の変更が加えられました:
+- `configure.vectorizer` は `configure.vectors` に置き換えられました
+- ユーザーが [マルチ ベクトル](../../manage-collections/vector-config.mdx#define-multi-vector-embeddings-eg-colbert-colpali) を扱えるよう、`configure.multiVectors` が追加されました
+- `configure.vectorizer.none` は `configure.vectors.selfProvided` に置き換えられました
+
+#### `v2` から `v3` への移行
+
+Weaviate TypeScript クライアント v2 から v3 へプロジェクトを移行する場合は、詳細について [移行ページ](/weaviate/client-libraries/typescript/v2_v3_migration) をご覧ください。
+
+## コード例と追加リソース
+
+import CodeExamples from "/_includes/clients/code-examples.mdx";
+
+Weaviate と対応するクライアントバージョンの一覧はこちらをクリック
+ +import ReleaseHistory from "/_includes/release-history.md"; + +`generate` サブモジュールは、大規模言語モデルを用いてテキストを生成します。このサブモジュールは、言語モデルおよびそれを提供する API の速度に依存します。
タイムアウト値を増やすことで、クライアントが言語モデルからの応答をより長く待機できるようになります。 +::: + + diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/client-libraries/typescript/typescript-v2.mdx b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/client-libraries/typescript/typescript-v2.mdx new file mode 100644 index 000000000..25909c583 --- /dev/null +++ b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/client-libraries/typescript/typescript-v2.mdx @@ -0,0 +1,440 @@ +--- +title: JS/TS クライアント v2 +sidebar_position: 20 +description: "既存のアプリケーションの保守および互換性のためのレガシー TypeScript クライアント v2 のドキュメント." +image: og/docs/client-libraries.jpg +# tags: ['TypeScript', 'client library'] +--- + +import Tabs from '@theme/Tabs'; +import TabItem from '@theme/TabItem'; + +:::note TypeScript client version +TypeScript クライアントのバージョンは `v||site.typescript_client_version||` です。新しいプロジェクトでは [TypeScript v3 クライアント](./index.mdx) をご利用ください。 +::: + +TypeScript クライアントは、 JavaScript および TypeScript のスクリプトの両方で使用できます。 + +## インストールとセットアップ + +TypeScript クライアントライブラリをインストールするには、 [npm](https://www.npmjs.com/) を使用します。 + +```bash +npm install weaviate-ts-client +``` + +## 使い方と型定義 + +インストール後、以下の例のように TypeScript と JavaScript のスクリプトでクライアントを使用できます。 + +### 使い方 + +
+
+
+`sample.ts` を変換します。
+
+```bash
+tsc
+```
+
+変換されたファイルを実行します。
+
+```bash
+node sample.js
+```
+
+出力は次のようになります。
+
+サンプル TypeScript コード
+ +```ts +import weaviate from 'weaviate-ts-client'; + +const client = weaviate.client({ + scheme: 'https', + host: 'edu-demo.weaviate.network', + apiKey: new weaviate.ApiKey('learn-weaviate'), +}); + +console.log(client.misc) +``` +
+
+
+## クライアントリリース
+
+サンプル出力
+ +```json +{ + "clientId": "wcs", + "href": "https://auth.wcs.api.weaviate.io/auth/realms/SeMI/.well-known/openid-configuration" +} +``` +
+
+
+## クライアント変更履歴
+
+クライアントの変更履歴は各リリースごとに GitHub で確認できます。
+
+## 質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+Weaviate と対応するクライアントバージョンの表を表示するにはここをクリック
+ +import ReleaseHistory from '/_includes/release-history.md'; + +
+
+
+## クライアントの生成
+
+`weaviate` オブジェクトは、すべての API 操作のメインエントリーポイントです。v3 クライアントは `weaviate` オブジェクトを生成し、あなたの Weaviate インスタンスへ [接続を作成](/weaviate/connections) します。
+
+ほとんどの場合、接続ヘルパー関数のいずれかを使用して Weaviate インスタンスへ接続することを推奨します。
+
+- `connectToWCD`
+- `connectToLocal`
+- `connectToCustom`
+
+カスタム設定を使用して、クライアントを直接生成することもできます。
+
+docker-compose.yml
+ + Docker コンテナ内の Weaviate gRPC ポートをローカルポートにマッピングするには、`docker-compose.yml` ファイルに次のコードを追加します。 + + ```yaml + ports: + - 8080:8080 + - 50051:50051 + ``` +
+
+
+## シャードおよび/またはレプリケーションシャードのノードアフィニティ
+
+ Weaviate は、空きディスク容量が最も多いノードを選択しようとします。
+
+ これは、新しいクラスを作成するときにのみ適用され、既存の単一クラスにデータを追加するときには適用されません。
+
+ノードディスカバリー用 FQDN
+ +:::caution `v1.25.15` で追加され `v1.30` で削除 + +これは実験的機能でした。利用時はご注意ください。 + +::: + +IP アドレスベースのノードディスカバリーが最適でない場合があります。そのような場合は、`RAFT_ENABLE_FQDN_RESOLVER` と `RAFT_FQDN_RESOLVER_TLD` [環境変数](/deploy/configuration/env-vars/index.md#multi-node-instances) を設定して、完全修飾ドメイン名 (FQDN) ベースのノードディスカバリーを有効化できます。 + +この機能を有効にすると、Weaviate はメタデータ（例: Raft）通信においてノード名を IP アドレスへ解決する際、FQDN リゾルバーを使用します。 + +:::info FQDN: メタデータ変更のみに適用 +この機能は、[Raft をコンセンサスメカニズムとして使用する](./replication-architecture/cluster-architecture.md#metadata-replication-raft)メタデータ変更にのみ利用されます。データの読み書き操作には影響しません。 +::: + +#### FQDN を使用したノード検出の例 + + FQDN を使用すると、複数のクラスタ間で IP アドレスが再利用されている場合に、あるクラスタのノードが別のクラスタのノードを誤って検出してしまう状況を回避できます。 + + また、サービス (たとえば Kubernetes) を使用している場合に、サービスの IP が実際のノードの IP と異なり、サービスがノードへの接続をプロキシするケースでも有用です。 + +#### FQDN ノード検出の環境変数 + +`RAFT_ENABLE_FQDN_RESOLVER` は Boolean フラグです。 このフラグを有効にすると、 FQDN リゾルバーが有効になります。 `true` に設定すると、 Weaviate は FQDN リゾルバーを使用してノード名をノードの IP アドレスへ解決します。 `false` に設定すると、 Weaviate は memberlist ルックアップを使用してノード名をノードの IP アドレスへ解決します。 既定値は `false` です。 + +`RAFT_FQDN_RESOLVER_TLD` は文字列で、ノード ID を IP アドレスに解決するときに `[node-id].[tld]` という形式で末尾に付加されます。ここで `[tld]` はトップレベルドメインです。 + + この機能を使用するには、 `RAFT_ENABLE_FQDN_RESOLVER` を `true` に設定してください。 + +
+
+
+ バージョン `v1.8.0` から `v1.18.0` では、ユーザーは特定のシャードまたはレプリケーションシャードのノードアフィニティを指定できませんでした。
+
+ シャードは、ランダムに選ばれたノードから開始して、ラウンドロビン方式で「ライブ」ノードに割り当てられていました。
+
+
+
+## 整合性と現時点での制限
+
+* `v1.25.0` から、 Weaviate は選出されたリーダーによって調整されるログベースのアルゴリズムである [ Raft コンセンサスアルゴリズム](https://raft.github.io/) を採用しました。 これにより、スキーマを同時に変更できるという追加の利点が得られます。v1.18.1 以前の挙動
+
+ バージョン `v1.8.0` から `v1.18.0` では、ユーザーは特定のシャードまたはレプリケーションシャードのノードアフィニティを指定できませんでした。
+
+ シャードは、ランダムに選ばれたノードから開始して、ラウンドロビン方式で「ライブ」ノードに割り当てられていました。
+
+Kubernetes ユーザーの場合は、アップグレード前に [`1.25 移行ガイド`](/deploy/migration/weaviate-1-25.md) をご覧ください。 アップグレードするには、既存の StatefulSet を削除する必要があります。 +* `v1.8.0` 以降、クラスタ全体にスキーマ変更をブロードキャストするプロセスでは、二相トランザクションの形式が使用されていますが、現時点ではトランザクションの実行中にノード障害が発生すると耐えられません。 +* `v1.8.0` 以降、クラスタの動的スケーリングはまだ完全にはサポートされていません。 既存のクラスタに新しいノードを追加することは可能ですが、シャードの所有権には影響しません。 データが存在する場合、ノードを削除する前にシャードが他のノードへ移動されないため、既存のノードはまだ削除できません。 + +## 質問とフィードバック + +import DocsFeedback from '/_includes/docs-feedback.mdx'; + +
(e.g. data schema,
embedding model integration,
index configurations,
replication config, etc.)"] + end + + subgraph search ["Indexes"] + direction LR + Indexes["Indexes"] + + subgraph vector ["Vector Search"] + direction TB + VectorIndex["Vector Index"] + IndexStructure["Index Structure"] + VectorCache["Vector Cache"] + end + + subgraph text ["Filtering / Text Search"] + direction LR + InvertedIndex["Inverted Index"] + BM25Index["BM25 Index"] + FilterIndex["Filter Index"] + end + end + + subgraph storage ["Data Storage"] + direction TB + ObjectStore["Object Store"] + ObjectData["Object Data / Metadata"] + VectorData["Vector Data"] + end + + %% Connections + Collection --> Indexes + Collection --> ObjectStore + + Indexes --> VectorIndex + Indexes --> InvertedIndex + + VectorIndex --> IndexStructure + VectorIndex --> VectorCache + + InvertedIndex --> BM25Index + InvertedIndex --> FilterIndex + + ObjectStore --> ObjectData + ObjectStore --> VectorData + + %% Style Collection node + style Collection fill:#ffffff,stroke:#130C49,color:#130C49,stroke-width:2px + + %% Style Config components (purple color) + style CollectionConfig fill:#f5f5f5,stroke:#9575CD,color:#130C49 + + %% Style Memory components (warm color) + style Indexes fill:#FFF3E0,stroke:#FFB74D,color:#130C49 + style VectorIndex fill:#FFF3E0,stroke:#FFB74D,color:#130C49 + style InvertedIndex fill:#FFF3E0,stroke:#FFB74D,color:#130C49 + style VectorCache fill:#FFF3E0,stroke:#FFB74D,color:#130C49 + style IndexStructure fill:#FFF3E0,stroke:#FFB74D,color:#130C49 + style BM25Index fill:#FFF3E0,stroke:#FFB74D,color:#130C49 + style FilterIndex fill:#FFF3E0,stroke:#FFB74D,color:#130C49 + + %% Style Disk components (cool color) + style ObjectStore fill:#E3F2FD,stroke:#64B5F6,color:#130C49 + style ObjectData fill:#E3F2FD,stroke:#64B5F6,color:#130C49 + style VectorData fill:#E3F2FD,stroke:#64B5F6,color:#130C49 + + %% Style subgraphs + style search fill:#ffffff,stroke:#7AD6EB,stroke-width:2px,color:#130C49 + style vector fill:#ffffff,stroke:#61BD73,stroke-width:2px,color:#130C49 + style text fill:#ffffff,stroke:#61BD73,stroke-width:2px,color:#130C49 + style storage fill:#ffffff,stroke:#7AD6EB,stroke-width:2px,color:#130C49 +``` + +import InitialCaps from '/_includes/schemas/initial-capitalization.md' + +
(e.g. data schema,
embedding model integration,
index configurations,
replication config, etc.)"] + end + + ShardA["Tenant A Shard"] + IndexA["Indexes"] + StoreA["Object Store"] + + ShardB["Tenant B Shard"] + IndexB["Indexes"] + StoreB["Object Store"] + + ShardC["Tenant C Shard"] + IndexC["Indexes"] + StoreC["Object Store"] + + MTCollection --> ShardA + MTCollection --> ShardB + MTCollection --> ShardC + + ShardA --> IndexA + ShardA --> StoreA + + ShardB --> IndexB + ShardB --> StoreB + + ShardC --> IndexC + ShardC --> StoreC + end + + subgraph SingleDB ["Single Collection"] + direction LR + subgraph SingleCollection["🗄️ Collection"] + direction LR + SingleCollectionConfig["Collection Configuration
(e.g. data schema,
embedding model integration,
index configurations,
replication config, etc.)"] + end + + SingleIndexes["Indexes"] + SingleStore["Object Store"] + + SingleCollection --> SingleIndexes + SingleCollection --> SingleStore + end + + %% Style nodes - Single tenant + style SingleCollection fill:#ffffff,stroke:#130C49,color:#130C49,stroke-width:2px + style SingleIndexes fill:#FFF3E0,stroke:#FFB74D,color:#130C49 + style SingleStore fill:#E3F2FD,stroke:#64B5F6,color:#130C49 + + %% Style nodes - Multi tenant + style MTCollection fill:#ffffff,stroke:#130C49,color:#130C49,stroke-width:2px + style ShardA fill:#ffffff,stroke:#130C49,color:#130C49,stroke-width:2px + style ShardB fill:#ffffff,stroke:#130C49,color:#130C49,stroke-width:2px + style ShardC fill:#ffffff,stroke:#130C49,color:#130C49,stroke-width:2px + + %% Style tenant resources + style IndexA fill:#FFF3E0,stroke:#FFB74D,color:#130C49 + style IndexB fill:#FFF3E0,stroke:#FFB74D,color:#130C49 + style IndexC fill:#FFF3E0,stroke:#FFB74D,color:#130C49 + style StoreA fill:#E3F2FD,stroke:#64B5F6,color:#130C49 + style StoreB fill:#E3F2FD,stroke:#64B5F6,color:#130C49 + style StoreC fill:#E3F2FD,stroke:#64B5F6,color:#130C49 + + %% Style subgraphs + style SingleDB fill:transparent,stroke:#7AD6EB,stroke-width:2px,color:#130C49 + style MultiDB fill:transparent,stroke:#7AD6EB,stroke-width:2px,color:#130C49 + style MTCollectionConfig fill:#f5f5f5,stroke:#130C49,color:#130C49,stroke-width:2px + style SingleCollectionConfig fill:#f5f5f5,stroke:#130C49,color:#130C49,stroke-width:2px +``` + +シャーディングの利点: + +- データの分離 +- 高速で効率的なクエリ +- シンプルかつ堅牢なセットアップとクリーンアップ + +テナント シャード は軽量です。1 ノードあたり 50,000 個以上の アクティブ シャード を簡単に扱えます。つまり、およそ 20 ノード で 同時に 1M の アクティブ テナント をサポートできます。 + +マルチテナンシー は、複数の顧客のデータを保存したい場合や、複数のプロジェクトのデータを保存したい場合に特に有用です。 + +:::caution テナント削除 ＝ テナントデータ削除 +テナントを削除すると、そのテナントに対応するシャードが削除されます。結果として、テナントを削除すると そのテナントのすべてのオブジェクトも削除されます。 +::: + +### テナント 状態 + +:::info Multi-tenancy availability +- テナントのアクティビティ ステータス設定は `v1.21` で追加 +- `OFFLOADED` ステータスは `v1.26` で追加 +::: + +テナントには、その利用可否と保存場所を示す アクティビティ ステータス (テナント状態) があります。テナントは `ACTIVE`、`INACTIVE`、`OFFLOADED`、`OFFLOADING`、`ONLOADING` のいずれかです。 + +- `ACTIVE` テナントは読み書きが可能な状態でロードされています。 +- その他の状態では、テナントは読み書き不可で、アクセスしようとするとエラーになります。 + - `INACTIVE` テナントはローカル ディスクに保存され、すぐにアクティブ化できます。 + - `OFFLOADED` テナントはクラウド ストレージに保存されます。頻繁にアクセスしないテナントの長期保存に便利です。 + - `OFFLOADING` テナントはクラウド ストレージへ移動中です。一時的な状態で、ユーザーは指定できません。 + - `ONLOADING` テナントはクラウド ストレージからロード中です。一時的な状態で、ユーザーは指定できません。`ONLOADING` テナントは `ACTIVE` または `INACTIVE` へウォームアップされている最中かもしれません。 + +テナントの管理詳細は [Multi-tenancy operations](../manage-collections/multi-tenancy.mdx) をご覧ください。 + +| Status | 利用可 | 説明 | ユーザー指定可 | +| :-- | :-- | :-- | :-- | +| `ACTIVE` | Yes | 読み書き可能な状態でロードされています。 | Yes | +| `INACTIVE` | No | ローカル ディスクに保存され、読み書き不可。アクセスするとエラーになります。 | Yes | +| `OFFLOADED` | No | クラウド ストレージに保存され、読み書き不可。アクセスするとエラーになります。 | Yes | +| `OFFLOADING` | No | クラウド ストレージへ移動中で、読み書き不可。アクセスするとエラーになります。 | No | +| `ONLOADING` | No | クラウド ストレージからロード中で、読み書き不可。アクセスするとエラーになります。 | No | + +:::info Tenant status renamed in `v1.26` +`v1.26` で `HOT` は `ACTIVE` に、`COLD` は `INACTIVE` に名称変更されました。 +::: + +:::info テナント状態の伝播 +テナント状態の変更がクラスタ全体に行き渡るまで、特にマルチノード クラスタでは時間がかかることがあります。 + +
+ +たとえば、オフロードされたテナントを再アクティブ化した後でも、データがすぐには利用可能にならない場合があります。同様に、テナントをオフロードした直後にデータがすぐに利用不可にならない場合もあります。これは、[テナント状態は最終的整合性](../concepts/replication-architecture/consistency.md#tenant-states-and-data-objects) を持ち、変更がクラスタ内のすべてのノードへ伝播する必要があるためです。 +::: + +#### オフロードされたテナント + +:::info Added in `v1.26.0` +::: + +import OffloadingLimitation from '/_includes/offloading-limitation.mdx'; + +
REINDEX [環境変数](/deploy/configuration/env-vars/index.md) で制御できます。再インデックスを行いたくない場合は、アップグレード前に `false` に設定してください。
+
+:::info Read more
+Weaviate の Roaring Bitmap 実装の詳細は、[インラインドキュメント](https://pkg.go.dev/github.com/weaviate/weaviate/adapters/repos/db/lsmkv/roaringset) をご覧ください。
+:::
+
+## `indexRangeFilters`
+
+:::info Added in `1.26`
+:::
+
+Weaviate `1.26` では、数値範囲でのフィルタリングに対応した範囲ベースインデックス `indexRangeFilters` を導入しました。このインデックスは `int`、`number`、`date` プロパティに利用できます（これらの配列型には対応していません）。
+
+内部的には、範囲インデックスは Roaring Bitmap のスライスとして実装されています。このデータ構造により、64 ビット整数として保存できる値に限定されます。
+
+`indexRangeFilters` は新規プロパティでのみ利用可能です。既存プロパティを範囲インデックスへ変換することはできません。
+
+## プリフィルタ付き検索のリコール
+
+Weaviate 独自の HNSW 実装は、HNSW グラフ内のリンクを通常どおり辿りつつ、結果集合を評価する際にのみフィルター条件を適用するため、グラフの整合性が保たれます。そのため、フィルター付き検索のリコールは通常、フィルターなし検索と同等です。
+
+次の図は、制限度合いの異なるフィルターを示しています。左（データセットの 100% に一致）から右（1% に一致）に進むにつれてフィルターが厳しくなりますが、`k=10`、`k=15`、`k=20` のフィルター付き ベクトル検索でもリコールは低下していません。
+
+
+
+
+
+## フラット検索への切り替え (Cutoff)
+
+
+
+`v1.8.0` では、フィルターが極端に厳しくなった場合に自動でフラット（ブルートフォース） ベクトル検索へ切り替える機能が導入されました。このシナリオはベクトル検索とスカラー検索を組み合わせた場合にのみ適用されます。HNSW が特定のフィルターでフラット検索へ切り替える必要がある理由の詳細は、[medium](https://medium.com/data-science/effects-of-filtered-hnsw-searches-on-recall-and-latency-434becf8041c) の記事をご参照ください。要するに、フィルターが非常に制限的な場合（データセットのごく一部しか一致しない場合）、HNSW のトラバーサルは実質的に網羅的になります。つまり、フィルターが厳しくなるほど、HNSW の性能は全データセットに対するブルートフォース検索に近づきます。ただし、このようにフィルターでデータセットを小さな集合に絞り込んでいる場合は、同じブルートフォースに近い性能でも、対象を一致集合のみに限定して検索する方が効率的です。
+
+次の図は制限度合いの異なるフィルターを示しています。左（0%）から右（100%）へ進むほどフィルターが厳しくなります。**点線より右側** はデータセットの約 15% をカットオフ値としてブルートフォース検索に切り替えています。
+
+
+
+比較として、同じフィルターを純粋な HNSW（カットオフなし）で実行した場合は以下のようになります。
+
+
+
+カットオフ値は、各コレクションの [スキーマ内 `vectorIndexConfig` 設定](/weaviate/config-refs/indexing/vector-index.mdx#hnsw-index) で個別に設定できます。
+
+
+
+:::note Roaring Bitmap による性能向上
+`v1.18.0` 以降、転置インデックスに Roaring Bitmap を実装したことにより、特に大きな許可リストを扱う場合のフィルタリング時間が短縮されました。上記グラフの *青色* 領域は、特に図の左側で最も大きく削減されます。
+:::
+
+
+
+
+
+
+
+
+
+
+## 追加リソース
+:::info 関連ページ
+- [リファレンス: GraphQL API](../api/graphql/index.md)
+:::
+
+## 質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+
+
+
+## BlockMax WAND アルゴリズム
+
+:::info Added in `v1.30`
+:::
+
+BlockMax WAND アルゴリズムは、 BM25 やハイブリッド検索の高速化に用いられる WAND アルゴリズムの派生版です。転置インデックスをブロック単位に整理し、クエリに無関係なブロックをスキップできるようにします。これによりスコアリングが必要なドキュメント数を大幅に削減し、検索性能を向上させます。
+
+BM25（またはハイブリッド）検索が遅い場合で `v1.30` より前の Weaviate を使用している場合は、 BlockMax WAND アルゴリズムを搭載した新しいバージョンへ移行し、パフォーマンスが向上するかお試しください。以前のバージョンからデータを移行する必要がある場合は、[v1.30 移行ガイド](/deploy/migration/weaviate-1-30.md) を参照してください。
+
+:::note BlockMax WAND によるスコア変化
+
+BlockMax WAND アルゴリズムの特性上、 BM25 やハイブリッド検索のスコアはデフォルトの WAND アルゴリズムと若干異なる場合があります。また、単一プロパティ検索と複数プロパティ検索で IDF やプロパティ長正規化の計算が異なるため、スコアも変わる可能性があります。これは仕様でありバグではありません。
+
+:::
+
+## 転置インデックスの設定
+
+Weaviate には 3 種類の転置インデックスがあります。
+
+- `indexSearchable` - BM25 またはハイブリッド検索用の検索インデックス
+- `indexFilterable` - 一致条件による高速 [フィルタリング](../filtering.md) 用のインデックス
+- `indexRangeFilters` - 数値範囲による [フィルタリング](../filtering.md) 用のインデックス
+
+各転置インデックスはプロパティ単位で `true`（有効）または `false`（無効）を設定できます。`indexSearchable` と `indexFilterable` はデフォルトで有効、`indexRangeFilters` はデフォルトで無効です。
+
+フィルタリング用インデックスは [フィルタリング](../filtering.md) 専用ですが、検索用インデックスは検索とフィルタリングの両方に使用できます（ただしフィルタリング速度はフィルタリング用インデックスに劣ります）。
+
+そのため、`"indexFilterable": false` で `"indexSearchable": true`（または未設定）とすると、フィルタリング性能は低下しますが、インポートが速くなり（1 つのインデックスのみ更新）、ディスク使用量も減少するというトレードオフがあります。
+
+プロパティ単位で転置インデックスを有効・無効にする方法は、[関連 How-to セクション](../../manage-collections/vector-config.mdx#property-level-settings) をご覧ください。
+
+インデックスを無効にするかどうかの目安としては、_そのプロパティを基にクエリを実行することがない場合は、無効にして構いません。_
+
+#### 転置インデックス タイプの概要
+
+import InvertedIndexTypesSummary from '/_includes/inverted-index-types-summary.mdx';
+
+2024 年 10 月に追加されたパフォーマンス向上
+ +Weaviate バージョン `v1.24.26`、`v1.25.20`、`v1.26.6`、`v1.27.0` では、 BM25F スコアリング アルゴリズムに関して以下のパフォーマンス向上とバグ修正を行いました。 + +- BM25 セグメント マージ アルゴリズムを高速化 +- WAND アルゴリズムを改良し、スコア計算から尽きたタームを除外、必要な場合のみ完全ソートを実施 +- マルチプロパティ検索で、すべてのセグメントのクエリターム スコアを合算しない場合があるバグを修正 +- BM25 スコアを複数セグメントで並列計算するように変更 + +常に最新の Weaviate へのアップグレードを推奨します。これらの改善点を含む最新機能を利用できます。 + +
+
+
+## 参照資料
+
+:::info Related pages
+
+- [Configuration: Inverted index](../../config-refs/indexing/inverted-index.mdx)
+- [How-to: Configure collections](../../manage-collections/vector-config.mdx#property-level-settings)
+
+:::
+
+## 質問とフィードバック
+
+import DocsFeedback from '/\_includes/docs-feedback.mdx';
+
+インデックスなしの転置インデックス設定例 - JSON オブジェクト
+ +転置インデックスを使用しない完全なコレクション オブジェクトの例: + +```js +{ + "class": "Author", + "description": "A description of this collection, in this case, it's about authors", + "vectorIndexConfig": { + "skip": true // <== disable vector index + }, + "properties": [ + { + "indexFilterable": false, // <== disable filterable index for this property + "indexSearchable": false, // <== disable searchable index for this property + "dataType": [ + "text" + ], + "description": "The name of the Author", + "name": "name" + }, + { + "indexFilterable": false, // <== disable filterable index for this property + "dataType": [ + "int" + ], + "description": "The age of the Author", + "name": "age" + }, + { + "indexFilterable": false, // <== disable filterable index for this property + "dataType": [ + "date" + ], + "description": "The date of birth of the Author", + "name": "born" + }, + { + "indexFilterable": false, // <== disable filterable index for this property + "dataType": [ + "boolean" + ], + "description": "A boolean value if the Author won a nobel prize", + "name": "wonNobelPrize" + }, + { + "indexFilterable": false, // <== disable filterable index for this property + "indexSearchable": false, // <== disable searchable index for this property + "dataType": [ + "text" + ], + "description": "A description of the author", + "name": "description" + } + ] +} +``` + ++ +`v1.28` 以降、この機能は単一オブジェクトのインポート、削除、更新にも拡張されました。加えて、インメモリキューは永続的なオンディスクキューに置き換えられました。この変更により、インデクシング操作の堅牢性が向上し、ロック競合とメモリ使用量の削減によってパフォーマンスも改善されます。 +
+ +オンディスクキューの使用によりディスク使用量がわずかに増加する場合がありますが、総ディスク使用量に対してはごく小さな割合であると想定されます。 +::: + +## フラット インデックス + +:::info Added in `v1.23` +::: + +**フラット インデックス**は、データベースにおけるベクトル インデックス実装の基本的な方法の一つです。その名のとおりシンプルで軽量、構築が高速でメモリ使用量もごく小さく済みます。このインデックスは、たとえば SaaS 製品や分離されたレコードセットのデータベースなど、各エンドユーザー（テナント）が独自の隔離されたデータセットを持つユースケースに適しています。 + +フラット インデックスはディスク上に 1 層でデータオブジェクトを保持するため、メモリフットプリントが非常に小さいのが特徴です。マルチテナンシー ユースケースのような小規模コレクションに適した選択肢です。 + +一方でフラット インデックスは、`hnsw` インデックスの対数時間計算量とは異なり、データオブジェクト数に対して線形時間計算量を持つため、大規模コレクションへのスケールには向きません。 + +## 動的インデックス + +:::caution Experimental feature +`v1.25` から利用可能です。これは実験的機能のため、慎重にご利用ください。 +::: + +import DynamicAsyncRequirements from '/_includes/dynamic-index-async-req.mdx'; + +
+
+
+## メタデータレプリケーション: Raft
+
+:::info `v1.25` で追加
+:::
+
+Weaviate はメタデータのレプリケーションに [Raft コンセンサスアルゴリズム](https://raft.github.io/) を使用し、 Hashicorp の [raft ライブラリ](https://pkg.go.dev/github.com/hashicorp/raft) で実装しています。ここでのメタデータは、コレクション定義やシャード／テナントの状態を指します。
+
+Raft はクラスター全体でメタデータ変更の整合性を保証します。メタデータの変更はリーダーノードに転送され、リーダーが自ノードのログに適用した後、フォロワーノードへ複製します。過半数のノードが変更を承認すると、リーダーはログへコミットし、フォロワーへ通知します。フォロワーは通知を受け取り、自身のログへ変更を適用します。
+
+この仕組みにより、少数のノード障害が発生してもクラスター全体でメタデータの一貫性が保たれます。
+
+その結果、 Weaviate クラスターにはメタデータ変更を担当するリーダーノードが存在します。リーダーは Raft アルゴリズムによって選出され、メタデータ変更の調整を担います。
+
+## データレプリケーション: リーダーレス
+
+Weaviate はデータレプリケーションにリーダーレスアーキテクチャを採用しています。つまり、フォロワーノードへ複製を行う中央のリーダーやプライマリノードは存在しません。すべてのノードがクライアントからの書き込み・読み取りを受け付けられるため、高い可用性を実現します。単一障害点がないのが特徴です。リーダーレスレプリケーションは、[Dynamo 方式](https://www.allthingsdistributed.com/files/amazon-dynamo-sosp2007.pdf) のデータレプリケーションとしても知られ、 [Apache Cassandra](https://cassandra.apache.org) などの OSS プロジェクトでも採用されています。
+
+Weaviate では、クライアントの読み書き要求を適切なノードへ中継するコーディネーションパターンを使用しています。リーダーベースのデータベースとは異なり、コーディネーターノードは操作順序を強制しません。
+
+以下の図は、 Weaviate におけるリーダーレスレプリケーション設計を示しています。 1 つのコーディネーターノードがクライアントからのトラフィックを正しいレプリカへ導きます。このノードには特別な役割はなく、単にロードバランサーからリクエストを受け取ったためにコーディネーターとなっただけです。同じデータに対する次のリクエストは、別のノードがコーディネートする可能性があります。
+
+ノードディスカバリーにおける FQDN
+ +:::caution `v1.25.15` で追加、`v1.30` で削除 + +これは実験的機能です。ご利用の際はご注意ください。 + +::: + +IP アドレスベースのノードディスカバリーが最適でない状況が発生することがあります。そのような場合、 `RAFT_ENABLE_FQDN_RESOLVER` と `RAFT_FQDN_RESOLVER_TLD` [環境変数](/deploy/configuration/env-vars/index.md#multi-node-instances) を設定することで、[完全修飾ドメイン名 (FQDN)](https://en.wikipedia.org/wiki/Fully_qualified_domain_name) ベースのノードディスカバリーを有効化できます。 + +この機能を有効にすると、 Weaviate は FQDN リゾルバーを使用してノード名を IP アドレスへ解決し、メタデータ (例: Raft 通信) に利用します。 + +:::info FQDN: メタデータ変更のみ対象 +この機能は、 Raft をコンセンサスメカニズムとして用いるメタデータ変更時にのみ使用されます。データの読み書き操作には影響しません。 +::: + +#### FQDN を使用すべき例 + +IP アドレスが異なるクラスター間で再利用される場合、あるクラスターのノードが別クラスターのノードを誤って検出してしまう恐れがあります。 FQDN を用いることでこれを回避できます。 + +また、サービス (例: Kubernetes) を利用しており、サービスの IP と実際のノード IP が異なるが、サービスがノードへの接続をプロキシしている場合にも便利です。 + +#### FQDN ノードディスカバリー用環境変数 + +`RAFT_ENABLE_FQDN_RESOLVER` は Boolean フラグで、 FQDN リゾルバーの有効／無効を切り替えます。 `true` に設定すると、 Weaviate は FQDN リゾルバーでノード名を IP アドレスへ解決します。 `false` の場合、 Memberlist ルックアップを使用します。デフォルトは `false` です。 + +`RAFT_FQDN_RESOLVER_TLD` は文字列で、ノード ID を IP アドレスに解決する際 `[node-id].[tld]` の形式で `[tld]` (トップレベルドメイン) を付加します。 + +この機能を利用するには、 `RAFT_ENABLE_FQDN_RESOLVER` を `true` に設定してください。 + +
+
+
+Raft を導入する前は、クラスター メタデータの更新は [分散トランザクション](https://en.wikipedia.org/wiki/Distributed_transaction) アルゴリズムで実施していました。これは分散ネットワーク上の複数ノードのデータベースを横断して一連の操作を行う手法です。 Weaviate では [2 フェーズコミット (2PC)](https://en.wikipedia.org/wiki/Two-phase_commit_protocol) プロトコルを使用し、ミリ秒単位でクラスター メタデータをレプリケートしていました。
+
+フェイルがない正常実行では 2 つのフェーズがあります。
+1. コミット要求フェーズ（投票フェーズ）: コーディネーターノードが各ノードへ更新を受け取り処理できるかを確認します。
+2. コミットフェーズ: コーディネーターノードが各ノードへ変更をコミットします。
+
+
+
+### クエリにおけるコレクション定義の取得
+
+:::info `v1.27.10`, `v1.28.4` で追加
+:::
+
+一部のクエリではコレクション定義が必要です。この機能導入前は、そのようなクエリのたびにローカルノードがリーダーノードから定義を取得していました。これにより整合性は強く保たれますが、トラフィックと負荷が増加する可能性がありました。
+
+対応している場合、`COLLECTION_RETRIEVAL_STRATEGY` [環境変数](/deploy/configuration/env-vars/index.md#multi-node-instances) に `LeaderOnly`、`LocalOnly`、`LeaderOnMismatch` を設定できます。
+
+- `LeaderOnly` (デフォルト): 常にリーダーノードから定義を取得します。最も整合性が高い一方、クラスター内部トラフィックが増える可能性があります。
+- `LocalOnly`: 常にローカルの定義を使用します。最終的な整合性となりますが、クラスター内部トラフィックを削減できます。
+- `LeaderOnMismatch`: ローカル定義が古いかをチェックし、必要に応じてリーダーから取得します。整合性とトラフィックのバランスを取ります。
+
+デフォルトは強い整合性を得るため `LeaderOnly` です。ただし、`LocalOnly` や `LeaderOnMismatch` を用いることで、望ましい整合性レベルに応じてトラフィックを削減できます。
+
+## データオブジェクト
+
+ Weaviate はデータオブジェクトに対して、整合性レベルに応じて調整された 2 フェーズコミットを使用します。たとえば `QUORUM` 書き込み（後述）の場合、5 ノードが存在すると 3 件のリクエストが送信され、それぞれが内部で 2 フェーズコミットを実行します。
+
+その結果、 Weaviate のデータオブジェクトは最終的に整合性が取られます。最終的な整合性は BASE セマンティクスを提供します。
+
+* **Basically available**: 読み取りおよび書き込み操作は可能な限り利用可能
+* **Soft-state**: 更新がまだ収束していないため整合性保証はありません
+* **Eventually consistent**: システムが十分に長く稼働し書き込みが行われた後、すべてのノードが整合性を持つようになります
+
+ Weaviate は可用性向上のため最終的な整合性を採用しています。読み取りと書き込みの整合性は調整可能で、アプリケーション要件に合わせて可用性と整合性のトレードオフを選択できます。
+
+*下のアニメーションは、レプリケーションファクター 3、ノード数 8 の環境で `QUORUM` 整合性を設定した書き込みまたは読み取りの例です。青色のノードがコーディネーターノードとして動作します。`QUORUM` が設定されているため、コーディネーターノードは 3 件中 2 件のレスポンスを受け取った時点でクライアントへ結果を返します。*
+
+v1.25 以前のクラスター メタデータ コンセンサス アルゴリズム
+
+Raft を導入する前は、クラスター メタデータの更新は [分散トランザクション](https://en.wikipedia.org/wiki/Distributed_transaction) アルゴリズムで実施していました。これは分散ネットワーク上の複数ノードのデータベースを横断して一連の操作を行う手法です。 Weaviate では [2 フェーズコミット (2PC)](https://en.wikipedia.org/wiki/Two-phase_commit_protocol) プロトコルを使用し、ミリ秒単位でクラスター メタデータをレプリケートしていました。
+
+フェイルがない正常実行では 2 つのフェーズがあります。
+1. コミット要求フェーズ（投票フェーズ）: コーディネーターノードが各ノードへ更新を受け取り処理できるかを確認します。
+2. コミットフェーズ: コーディネーターノードが各ノードへ変更をコミットします。
+
+
+ +メモリ消費を抑えるにはハッシュツリーの高さを下げてください。ただし、その分ハッシュ処理が遅くなり、レプリケーションも遅くなる可能性があります。 +::: + +クイックリファレンスとして、以下の計算式と例を利用してください。 + +##### メモリ計算 + +- **ハッシュツリー内の総ノード数:** + 高さ `H` のハッシュツリーにおける総ノード数は次のとおりです: + ``` + Number of hash tree nodes = 2^(H+1) - 1 ≈ 2^(H+1) + ``` + +- **必要な総メモリ (各ノードの各シャード / テナント):** + 各ハッシュツリーノードは約 **16 バイト** のメモリを使用します。 + ``` + Memory Required ≈ 2^(H+1) * 16 bytes + ``` + +##### 例 + +- 高さ `16` のハッシュツリー: + - `総ノード数 ≈ 2^(16+1) = 131,072` + - `必要メモリ ≈ 131072 * 16 bytes ≈ 2,097,152 bytes (~2 MB)` + +- 高さ `20` のハッシュツリー: + - `総ノード数 ≈ 2^(20+1) = 2,097,152` + - `必要メモリ ≈ 2,097,152 * 16 bytes ≈ 33,554,432 bytes (~33 MB)` + +##### パフォーマンスの考慮: 葉ノードの数 + +シャード (例: テナント) 内のオブジェクトはハッシュツリーの葉ノードに分散されます。ツリーが大きいほど、各葉ノードがハッシュするデータ量が減り、比較とレプリケーションが高速化されます。 + +- **ハッシュツリーの葉ノード数:** + ``` + Number of leaves = 2^H + ``` + +##### 例 + +- 高さ `16` のハッシュツリー: + - `葉ノード数 = 2^16 = 65,536` + +- 高さ `20` のハッシュツリー: + - `葉ノード数 = 2^20 = 1,048,576` + +:::note デフォルト設定 +デフォルトのハッシュツリー高さ `16` は、メモリ消費とレプリケーション性能のバランスを取るために選定されています。クラスタノードの利用可能リソースと性能要件に応じて調整してください。 +::: + +### 削除解決戦略 + +:::info `v1.28` で追加 +::: + +オブジェクトが一部のレプリカに存在し、別のレプリカには存在しない場合、それは作成がまだ全レプリカに伝播されていないか、削除がまだ全レプリカに伝播されていないかのいずれかです。この 2 つを区別することが重要です。 + +削除解決は、非同期レプリケーションおよび repair-on-read と連携し、クラスタ全体で削除されたオブジェクトを一貫して扱います。各コレクションに対して、以下の削除解決戦略のいずれかを [設定できます](../../manage-collections/multi-node-setup.mdx#replication-settings): + +- `NoAutomatedResolution` +- `DeleteOnConflict` +- `TimeBasedResolution` + +削除解決戦略は可変です。[コレクション定義の更新方法](../../manage-collections/collection-operations.mdx#update-a-collection-definition) を参照してください。 +#### `NoAutomatedResolution` + +これはデフォルト設定であり、 `v1.28` より前の Weaviate バージョンで利用できる唯一の設定です。このモードでは、削除の競合を特別扱いしません。あるオブジェクトが一部のレプリカに存在し、他のレプリカに存在しない場合、Weaviate は欠落しているレプリカに対してオブジェクトを復元する可能性があります。 + +#### `DeleteOnConflict` + +`deleteOnConflict` での削除競合は、常にすべてのレプリカからオブジェクトを削除することで解決されます。 + +そのために、Weaviate は削除リクエストを受け取った際にオブジェクトを完全に消去するのではなく、削除済みオブジェクトとしてマークします。 + +#### `TimeBasedResolution` + +`timeBasedResolution` では、削除リクエストのタイムスタンプと、その後に行われた作成や更新などのオブジェクト操作のタイムスタンプを比較して競合を解決します。 + +削除リクエストのタイムスタンプが後であれば、すべてのレプリカでオブジェクトが削除されます。削除リクエストのタイムスタンプが前であれば、その後の更新がすべてのレプリカに適用されます。 + +例: +- オブジェクトがタイムスタンプ 100 で削除され、その後タイムスタンプ 90 で再作成された場合、再作成が優先されます +- オブジェクトがタイムスタンプ 100 で削除され、その後タイムスタンプ 110 で再作成された場合、削除が優先されます + +#### 選択の指針 + +- 競合を手動で管理し、最大限のコントロールを得たい場合は `NoAutomatedResolution` を使用します +- 削除を必ず反映させたい場合は `DeleteOnConflict` を使用します +- 最新の操作を優先させたい場合は `TimeBasedResolution` を使用します + +### Repair-on-read + +:::info v1.18 で追加 +::: + +読み取り整合性を `All` もしくは `Quorum` に設定している場合、リードコーディネーターは複数のレプリカから応答を受け取ります。応答が異なる場合、コーディネーターは不整合を修復しようとします。これを「repair-on-read」または「read repair」と呼びます。 + +| 問題 | 対応 | +| :- | :- | +| オブジェクトが一部のレプリカに存在しない | 欠落しているレプリカへオブジェクトを伝搬します | +| オブジェクトが古い | ステールなレプリカを更新します | +| オブジェクトが一部のレプリカで削除されている | エラーを返します。削除が失敗したか、オブジェクトが部分的に再作成された可能性があります | + +リードリペアは、使用する読み取りおよび書き込み整合性レベルにも依存します。 + +| 書き込み整合性レベル | 読み取り整合性レベル | 対応 | +| :- | :- | +| `ONE` | `ALL` | すべてのノードを検証して修復を保証します | +| `QUORUM` | `QUORUM` または `ALL` | 同期の問題を修正しようとします | +| `ALL` | - | この状況は発生しないはずです。書き込みが失敗しているはずです | + +修復は読み取り時にのみ発生するため、バックグラウンドの負荷は大きくありません。ただしノードが不整合状態の間、整合性レベル `ONE` の読み取りは古いデータを返す可能性があります。 + +## Replica movement + +:::info v1.32 で追加 +::: + +シャードは、単一テナントコレクションではコレクションの一部、多テナントコレクションでは 1 テナント全体を表します。Weaviate では、クラスター内のソースノードからデスティネーションノードへ個々のシャードレプリカを手動で移動またはコピーできます。これにより、スケール後のクラスター再バランス、ノードの廃止、データローカリティの最適化によるパフォーマンス向上、データ可用性の向上などの運用シナリオに対応できます。 + +レプリカ移動はステートマシンとして動作し、プロセス全体でデータ整合性を確保します。この機能は単一テナントコレクションと多テナントコレクションの両方で利用可能です。 + +コレクション作成時に設定する静的なレプリケーションファクターとは異なり、レプリカ移動ではクラスター内でレプリカを移動またはコピーすることで特定のシャードに対して複製数を調整できます。コピー操作を行うと新しいレプリカが作成され、そのシャードのレプリケーションファクターが増加します。コレクションにはデフォルトのレプリケーションファクターが設定されていますが、個々のシャードはそれより高い値を持つことができます。ただし、コレクションレベルより低いレプリケーションファクターにはできません。 + +:::info + +[`REPLICATION_ENGINE_MAX_WORKERS`](/docs/deploy/configuration/env-vars/index.md#REPLICATION_ENGINE_MAX_WORKERS) 環境変数を使用すると、レプリカ移動を並列に処理するワーカー数を調整できます。 + +::: + +### Movement states + +各レプリカ移動操作は、データ整合性と可用性を保つためのワークフローを次のステートで進行します。 + +- **REGISTERED**: 移動操作が開始され、Raft リーダーに記録されました。リクエストが受信され、処理待ちキューに登録されています。 +- **HYDRATING**: デスティネーションノードで新しいレプリカを作成中です。データセグメントが既存のレプリカ（通常はソースレプリカ、または他の利用可能なピア）から転送されます。 +- **FINALIZING**: 大量データの転送が完了し、転送中に発生した書き込みをキャッチアップしています。これにより、レプリカは最新データと完全に同期されます。進行中の書き込みが完了しターゲットノードへ複製されるまでの待機時間は、 [`REPLICA_MOVEMENT_MINIMUM_ASYNC_WAIT`](/docs/deploy/configuration/env-vars/index.md#REPLICA_MOVEMENT_MINIMUM_ASYNC_WAIT) で調整できます。 +- **DEHYDRATING**: 移動 (Move) 操作の場合、新しいレプリカが準備完了した後、ソースノード上の元のレプリカを削除しています。 +- **READY**: 操作が正常に完了しました。新しいレプリカは完全に同期され、トラフィックを処理できます。Move 操作の場合、ソースレプリカは削除されています。 +- **CANCELLED**: 操作が完了する前にキャンセルされました。手動で中断された場合や、回復不能なエラーが発生した場合に起こります。 + +レプリカ移動は 2 つのモードをサポートします。 + +- **Move**: レプリカをあるノードから別のノードへ移動し、レプリケーションファクターは維持します +- **Copy**: レプリカをコピーして別のノードへ追加し、そのシャードのレプリケーションファクターを 1 増やします + +:::note Replication factor and quorum + +シャードレプリカをコピーすると、レプリケーションファクターが偶数になる場合があります。これにより、クォーラム達成には `n/2 + 1` ノードが必要となり、以前の `n/2 + 0.5` より難しくなることがあります。たとえば `RF=3` から `RF=4` に増やすと、クォーラムに必要なノード数は 2 から 3 へ（ 67% から 75% のレプリカ）増加します。 + +::: + +## 関連ページ +- [API リファレンス | GraphQL | Get | 整合性レベル](../../api/graphql/get.md#consistency-levels) +-
+ クラスター
+
+Weaviate クラスターの `metadata` には、コレクション定義やテナントのアクティビティ ステータスが含まれます。
+
+ +すべてのクラスター メタデータは、replication factor に関係なく常に全ノードにレプリケートされます。 +
+ +これは、オブジェクトの作成時刻などのオブジェクト メタデータとは異なります。オブジェクト メタデータは、指定された replication factor に従いオブジェクト データと一緒に保存されます。 + +
+
+この「レプリケーション アーキテクチャ」セクションでは、次の情報を提供します。
+
+* **General Concepts**（本ページ）
+ * レプリケーションとは？
+ * CAP 定理
+ * Weaviate にレプリケーションが必要な理由
+ * レプリケーションとシャーディングの違い
+ * Weaviate におけるレプリケーションの仕組み
+ * ロードマップ
+
+
+* **[Use Cases](./motivation.md)**
+ * モチベーション
+ * 高可用性
+ * 読み取りスループット向上
+ * ゼロダウンタイム アップグレード
+ * リージョナル近接性
+
+
+* **[Philosophy](./philosophy.md)**
+ * 典型的な Weaviate のユースケース
+ * リーダーレス アーキテクチャを選んだ理由
+ * 段階的ロールアウト
+ * 大規模テスト
+
+
+* **[Cluster Architecture](./cluster-architecture.md)**
+ * リーダーレス設計
+ * Replication Factor
+ * 書き込み・読み取り操作
+
+
+* **[Consistency](./consistency.md)**
+ * クラスター メタデータ
+ * データオブジェクト
+ * 修復
+
+
+* **[Multi-DataCenter](./multi-dc.md)**
+ * リージョナル近接性
+
+## レプリケーションとは？
+
+クラスター metadata とは？
+
+Weaviate クラスターの `metadata` には、コレクション定義やテナントのアクティビティ ステータスが含まれます。
++ +すべてのクラスター メタデータは、replication factor に関係なく常に全ノードにレプリケートされます。 +
+ +これは、オブジェクトの作成時刻などのオブジェクト メタデータとは異なります。オブジェクト メタデータは、指定された replication factor に従いオブジェクト データと一緒に保存されます。 + +
+ 分散（レプリケートされた）データベース構成では、1 台のサーバーノードがダウンしてもサービスは中断されません。データベースは引き続き利用可能で、読み取りクエリは利用可能なノードに（ほぼ気付かれずに）リダイレクトされます。 +2. **読み取りスループットの向上**
+ データベース構成にサーバーノードを追加すると、スループットも比例して増加します。ノードが多いほど、システムが処理できるユーザー（読み取り操作）数が増えます。コンシステンシー レベル `ONE` で読み取りを行う場合、replication factor（すなわちノード数）を増やすとスループットは線形に向上します。 +3. **ゼロダウンタイム アップグレード**
+ レプリケーションがない場合、Weaviate インスタンスをアップグレードする際にダウンタイムが発生します。単一ノードを停止・更新・再起動して再び利用可能になるまでサービスは停止します。レプリケーションがあればローリング アップデートが可能になり、常に最大でも 1 ノードのみが停止し、他のノードがトラフィックを継続的に処理します。 +4. **リージョナル近接性**
+ ユーザーが異なる地域（例：アイスランドとオーストラリア）にいる場合、データベース サーバーとの物理的距離によりすべてのユーザーに低レイテンシーを保証できません。分散データベースを使用すると、異なるローカル地域にノードを配置してレイテンシーを削減できます。これはレプリケーションの Multi-Datacenter 機能に依存します。 +## レプリケーションとシャーディング + +レプリケーションは [シャーディング](../cluster.md) とは異なります。シャーディングは水平スケーリングを指し、Weaviate には v1.8 で導入されました。 + +* **レプリケーション** はデータを別々のサーバーノードにコピーします。Weaviate では、これによりデータの可用性が向上し、単一ノードが障害を起こした場合の冗長性が確保されます。クエリスループットもレプリケーションによって改善できます。 +* **シャーディング** はデータを分割し、その断片（シャード）を複数のレプリカセットに送ることで、サーバー間の水平スケーリングを行います。データは分割され、すべてのシャードを合わせると完全なデータセットになります。Weaviate でシャーディングを使用すると、大規模データセットの運用やインポート速度の向上が可能です。 + +
+ メタデータレプリケーション（
+
+Weaviate `v1.25` 以前では、各クラスタメタデータの変更は 2 フェーズコミットを用いた分散トランザクションで記録されていました。
+
+ +これは同期プロセスであり、すべてのノードが変更を認証して初めてコミットされます。このアーキテクチャでは、ノードがダウンするとメタデータ操作が一時的に停止します。さらに、一度に処理できる操作は 1 件のみでした。 + +Weaviate `v1.24` 以前をお使いの場合は、クラスタメタデータ変更に Raft コンセンサスアルゴリズムを利用するために [ `v1.25` へのアップグレード](/deploy/migration/weaviate-1-25.md) をご検討ください。 + +
+
+### データレプリケーション
+
+Weaviate では、一般的に一貫性よりも可用性を優先します。データレプリケーションにはリーダーレス設計を採用しており、プライマリやセカンダリの概念はありません。データの読み書き時、クライアントは 1 つ以上のノードに接続します。ユーザーとノードの間にはロードバランサーがあり、ユーザーはどのノードと通信しているかを意識する必要がありません（ユーザーが誤ったノードにリクエストしても Weaviate が内部で転送します）。
+
+読み書き（v1.18 以降）で確認応答が必要なノード数は `ONE`、`QUORUM`（n/2+1）、`ALL` に設定できます。書き込み操作で整合性レベルを `ALL` にすると、データベースは同期的に動作します。`ALL` 以外に設定した場合（v1.18 以降）、ユーザー視点では非同期で書き込みが行われます。
+
+レプリカ数はノード数（クラスタサイズ）と一致している必要はありません。Weaviate ではコレクション単位でデータを分割することが可能です。これは [シャーディングとは異なります](#replication-vs-sharding)。
+
+レプリケーションの詳細は [Philosophy](./philosophy.md)、[Cluster Architecture](./cluster-architecture.md)、[Consistency](./consistency.md) をご覧ください。
+
+## Weaviate でレプリケーションを利用するには
+
+[レプリケーションの設定方法](/deploy/configuration/replication.md) を参照してください。コレクション定義でレプリケーションを有効化できます。クエリでは、[希望する整合性レベルを指定](../../search/basics.md#replication) できます。
+
+## ロードマップ
+
+* 未定
+ * マルチデータセンターレプリケーション（この機能への投票は [こちら](https://github.com/weaviate/weaviate/issues/2436)）
+
+## 関連ページ
+- [Configuration: Replication](/deploy/configuration/replication.md)
+
+## ご質問・フィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+メタデータレプリケーション（v1.25 以前）
+
+Weaviate `v1.25` 以前では、各クラスタメタデータの変更は 2 フェーズコミットを用いた分散トランザクションで記録されていました。
++ +これは同期プロセスであり、すべてのノードが変更を認証して初めてコミットされます。このアーキテクチャでは、ノードがダウンするとメタデータ操作が一時的に停止します。さらに、一度に処理できる操作は 1 件のみでした。 + +Weaviate `v1.24` 以前をお使いの場合は、クラスタメタデータ変更に Raft コンセンサスアルゴリズムを利用するために [ `v1.25` へのアップグレード](/deploy/migration/weaviate-1-25.md) をご検討ください。 + +
+ アイスランドとインド、オーストラリアとインド間でデータが往復するため、すべてのユーザーが比較的高いレイテンシを被ります。 + +
+ アイスランドのユーザーは非常に低レイテンシになりますが、オーストラリアのユーザーはデータ伝送距離が長くなるため高レイテンシを経験します。 + + データクラスタを 2 つの地理的ロケーションにレプリケートできる場合、別の選択肢が生まれます。これを Multi-Datacenter（Multi-DC）レプリケーションと呼びます。 +3. オプション 3 - アイスランドとオーストラリアの双方にサーバークラスターを持つ Multi-DC レプリケーション
+ アイスランドとオーストラリアのユーザーはそれぞれローカルクラスターからサービスを受けるため、双方が低レイテンシを享受できます。 + +
vector and keyword scores"] + fusion_type["Fusion Strategy:
rankedFusion or relativeScoreFusion"] + end + + params --> fusion + + %% Apply styles + class query,split,vector,bm25,fusion,results component + class params processBox + class alpha,fusion_type component + + %% Linkstyle for curved edges + linkStyle default stroke:#718096,stroke-width:3px,fill:none,background-color:white +``` + +### 融合戦略 + +Weaviate では、ベクトル検索とキーワード検索のスコアを組み合わせる方法として `relativeScoreFusion` と `rankedFusion` の 2 つをサポートしています。 + +`relativeScoreFusion`（`v1.24` 以降のデフォルト）では、各オブジェクトのスコアをベクトル検索とキーワード検索それぞれで *正規化* します。最大値は 1、最小値は 0 とし、その間をスケールします。最終スコアは、正規化されたベクトル距離と正規化された BM25 スコアのスケール済み合計として計算されます。 + +`rankedFusion`（`v1.23` 以前のデフォルト）では、各オブジェクトは検索結果内の順位に基づいてスコアリングされます。最上位のオブジェクトが最も高いスコアを受け取り、順位が下がるにつれてスコアが減少します。最終スコアは、ベクトル検索とキーワード検索の順位ベーススコアを合算して算出します。 + +一般的には `relativeScoreFusion` が良い選択肢であることが多いため、デフォルトになっています。 + +主な理由は、`relativeScoreFusion` が元の検索スコアからより多くの情報を保持するのに対し、`rankedFusion` は順位のみを保持する点です。ベクトル検索とキーワード検索で得られる微妙な違いは、`relativeScoreFusion` の方がランキングに反映されやすいと考えられます。 + +以下に 2 つの融合戦略の具体例を示します。 + +### 融合例 + +検索により **5 件**のオブジェクトが返され、それぞれ **ドキュメント ID**（0 ～ 4）と **キーワード検索スコア**、**ベクトル検索スコア**が **スコア順** に並んでいるとします。 + +
| 検索タイプ | +(id): score | (id): score | (id): score | (id): score | (id): score | +
|---|---|---|---|---|---|
| キーワード | +(1): 5 | (0): 2.6 | (2): 2.3 | (4): 0.2 | (3): 0.09 | +
| ベクトル | +(2): 0.6 | (4): 0.598 | (0): 0.596 | (1): 0.594 | (3): 0.009 | +
| 検索タイプ | +(id): score | (id): score | (id): score | (id): score | (id): score | +
|---|---|---|---|---|---|
| キーワード | +(1): 0.0154 | (0): 0.0160 | (2): 0.0161 | (4): 0.0167 | (3): 0.0166 | +
| ベクトル | +(2): 0.016502 | (4): 0.016502 | (0): 0.016503 | (1): 0.016503 | (3): 0.016666 | +
| 検索タイプ | +(id): score | (id): score | (id): score | (id): score | (id): score | +
|---|---|---|---|---|---|
| キーワード | +(1): 1.0 | (0): 0.511 | (2): 0.450 | (4): 0.022 | (3): 0.0 | +
| ベクトル | +(2): 1.0 | (4): 0.996 | (0): 0.993 | (1): 0.986 | (3): 0.0 | +
[Search](#retrieval-search): [キーワード](#keyword-search)・[ベクトル](#vector-search)・[ハイブリッド](#hybrid-search) のいずれかの検索タイプで最も関連性の高いエントリーを見つける | 必須 | +| 2. [Rerank](#rerank) | 別の (より複雑な) モデルで結果を再順位付けする | 任意 | +| 3. [Retrieval augmented generation](#retrieval-augmented-generation-rag) | 取得したデータとプロンプトを生成系 AI モデルへ送信する。検索拡張生成 (RAG) とも呼ばれる | 任意 | + +
(BM25F)"] + Vec["Vector Search
(Embeddings)"] + Hyb["Hybrid Search
(Combined)"] + Rerank["Rerank
(Optional)"] + RAG["RAG
(Optional)"] + Results[/"📊 Results"/] + + %% Main flow grouping + subgraph retrieval ["Retrieval"] + direction LR + Filter + search + end + + subgraph search ["Search"] + direction LR + Key + Vec + Hyb + end + + %% Connections + Query --> retrieval + Filter --> search + retrieval --> Results + retrieval --> Rerank + Rerank --> RAG + RAG --> Results + + %% Node styles + style Query fill:#ffffff,stroke:#B9C8DF,color:#130C49 + style Filter fill:#ffffff,stroke:#B9C8DF,color:#130C49 + style Key fill:#ffffff,stroke:#B9C8DF,color:#130C49 + style Vec fill:#ffffff,stroke:#B9C8DF,color:#130C49 + style Hyb fill:#ffffff,stroke:#B9C8DF,color:#130C49 + style Rerank fill:#ffffff,stroke:#B9C8DF,color:#130C49 + style RAG fill:#ffffff,stroke:#B9C8DF,color:#130C49 + style Results fill:#ffffff,stroke:#B9C8DF,color:#130C49 + + %% Subgraph styles + style retrieval fill:#ffffff,stroke:#130C49,stroke-width:2px,color:#130C49 + style search fill:#ffffff,stroke:#7AD6EB,stroke-width:2px,color:#130C49 +``` + +
+ +これにより、検索結果がフィルター条件と重なり合い、適切なオブジェクトが取得されます。 +::: + +
+
+ +```json +[ + {"description": "brown dog"}, + {"description": "small domestic black cat"}, + {"description": "orange cheetah"}, + {"description": "black bear"}, + {"description": "large white seagull"}, + {"description": "yellow canary"}, +] +``` + +`"description"` に `"black"` をフィルターすると、黒色のオブジェクトのみが返されます。 + +- `{'description': 'black bear'}` +- `{'description': 'small domestic black cat'}` +
+ +Weaviate では、他に順位付けを行わない場合、結果の並びはオブジェクトの UUID に基づきます。そのため、この場合の順序は実質ランダムになり、フィルターは条件に合うかどうかだけを判断します。 +
+
+### リトリーバル: 検索
+
+:::info In one sentence
+ 検索は、クエリとの関連度に基づいてオブジェクトを順序付けしたリストを生成します。
+:::
+
+検索は、最も近い・最も関連性の高いデータオブジェクトを見つけるプロセスです。Weaviate では、[キーワード検索](#keyword-search)、[ベクトル検索](#vector-search)、[ハイブリッド検索](#hybrid-search) の 3 種類をサポートしています。
+
+| 検索タイプ | 説明 |
+|-------------|-------------|
+| キーワード検索 | トークン頻度を用いた従来のテキスト検索。 |
+| ベクトル検索 | ベクトル埋め込みによる類似度検索。 |
+| ハイブリッド検索 | ベクトル検索とキーワード検索の結果を組み合わせる。 |
+
+:::tip Search vs Filter
+フィルターは条件に合うかどうかだけを判定するため、結果の順位付けは行いません。
+フィルター: 例
+ +次の `animal_objs` のようなデータセットでは、特定の色でフィルターして条件に合うオブジェクトのみを取得できます。 ++ +```json +[ + {"description": "brown dog"}, + {"description": "small domestic black cat"}, + {"description": "orange cheetah"}, + {"description": "black bear"}, + {"description": "large white seagull"}, + {"description": "yellow canary"}, +] +``` + +`"description"` に `"black"` をフィルターすると、黒色のオブジェクトのみが返されます。 + +- `{'description': 'black bear'}` +- `{'description': 'small domestic black cat'}` +
+ +Weaviate では、他に順位付けを行わない場合、結果の並びはオブジェクトの UUID に基づきます。そのため、この場合の順序は実質ランダムになり、フィルターは条件に合うかどうかだけを判断します。 +
+ +検索ではクエリとの関連度に基づいて結果が **順位付け** されます。 +::: + +それでは各検索タイプを詳しく見ていきましょう。 + +#### キーワード検索 + +キーワード検索では、キーワード一致の「スコア」に基づいて結果を順位付けします。このスコアは、クエリ内のトークンが各データオブジェクトにどの程度含まれているかによって算出され、これらの指標を BM25 アルゴリズムで組み合わせて最終スコアを生成します。 + +
+
+ +```json +[ + {"description": "brown dog"}, + {"description": "small domestic black cat"}, + {"description": "orange cheetah"}, + {"description": "black bear"}, + {"description": "large white seagull"}, + {"description": "yellow canary"}, +] +``` + +`"black"` でキーワード検索を行うと、黒色のオブジェクトのみが返されますが、ここでは BM25 アルゴリズムに基づいて順位付けされます。 +1. `{'description': 'black bear'}` +1. `{'description': 'small domestic black cat'}` +
+ +`{"description": "black bear"}` のほうが `{"description": "small domestic black cat"}` よりスコアが高いのは、テキスト中で「black」が占める割合が大きいためです。 +
+
+キーワード検索: 例
+ +次の `animal_objs` のようなデータセットでは、特定の色に対してキーワード検索を行い、その重要度を確認できます。 ++ +```json +[ + {"description": "brown dog"}, + {"description": "small domestic black cat"}, + {"description": "orange cheetah"}, + {"description": "black bear"}, + {"description": "large white seagull"}, + {"description": "yellow canary"}, +] +``` + +`"black"` でキーワード検索を行うと、黒色のオブジェクトのみが返されますが、ここでは BM25 アルゴリズムに基づいて順位付けされます。 +1. `{'description': 'black bear'}` +1. `{'description': 'small domestic black cat'}` +
+ +`{"description": "black bear"}` のほうが `{"description": "small domestic black cat"}` よりスコアが高いのは、テキスト中で「black」が占める割合が大きいためです。 +
+
+
+:::info Read more
+Weaviate におけるキーワード検索の詳細は [keyword search](./keyword-search.md) を参照してください。
+:::
+
+#### ベクトル検索
+
+ベクトル埋め込みを用いた類似検索です。この方法では、あらかじめ設定された [距離メトリック](../../config-refs/distances.md) に基づき、クエリのベクトル埋め込みと保存済みオブジェクトのベクトル埋め込みを比較し、最も近いものを探します。
+
+ Weaviate では、複数の方法でベクトル検索を実行できます。 [テキスト入力](../../search/similarity.md#search-with-text)、 [ベクトル入力](../../search/similarity.md#search-with-a-vector)、あるいは [既存オブジェクト](../../search/similarity.md#search-with-an-existing-object) を基に類似オブジェクトを検索できます。さらに、 [画像](../../search/image.md) など他のモダリティでの検索も可能です。
+
+キーワード検索を使う場面
+ +キーワード検索は、特定の単語の出現がテキストの関連性を強く示す場合に最適です。 + +例えば: +- 医療や法律文献で特定の用語を含むものを探す +- 正確な用語が重要となる技術文書や API リファレンスを検索する +- EC データベースで製品名や SKU を特定する +- プログラミング環境でコードスニペットやエラーメッセージを探す +
+
+ +```json +[ + {"description": "brown dog"}, + {"description": "small domestic black cat"}, + {"description": "orange cheetah"}, + {"description": "black bear"}, + {"description": "large white seagull"}, + {"description": "yellow canary"}, +] +``` + +ここで `"black"` を検索すると、キーワード検索と同様に動作します。しかし、ベクトル検索では `"very dark"`、`"noir"`、`"ebony"` などのクエリでも類似結果が得られます。 +
+ +これは、ベクトル検索がテキストの持つ意味に基づいており、使用された単語の一致には依存しないためです。ベクトル埋め込みはテキストの意味を捉えるため、より柔軟な検索が可能になります。 +
+ +その結果、上位 3 件は次のとおりです: +1. `{'description': 'black bear'}` +1. `{'description': 'small domestic black cat'}` +1. `{'description': 'orange cheetah'}` + +
+
+ベクトル検索: 例
+ +`animal_objs` のようなデータセットでは、意味的に近い単語で検索し、それらがどの程度重要かを取得できます。 ++ +```json +[ + {"description": "brown dog"}, + {"description": "small domestic black cat"}, + {"description": "orange cheetah"}, + {"description": "black bear"}, + {"description": "large white seagull"}, + {"description": "yellow canary"}, +] +``` + +ここで `"black"` を検索すると、キーワード検索と同様に動作します。しかし、ベクトル検索では `"very dark"`、`"noir"`、`"ebony"` などのクエリでも類似結果が得られます。 +
+ +これは、ベクトル検索がテキストの持つ意味に基づいており、使用された単語の一致には依存しないためです。ベクトル埋め込みはテキストの意味を捉えるため、より柔軟な検索が可能になります。 +
+ +その結果、上位 3 件は次のとおりです: +1. `{'description': 'black bear'}` +1. `{'description': 'small domestic black cat'}` +1. `{'description': 'orange cheetah'}` + +
+
+
+:::info Read more
+ Weaviate におけるベクトル検索のしくみについては [ベクトル検索](./vector-search.md) ページをご覧ください。
+:::
+
+#### ハイブリッド検索
+
+ベクトル検索とキーワード検索を組み合わせ、それぞれの利点を活かします。両方の検索を実行し、ハイブリッド融合方法や alpha 値などのパラメータを用いて結果を結合します。
+
+ベクトル検索を使う場面
+ +ベクトル検索は、人間の「類似性」の感覚が結果品質の良い指標になる場合に最適です。 + +例: +- セマンティックテキスト検索: 異なる単語を使っていても意味が近い文書を探す。 +- 多言語検索: 異なる言語間で関連コンテンツを見つける。 +- 画像類似検索: 大規模データベースから視覚的に似た画像を探す。 + +
+
+ +```json +[ + {"description": "brown dog"}, + {"description": "small domestic black cat"}, + {"description": "orange cheetah"}, + {"description": "black bear"}, + {"description": "large white seagull"}, + {"description": "yellow canary"}, +] +``` + +`"black canine"` でハイブリッド検索を行うと、キーワード検索との一致により、説明に `"black"` を含むオブジェクトが高く評価されます。そのため `{"description": "small domestic black cat"}` や `{"description": "black bear"}` が上位に表示されます。 +
+ +一方で、ベクトル検索によりクエリと `"dog"` の高い類似度が検出されるため、`{"description": "brown dog"}` のように `"dog"` を含むオブジェクトもブーストされます。 +
+ +その結果、上位 3 件は次のとおりです: +1. `{"description": "black bear"}` +1. `{"description": "small domestic black cat"}` +1. `{"description": "brown dog"}` + +
+
+ハイブリッド検索: 例
+ +`animal_objs` のようなデータセットでは、ハイブリッド検索により、より堅牢に関連オブジェクトを見つけることができます。 ++ +```json +[ + {"description": "brown dog"}, + {"description": "small domestic black cat"}, + {"description": "orange cheetah"}, + {"description": "black bear"}, + {"description": "large white seagull"}, + {"description": "yellow canary"}, +] +``` + +`"black canine"` でハイブリッド検索を行うと、キーワード検索との一致により、説明に `"black"` を含むオブジェクトが高く評価されます。そのため `{"description": "small domestic black cat"}` や `{"description": "black bear"}` が上位に表示されます。 +
+ +一方で、ベクトル検索によりクエリと `"dog"` の高い類似度が検出されるため、`{"description": "brown dog"}` のように `"dog"` を含むオブジェクトもブーストされます。 +
+ +その結果、上位 3 件は次のとおりです: +1. `{"description": "black bear"}` +1. `{"description": "small domestic black cat"}` +1. `{"description": "brown dog"}` + +
+
+
+:::info Read more
+ Weaviate におけるハイブリッド検索のしくみについては [ハイブリッド検索](./hybrid-search.md) ページをご覧ください。
+:::
+
+### 取得: 順序なし
+
+ランク付けを伴わないクエリを組み立てることもできます。
+
+たとえば、単にフィルターだけのクエリや、 [カーソル API](../../manage-objects/read-all-objects.mdx) を使ってデータセット全体を順に処理したい場合があります。
+
+このような順序なし取得リクエストでは、 Weaviate はオブジェクトを UUID の順で取得します。したがって、結果リストは実質的にランダムな順序になります。
+
+### リランク
+
+:::info In one sentence
+ リランカーは、より複雑なモデルや異なる基準で初期検索結果を再順位付けします。
+:::
+
+リランクは、初期検索結果を再順位付けして検索関連性を向上させます。
+
+コレクションが [リランカー統合を設定済み](../../model-providers/index.md) の場合、 Weaviate は設定されたリランカーモデルを用いて初期検索結果を並べ替えます。
+
+これにより、計算コストの高いモデルを小さな結果サブセットに適用し、検索品質を向上させることができます。通常、 [Cohere Rerank](../../model-providers/cohere/reranker.md) や [Hugging Face Reranker](../../model-providers/transformers/reranker.md) などのリランカーモデルはクロスエンコーダーモデルであり、テキストをより細かく理解できます。
+
+また、リランカーを使用して取得時とは異なる入力クエリを提供し、より高度な検索戦略を採用することもできます。
+
+ハイブリッド検索を使う場面
+ +ハイブリッド検索は堅牢な検索タイプであり、出発点として最適です。どちらか一方の検索で良い結果が得られたアイテムをブーストする傾向があります。 + +例: +- 学術論文検索: キーワードの関連性とセマンティック類似性の両方に基づき論文を探す。 +- 求人マッチング: スキルのキーワード一致と職務記述の意味理解を組み合わせ候補者を特定する。 +- レシピ検索: 特定の材料 (キーワード) と料理全体の類似性 (ベクトル) の両方を考慮してレシピを探す。 +- カスタマーサポート: 正確な用語一致と概念的類似性を併用し、関連チケットやドキュメントを発見する。 + +
+
+
+### 検索拡張生成 (RAG)
+
+:::info In one sentence
+ Retrieval Augmented Generation は、検索と生成 AI モデルを組み合わせ、検索結果に基づき新しいコンテンツを生成します。
+:::
+
+検索拡張生成 (RAG) は、生成検索とも呼ばれ、検索と生成 AI モデルを組み合わせ、検索結果を基に新しいコンテンツを生成する強力な手法です。これにより、 AI モデルの生成能力と Weaviate の検索能力の両方を活用できます。
+
+ Weaviate は [AWS](../../model-providers/aws/generative.md)、 [Cohere](../../model-providers/cohere/generative.md)、 [Google](../../model-providers/google/generative.md)、 [OpenAI](../../model-providers/openai/generative.md)、 [Ollama](../../model-providers/ollama/generative.md) など、多くの人気ある [生成モデルプロバイダー](../../model-providers/index.md) と統合しています。
+
+その結果、 Weaviate では RAG を [簡単に設定](../../manage-collections/generative-reranker-models.mdx#specify-a-generative-model-integration) でき、 [統合された単一クエリ](../../search/generative.md#grouped-task-search) として容易に実行できます。
+
+リランクを使う場面
+ +リランクは、より複雑なモデルを小さな結果サブセットに適用して検索結果の質を高めたい場合に有用です。対象オブジェクトが非常に微妙または専門的な業界・ユースケースの場合に必要となることがあります。 + +例として、法律、医療、科学文献の検索では、テキストをより精緻に理解する必要があります。リランクにより、最も関連性の高い結果を表面化できます。 +
+
+ +```json +[ + {"description": "brown dog"}, + {"description": "small domestic black cat"}, + {"description": "orange cheetah"}, + {"description": "black bear"}, + {"description": "large white seagull"}, + {"description": "yellow canary"}, +] +``` + +例として、キーワード検索 `"black"` と RAG リクエスト `"What do these animal descriptions have in common?"` を考えます。 +
+ +検索結果は `{"description": "black bear"}` と `{"description": "small domestic black cat"}` です。その後、生成モデルがクエリに基づき出力を生成します。一例として次のような生成結果が得られました。 +
+ +```text +"What these descriptions have in common are: + +* **Color:** Both describe animals with a **black** color. +* **Species:** One is an **animal**, the other describes a **breed** of animal (domesticated)." +``` +
+## 検索スコアと指標
+
+Weaviate では、クエリに対する検索結果をランク付けするために、さまざまな指標を使用します。主な指標は以下のとおりです。
+
+- ベクトル距離: クエリとオブジェクト間のベクトル距離。
+- BM25F スコア: BM25F アルゴリズムを用いて計算されるキーワード検索スコア。
+- ハイブリッド スコア: ベクトル検索とキーワード検索のスコアを組み合わせたもの。
+
+## 名前付きベクトル
+
+### 特定の名前付きベクトルの検索
+
+名前付きベクトルを持つコレクションでベクトル検索を行う場合は、検索するベクトル空間を指定します。
+
+[ベクトル類似度検索](/weaviate/search/similarity#named-vectors)（ `near_text` 、 `near_object` 、 `near_vector` 、 `near_image` ）および [ハイブリッド検索](/weaviate/search/hybrid#named-vectors) で名前付きベクトルを使用できます。
+
+名前付きベクトルのコレクションはハイブリッド検索をサポートしますが、一度に 1 つのベクトルのみ検索できます。
+
+コレクションに名前付きベクトルがあっても、[キーワード検索](/weaviate/search/bm25) の構文は変わりません。
+
+### 複数の名前付きベクトルの検索
+
+:::info Added in `v1.26`
+:::
+
+コレクションに複数の名前付きベクトルが定義されている場合、それらを 1 回の検索で指定できます。これは、オブジェクトと複数の名前付きベクトルとの類似度を比較する際に便利です。
+
+この機能は「マルチターゲット ベクトル検索 (multi-target vector search)」と呼ばれます。
+
+マルチターゲット ベクトル検索では、以下を指定できます。
+
+- 検索対象とするベクトル
+- 対象ベクトルと比較するクエリ
+- 各対象ベクトルに対して適用する距離の重み（生値または正規化後）
+
+詳細は [How-to: Multi-target vector search](../../search/multi-vector.md) を参照してください。
+
+## 参考リソース
+
+詳細は次のページを参照してください。
+- [概念: ベクトル検索](./vector-search.md)
+- [概念: キーワード検索](./keyword-search.md)
+- [概念: ハイブリッド検索](./hybrid-search.md)
+
+これらの検索タイプのコードスニペットについては、[How-to: search](../../search/index.mdx) ページを参照してください。
+
+## 質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+RAG: 例
+ +`animal_objs` のようなデータセットでは、任意の検索方法と組み合わせて検索拡張生成を行い、関連オブジェクトを取得したあと変換できます。 ++ +```json +[ + {"description": "brown dog"}, + {"description": "small domestic black cat"}, + {"description": "orange cheetah"}, + {"description": "black bear"}, + {"description": "large white seagull"}, + {"description": "yellow canary"}, +] +``` + +例として、キーワード検索 `"black"` と RAG リクエスト `"What do these animal descriptions have in common?"` を考えます。 +
+ +検索結果は `{"description": "black bear"}` と `{"description": "small domestic black cat"}` です。その後、生成モデルがクエリに基づき出力を生成します。一例として次のような生成結果が得られました。 +
+ +```text +"What these descriptions have in common are: + +* **Color:** Both describe animals with a **black** color. +* **Species:** One is an **animal**, the other describes a **breed** of animal (domesticated)." +``` +
+ +Weaviate ではキーワード検索のスコア計算に BM25F を使用しているため、両者は同義で扱われます。本ドキュメントでは一般に BM25 と呼びます。 +::: + + BM25 スコアは、オブジェクトのプロパティにおけるクエリトークンの出現頻度、およびオブジェクトプロパティとクエリの長さに基づいて計算されます。 + +たとえば `"A red Nike shoe"` のような入力文字列がクエリとして与えられた場合、 Weaviate は以下を行います。 + +1. 入力を [トークン化](#トークン化) する（例: `["a", "red", "nike", "shoe"]`） +2. [ストップワード](#ストップワード) を除去する（例: `a` を除き `["red", "nike", "shoe"]` となる） +3. [BM25 パラメータ](#bm25-パラメータ) と [プロパティブースト](#プロパティ-ブースト) を考慮し、データベースオブジェクトの [選択プロパティ](#選択プロパティ) に対して BM25 スコアを算出する +4. BM25 スコアが最も高いオブジェクトを検索結果として返す + +### トークン化 + +キーワード検索におけるトークン化とは、各ソーステキストを比較・一致させるために個々の「トークン」へ分割する方法を指します。 + +デフォルトのトークン化方法は `word` です。 + +`whitespace`、`lowercase`、`field` などの他のトークン化方法に加え、他言語向けの `GSE` や `kagome_kr` なども利用できます（[詳細](../../config-refs/collections.mdx#tokenization)）。 + +トークン化オプションはコレクションの [転置インデックス設定](../../search/bm25.md#set-tokenization) で指定します。 + +:::info 異なる文脈でのトークン化 +「トークン化」という用語は、ベクトル化や言語生成などの文脈でも使用されます。これらはそれぞれ異なる要件を満たすため通常異なるトークナイザーを使用するため、同じ入力テキストからでも異なるトークン集合が生成されます。 +::: + +### ストップワード + +ストップワードとは、テキスト処理前に除外される単語です。 + +Weaviate は BM25 スコア計算時に設定可能なストップワードを使用します。ストップワードリストに含まれるトークンは BM25 スコア計算から除外されます。 + +詳細は [リファレンスページ](../../config-refs/indexing/inverted-index.mdx#stopwords) を参照してください。 + +### BM25 パラメータ + + BM25 は、クエリ語が出現するドキュメントをランク付けするためのスコアリング関数で、挙動を制御する 2 つの主要パラメータがあります。 + +- `k1` （デフォルト: 1.2）: term frequency の飽和を制御します。値が大きいほど、語が複数回出現した際にスコアがより増加します +- `b` （デフォルト: 0.75）: ドキュメント長の正規化を制御します。1 に近いほどドキュメント長の正規化が強くなります + +```mermaid +%%{init: { + 'theme': 'base', + 'themeVariables': { + 'primaryColor': '#4a5568', + 'primaryTextColor': '#2d3748', + 'primaryBorderColor': '#718096', + 'lineColor': '#718096', + 'secondaryColor': '#f7fafc', + 'tertiaryColor': '#edf2f7', + 'fontFamily': 'Inter, system-ui, sans-serif', + 'fontSize': '14px', + 'lineHeight': '1.4', + 'nodeBorder': '1px', + 'mainBkg': '#ffffff', + 'clusterBkg': '#f8fafc' + } +}}%% + +flowchart LR + %% Style definitions + classDef systemBox fill:#f8fafc,stroke:#3182ce,stroke-width:1.5px,color:#2d3748,font-weight:bold + classDef processBox fill:#f8fafc,stroke:gray,stroke-width:0.5px,color:#2d3748,font-weight:bold + classDef component fill:white,stroke:#a0aec0,stroke-width:1px,color:#2d3748 + classDef paramBox fill:white,stroke:#3182ce,stroke-width:1px,color:#2d3748 + + %% Main flow + query["🔍 Query Text"] --> tokenize["⚡ Tokenization"] + tokenize --> stopwords["🚫 Stopword
Removal"] + stopwords --> scoring["📊 BM25
Scoring"] + + %% Parameters section + subgraph params["Parameter Configuration"] + direction TB + k1["k1: Term Frequency
Saturation Control"] + b["b: Document Length
Normalization"] + end + + params --> scoring + scoring --> results["📑 Ranked
Results"] + + %% Apply styles + class query,tokenize,stopwords,scoring,results component + class params processBox + class k1,b paramBox + + %% Linkstyle for curved edges + linkStyle default stroke:#718096,stroke-width:3px,fill:none,background-color:white +``` + +コレクション単位でカスタム `k1` と `b` を設定できます（[設定方法](../../manage-collections/collection-operations.mdx#set-inverted-index-parameters)）。 + + + +### キーワード検索オペレーター + +:::info `v1.31` で追加 +::: + +検索オペレーターは、オブジェクトが返されるために含まれていなければならないクエリ [トークン](../../search/bm25.md#set-tokenization) の最小数を定義します。 + +概念的には、 BM25 スコア計算結果にフィルターを適用するように動作します。使用可能なオペレーターは次のとおりです。 +- `and` : すべてのトークンがオブジェクトに存在する必要があります +- `or` : 少なくとも 1 つのトークンがオブジェクトに存在する必要があります。最小トークン数は `minimumOrTokensMatch` で設定可能です + +例として、`computer networking guide` という BM25 クエリを `and` オペレーターで実行した場合、`computer`、`networking`、`guide` のすべてのトークンを含むオブジェクトのみが返されます。対して、同じクエリを `or` オペレーターで実行すると、これらのトークンのうち少なくとも 1 つを含むオブジェクトが返されます。`or` オペレーターを `minimumOrTokensMatch` が `2` の設定で使用すると、少なくとも 2 つのトークンがオブジェクトに存在する必要があります。 + +指定がない場合、デフォルトのオペレーターは `or` で `minimumOrTokensMatch` は `1` です。つまり、オブジェクトが返されるには、少なくとも 1 つのトークンが存在する必要があります。 + +import BM25OperatorsLight from '../img/bm25_operators_light.png'; +import BM25OperatorsDark from '../img/bm25_operators_dark.png'; + +
Local model"] + end + + %% Weaviate section + subgraph weaviate["Weaviate"] + vectorizer["🔌 Model provider
integration"] + core["💾 Data &
vector store"] + end + + %% User System + subgraph user["🖥️ User System"] + data["📄 Data"] + end + + %% Connections with curved edges + data --->|"1\. Insert objects
(no vector)"| core + core --->|"2\. Request
vector"| vectorizer + vectorizer --->|"3\. Request
vector"| inference + inference --->|"4\. Vector"| vectorizer + vectorizer --->|"5\. Vector"| core + + %% Apply styles + class user systemBox + class weaviate weaviateBox + class cloud cloudBox + class provider providerBox + class data,core,vectorizer,inference component + + %% Linkstyle for curved edges + linkStyle default stroke:#718096,stroke-width:3px,fill:none,background-color:white +``` + +この統合により、ベクトル生成プロセスがユーザーから抽象化され、ユーザーはベクトル生成を意識せずにアプリケーションの開発や検索に集中できます。 + +:::info ベクトライザー設定は不変です + +一度設定すると、コレクションのベクトライザーは変更できません。これにより、ベクトルが一貫して生成され、互換性が保たれます。ベクトライザーを変更する必要がある場合は、目的のベクトライザーで新しいコレクションを作成し、[データを新しいコレクションへ移行](../../manage-collections/migrate.mdx)してください。 + +::: + +#### ベクトライザー設定時の手動ベクトル + +コレクションにベクトライザー モデルが設定されていても、オブジェクト登録やクエリ実行時にユーザーがベクトルを直接提供することが可能です。この場合、 Weaviate は新しいベクトルを生成せず、提供されたベクトルを使用します。 + +これは、同じモデルで既にベクトルを生成済みの場合（他システムからのインポートなど）に便利です。既存ベクトルを再利用することで、時間とリソースを節約できます。 + +### 独自ベクトルの持ち込み + +オブジェクトを登録する際に、ユーザーがベクトルを直接 Weaviate にアップロードできます。既にモデルでベクトルを生成している場合や、 Weaviate と統合されていない特定のベクトライザー モデルを使用したい場合に有用です。 + +```mermaid +%%{init: { + 'theme': 'base', + 'themeVariables': { + 'primaryColor': '#4a5568', + 'primaryTextColor': '#2d3748', + 'primaryBorderColor': '#718096', + 'lineColor': '#718096', + 'secondaryColor': '#f7fafc', + 'tertiaryColor': '#edf2f7', + 'fontFamily': 'Inter, system-ui, sans-serif', + 'fontSize': '14px', + 'lineHeight': '1.4', + 'nodeBorder': '1px', + 'mainBkg': '#ffffff', + 'clusterBkg': '#f8fafc' + } +}}%% + +flowchart LR + %% Style definitions + classDef systemBox fill:#f8fafc,stroke:#3182ce,stroke-width:1.5px,color:#2d3748,font-weight:bold + classDef weaviateBox fill:#f8fafc,stroke:gray,stroke-width:0.5px,color:#2d3748,font-weight:bold + classDef component fill:white,stroke:#a0aec0,stroke-width:1px,color:#2d3748 + classDef edgeLabel fill:white,stroke:#e2e8f0,stroke-width:1px,color:#4a5568 + + %% Weaviate section + subgraph weaviate["Weaviate"] + core["💾 Data &
vector store"] + end + + %% User System + subgraph user["🖥️ User System"] + data["📄 Data"] + end + + %% Connections with curved edges + data --->|"1\. Insert objects
(with vectors)"| core + + %% Apply styles + class user systemBox + class weaviate weaviateBox + class cloud cloudBox + class provider providerBox + class data,core,vectorizer,inference component + + %% Linkstyle for curved edges + linkStyle default stroke:#718096,stroke-width:3px,fill:none,background-color:white +``` + +このワークフローでは、ユーザーは任意のベクトライザー モデルやプロセスを Weaviate とは独立して使用できます。 + +独自モデルを使用する場合、ベクトライザー設定で `none` を明示的に指定し、誤って互換性のないベクトルを生成しないようにすることを推奨します。 + +### 名前付きベクトル + +:::info Added in `v1.24` +::: + +コレクションは設定により、各オブジェクトを複数のベクトル埋め込みで表現できます。 + +それぞれのベクトルは互いに独立したベクトル空間として機能し、「名前付きベクトル」と呼ばれます。 + +名前付きベクトルは、[ベクトライザーモデル統合](#model-provider-integration)で設定することも、「[独自ベクトルの持ち込み](#bring-your-own-vector)」で提供することも可能です。 + +## クエリ ベクトル + + Weaviate では、次の方法でクエリ ベクトルを指定できます。 + +- クエリ ベクトル（ `nearVector` ） +- クエリ オブジェクト（ `nearObject` ） +- クエリ テキスト（ `nearText` ） +- クエリ メディア（ `nearImage` または `nearVideo` ） + +いずれの場合も、クエリと保存済みオブジェクトのベクトルを基に、最も類似したオブジェクトが返されます。ただし、 Weaviate にクエリ ベクトルをどのように渡すかが異なります。 + +### `nearVector` + +`nearVector` クエリでは、ユーザーがベクトルを直接 Weaviate に渡します。このベクトルと保存済みオブジェクトのベクトルを比較して、最も類似したオブジェクトを検索します。 + +### `nearObject` + +`nearObject` クエリでは、ユーザーがオブジェクト ID を Weaviate に渡します。 Weaviate はそのオブジェクトのベクトルを取得し、保存済みオブジェクトのベクトルと比較して最も類似したオブジェクトを検索します。 + +### `nearText`（および `nearImage`、`nearVideo`） + +`nearText` クエリでは、ユーザーがテキストを Weaviate に渡します。 Weaviate は指定されたベクトライザー モデルを使用してテキストのベクトルを生成し、保存済みオブジェクトのベクトルと比較して最も類似したオブジェクトを検索します。 + +そのため、 `nearText` クエリはベクトライザー モデルが設定されているコレクションでのみ利用できます。 + +`nearImage` や `nearVideo` クエリも `nearText` と同様ですが、テキストの代わりに画像や動画を入力します。 + +## マルチターゲット ベクトル検索 + +:::info Added in `v1.26` +::: + +マルチターゲット ベクトル検索では、 Weaviate が複数のシングルターゲット ベクトル検索を同時に実行します。 + +これらの検索は、それぞれベクトル距離スコアを持つ複数の結果セットを生成します。 + + Weaviate は、["結合戦略"]( #available-join-strategies )を用いてこれらの結果セットを結合し、各結果の最終スコアを算出します。 + +オブジェクトがいずれかのターゲット ベクトルで検索リミットまたは距離しきい値内に入る場合、そのオブジェクトは検索結果に含まれます。 + +オブジェクトが選択されたターゲット ベクトルのいずれについてもベクトルを含まない場合、 Weaviate はそのオブジェクトを無視し、検索結果に含めません。 + +### 利用可能な結合戦略 + +- **minimum** (*default*) すべてのベクトル距離の最小値を使用します。 +- **sum** ベクトル距離の合計を使用します。 +- **average** ベクトル距離の平均を使用します。 +- **manual weights** 各ターゲット ベクトルに指定された重みを掛けた距離の合計を使用します。 +- **relative score** 各ターゲット ベクトルに指定された重みを掛けた正規化距離の合計を使用します。 +## ベクトルインデックスと検索 + +Weaviate は ベクトル検索 を効率化するために ベクトルインデックス を使用します。ほかの種類のインデックスと同様に、ベクトルインデックス は ベクトル埋め込み を高速に取得できるよう整理しつつ、検索品質（例: リコール）、スループット、メモリなどのリソース使用を最適化します。 + +Weaviate では `hnsw`、`flat`、`dynamic` など、複数種類の ベクトルインデックス を利用できます。 + +各 [コレクション](../data.md#collections) や [テナント](../data.md#multi-tenancy) は、それぞれ独自の ベクトルインデックス を持ちます。さらに、各コレクションまたはテナントは、異なる設定を持つ [複数の ベクトルインデックス](../data.md#multiple-vector-embeddings-named-vectors) を併用できます。 + +:::info +詳しくは次をご覧ください: +- [コレクション](../data.md#collections) +- [マルチテナンシー](../data.md#multi-tenancy) +- [ベクトルインデックス](../indexing/vector-index.md) +- [複数の名前付きベクトル](../data.md#multiple-vector-embeddings-named-vectors) +::: + +### 距離指標 + +ベクトル間の距離を測定する方法には、コサイン距離、ドット積、ユークリッド距離など多くの種類があります。Weaviate は、[距離指標](../../config-refs/distances.md) ページに記載されているさまざまな距離指標をサポートします。各 ベクトライザー モデルは特定の距離指標で学習されているため、検索時にも同じ距離指標を使用することが重要です。 + +Weaviate では、一般的な距離指標である コサイン距離 がデフォルトで使用されます。 + +:::tip Distance vs Similarity +「距離」では値が小さいほどベクトル同士が近く、「類似度」または「確信度」では値が大きいほど近くなります。コサイン距離のように、距離を類似度として表現できる指標もあれば、ユークリッド距離のように距離でしか表現できない指標もあります。 +::: + +## 注意事項とベストプラクティス + +互換性のあるベクトルは、程度の差こそあれ必ず何らかの類似性を持っています。 + +これには次の 2 つの影響があります。 + +1. 関連性に関係なく、常に「トップ」の検索結果が存在します。 +2. データセット全体が常に返されます。 + +たとえば、「Red」「Crimson」「LightCoral」という色のベクトルが保存されたデータベースに対して、「SkyBlue」のクエリベクトルで検索すると、たとえ意味的に近くなくても最も近い結果（例: 「Red」）が返ってきます。検索は絶対的に良い一致かどうかではなく、あくまで最も近い一致を返すためです。 + +そのため、Weaviate では検索結果を制限する複数の方法を提供しています。 + +- **Limit**: 返却する最大件数を指定します。 + - 指定しない場合、システム既定の [`QUERY_DEFAULTS_LIMIT`](/deploy/configuration/env-vars/index.md#general) である 10 が使用されます。 +- **AutoCut**: ベクトル距離や検索スコアなどの結果メトリクスの不連続性を基に結果を制限します。 +- **Threshold**: 最小類似度（例: コサイン距離の最大値）を指定します。 +- **フィルターを適用**: メタデータやプロパティなど、他の条件に基づいて結果を除外するために [フィルター](../filtering.md) を使用します。 + +これらの方法を組み合わせて、ユーザーにとって意味があり関連性の高い検索結果を提供してください。 + +一般的には、まず `limit` でユーザーに提示する最大件数を設定し、`threshold` を調整して無関係な結果が返りにくいようにします。 + +これにより、指定した件数（`limit`）まで、かつ指定した類似度（`threshold`）以上の結果のみが返されます。 + +### 参考リソース + +- [How-to: Search](../../search/index.mdx) +- [How-to: Vector similarity search](../../search/similarity.md) + +## 質問とフィードバック + +import DocsFeedback from '/_includes/docs-feedback.mdx'; + +
+ブログ記事「[How to Reduce Memory Requirements by up to 90%+ using Product Quantization](https://weaviate.io/blog/pq-rescoring)」も参考になります。 +::: + +## バイナリ量子化 + +**Binary quantization (BQ)** は各ベクトル埋め込みをバイナリ表現へ変換する量子化手法です。通常 1 次元あたり 32 ビットを要しますが、バイナリ表現では 1 ビットで済むため、ストレージ要求を 32 倍削減できます。その結果、ディスクから読み込むデータ量が減少し、距離計算も簡素化されるため検索速度が向上します。 + +代償として BQ はロスの大きい手法です。バイナリ表現では情報が大幅に失われるため、距離計算の精度は元のベクトル埋め込みより低下します。 + +ベクトライザーによって BQ との相性は異なります。経験的には Cohere の V3 モデル（例: `embed-multilingual-v3.0`、`embed-english-v3.0`）や OpenAI の `ada-002` モデルで良好なリコールを確認しています。ご自身のデータとベクトライザーでテストし、適合性をご判断ください。 + +BQ を有効にするとベクトル キャッシュを用いたクエリ性能向上が可能です。キャッシュは量子化済みベクトルのディスク読み込みを減らして検索を高速化しますが、各ベクトルが `n_dimensions` ビットを占有するためメモリ使用量とのバランスが必要です。 + +## スカラー量子化 + +**Scalar quantization (SQ)** では、ベクトル埋め込みの各次元を 32 ビット float から 8 ビット整数へ変換します。これによりサイズを 4 倍圧縮できます。 + +SQ も BQ と同様にロスのある圧縮ですが、表現範囲が大きく、精度が高い点が特徴です。データを分析して値域を決定し、その範囲を 256 個（8 ビット）のバケットに一様分割します。各次元の値は該当バケットの番号（8 ビット整数）で表現されます。 + +トレーニング セットのサイズは設定可能で、既定はシャードあたり 100 000 件です。 + +SQ が有効な場合、Weaviate は圧縮結果を多めに取得してからオリジナルの非圧縮ベクトルで再スコアリングし、リコールを向上させます。再検索は対象が少数のため高速です。 + +## 回転量子化 + +:::caution Technical preview + +Rotational quantization (RQ) は **`v1.32`** で **技術プレビュー** として追加されました。
+今後のリリースで仕様変更や破壊的変更が発生する可能性があります。 +**本番環境での使用は現時点では推奨していません。** + +::: + +**Rotational quantization (RQ)** はトレーニング不要の 8 ビット量子化手法で、4 倍の圧縮率を保ちつつ多くのデータセットで 98–99 % のリコールを維持します。RQ はインデックス作成時にすぐ有効化でき、以下 2 ステップで動作します。 + +1. **高速疑似乱数回転**: 入力ベクトルに Walsh Hadamard Transform を利用した高速回転を適用します。1 536 次元ベクトルで約 7–10 µs です。出力次元は 64 の倍数へ切り上げられます。 +2. **スカラー量子化**: 回転後の各エントリを 8 ビット整数に量子化します。各ベクトル個別の最小値と最大値が量子化区間を決定します。 + +回転ステップにより量子化区間が短縮され誤差が減少し、距離情報が均等に分散されます。 + +なお、次元数が 64 未満または 128 未満の低次元データでは、64 の倍数へ切り上げるため圧縮効率が最適でない可能性があります。 + +本実装は extended RaBitQ に着想を得ていますが、パフォーマンス上の理由で大きく異なります。真の乱数回転ではなく高速疑似乱数回転を用い、RaBitQ の符号化ではなくスカラー量子化を採用しています（ビット数が多い場合 RaBitQ は非常に遅くなるため）。 + +:::tip +Weaviate での回転量子化の設定方法は [こちら](../configuration/compression/rq-compression.md) をご覧ください。 +::: + +## 過剰フェッチ / リスコアリング + +Weaviate は、 SQ、 RQ、 BQ を使用する場合に結果を過剰フェッチし、その後でリスコアリングを行います。これは、圧縮された ベクトル での距離計算が、元の ベクトル 埋め込みでの計算ほど正確ではないためです。 + +クエリを実行すると、 Weaviate はクエリの limit を設定可能な `rescoreLimit` パラメーターと比較します。 + +クエリは、いずれか大きいほうの上限に達するまで圧縮オブジェクトを取得します。その後、 Weaviate は圧縮 ベクトル に対応する元の非圧縮 ベクトル 埋め込みを取得し、それらを使ってクエリ距離スコアを再計算します。 + +たとえば、 limit が 10、 rescoreLimit が 200 のクエリの場合、 Weaviate は 200 件のオブジェクトを取得します。リスコアリング後、クエリは上位 10 件のオブジェクトを返します。このプロセスにより、圧縮によって発生する検索品質（リコール）の低下が補正されます。 + +:::note RQ 最適化 +RQ のネイティブリコールは 98〜99% と高いため、多くの場合リスコアリングを無効化（ `rescoreLimit` を 0 に設定）しても、検索品質への影響を最小限に抑えながらクエリ性能を最大化できます。 +::: + +## ベクトルインデックスを用いたベクトル圧縮 + +### HNSW インデックスとの併用 + +[HNSW インデックス](./indexing/vector-index.md#hierarchical-navigable-small-world-hnsw-index) は、 [PQ](#product-quantization)、 [SQ](#scalar-quantization)、 [RQ](#rotational-quantization)、 [BQ](#binary-quantization) を使用して構成できます。HNSW はメモリ内インデックスであるため、圧縮によってメモリ使用量を削減したり、同じメモリ量でより多くのデータを保存したりできます。 + +:::tip +当社ブログ記事 [HNSW+PQ - Exploring ANN algorithms Part 2.1](https://weaviate.io/blog/ann-algorithms-hnsw-pq) もぜひご覧ください。 +::: + +### フラットインデックスとの併用 + +[BQ](#binary-quantization) は [フラットインデックス](./indexing/inverted-index.md) を使用できます。フラットインデックス検索はディスクから読み込むため、圧縮によって読み込むデータ量が減り、検索が高速化されます。 + +## リスコアリング + +量子化では情報の精度が下がるため、必然的に情報損失が発生します。これを軽減するために、 Weaviate はリスコアリングと呼ばれる手法を用います。圧縮 ベクトル とともに保存されている非圧縮 ベクトル を使用し、初回検索で返された候補の元の ベクトル 間の距離を再計算します。これにより、最も正確な結果がユーザーに返されます。 + +場合によっては、リスコアリングが過剰フェッチも伴い、初回検索で上位候補が欠落しないよう追加の候補を取得します。 + +## 参考リソース + +:::info Related pages +- [概念: インデックス化](./indexing/index.md) +- [概念: ベクトルインデックス](./indexing/vector-index.md) +- [設定: ベクトルインデックス](../config-refs/indexing/vector-index.mdx) +- [設定: スキーマ（意味インデックスの設定）](../config-refs/indexing/vector-index.mdx#configure-semantic-indexing) +- [設定方法: バイナリ量子化（圧縮）](../configuration/compression/bq-compression.md) +- [設定方法: 直積量子化（圧縮）](../configuration/compression/pq-compression.md) +- [設定方法: スカラー量子化（圧縮）](../configuration/compression/sq-compression.md) +- [設定方法: 回転量子化（圧縮）](../configuration/compression/rq-compression.md) +- [Weaviate Academy: 250 Vector Compression](../../academy/py/compression/index.md) +::: + +## 質問とフィードバック + +import DocsFeedback from '/_includes/docs-feedback.mdx'; + +
+
+
+#### コード例 - コレクションの作成方法
+
+次のコード例は、クライアントライブラリーを使ってコレクションパラメーターを設定する方法を示しています。
+
+コレクション設定例 - JSON オブジェクト
+ +プロパティを含む完全なコレクションオブジェクトの例: + +```json +{ + "class": "Article", // The name of the collection in string format + "description": "An article", // A description for your reference + "vectorIndexType": "hnsw", // Defaults to hnsw + "vectorIndexConfig": { + ... // Vector index type specific settings, including distance metric + }, + "vectorizer": "text2vec-contextionary", // Vectorizer to use for data objects added to this collection + "moduleConfig": { + "text2vec-contextionary": { + "vectorizeClassName": true // Include the collection name in vector calculation (default true) + } + }, + "properties": [ // An array of the properties you are adding, same as a Property Object + { + "name": "title", // The name of the property + "description": "title of the article", // A description for your reference + "dataType": [ // The data type of the object as described above. When + // creating cross-references, a property can have + // multiple data types, hence the array syntax. + "text" + ], + "moduleConfig": { // Module-specific settings + "text2vec-contextionary": { + "skip": true, // If true, the whole property will NOT be included in + // vectorization. Default is false, meaning that the + // object will be NOT be skipped. + "vectorizePropertyName": true, // Whether the name of the property is used in the + // calculation for the vector position of data + // objects. Default false. + } + }, + "indexFilterable": true, // Optional, default is true. By default each property + // is indexed with a roaring bitmap index where + // available for efficient filtering. + "indexSearchable": true // Optional, default is true. By default each property + // is indexed with a searchable index for + // BM25-suitable Map index for BM25 or hybrid + // searching. + } + ], + "invertedIndexConfig": { // Optional, index configuration + "stopwords": { + ... // Optional, controls which words should be ignored in the inverted index, see section below + }, + "indexTimestamps": false, // Optional, maintains inverted indexes for each object by its internal timestamps + "indexNullState": false, // Optional, maintains inverted indexes for each property regarding its null state + "indexPropertyLength": false // Optional, maintains inverted indexes for each property by its length + }, + "shardingConfig": { + ... // Optional, controls behavior of the collection in a + // multi-node setting, see section below + }, + "multiTenancyConfig": {"enabled": true} // Optional, for enabling multi-tenancy for this + // collection (default: false) +} +``` + +
+
+
+#### コード例 - コレクションプロパティを設定する方法
+
+このコード例では、クライアントライブラリを通じてプロパティパラメーターを設定する方法を示します。
+
+プロパティ設定例 - JSON オブジェクト
+ +An example of a complete property object: + +```json +{ + "name": "title", // The name of the property + "description": "title of the article", // A description for your reference + "dataType": [ + // The data type of the object as described above. When creating cross-references, a property can have multiple dataTypes. + "text" + ], + "tokenization": "word", // Split field contents into word-tokens when indexing into the inverted index. See "Property Tokenization" below for more detail. + "moduleConfig": { + // Module-specific settings + "text2vec-contextionary": { + "skip": true, // If true, the whole property is NOT included in vectorization. Default is false, meaning that the object will be NOT be skipped. + "vectorizePropertyName": true // Whether the name of the property is used in the calculation for the vector position of data objects. Default false. + } + }, + "indexFilterable": true, // Optional, default is true. By default each property is indexed with a roaring bitmap index where available for efficient filtering. + "indexSearchable": true // Optional, default is true. By default each property is indexed with a searchable index for BM25-suitable Map index for BM25 or hybrid searching. +} +``` + +
+
+
+各トークンは転置インデックスに個別に登録されます。たとえば、値が `Hello, (beautiful) world` の `text` プロパティがある場合、各トークン化方法でインデックスされるトークンは次のとおりです。
+
+import TokenizationDefinition from "/_includes/tokenization_definition.mdx";
+
+プロパティ設定例 - JSON オブジェクト
+ +```json +{ + "classes": [ + { + "class": "Question", + "properties": [ + { + "dataType": ["text"], + "name": "question", + // highlight-start + "tokenization": "word" + // highlight-end + }, + ], + ... + "vectorizer": "text2vec-openai" + } + ] +} +``` + +
+
+
+`gse` と `trigram` のトークン化方法
+ +:::info `1.24` で追加 +::: + +日本語および中国語テキストには、`gse` または `trigram` のトークン化方法を推奨します。これらの言語は空白で容易に区切れないため、他の方法より適しています。 + +`gse` トークナイザーはリソース節約のためデフォルトでは読み込まれません。使用するには、 Weaviate インスタンスで環境変数 `ENABLE_TOKENIZER_GSE` を `true` に設定してください。 + +`gse` トークン化例: + +- `"素早い茶色の狐が怠けた犬を飛び越えた"`: `["素早", "素早い", "早い", "茶色", "の", "狐", "が", "怠け", "けた", "犬", "を", "飛び", "飛び越え", "越え", "た", "素早い茶色の狐が怠けた犬を飛び越えた"]` +- `"すばやいちゃいろのきつねがなまけたいぬをとびこえた"`: `["すばや", "すばやい", "やい", "いち", "ちゃ", "ちゃい", "ちゃいろ", "いろ", "のき", "きつ", "きつね", "つね", "ねが", "がな", "なま", "なまけ", "まけ", "けた", "けたい", "たい", "いぬ", "を", "とび", "とびこえ", "こえ", "た", "すばやいちゃいろのきつねがなまけたいぬをとびこえた"]` + +:::note `trigram` のファジーマッチング + +もともとアジア言語向けに設計されましたが、`trigram` トークン化は他言語におけるファジーマッチングやタイプミス許容にも非常に有効です。 + +::: + +
+
+
+`kagome_ja` のトークン化方法
+ +:::caution 実験的機能 +`v1.28.0` から利用可能です。実験的機能のため慎重にご使用ください。 +::: + +日本語テキストには `kagome_ja` トークン化方法も利用できます。これは [`Kagome` トークナイザー](https://github.com/ikawaha/kagome?tab=readme-ov-file) と日本語 [MeCab IPA](https://github.com/ikawaha/kagome-dict/) 辞書を使用してプロパティテキストを分割します。 + +`kagome_ja` トークナイザーはリソース節約のためデフォルトでは読み込まれません。使用するには、 Weaviate インスタンスで環境変数 `ENABLE_TOKENIZER_KAGOME_JA` を `true` に設定してください。 + +`kagome_ja` トークン化例: + +- `"春の夜の夢はうつつよりもかなしき 夏の夜の夢はうつつに似たり 秋の夜の夢はうつつを超え 冬の夜の夢は心に響く 山のあなたに小さな村が見える 川の音が静かに耳に届く 風が木々を通り抜ける音 星空の下、すべてが平和である"`: + - [`"春", "の", "夜", "の", "夢", "は", "うつつ", "より", "も", "かなしき", "\n\t", "夏", "の", "夜", "の", "夢", "は", "うつつ", "に", "似", "たり", "\n\t", "秋", "の", "夜", "の", "夢", "は", "うつつ", "を", "超え", "\n\t", "冬", "の", "夜", "の", "夢", "は", "心", "に", "響く", "\n\n\t", "山", "の", "あなた", "に", "小さな", "村", "が", "見える", "\n\t", "川", "の", "音", "が", "静か", "に", "耳", "に", "届く", "\n\t", "風", "が", "木々", "を", "通り抜ける", "音", "\n\t", "星空", "の", "下", "、", "すべて", "が", "平和", "で", "ある"`] +- `"素早い茶色の狐が怠けた犬を飛び越えた"`: + - `["素早い", "茶色", "の", "狐", "が", "怠け", "た", "犬", "を", "飛び越え", "た"]` +- `"すばやいちゃいろのきつねがなまけたいぬをとびこえた"`: + - `["すばやい", "ちゃ", "いろ", "の", "きつね", "が", "なまけ", "た", "いぬ", "を", "とびこえ", "た"]` + +
+
+
+`kagome_kr` のトークン化方法
+ +:::caution 実験的機能 +`v1.25.7` から利用可能です。実験的機能のため慎重にご使用ください。 +::: + +韓国語テキストには `kagome_kr` トークン化方法を推奨します。これは [`Kagome` トークナイザー](https://github.com/ikawaha/kagome?tab=readme-ov-file) と Korean MeCab（[mecab-ko-dic](https://bitbucket.org/eunjeon/mecab-ko-dic/src/master/)）辞書を使用してプロパティテキストを分割します。 + +`kagome_kr` トークナイザーはリソース節約のためデフォルトでは読み込まれません。使用するには、 Weaviate インスタンスで環境変数 `ENABLE_TOKENIZER_KAGOME_KR` を `true` に設定してください。 + +`kagome_kr` トークン化例: + +- `"아버지가방에들어가신다"`: + - `["아버지", "가", "방", "에", "들어가", "신다"]` +- `"아버지가 방에 들어가신다"`: + - `["아버지", "가", "방", "에", "들어가", "신다"]` +- `"결정하겠다"`: + - `["결정", "하", "겠", "다"]` + +
+
+
+`gse` と `Kagome` トークナイザーの同時実行数を制限する
+ +`gse` と `Kagome` のトークナイザーはリソースを多く消費し、 Weaviate のパフォーマンスに影響を与える可能性があります。 +[`TOKENIZER_CONCURRENCY_COUNT` 環境変数](/deploy/configuration/env-vars/index.md) を使用して、`gse` と `Kagome` トークナイザーの同時実行数を制限できます。 + +
+
+
+---
+
+### 転置インデックス {#inverted-index}
+
+Weaviate は ** 転置インデックス ** を使用して、迅速かつ効率的なフィルタリングと検索を実現します。転置インデックスは値（単語や数値など）とそれを含むオブジェクトを対応付け、属性ベースのフィルタリング（ `where` フィルター）およびキーワード検索（ `bm25`、 `hybrid` ）を高速化します。問い合わせを行わないプロパティのインデックス化を無効にすると、データインポートの速度が向上し、ディスク使用量を削減できます。
+
+`indexFilterable`、 `indexSearchable`、 `indexRangeFilters` および `invertedIndexConfig` パラメーターの詳細は、[リファレンス: 転置インデックス](./indexing/inverted-index.mdx) をご覧ください。
+
+---
+
+### ベクトル設定
+
+Weaviate では、ベクトル設定に対して 2 つのアプローチをサポートしています:
+
+- ** シングルベクトルコレクション **: 上位レベルのパラメーター（ `vectorizer`、 `vectorIndexType`、 `vectorIndexConfig` ）を使用して、オブジェクトごとに 1 つのベクトル空間を持たせる方法
+- ** 複数の名前付きベクトル **: `vectorConfig` パラメーターを使用して、オブジェクトごとに複数のベクトル空間を持たせる方法（** 推奨 **）
+
+同じコレクション内でこれら 2 つのアプローチを混在させることはできません。
+
+:::tip `vectorConfig` の使用を推奨します
+
+`vectorConfig` パラメーターを使用すると、まずコレクションにつき 1 つのベクトルから始め、後から[新しい名前付きベクトル](../manage-collections/vector-config.mdx#add-new-named-vectors)を追加できます。
+
+:::
+
+#### ベクトル設定パラメーター
+
+| パラメーター | 型 | 説明 | デフォルト | 変更可 |
+| :----------------------------------------------------------------------- | :----- | :---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | :---------------------- | :------------ |
+| `vectorizer` | String | 使用するベクトライザー モジュール（例: `text2vec-cohere`）。自動ベクトル化を無効にするには `none` を設定します。[利用可能なモデルプロバイダー](../model-providers/index.md) | Module-specific default | No |
+| [`vectorIndexType`](./indexing/vector-index.mdx) | String | ベクトルインデックスタイプ: `hnsw`（デフォルト）、 `flat`、または `dynamic` | `hnsw` | No |
+| [`vectorIndexConfig`](./indexing/vector-index.mdx) | Object | 選択した `vectorIndexType` 用の設定 | Index-specific defaults | Partially\* |
+| `vectorConfig` | Object | ** 上記の代替 ** : 複数の名前付きベクトル空間を定義します | `null` | Partially\*\* |
+| ↪ `vectorConfig.`trigram` トークン化によるファジーマッチング
+ +`trigram` トークン化はテキストを 3 文字ずつ重なり合うシーケンスに分割することでファジーマッチングを提供します。これにより、 BM25 検索でスペルミスや表記揺れがあっても一致を見つけられます。 + +**`trigram` ファジーマッチングのユースケース:** + +- **タイプミス許容**: スペルミスがあっても一致を見つける（例: "Reliace" が "Reliance" に一致） +- **名前の照合**: データセット間で異なる表記のエンティティ名をマッチング +- **サーチアズユータイプ**: オートコンプリート機能の構築 +- **部分一致**: 部分的な文字列一致でオブジェクトを検索 + +**動作の仕組み:** + +テキストを `trigram` でトークン化すると、すべての 3 文字シーケンスに分割されます。 + +- `"hello"` → `["hel", "ell", "llo"]` +- `"world"` → `["wor", "orl", "rld"]` + +類似する文字列は多くのトライグラムを共有するため、ファジーマッチングが可能になります。 + +- `"Morgan Stanley"` と `"Stanley Morgn"` は `"sta", "tan", "anl", "nle", "ley"` などのトライグラムを共有 + +**パフォーマンスに関する考慮事項:** + +- フィルタリング動作が大きく変わり、テキストフィルタリングは単語ではなくトライグラムベースで行われます +- トークン数が増えるため、転置インデックスが大きくなります +- 大規模データセットではクエリパフォーマンスに影響を与える可能性があります + +:::tip + +ファジーマッチングを必要とするフィールドだけに選択的に `trigram` トークン化を使用してください。正確な一致が必要なフィールドには `word` や `field` トークン化を維持して精度を保ちましょう。 + +::: + +
+
+
+---
+
+### ベクトル インデックス {#vector-index}
+
+ベクトル インデックスは、ベクトル データを整理し、類似検索を高速かつ効率的に行えるようにします。クエリをすべてのベクトルと比較する代わりに、インデックスが検索対象を最も関連性の高い候補に急速に絞り込みます。
+
+`vectorIndexType` と `vectorIndexConfig` パラメーターの詳細は、[リファレンス: ベクトル インデックス](./indexing/vector-index.mdx) をご覧ください。
+
+---
+
+### レプリケーション
+
+モジュール設定例 - JSON オブジェクト
+ +完全な `moduleConfig` オブジェクトの例: + +```json + "moduleConfig": { + "text2vec-contextionary": { + "vectorizeClassName": true // Include the collection name in vector calculation (default true) + } + }, +``` + +
+
+
+#### コード例 - レプリケーションの設定方法
+
+以下のコード例は、クライアント ライブラリを使ってレプリケーション パラメーターを設定する方法を示しています。
+
+レプリケーション設定例 - JSON オブジェクト
+ +完全な `replicationConfig` オブジェクトの例: + +```json +{ + "class": "Article", + "vectorizer": "text2vec-openai", + // highlight-start + "replicationConfig": { + "factor": 3, + "asyncEnabled": false, + "deletionStrategy": "NoAutomatedResolution" + } + // highlight-end +} +``` + +
+
+
+#### コード例 - シャーディングの設定方法
+
+以下のコード例は、クライアント ライブラリを使ってシャーディング パラメーターを設定する方法を示しています。
+
+シャーディング設定例 - JSON オブジェクト
+ +完全な `shardingConfig` オブジェクトの例: + +```json + "shardingConfig": { + "virtualPerPhysical": 128, + "desiredCount": 1, // defaults to the amount of Weaviate nodes in the cluster + "actualCount": 1, + "desiredVirtualCount": 128, + "actualVirtualCount": 128, + "key": "_id", + "strategy": "hash", + "function": "murmur3" + } +``` + +
+
+
+コレクション作成後には[新しいプロパティを追加](../manage-collections/collection-operations.mdx#add-a-property)できますが、既存プロパティは変更できません。また、[新しい名前付き ベクトル](../concepts/data.md#adding-a-named-vector-after-collection-creation)を追加することも可能です。
+
+## オートスキーマ
+
+「オートスキーマ」機能は、追加されるデータからパラメーターを推論して自動的にコレクション定義を生成します。デフォルトで有効になっており、`docker-compose.yml` などで環境変数 [`AUTOSCHEMA_ENABLED`](/docs/deploy/configuration/env-vars/index.md#AUTOSCHEMA_ENABLED) を `'false'` に設定すると無効化できます。
+
+この機能により次が行われます。
+
+- 存在しないコレクションにオブジェクトが追加された場合、コレクションを自動作成します。
+- 追加されるオブジェクトに不足しているプロパティがあれば自動追加します。
+- `int[]`, `text[]`, `number[]`, `boolean[]`, `date[]`, `object[]` などの配列型を推論します。
+- `object` と `object[]` のデータ型に対してネストされたプロパティを推論します。
+- 追加されるオブジェクトに既存スキーマと衝突するプロパティ型が含まれるとエラーを返します（例: `int` として存在するフィールドに text をインポートしようとする場合）。
+
+:::tip 本番環境ではコレクションを手動で定義する
+
+一般的に、本番環境ではオートスキーマを無効にし、手動でコレクション定義を行うことを推奨します。
+
+- 手動定義のほうが詳細な制御が可能です。
+- インポート時にデータ構造を推論するためのパフォーマンスコストが発生します。複雑なネスト構造などでは高コストになる場合があります。
+
+:::
+
+#### オートスキーマのデータ型
+
+オートスキーマがニーズに合ったプロパティを推論できるよう、追加の設定が用意されています。
+
+- `AUTOSCHEMA_DEFAULT_NUMBER=number` - 数値を検出した場合に `number` 列を作成します（`int` などではなく）。
+- `AUTOSCHEMA_DEFAULT_DATE=date` - 日付らしい値を検出した場合に `date` 列を作成します。
+
+以下は許可されません。
+
+- `phoneNumber` と `geoCoordinates` の 2 種を除き、任意のマップ型は使用できません。
+- 明確にリファレンスタイプでない限り、任意の配列型は使用できません。リファレンスタイプの場合、Weaviate はビコンを解決してどのコレクションかを確認する必要があります。これはスキーマ変更にコレクション名が必要なためです。
+
+## コレクション数の上限 {#collections-count-limit}
+
+:::info `v1.30` で追加
+:::
+
+最適なパフォーマンスを確保するため、Weaviate は**ノードあたりのコレクション数を制限**しています。各コレクションはインデックス作成、定義管理、ストレージにオーバーヘッドを追加するためです。この制限は Weaviate のパフォーマンス維持を目的としています。
+
+- **デフォルトの上限**: `1000` コレクション
+- **上限の変更**: 環境変数 [`MAXIMUM_ALLOWED_COLLECTIONS_COUNT`](/deploy/configuration/env-vars/index.md#MAXIMUM_ALLOWED_COLLECTIONS_COUNT) で調整できます。
+
+:::note
+すでに上限を超えている場合、Weaviate は新しいコレクションの作成を許可しません。既存のコレクションは削除されません。
+:::
+
+:::tip
+**コレクション数の上限を引き上げる前に、アーキテクチャを再検討することをおすすめします**。詳細は [Starter Guides: Scaling limits with collections](../starter-guides/managing-collections/collections-scaling-limits.mdx) をご覧ください。
+:::
+
+
+
+## コレクション エイリアス
+
+:::caution Technical preview
+
+コレクション エイリアスは **`v1.32`** で **テクニカル プレビュー** として追加されました。変更可能なパラメーター
+ +import RaftRFChangeWarning from "/_includes/1-25-replication-factor.mdx"; + + + ++これは、この機能が現在も開発中であり、将来のリリースで破壊的変更を含む変更が行われる可能性があることを意味します。 +**現時点では本番環境での使用は推奨していません。** + +::: + +コレクション エイリアスは、 Weaviate のコレクションに対して別名を割り当て、代替名でコレクションを参照できるようにする機能です。 + +Weaviate はエイリアスへのリクエストを自動的に対象コレクションへルーティングします。これにより、コレクション名が必要なあらゆる場面でエイリアスを使用できます。これには [コレクション管理](../manage-collections/index.mdx)、[クエリ](../search/index.mdx)、およびコレクション名を必要とするその他すべての操作が含まれますが、**例外** としてコレクションの削除は除きます。コレクションを削除するには、そのコレクション名を使用する必要があります。コレクションを削除しても、それを指すエイリアスが自動的に削除されることはありません。 + +エイリアス名は一意でなければならず（既存のコレクション名や他のエイリアスと重複できません）、複数のエイリアスを同じコレクションに割り当てることも可能です。コレクション エイリアスは、[クライアント ライブラリを通じてプログラム的に](../manage-collections/collection-aliases.mdx) または
+
+
+`v1.19` より前の Weaviate では、トークン化の挙動が `text` と異なる `string` という追加データ型をサポートしていました。`v1.19` 以降、この型は非推奨となり、今後のリリースで削除される予定です。
+
+`string` の代わりに `text` をお使いください。`text` は `string` で利用可能だったトークン化オプションをサポートしています。
+
+
+
+### 例
+
+import TextTypePy from '!!raw-loader!/\_includes/code/python/config-refs.datatypes.text.py';
+import TextTypeTs from '!!raw-loader!/\_includes/code/typescript/config-refs.datatypes.text.ts';
+
+#### プロパティ定義
+
+string は非推奨です
+
+`v1.19` より前の Weaviate では、トークン化の挙動が `text` と異なる `string` という追加データ型をサポートしていました。`v1.19` 以降、この型は非推奨となり、今後のリリースで削除される予定です。
+
+`string` の代わりに `text` をお使いください。`text` は `string` で利用可能だったトークン化オプションをサポートしています。
+
+下記の注 1 を参照 | `1 - cosine_sim(a,b)` | `0 <= d <= 2` | `0`: 同一のベクトル
`2`: 反対方向のベクトル | +| `dot` | ドット積に基づく距離の指標。
より正確には負のドット積。
下記の注 2 を参照 | `-dot(a,b)` | `-∞ < d < ∞` | `-3`: `-2` より類似
`2`: `5` より類似 | +| `l2-squared` | 2 つのベクトル間の二乗ユークリッド距離。 | `sum((a_i - b_i)^2)` | `0 <= d < ∞` | `0`: 同一のベクトル | +| `hamming` | 各次元でのベクトルの差の数。 |
sum(|a_i != b_i|) | `0 <= d < dims` | `0`: 同一のベクトル |
+| `manhattan` | 直交軸に沿って測定した 2 つのベクトル次元間の距離。 | sum(|a_i - b_i|) | `0 <= d < ∞` | `0`: 同一のベクトル |
+
+お気に入りの距離タイプが見当たらず、 Weaviate に貢献したい場合は、ぜひ [PR](https://github.com/weaviate/weaviate) をお送りください。お待ちしています。
+
+:::note 補足
+
+1. `cosine` を選択した場合、読み取り時にすべてのベクトルが長さ 1 に正規化され、計算効率のためにドット積が距離計算に使用されます。
+2. ドット積自体は類似度メトリクスであり、距離メトリクスではありません。そのため Weaviate では、距離の値が小さいほど類似、値が大きいほど非類似という直感を保つために負のドット積を返します。
+
+:::
+
+## 距離計算の実装と最適化
+
+一般的な Weaviate のユースケースでは、 CPU 時間の大部分がベクトル距離計算に費やされます。近似最近傍インデックスを使用して計算回数を大幅に減らしても、距離計算の効率は [全体のパフォーマンス](/weaviate/benchmarks/ann.md) に大きな影響を与えます。
+
+Weaviate は、以下の距離メトリクスとアーキテクチャに対して SIMD（ Single Instruction, Multiple Data ）命令を使用しています。利用可能な最適化は表に示す順序で解決されます（例: SVE → Neon）。
+
+| 距離 | `arm64` | `amd64` |
+| ----------------------------- | ----------- | --------------------------------------------- |
+| `cosine`, `dot`, `l2-squared` | SVE または Neon | Sapphire Rapids with AVX512、または AVX2 対応 |
+| `hamming`, `manhattan` | SIMD なし | SIMD なし |
+
+アセンブリ言語、 SIMD、ベクトル命令セットに興味がある方は、まだ最適化されていない組み合わせへのご貢献をお待ちしています。
+
+## API における distance フィールド
+
+`distance` は API で 2 つの方法で利用できます。
+
+- [ベクトル検索](../search/similarity.md#set-a-similarity-threshold) が関与する場合、`_additional { distance }` を使用して結果に距離を表示できます。
+- 同じく [ベクトル検索](../search/similarity.md#set-a-similarity-threshold) で、`nearVector({distance: 1.5, vector: ... })` のように距離を制限条件として指定できます。
+
+## Distance と Certainty の比較
+
+バージョン `v1.14` 以前は、 API で `certainty` のみが利用可能でした。 `certainty` の基本的な考え方は、距離スコアを `0 <= certainty <= 1` に正規化し、1 が同一ベクトル、0 が反対方向のベクトルを表すというものでした。
+
+しかし、この概念は `cosine` 距離に特有です。ほかの距離メトリクスではスコアが無限に広がる場合があります。そのため、現在は `certainty` より `distance` の使用が推奨されています。
+
+互換性維持のため、距離が `cosine` の場合に限り `certainty` を引き続き使用できます。それ以外の距離を選択した場合、 `certainty` は使用できません。
+
+関連事項: [Search API: 追加プロパティ（メタデータ）](../api/graphql/additional-properties.md)
+
+## 参考情報
+
+- [How-to: コレクションの管理](../manage-collections/index.mdx)
+- +
+ +:::info Deployment documentation + +セキュリティ、バックアップ、レプリケーション、クラスター情報、詳細設定などのデプロイ関連トピックについては、[デプロイメントドキュメント](/docs/deploy/configuration/index.mdx) を参照してください。 + +::: + diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/config-refs/indexing/inverted-index.mdx b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/config-refs/indexing/inverted-index.mdx new file mode 100644 index 000000000..008f52316 --- /dev/null +++ b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/config-refs/indexing/inverted-index.mdx @@ -0,0 +1,251 @@ +--- +title: 転置インデックス +description: Weaviate における転置インデックスのパラメーターリファレンスです。 +--- + +import SkipLink from "/src/components/SkipValidationLink"; +import Tabs from "@theme/Tabs"; +import TabItem from "@theme/TabItem"; +import FilteredTextBlock from "@site/src/components/Documentation/FilteredTextBlock"; +import PyCode from "!!raw-loader!/_includes/code/config-refs/reference.collections.py"; +import TSCode from "!!raw-loader!/_includes/code/howto/manage-data.collections.ts"; +import JavaCode from "!!raw-loader!/_includes/code/howto/java/src/test/java/io/weaviate/docs/manage-data.classes.java"; +import JavaReplicationCode from "!!raw-loader!/_includes/code/howto/java/src/test/java/io/weaviate/docs/manage-data.replication.java"; +import GoCode from "!!raw-loader!/_includes/code/howto/go/docs/manage-data.classes_test.go"; + +**[転置インデックス](../../concepts/indexing/inverted-index.md)** は、値（単語や数値など）をそれを含むオブジェクトへマッピングします。これは、すべての属性ベースフィルタリング（ `where` フィルター）およびキーワード検索（ `bm25` 、 `hybrid` ）の基盤となります。 + +## 転置インデックスのタイプ + +Weaviate では複数の [転置インデックスタイプ](../../concepts/indexing/inverted-index.md) が利用可能です。ただし、すべてのデータ型で利用できるわけではありません。利用可能な転置インデックスタイプは以下のとおりです。 + +import InvertedIndexTypesSummary from "/_includes/inverted-index-types-summary.mdx"; + +
+
+
+#### `stopwords`
+
+`invertedIndexConfig` の一部です。`text` プロパティには検索結果に寄与しない非常に一般的な語が含まれる場合があります。それらを無視すると、クエリにストップワードが含まれる場合の検索速度が向上します。特にスコアリング検索（例: ` BM25 `）では顕著です。
+
+ストップワード設定はプリセット方式を採用しています。特定の言語における一般的なストップワードを使用する場合はプリセットを選択します（例: [`"en"` プリセット](https://github.com/weaviate/weaviate/blob/main/adapters/repos/db/inverted/stopwords/presets.go)）。より詳細に制御したい場合は、追加したい語を `additions` に、除外したい語を `removals` に設定できます。また、空のプリセット（ `"none"` ）から始めて完全にカスタムのストップワードリストを作成することも可能です。
+
+例 `bm25` 設定 - JSON オブジェクト
+ +`bm25` を設定した完全なコレクションオブジェクトの例: + +```json +{ + "class": "Article", + // Configuration of the sparse index + "invertedIndexConfig": { + "bm25": { + "b": 0.75, + "k1": 1.2 + } + }, + "properties": [ + { + "name": "title", + "description": "title of the article", + "dataType": ["text"], + // Property-level settings override the collection-level settings + "invertedIndexConfig": { + "bm25": { + "b": 0.75, + "k1": 1.2 + } + }, + "indexFilterable": true, + "indexSearchable": true + } + ] +} +``` + +
+
+
+この設定により、ストップワードはコレクション単位で設定できます。未設定の場合、以下のデフォルトが適用されます。
+
+| Parameter | Default value | Acceptable values |
+| ------------- | ------------- | -------------------------- |
+| `"preset"` | `"en"` | `"en"` 、 `"none"` |
+| `"additions"` | `[]` | 任意のカスタム語リスト |
+| `"removals"` | `[]` | 任意のカスタム語リスト |
+
+:::note
+
+- `preset` が `none` の場合、コレクションは `additions` リストのみをストップワードとして使用します。
+- 同じ語が `additions` と `removals` の両方に含まれている場合、Weaviate はエラーを返します。
+:::
+
+`v1.18` 以降、ストップワードもインデックス化されます。そのため、ストップワードは転置インデックスに含まれますが、トークン化されたクエリには含まれません。この結果、BM25 アルゴリズム適用時にはストップワードは関連度計算の入力から除外されますが、スコアには影響します。
+
+ストップワードはランタイムに設定変更が可能になりました。データをインデックス化した後でも RESTful API を使用して 例 `stopwords` 設定 - JSON オブジェクト
+ +`stopwords` を設定した完全なコレクションオブジェクトの例: + +```json + "invertedIndexConfig": { + "stopwords": { + "preset": "en", + "additions": ["star", "nebula"], + "removals": ["a", "the"] + } + } +``` + +動的 `ef`。`ef` を -1 に設定すると、Weaviate が `ef` の値を自動で調整し、動的 `ef` リストを作成します。詳細は [dynamic ef](../../concepts/indexing/vector-index.md#dynamic-ef) をご覧ください。 | -1 | Yes | +| `efConstruction` | integer | インデックス検索速度と構築速度のバランスを調整します。`efConstruction` を高くすると `ef` を低く設定できますが、インポートは遅くなります。
`efConstruction` は 0 より大きい必要があります。 | 128 | No | +| `maxConnections` | integer | 要素ごとの最大接続数。`maxConnections` は 0 以外のレイヤーでの接続上限です。0 レイヤーでは (2 \* `maxConnections`) の接続が可能です。
`maxConnections` は 0 より大きい必要があります。 | 32 | No | +| `dynamicEfMin` | integer | [動的 `ef`](../../concepts/indexing/vector-index.md#dynamic-ef) の下限値。検索リストが短くなりすぎるのを防ぎます。
この設定は `ef` が -1 の場合のみ使用されます。 | 100 | Yes | +| `dynamicEfMax` | integer | [動的 `ef`](../../concepts/indexing/vector-index.md#dynamic-ef) の上限値。検索リストが長くなりすぎるのを防ぎます。
`dynamicEfMax` が制限値を超える場合、`dynamicEfMax` は無効となり、その場合の制限値は `ef` です。
この設定は `ef` が -1 の場合のみ使用されます。 | 500 | Yes | +| `dynamicEfFactor` | integer | [動的 `ef`](../../concepts/indexing/vector-index.md#dynamic-ef) の乗数。検索リストの潜在的な長さを設定します。
この設定は `ef` が -1 の場合のみ使用されます。 | 8 | Yes | +| `filterStrategy` | string | `v1.27.0` で追加。検索結果のフィルタリングに使用するフィルターストラテジー。`sweeping` または `acorn` を指定できます。
- `sweeping`: 既定のストラテジー
- `acorn`: Weaviate の ACORN 実装を使用します。[詳細](../../concepts/filtering.md#filter-strategy) | `sweeping` | Yes | +| `flatSearchCutoff` | integer | オプション。[フラット検索カットオフ](/weaviate/concepts/filtering.md#flat-search-cutoff) の閾値。ベクトルインデックス検索を強制するには `"flatSearchCutoff": 0` を設定してください。 | 40000 | Yes | +| `skip` | boolean | `true` にするとコレクションをインデックスしません。
Weaviate はベクトル生成とベクトル保存を分離しています。インデックスをスキップしてもベクトライザーが設定されている（または手動でベクトルを指定している）場合、インポートのたびに警告が記録されます。
インデックスとベクトル生成を共にスキップするには、`"skip": true` を設定する際に `"vectorizer": "none"` を指定してください。
詳細は [インデックスをスキップするタイミング](../../concepts/indexing/vector-index.md#when-to-skip-indexing) を参照してください。 | `false` | No | +| `vectorCacheMaxObjects` | integer | メモリキャッシュ内のオブジェクトの最大数。デフォルトでは、新しいコレクション作成時に 1 兆 (`1e12`) オブジェクトに設定されています。サイジングの推奨事項は [ベクトルキャッシュの考慮事項](../../concepts/indexing/vector-index.md#vector-cache-considerations) をご確認ください。 | `1e12` | Yes | +| `pq` | object | [直積量子化 (PQ)](/weaviate/concepts/indexing/vector-index.md) 圧縮を有効化して設定します。
PQ はある程度のデータがすでにロードされていることを前提とします。PQ を有効にする前に、1 シャード当たり 10,000 ～ 100,000 ベクトルがロードされていることを推奨します。
PQ の詳細設定は [PQ 設定パラメーター](#pq-parameters) をご覧ください。 | -- | Yes | + +### HNSW 用のデータベースパラメーター + +HNSW のインデックス動作を構成するためのデータベースレベルのパラメーターもあります。 + +- `PERSISTENCE_HNSW_MAX_LOG_SIZE` は HNSW の書き込み先行ログの最大サイズを設定します。既定値は `500MiB` です。 + +この値を大きくするとコンパクションプロセスの効率が向上しますが、データベースのメモリ使用量も増えます。逆に小さくするとメモリ使用量は減りますが、コンパクションが遅くなる可能性があります。 + +理想的には、`PERSISTENCE_HNSW_MAX_LOG_SIZE` は HNSW グラフのサイズに近い値に設定してください。 + +### Tombstone クリーンアップパラメーター + +:::info Environment variable availability + +- `TOMBSTONE_DELETION_CONCURRENCY` は `v1.24.0` 以降で利用可能です。 +- `TOMBSTONE_DELETION_MIN_PER_CYCLE` と `TOMBSTONE_DELETION_MAX_PER_CYCLE` は `v1.24.15` / `v1.25.2` 以降で利用可能です。 + +::: + +Tombstone は削除されたオブジェクトを示すレコードです。HNSW インデックスでは `cleanupIntervalSeconds` で定期的にクリーンアップがトリガーされます。 + +インデックスが大きくなると、クリーンアップ処理にかかる時間とリソースが増加し、大規模なインデックスではパフォーマンス問題を引き起こす場合があります。 + +クリーンアップサイクルあたりに削除される Tombstone の数を制御し、パフォーマンス問題を防ぐために、[`TOMBSTONE_DELETION_MAX_PER_CYCLE` と `TOMBSTONE_DELETION_MIN_PER_CYCLE` の環境変数](/deploy/configuration/env-vars/index.md#general) を設定してください。 + +- `TOMBSTONE_DELETION_MIN_PER_CYCLE` を設定して、不必要なクリーンアップサイクルの発生を防ぎます。 +- `TOMBSTONE_DELETION_MAX_PER_CYCLE` を設定して、クリーンアップが長時間実行されたり過剰にリソースを消費したりするのを防ぎます。 + +例として、1 シャードあたり 3 億オブジェクトのクラスターでは、`TOMBSTONE_DELETION_MIN_PER_CYCLE` を 1,000,000、`TOMBSTONE_DELETION_MAX_PER_CYCLE` を 10,000,000 に設定すると良い出発点となります。 + +また、`TOMBSTONE_DELETION_CONCURRENCY` 環境変数を設定して Tombstone クリーンアップに使用するスレッド数を制限できます。これにより、クリーンアップが不要に多くのリソースを消費したり、逆に時間がかかりすぎたりするのを防げます。 + +`TOMBSTONE_DELETION_CONCURRENCY` の既定値は、Weaviate が利用できる CPU コア数の半分です。 + +コア数が多いクラスターでは、クリーンアップがリソースを消費しすぎないよう `TOMBSTONE_DELETION_CONCURRENCY` を低めに設定することを検討してください。逆にコア数が少なく削除が多い場合は、クリーンアップを高速化するために値を高くするとよいでしょう。 + +### HNSW 設定のヒント + +ご自身のユースケースに適した値を決めるため、以下の質問を検討し、表と照らし合わせてください。 + +1. 1 秒あたりどれくらいのクエリを想定していますか? +1. インポートや更新は多いですか? +1. リコールはどの程度必要ですか? + +| クエリ数 | インポート / 更新が多いか | リコール | 構成の提案 | +| -------- | ------------------------ | -------- | -------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | +| 少ない | いいえ | 低い | 理想的なシナリオです。`ef` と `efConstruction` をいずれも低く保ちます。大きなマシンは不要で、結果にも満足できるでしょう。 | +| 少ない | いいえ | 高い | リコールを高くする必要があります。リクエストやインポートが少ないため、`ef` と `efConstruction` の両方を増やせます。リコールが満足いくまで段階的に増やしてください。この場合、ほぼ 100% に近づけることも可能です。 | +| 少ない | はい | 低い | インポート / 更新の量が多い点が課題です。`efConstruction` は低く保ちます。高いリコールは不要でクエリ数も少ないため、`ef` を調整して希望のリコールを得てください。 | +| 少ない | はい | 高い | 高いリコールが必要で、インポート / 更新も多いという難しいトレードオフです。`efConstruction` を低く保つ必要がありますが、クエリ数が少ないため `ef` を大きく設定できます。 | +| 多い | いいえ | 低い | クエリ数が多いため `ef` は低くする必要があります。幸いリコールは高くなくてよいので、`efConstruction` を大きくできます。 | +| 多い | いいえ | 高い | クエリ数が多いため `ef` は低くします。リコールを高くする必要がありますが、インポートや更新は多くないため `efConstruction` を増やしてリコールを調整します。 | +| 多い | はい | 低い | クエリ数が多いので `ef` は低く、インポート / 更新も多いため `efConstruction` も低くします。リコールを 100% に近づける必要がないので、`efConstruction` を比較的低く設定してインポート / 更新スループットを確保し、`ef` で QPS を調整します。 | +| 多い | はい | 高い | すべてを最高にしたい場合です。インポート / 更新の時間制限に達するまで `efConstruction` を増やし、その後クエリ数とリコールのバランスが取れるまで `ef` を増やします。
多くの人は 3 つすべての指標を最大化したいと考えがちですが、実際にはそうでないケースも多いです。判断に迷ったら [フォーラム](https://forum.weaviate.io) でご相談ください。 | + +:::tip +多くのユースケースでの出発点として、以下の値が適しています。 + +| パラメーター | 値 | +| :------------------ | :--- | +| `ef` | `64` | +| `efConstruction` | `128`| +| `maxConnections` | `32` | + +::: + +## Flat インデックス + +:::info Added in `v1.23` +::: + +Flat インデックスは、マルチテナンシーなど、インデックスあたりのオブジェクト数が少ないユースケースで推奨されます。 + +| パラメーター | 型 | 既定値 | 変更可 | 詳細 | +| :-------------------------- | :------ | :------ | :----- | :---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | +| `vectorCacheMaxObjects` | integer | `1e12` | Yes | メモリキャッシュ内のオブジェクトの最大数。デフォルトでは、新しいコレクション作成時に 1 兆 (`1e12`) オブジェクトに設定されています。サイジングの推奨事項は [ベクトルキャッシュの考慮事項](../../concepts/indexing/vector-index.md#vector-cache-considerations) をご参照ください。 | +| `bq` | object | -- | No | [バイナリ量子化 (BQ)](../../concepts/vector-quantization.md#binary-quantization) 圧縮を有効化して設定します。
BQ の詳細設定は [BQ 設定パラメーター](#bq-configuration-parameters) をご覧ください。 | + +### BQ 設定パラメーター + +`bq` は次のパラメーターで構成します。 + +| パラメーター | 型 | 既定値 | 詳細 | +| :--------------- | :------ | :----- | :--------------------------------------------------------- | +| `enabled` | boolean | `false`| BQ を有効化します。`true` にすると Weaviate は BQ 圧縮を使用します。| +| `rescoreLimit` | integer | -1 | リスコアを行う前に取得する最小候補数。 | +| `cache` | boolean | `false`| ベクトルキャッシュを使用するかどうか。 | + + + +## 動的インデックス + +:::caution Experimental feature +`v1.25` から利用可能です。動的インデックスは実験的機能です。ご使用の際はご注意ください。 +::: + +import DynamicAsyncRequirements from "/_includes/dynamic-index-async-req.mdx"; + +
+
+
+インポート速度をさらに高めたい場合は、[非同期インデックス](#asynchronous-indexing) を使用してオブジェクト作成とインデックス作成を分離できます。
+
+### RQ パラメーター
+
+`vectorIndexConfig` 内で、RQ 圧縮に利用できるパラメーターは次のとおりです。
+
+import RQParameters from "/_includes/configuration/rq-compression-parameters.mdx";
+
+インデックスタイプの選び方
+ +一般的には、ほとんどのユースケースで `hnsw` インデックスタイプが推奨されます。`flat` インデックスタイプは、マルチテナンシーのようにインデックスあたりのデータ（オブジェクト）数が少ないケースで推奨されます。最初に `flat` インデックスを構成し、オブジェクト数が指定のしきい値を超えたら自動で `hnsw` に変換する `dynamic` インデックスを選択することもできます。 + +各インデックスタイプの詳細と選択方法については [こちらのセクション](../../concepts/indexing/vector-index.md#which-vector-index-is-right-for-me) を参照してください。 + +
+
+
+インデックスのステータスを取得するには、[ノードステータス](/deploy/configuration/nodes.md) エンドポイントを確認します。
+
+Docker Compose 設定例
+ +```yaml +--- +services: + weaviate: + command: + - --host + - 0.0.0.0 + - --port + - "8080" + - --scheme + - http + image: cr.weaviate.io/semitechnologies/weaviate:||site.weaviate_version|| + restart: on-failure:0 + ports: + - 8080:8080 + - 50051:50051 + environment: + QUERY_DEFAULTS_LIMIT: 25 + QUERY_MAXIMUM_RESULTS: 10000 + AUTHENTICATION_ANONYMOUS_ACCESS_ENABLED: "true" + PERSISTENCE_DATA_PATH: "/var/lib/weaviate" + ENABLE_API_BASED_MODULES: "true" + CLUSTER_HOSTNAME: "node1" + AUTOSCHEMA_ENABLED: "false" + ASYNC_INDEXING: "true" +``` + +
+
+
+`nodes/shards/vectorQueueLength` フィールドは、まだインデックス作成が必要なオブジェクト数を示します。
+
+import Nodes from "/_includes/code/nodes.mdx";
+
+
+ +`vectorQueueLength` フィールドには、残りのインデックス対象オブジェクト数が表示されます。下記の例では、`TestArticle` シャードの ベクトル インデックスキューに 1000 件中 425 件が残っていることを示しています。 + +```json +{ + "nodes": [ + { + "batchStats": { + "ratePerSecond": 0 + }, + "gitHash": "e6b37ce", + "name": "weaviate-0", + "shards": [ + { + "class": "TestArticle", + "name": "nq1Bg9Q5lxxP", + "objectCount": 1000, + // highlight-start + "vectorIndexingStatus": "INDEXING", + "vectorQueueLength": 425 + // highlight-end + } + ], + "stats": { + "objectCount": 1000, + "shardCount": 1 + }, + "status": "HEALTHY", + "version": "1.22.1" + } + ] +} +``` + +
+
+
+
+## 複数ベクトル埋め込み（名前付きベクトル）
+
+import MultiVectorSupport from "/_includes/multi-vector-support.mdx";
+
+Node status の使用例
+
+`nodes/shards/vectorQueueLength` フィールドは、まだインデックス作成が必要なオブジェクト数を示します。
+
+import Nodes from "/_includes/code/nodes.mdx";
+
++ +`vectorQueueLength` フィールドには、残りのインデックス対象オブジェクト数が表示されます。下記の例では、`TestArticle` シャードの ベクトル インデックスキューに 1000 件中 425 件が残っていることを示しています。 + +```json +{ + "nodes": [ + { + "batchStats": { + "ratePerSecond": 0 + }, + "gitHash": "e6b37ce", + "name": "weaviate-0", + "shards": [ + { + "class": "TestArticle", + "name": "nq1Bg9Q5lxxP", + "objectCount": 1000, + // highlight-start + "vectorIndexingStatus": "INDEXING", + "vectorQueueLength": 425 + // highlight-end + } + ], + "stats": { + "objectCount": 1000, + "shardCount": 1 + }, + "status": "HEALTHY", + "version": "1.22.1" + } + ] +} +``` + +
Request"] + AuthCheck{"AuthN
Enabled?"} + AccessCheck{"Check
AuthZ"} + Access["✅ Access
Granted"] + Denied["❌ Access
Denied"] + + %% Define authentication method nodes + subgraph auth ["AuthN"] + direction LR + API["API Key"] + OIDC["OIDC"] + AuthResult{"Success?"} + end + + %% Define connections + Request --> AuthCheck + AuthCheck -->|"No"| AccessCheck + AuthCheck -->|"Yes"| auth + API --> AuthResult + OIDC --> AuthResult + AuthResult -->|"Yes"| AccessCheck + AuthResult -->|"No"| Denied + + AccessCheck -->|"Pass"| Access + AccessCheck -->|"Fail"| Denied + + %% Style nodes + style Request fill:#ffffff,stroke:#B9C8DF,color:#130C49 + style AuthCheck fill:#ffffff,stroke:#B9C8DF,color:#130C49 + style AccessCheck fill:#ffffff,stroke:#B9C8DF,color:#130C49 + style Access fill:#ffffff,stroke:#B9C8DF,color:#130C49 + style Denied fill:#ffffff,stroke:#B9C8DF,color:#130C49 + style API fill:#ffffff,stroke:#B9C8DF,color:#130C49 + style OIDC fill:#ffffff,stroke:#B9C8DF,color:#130C49 + style AuthResult fill:#ffffff,stroke:#B9C8DF,color:#130C49 + + %% Style subgraph + style auth fill:#ffffff,stroke:#130C49,stroke-width:2px,color:#130C49 +``` + +たとえば、API キー `jane-secret` でログインしたユーザーには管理者権限が付与され、API キー `ian-secret` でログインした別のユーザーには読み取り専用権限が付与される、といった運用が可能です。 + +まとめると、Weaviate では次の認証方法が利用できます。 + +- [API キー](/deploy/configuration/authentication.md#api-key-authentication) +- [OpenID Connect (OIDC)](/deploy/configuration/authentication.md#oidc-authentication) +- [匿名アクセス](/deploy/configuration/authentication.md#anonymous-access)（認証なし。開発・評価以外では非推奨） + +API キー認証と OIDC 認証は同時に有効化できます。 + +認証の設定方法は、Docker で実行するか Kubernetes で実行するかによって異なります。以下に両方の例を示します。 + +:::info Weaviate Cloud (WCD) では？ +Weaviate Cloud (WCD) インスタンスでは、OIDC と API キーアクセスによる認証があらかじめ構成されています。OIDC を用いて WCD の資格情報で [Weaviate に認証](../connections/connect-cloud.mdx) するか、[API キー](/cloud/manage-clusters/connect.mdx) を使用できます。 +::: + +### API キー + +Weaviate での API キーの利用方法については、[認証ガイド](/deploy/configuration/authentication.md#api-key-authentication)をご覧ください。 + +Weaviate への認証にはクライアントライブラリの使用を推奨します。詳細は [How-to: Connect](docs/weaviate/connections/index.mdx) を参照してください。 + +### OIDC + +Weaviate での OIDC 認証の利用方法については、[認証ガイド](/deploy/configuration/authentication.md#oidc-authentication)をご覧ください。 + +OIDC ではトークンを取得するためのさまざまな手法 _(フロー)_ が定義されています。適切な手法はトークン発行者の設定や要件により異なります。 + +OIDC 認証フロー自体の詳細は本ドキュメントの範囲外ですが、検討すべき主なオプションを以下に示します。 + +1. `client credentials flow` を使用してマシン間認可を行う（これはユーザーではなくアプリを認可します）。 + - Okta と Azure をアイデンティティプロバイダーとして検証済み。GCP は 2022 年 12 月時点で client credentials grant flow をサポートしていません。 + - Weaviate の Python クライアントはこの方式を直接サポートします。 + - client credentials flow には通常リフレッシュトークンが付随せず、クライアントに資格情報を保存してトークン失効時に新しいアクセストークンを取得します。 +2. `resource owner password flow` を使用して、[Weaviate Cloud](/cloud/manage-clusters/connect) のような信頼済みアプリケーションに適用する。 +3. トークン発行者が Azure である場合やパスワードの露出を避けたい場合には `hybrid flow` を使用する。 + +### Weaviate クライアントのサポート + +Weaviate Database が `client credentials grant` フローまたは `resource owner password flow` を使用するよう構成されている場合、Weaviate クライアントは認証フローを組み込んだ接続を生成できます。 + +import OIDCExamples from '/\_includes/code/connections/oidc-connect.mdx'; + +
+
+
+### リクエストに Bearer を追加する
+
+import APIKeyUsage from '/\_includes/clients/api-token-usage.mdx';
+
++ トークンを手動で取得して送信する +
+ +ワークフローによってはトークンを手動で取得したい場合があります。以下に resource owner password flow と hybrid flow での手順を示します。 + +#### Resource owner password flow + +1. `WEAVIATE_INSTANCE_URL/v1/.well-known/openid-configuration` に GET リクエストを送り、Weaviate の OIDC 設定 (`wv_oidc_config`) を取得します。`WEAVIATE_INSTANCE_URL` は実際のインスタンス URL に置き換えてください。 +2. `wv_oidc_config` から `clientId` と `href` を取得します。 +3. `href` に GET リクエストを送り、トークン発行者の OIDC 設定 (`token_oidc_config`) を取得します。 +4. `token_oidc_config` にオプションの `grant_types_supported` キーが含まれる場合、値のリストに `password` があることを確認します。 + - `password` が無い場合、トークン発行者が `resource owner password flow` に対応していない可能性があります。トークン発行者を再設定するか別の方法を利用してください。 + - `grant_types_supported` キーが無い場合、トークン発行者に `resource owner password flow` がサポートされているか問い合わせてください。 +5. `token_oidc_config` の `token_endpoint` に対し、以下の内容で POST リクエストを送信します。 + - `{"grant_type": "password", "client_id": client_id, "username": USERNAME, "password": PASSWORD}` + `USERNAME` と `PASSWORD` は実際の値に置き換えてください。 +6. レスポンス (`token_resp`) を解析し、`access_token` を取得します。これが Bearer トークンです。 + +#### Hybrid flow + +1. `WEAVIATE_INSTANCE_URL/v1/.well-known/openid-configuration` に GET リクエストを送り、Weaviate の OIDC 設定 (`wv_oidc_config`) を取得します。`WEAVIATE_INSTANCE_URL` は実際のインスタンス URL に置き換えてください。 +2. `wv_oidc_config` から `clientId` と `href` を取得します。 +3. `href` に GET リクエストを送り、トークン発行者の OIDC 設定 (`token_oidc_config`) を取得します。 +4. `authorization_endpoint` を基に以下のパラメータで URL (`auth_url`) を構築します。 + - `{authorization_endpoint}`?client_id=`{clientId}`&response_type=code%20id_token&response_mode=fragment&redirect_url=`{redirect_url}`&scope=openid&nonce=abcd + - `redirect_url` はトークン発行者に[事前登録](https://openid.net/specs/openid-connect-core-1_0.html#AuthRequest)されている必要があります。 +5. ブラウザで `auth_url` にアクセスし、必要に応じてログインします。成功するとトークン発行者はブラウザを `redirect_url` にリダイレクトし、`id_token` などのパラメータを付与します。 +6. `id_token` の値を取得します。これが Bearer トークンです。 + +#### コード例 + +以下は OIDC トークンを取得する例です。 + +```python +import requests +import re + +url = "http://localhost:8080" # <-- Replace with your actual Weaviate URL + +# Get Weaviate's OIDC configuration +weaviate_open_id_config = requests.get(url + "/v1/.well-known/openid-configuration") +if weaviate_open_id_config.status_code == "404": + print("Your Weaviate instance is not configured with openid") + +response_json = weaviate_open_id_config.json() +client_id = response_json["clientId"] +href = response_json["href"] + +# Get the token issuer's OIDC configuration +response_auth = requests.get(href) + +if "grant_types_supported" in response_auth.json(): + # For resource owner password flow + assert "password" in response_auth.json()["grant_types_supported"] + + username = "username" # <-- Replace with the actual username + password = "password" # <-- Replace with the actual password + + # Construct the POST request to send to 'token_endpoint' + auth_body = { + "grant_type": "password", + "client_id": client_id, + "username": username, + "password": password, + } + response_post = requests.post(response_auth.json()["token_endpoint"], auth_body) + print("Your access_token is:") + print(response_post.json()["access_token"]) +else: + # For hybrid flow + authorization_url = response_auth.json()["authorization_endpoint"] + parameters = { + "client_id": client_id, + "response_type": "code%20id_token", + "response_mode": "fragment", + "redirect_url": url, + "scope": "openid", + "nonce": "abcd", + } + # Construct 'auth_url' + parameter_string = "&".join([key + "=" + item for key, item in parameters.items()]) + response_auth = requests.get(authorization_url + "?" + parameter_string) + + print("To login, open the following url with your browser:") + print(authorization_url + "?" + parameter_string) + print( + "After the login you will be redirected, the token is the 'id_token' parameter of the redirection url." + ) + + # You could use this regular expression to parse the token + resp_txt = "Redirection URL" + token = re.search("(?<=id_token=).+(?=&)", resp_txt)[0] + +print("Set as bearer token in the clients to access Weaviate.") +``` + +#### トークンの有効期間 + +トークンの有効期限はトークン発行者によって設定可能です。有効期限前に新しいトークンを取得するワークフローを確立することを推奨します。 + +Scheme?"} + + subgraph rbac ["RBAC Authorization"] + direction TB + AdminRole["Admin Role"] + ViewerRole["Viewer Role"] + CustomRole["Custom Roles"] + + Perms1["Full Access
All Operations"] + Perms2["Read-only
Access"] + Perms3["Custom
Permissions"] + + AdminRole --> Perms1 + ViewerRole --> Perms2 + CustomRole --> Perms3 + end + + subgraph adminlist ["Admin List Authorization"] + direction TB + AdminUser["Admin Users"] + ReadOnly["Read-only Users"] + AnonUser["Anonymous Users
(Optional)"] + + AllPerms["Full Access
All Operations"] + ReadPerms["Read-only
Access"] + + AdminUser --> AllPerms + ReadOnly --> ReadPerms + AnonUser -.->|"If enabled"| AllPerms + AnonUser -.->|"If enabled"| ReadPerms + end + + subgraph undiffer ["Undifferentiated Access"] + AllAccess["Full Access
All Operations"] + end + + AuthScheme -->|"RBAC"| rbac + AuthScheme -->|"Admin List"| adminlist + AuthScheme -->|"Undifferentiated"| undiffer + + %% Style nodes + style User fill:#f9f9f9,stroke:#666 + style AuthScheme fill:#f5f5f5,stroke:#666 + style AnonUser fill:#f9f9f9,stroke:#666,stroke-dasharray: 5 5 + + %% Style subgraphs + style rbac fill:#e6f3ff,stroke:#4a90e2 + style adminlist fill:#e6ffe6,stroke:#2ea44f + style undiffer fill:#fff0e6,stroke:#ff9933 +``` + +Weaviate で利用できる認可方式は以下のとおりです。 + +- [ロールベースアクセス制御 (RBAC)](../../deploy/configuration/authorization.md#role-based-access-control-rbac) +- [管理者リスト](../../deploy/configuration/authorization.md#admin-list) +- [区別なしアクセス](../../deploy/configuration/authorization.md#undifferentiated-access) + +Admin リスト方式では、[匿名ユーザー](../../deploy/configuration/authorization.md#anonymous-users) に権限を付与することも可能です。 + +認可の設定方法は、Docker で実行するか Kubernetes で実行するかによって異なります。以下に両方の例を示します。 + + + +## 追加リソース + +- [構成: 認証](/deploy/configuration/authentication.md) +- [構成: 認可](/deploy/configuration/authorization.md) +- [構成: 環境変数 - 認証と認可](/deploy/configuration/env-vars/index.md#authentication-and-authorization) + +## 質問とフィードバック + +import DocsFeedback from '/\_includes/docs-feedback.mdx'; + +
+
+
+## 新規コレクションでの圧縮の有効化
+
+コレクション作成時に、コレクション定義で BQ を有効化できます。
+
+追加情報
+ +- [インデックス タイプを設定する方法](../../manage-collections/vector-config.mdx#set-vector-index-type) + ++これは、この機能がまだ開発中であり、将来のリリースで変更される可能性があることを意味します。互換性が破壊される変更が含まれる場合もあります。 +**現時点では本番環境での使用は推奨しません。** + +::: + +[**回転量子化 ( RQ )**](../../concepts/vector-quantization.md#rotational-quantization) は、4 倍の圧縮率でほぼ完璧なリコール ( ほとんどのデータセットで 98-99% ) を維持する、高速で学習不要なベクトル圧縮手法です。 + +:::note HNSW のみ +RQ は現在、フラットインデックス型をサポートしていません。 +::: + +## 新しいコレクションでの圧縮の有効化 + +RQ はコレクション作成時に、コレクション定義を通じて有効化できます。 + +
+
+ +## デプロイ ガイド + +### 設定 + +export const configurationData = [ + { + title: "バックアップ", + description: + " Weaviate インスタンスのバックアップとリストア手順を設定します。", + link: "/deploy/configuration/backups", + icon: "fas fa-save", + }, + { + title: "環境変数", + description: + "接続文字列、ポート、セキュリティ資格情報のために環境変数を設定します。", + link: "/deploy/configuration/env-vars", + icon: "fas fa-cog", + }, + { + title: "水平スケーリング", + description: "高可用性のためにデプロイメントをスケールします。", + link: "/deploy/configuration/horizontal-scaling", + icon: "fas fa-arrow-up-right-dots", + }, + { + title: "永続化", + description: "バックアップを有効化し、保持ポリシーを設定します。", + link: "/deploy/configuration/persistence", + icon: "fas fa-floppy-disk", + }, + { + title: "テナント オフロード", + description: + "マルチテナント構成で非アクティブなテナントをオフロードしてリソース使用量を管理します。", + link: "/deploy/configuration/tenant-offloading", + icon: "fas fa-pause-circle", + }, +]; + +
+
+ +### 認可と認証 + +export const authData = [ + { + title: "認証", + description: "デプロイメントのアクセス管理を設定します。", + link: "/deploy/configuration/authentication", + icon: "fas fa-shield-halved", + }, + { + title: "認可", + description: "ユーザー ロールと権限を定義および管理します。", + link: "/deploy/configuration/authorization", + icon: "fas fa-user-shield", + }, + { + title: "RBAC の設定", + description: + "詳細な権限のためにロールベースアクセス制御を設定します。", + link: "/deploy/configuration/configuring-rbac", + icon: "fas fa-users-cog", + }, + { + title: "OIDC 設定", + description: + " Weaviate と安全に連携する OpenID Connect を設定します。", + link: "/deploy/configuration/oidc", + icon: "fas fa-lock", + }, +]; + +
+
+ + +### レプリケーション + +export const replicationData = [ + { + title: "レプリケーション", + description: + "高可用性と障害耐性を実現するため、ノード間でデータのレプリケーションを設定します。", + link: "/deploy/configuration/replication", + icon: "fas fa-copy", + }, + { + title: "非同期レプリケーション", + description: + "分散クラスタ内のノード間で最終的な整合性を確保します。", + link: "/deploy/configuration/async-rep", + icon: "fas fa-clone", + }, +]; + +
+
+ +### クラスタ情報 + +export const clusterInfoData = [ + { + title: "クラスタメタデータ", + description: "Weaviate クラスタに関するメタデータへアクセスし、管理します。", + link: "/deploy/configuration/meta", + icon: "fas fa-info-circle", + }, + { + title: "モニタリング、メトリクス、およびログ", + description: "Weaviate インスタンスの状態と健全性を監視します。", + link: "/deploy/configuration/monitoring", + icon: "fas fa-chart-bar", + }, + { + title: "クラスタノードデータ", + description: "クラスタ内の各ノードに関するデータを表示および管理します。", + link: "/deploy/configuration/nodes", + icon: "fas fa-server", + }, + { + title: "ステータス", + description: "Weaviate インスタンスの状態と健全性を監視します。", + link: "/deploy/configuration/status", + icon: "fas fa-heartbeat", + }, + { + title: "テレメトリ", + description: + "Weaviate のテレメトリがどのように機能するかを理解し、設定方法を確認します。", + link: "/deploy/configuration/telemetry", + icon: "fas fa-chart-line", + }, +]; + +
+
+ +## 質問とフィードバック + +import DocsFeedback from "/_includes/docs-feedback.mdx"; + +
| リソースタイプ | +アクセスレベル | +リソース固有のオプション制約 | +
|---|---|---|
| + + ロール管理 + + | +
+ ロールの作成
+ ロール情報の読み取り
+ ロール権限の更新
+ ロールの削除
+ |
+
+
+
+ ロール名フィルタ: +
+
+ ロールスコープ: +
|
+
| + + ユーザー管理 + + | +
+ ユーザーの作成
+ ユーザー情報の読み取り
+ ユーザー API キーの更新/ローテート
+ ユーザーの削除
+
+ ユーザーへのロール付与および取り消し
+
+ |
+
+
+
+ ユーザー名フィルタ: +
|
+
|
+
+ コレクション
+
+ + + （コレクション定義のみ、データオブジェクトの権限は別） + + |
+
+ コレクションの作成
+ コレクション定義の読み取り
+ コレクション定義の更新
+ コレクションの削除
+ |
+
+ コレクション名フィルタ: +
|
+
| + + テナント + + | +
+ テナントの作成
+ テナント情報の読み取り
+ テナントの更新
+ テナントの削除
+ |
+
+ コレクション名フィルタ: +
テナント名フィルタ: +
|
+
| + + データオブジェクト + + | +
+ オブジェクトの作成
+ オブジェクトの読み取り
+ オブジェクトの更新
+ オブジェクトの削除
+ |
+
+ コレクション名フィルタ: +
テナント名フィルタ: +
|
+
| + + バックアップ + + | +バックアップの管理 | +
+ コレクション名フィルタ: +
|
+
| + + クラスター データアクセス + + | +クラスター メタデータの読み取り | ++ |
| + + ノード データアクセス + + | +指定した詳細度でノードメタデータを読み取り | +
+
+
+ 詳細度 (Verbosity level): +
+
+
+ コレクション名フィルタ（
|
+
| + + コレクションエイリアス + + | +
+ エイリアスの作成
+ エイリアスの読み取り
+ エイリアスの更新
+ エイリアスの削除
+ |
+
+ エイリアス名フィルタ: +
|
+
| + + レプリケーション + + | +
+ レプリケーションの作成
+ レプリケーションの読み取り
+ レプリケーションの更新
+ レプリケーションの削除
+ |
+
+ コレクション名フィルタ: +
シャード名フィルタ: +
|
+
+ , active=True),
+ UserDB(user_id='root-user', role_names=['root'], user_type=, active=True)
+]
+```
+
+
+
+### データベースユーザーの作成 {#create-a-user}
+
+この例では `custom-user` というユーザーを作成します。
+
+結果例
+ +```text +[ + UserDB(user_id='custom-user', role_names=['viewer', 'testRole'], user_type=
+
+
+
+
+### データベースユーザーの削除
+
+この例では `custom-user` というユーザーを削除します。
+
+結果例
+ +```text +RXF1dU1VcWM1Q3hvVndYT0F1OTBOTDZLZWx0ME5kbWVJRVdPL25EVW12QT1fMXlDUEhUNjhSMlNtazdHcV92MjAw +``` + +
+
+
+## データベースユーザー：権限管理 {#user-permissions-management}
+
+### データベースユーザーへのロール割り当て
+
+カスタムユーザーには、ゼロ個を含む任意の数のロールを割り当てることができます。ロールはあらかじめ定義されたロール（例： `viewer`）でも、カスタムロールでもかまいません。
+
+この例では、カスタムロール `testRole` と、事前定義済みロール `viewer` を `custom-user` に割り当てます。
+
+実行結果の例
+ +```text +SSs3WGVFbUxMVFhlOEsxVVMrQVBzM1VhQTJIM2xXWngwY01HaXFYVnM1az1fMXlDUEhUNjhSMlNtazdHcV92MjAw +``` + +
+
+
+## OIDC ユーザー: 権限管理 {#oidc-user-permissions-management}
+
+[OIDC](/deploy/configuration/oidc.md) を使用すると、アイデンティティ プロバイダーがユーザーを認証してトークンを発行し、それを Weaviate が検証します。これらのユーザーには RBAC を用いてカスタム権限を持つロールを割り当てられます。
+
+### OIDC ユーザーへのロール割り当て
+
+OIDC ユーザーには、ロールを 0 個以上割り当てることができます。ロールはあらかじめ定義されたロール（例: `viewer`）でも、カスタム ロールでも構いません。
+
+この例では、カスタム ロール `testRole` と、定義済みロール `viewer` を `custom-user` に割り当てます。
+
+結果例
+ +```text +testRole +viewer +``` + +
+
+
+
+
+## 追加リソース
+
+- RBAC ：概要](./index.mdx)
+- RBAC ：設定](/deploy/configuration/configuring-rbac.md)
+- RBAC ：ロールの管理](./manage-roles.mdx)
+
+## 質問とフィードバック
+
+import DocsFeedback from '/_includes/docs-feedback.mdx';
+
+結果例
+ +```text +testRole +viewer +``` + ++
+ +## その他のガイドとチュートリアル + +export const otherGuidesCardsData = [ + { + title: "デプロイ ガイド", + description: "本番環境で Weaviate をインストールして設定する方法を学べます。", + link: "/deploy/configuration", + icon: "fa fa-database", + }, + { + title: "チュートリアル", + description: "ステップバイステップのガイドと実践例。", + link: "/weaviate/tutorials", + icon: "fas fa-chalkboard-teacher", + }, + { + title: "スターター ガイド", + description: " Weaviate の使い方を学ぶ新規ユーザー向けのガイドとヒント。", + link: "/weaviate/starter-guides", + icon: "fas fa-compass", + }, + { + title: "レシピ", + description: + "さまざまなユースケースと機能を紹介する Jupyter Notebooks。", + link: "/weaviate/recipes", + icon: "fas fa-scroll", + }, +]; + +
+
\ No newline at end of file diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/index.mdx b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/index.mdx new file mode 100644 index 000000000..5bf42f4d3 --- /dev/null +++ b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/index.mdx @@ -0,0 +1,191 @@ +--- +title: Weaviate データベース +sidebar_position: 0 +description: "オープンソースの AI ネイティブ ベクトル データベース、 Weaviate の完全なドキュメント。" +image: og/docs/home.jpg +hide_table_of_contents: false +# tags: [] +--- + +import CardsSection from "/src/components/CardsSection"; +import DeploymentCards from "/src/components/DeploymentCards"; +import styles from "/src/components/CardsSection/styles.module.scss"; +import secondaryNavbarItems from "/secondaryNavbar.js"; + +export const welcomeCardsData = [ + { + id: "new", + title: " Weaviate を初めてお使いですか？", + description: ( + <> + まずは{" "} + クイックスタート チュートリアル から始めましょう。15〜30 分で完了するエンドツーエンドのデモです。 + + ), + link: "/weaviate/quickstart", + icon: "fas fa-star", // use Font Awesome CSS class + }, +]; + + Weaviate _(we-vee-eight)_ はオープンソースの AI ネイティブ ベクトル データベースです。ここでは Weaviate を使い始める方法と、 Weaviate の機能を最大限に活用する方法をご案内します。 + +
+ +## 適切なドキュメントとリソースを見つける + + Weaviate のドキュメントは、サービスと機能ごとに複数のユニットに分かれています。 + +{/* Filter out items where isSmall is true */} +{(() => { + const regularItems = Object.fromEntries( + Object.entries(secondaryNavbarItems).filter(([, value]) => !value.isSmall) + ); + +
+ return
+})()} + +## Weaviate とは + + Weaviate は **オープンソースのベクトル データベース** で、データオブジェクトとそのベクトル埋め込みの両方を保存・インデックス化します。このアーキテクチャにより、キーワード一致のみに依存せず、ベクトルにエンコードされた意味を比較する高度なセマンティック検索が可能になります。主な機能は次のとおりです。 + +- **[セマンティック検索とハイブリッド検索](./search/basics.md)** + ベクトルでデータをインデックス化することで、セマンティック類似度とキーワードの両方に基づく検索をサポートします。検索語が保存されたデータと完全に一致しない場合でも、より関連性の高い結果を返します。 + +- **[検索拡張生成 (RAG)](./search/generative.md)** + Weaviate は RAG ワークフローの堅牢なバックエンドとして機能します。ベクトル検索で取得したコンテキストを生成モデルに提供し、正確でコンテキストに沿った回答生成を容易にします。 + +- **[エージェント駆動型ワークフロー](../agents/index.md)** + 柔軟な API と最新 AI モデルとの統合により、インテリジェント エージェントに依存するアプリケーションの基盤としても適しています。これらのエージェントは Weaviate に保存されたデータのセマンティックな洞察を活用して意思決定やアクションのトリガーを行えます。 + +## Weaviate エコシステム + + Weaviate エコシステムは、クラウドネイティブな AI 搭載アプリケーション構築を中心とした複数のツールとサービスで構成されています。 + +import WeaviateEcosystem from "@site/static/img/weaviate-ecosystem.png"; + +
+ +上図のハイレベルな概要のとおり、エコシステムは次の要素から成ります。 + +- **[Weaviate Database](#what-is-weaviate)**: オブジェクトとベクトルの両方を保存するオープンソースのベクトル データベース。 +- **[Weaviate Cloud](/cloud)**: Weaviate ベクトル データベースのフルマネージド クラウド デプロイ。 +- **[Weaviate Agents](/agents)**: Weaviate Cloud ユーザー向けのプリビルド エージェント サービス。 +- **[Weaviate Embeddings](/cloud/embeddings)**: Weaviate Cloud ユーザー向けのマネージド埋め込み推論サービス。 +- **[外部モデルプロバイダー](/weaviate/model-providers)**: Weaviate と統合できるサードパーティーモデル。 + +## デプロイ方法を選ぶ + +export const deploymentCardsData = [ + { + tabs: [ + { label: "評価", active: true }, + { label: "デプロイ", active: true }, + { label: "本番", active: true }, + ], + header: "Weaviate Cloud", + bgImage: "/img/site/hex-weaviate.svg", + bgImageLight: "/img/site/hex-weaviate-light.svg", + listItems: [ + "評価 (サンドボックス) から本番まで", + "サーバーレス (インフラは Weaviate が管理)", + " (オプション) データ レプリケーション (高可用性)", + " (オプション) ゼロダウンタイム アップデート", + ], + button: { + text: "WCD インスタンスを設定", + link: "/cloud/manage-clusters/create", + }, + }, + { + tabs: [ + { label: "評価", active: true }, + { label: "デプロイ", active: true }, + { label: "本番", active: false }, + ], + header: "Docker", + bgImage: "/img/site/docker-doc-icon.svg", + bgImageLight: "/img/site/docker-doc-icon-light.svg", + listItems: [ + "ローカルでの評価 & 開発向け", + "ローカル推論コンテナ", + "マルチモーダル モデル", + "カスタマイズ可能な構成", + ], + button: { + text: "Docker で Weaviate を実行", + link: "/deploy/installation-guides/docker-installation", + }, + }, + { + tabs: [ + { label: "評価", active: false }, + { label: "デプロイ", active: true }, + { label: "本番", active: true }, + ], + header: "Kubernetes", + bgImage: "/img/site/kubernetes-doc-icon.svg", + bgImageLight: "/img/site/kubernetes-doc-icon-light.svg", + listItems: [ + "開発から本番まで対応", + "ローカル推論コンテナ", + "マルチモーダル モデル", + "カスタマイズ可能な構成", + "セルフデプロイまたは Marketplace デプロイ", + " (オプション) ゼロダウンタイム アップデート", + ], + button: { + text: "Kubernetes で Weaviate を実行", + link: "/deploy/installation-guides/k8s-installation", + }, + }, + { + tabs: [ + { label: "評価", active: true }, + { label: "デプロイ", active: false }, + { label: "本番", active: false }, + ], + header: "Embedded Weaviate", + bgImage: "/img/site/hex-weaviate.svg", + bgImageLight: "/img/site/hex-weaviate-light.svg", + listItems: [ + "ベーシックかつ迅速な評価向け", + "Python や JS/TS から手軽に Weaviate を起動", + ], + button: { + text: "Embedded Weaviate を実行", + link: "/deploy/installation-guides/embedded", + }, + }, +]; + +
+この機能は現在も開発中であり、将来のリリースで変更される可能性があります。互換性が失われる変更が入ることもあります。 +**現時点では、本番環境での使用はおすすめしません。** + +::: + +コレクション エイリアスを使用すると、コレクションに別名を設定できます。これにより、ダウンタイムなしでのコレクション定義の変更、A/B テスト、あるいはより分かりやすい名前の提供などが可能になります。エイリアスはコレクションへの参照として機能し、エイリアス名でクエリを実行すると、 Weaviate が自動的に対象コレクションへリクエストをルーティングします。 + +## エイリアスの作成 + +エイリアスを作成するには、エイリアス名と、それが参照する対象コレクションを指定します。 + +
+
+ API リファレンス: REST: スキーマ
+
+- [利用可能なデータ型](../config-refs/datatypes.md)
+
+
+
++ 追加情報 +
+ +プロパティを使用して、データ型、インデックス特性、トークナイゼーションなどの追加パラメーターを設定できます。 + +詳細は以下を参照してください。 + +- [リファレンス: 設定: スキーマ](/weaviate/config-refs/collections.mdx) +-
+
+
+サンプル設定: Text objects
+ +この Text objects 向け設定では、以下を定義しています。 + +- コレクション名 ( `Article` ) +- ベクトライザー モジュール ( `text2vec-cohere` ) とモデル ( `embed-multilingual-v2.0` ) +- プロパティ セット ( `title` 、 `body` ) のデータ型は `text` + +```json +{ + "class": "Article", + "vectorizer": "text2vec-cohere", + "moduleConfig": { + "text2vec-cohere": { + "model": "embed-multilingual-v2.0" + } + }, + "properties": [ + { + "name": "title", + "dataType": ["text"] + }, + { + "name": "body", + "dataType": ["text"] + } + ] +} +``` + +
+
+
+サンプル設定: Nested objects
+ +:::info `v1.22` で追加 +::: + +この Nested objects 向け設定では、以下を定義しています。 + +- コレクション名 ( `Person` ) +- ベクトライザー モジュール ( `text2vec-huggingface` ) +- プロパティ セット ( `last_name` 、 `address` ) + - `last_name` は `text` データ型 + - `address` は `object` データ型 +- `address` プロパティには 2 つのネストされたプロパティ ( `street` と `city` ) がある + +```json +{ + "class": "Person", + "vectorizer": "text2vec-huggingface", + "properties": [ + { + "dataType": ["text"], + "name": "last_name" + }, + { + "dataType": ["object"], + "name": "address", + "nestedProperties": [ + { "dataType": ["text"], "name": "street" }, + { "dataType": ["text"], "name": "city" } + ] + } + ] +} +``` + +
+
+
+サンプル設定: Generative search
+ +この [検索拡張生成](../search/generative.md) 向け設定では、以下を定義しています。 + +- コレクション名 ( `Article` ) +- デフォルト ベクトライザー モジュール ( `text2vec-openai` ) +- 生成モジュール ( `generative-openai` ) +- プロパティ セット ( `title` 、 `chunk` 、 `chunk_no` 、 `url` ) +- `url` プロパティのトークナイズ オプション +- `url` プロパティの ベクトル 化オプション (skip ベクトル 化) + +```json +{ + "class": "Article", + "vectorizer": "text2vec-openai", + "vectorIndexConfig": { + "distance": "cosine" + }, + "moduleConfig": { + "generative-openai": {} + }, + "properties": [ + { + "name": "title", + "dataType": ["text"] + }, + { + "name": "chunk", + "dataType": ["text"] + }, + { + "name": "chunk_no", + "dataType": ["int"] + }, + { + "name": "url", + "dataType": ["text"], + "tokenization": "field", + "moduleConfig": { + "text2vec-openai": { + "skip": true + } + } + } + ] +} +``` + +
+
+
+
+
+## すべてのコレクション定義の読み取り
+
+データベースのスキーマを取得して、すべてのコレクション定義を取得します。
+
+サンプル設定: Images
+ +この Image search 向け設定では、以下を定義しています。 + +- コレクション名 ( `Image` ) +- ベクトライザー モジュール ( `img2vec-neural` ) + - `image` プロパティで画像データを保存するようコレクションを設定 +- ベクトル インデックス距離指標 ( `cosine` ) +- プロパティ セット ( `image` ) で、 `image` プロパティを `blob` に設定 + +画像検索については、[Image search](../search/image.md) を参照してください。 + +```json +{ + "class": "Image", + "vectorizer": "img2vec-neural", + "vectorIndexConfig": { + "distance": "cosine" + }, + "moduleConfig": { + "img2vec-neural": { + "imageFields": ["image"] + } + }, + "properties": [ + { + "name": "image", + "dataType": ["blob"] + } + ] +} +``` + +
+
+ +新しいプロパティをデータ インポート後に追加すると、インデックスに影響があります。
+ +プロパティ インデックスはインポート時に構築されます。データをインポートした後に新しいプロパティを追加した場合、既存オブジェクトのインデックスは自動的に更新されず、新しいプロパティ インデックスに追加されません。つまり、インデックスには新しいオブジェクトしか含まれないため、クエリ結果が期待どおりにならない可能性があります。
+ +コレクション内のすべてのオブジェクトを含むインデックスを作成するには、次のいずれかを行ってください。 + +- 新規コレクション: オブジェクトをインポートする前に、コレクションのすべてのプロパティを追加します。 +- 既存コレクション: コレクションから既存データをエクスポートし、新しいプロパティを含めて再作成し、データを更新済みコレクションにインポートします。 + +現在、プロパティ追加後にデータを再インデックスできるようにする再インデックス API を開発中です。今後のリリースで利用可能になる予定です。 + +
+
+import CodeSchemaAddProperties from "/_includes/code/schema.things.properties.add.mdx";
+
++ データインポート後のインデックス制限 +
+ +データをインポートする前にコレクションのプロパティを追加する場合、インデックスの制限はありません。+ +新しいプロパティをデータ インポート後に追加すると、インデックスに影響があります。
+ +プロパティ インデックスはインポート時に構築されます。データをインポートした後に新しいプロパティを追加した場合、既存オブジェクトのインデックスは自動的に更新されず、新しいプロパティ インデックスに追加されません。つまり、インデックスには新しいオブジェクトしか含まれないため、クエリ結果が期待どおりにならない可能性があります。
+ +コレクション内のすべてのオブジェクトを含むインデックスを作成するには、次のいずれかを行ってください。 + +- 新規コレクション: オブジェクトをインポートする前に、コレクションのすべてのプロパティを追加します。 +- 既存コレクション: コレクションから既存データをエクスポートし、新しいプロパティを含めて再作成し、データを更新済みコレクションにインポートします。 + +現在、プロパティ追加後にデータを再インデックスできるようにする再インデックス API を開発中です。今後のリリースで利用可能になる予定です。 + +
+
+
+## クロスリファレンス プロパティの定義
+
+クロスリファレンスを追加する前に、その参照プロパティをコレクション定義に含めておきます。
+
++ 追加情報 +
+ +注記: +- クロスリファレンスは、ソースまたはターゲットオブジェクトのオブジェクト ベクトルには影響しません。 +- マルチテナンシ コレクションでは、次のいずれかに対してクロスリファレンスを設定できます: + - マルチテナンシでないコレクション オブジェクト + - 同じテナントに属するマルチテナンシ コレクション オブジェクト + +
+
+
+## クロスリファレンスの更新
+
+クロスリファレンスのターゲットは更新できます。
+
++ ターゲットオブジェクトが削除された場合はどうなりますか？ +
+ +`to` オブジェクトが削除された場合はどうなりますか？ +オブジェクトが削除されても、それへのクロスリファレンスはそのまま残ります。[インラインフラグメント構文を使用した Get クエリ](../search/basics.md#retrieve-cross-referenced-properties)は、既存のクロスリファレンスオブジェクトに含まれるフィールドのみを正しく取得しますが、[ID でオブジェクトを取得](../manage-objects/read.mdx#get-an-object-by-id)した場合は、参照先のオブジェクトが存在するかどうかに関係なく、すべてのクロスリファレンスが表示されます。 + ++
+ +## コレクションの仕組み + +Weaviate のコレクションは、データ保存とベクトル検索を可能にする複数の主要コンポーネントと設定によって定義されます。 +主な要素は次のとおりです: + +import CollectionsSimplified from "/docs/weaviate/manage-collections/img/weaviate-collections-simplified.png"; +import Link from "@docusaurus/Link"; + +export const textColumnContent = ( +
-
+
-
+ オブジェクト:
+
-
+
- + コレクションに保存される基本単位です。各オブジェクトはデータプロパティを持ち、その意味を表すベクトル埋め込みを含みます。（詳細は{" "} + + 'How-to: オブジェクト管理' ガイド + {" "} + をご覧ください）。 + +
+ -
+ AI モデル統合:
+
-
+
- + + + ベクトライザー（埋め込みモデル） + + + : オブジェクトのプロパティからベクトル埋め込みを生成し、セマンティック検索を可能にします。 + +
- + + + 生成モデル + + + : 取得したデータと生成 AI の機能を組み合わせて RAG（検索拡張生成）を実行するために使用します。 + +
- + + + リランカーモデル + + + : 検索クエリの初期結果を再順位付けして検索の関連度を高めます。 + +
+ -
+ 設定項目:{" "}
+ {/* Changed heading from "Other settings" */}
+
-
+
- + + + 転置インデックス + + + : キーワード検索を最適化し、テキスト オブジェクト プロパティをインデックス化して高速なルックアップを実現します。 + +
- + + + マルチテナンシー + + + : 同じコレクション インスタンス内で、複数の異なるテナント（ユーザーやグループ）のデータを安全に保存できるようにします。 + +
+
+
+
+追加情報
+ + これらの例では、ポート番号の異なる 2 つの Weaviate インスタンスを使用しています。同じ手順は、別々のインスタンス間でも利用できます。 + + Weaviate におけるクロスリファレンスはプロパティです。そのため、オブジェクトの一部として [クロスリファレンスを取得](./cross-references.mdx#read-cross-references) できます。 + +
+
+ +クロスリファレンスはプロパティであるため、カーソルベースのエクスポートに含まれます。 +リストア時には、参照先 (「to」オブジェクト) を先に復元し、その後でクロスリファレンスを含む (「from」オブジェクト) を復元してください。 + +
+
+## コレクション → コレクション
+
+#### Step 1: 送信先コレクションの作成
+
+送信先インスタンスに、ソースインスタンスのコレクション (例: `WineReview`) と同じ名前のコレクションを作成します。
+
+クロスリファレンスはどうなりますか？
+ +これらのスクリプトはクロスリファレンスも移行します。 ++ +クロスリファレンスはプロパティであるため、カーソルベースのエクスポートに含まれます。 +リストア時には、参照先 (「to」オブジェクト) を先に復元し、その後でクロスリファレンスを含む (「from」オブジェクト) を復元してください。 + +
+ migrate_data_from_weaviate_to_weaviate 関数を呼び出してデータを移行します。
+
+
+ migrate_data_from_weaviate_to_weaviate 関数が呼び出され、データを移行します。
+
+
+ migrate_data_from_weaviate_to_weaviate 関数が呼び出され、データを移行します。
+
+
+ migrate_data_from_weaviate_to_weaviate 関数が呼び出され、データを移行します。
+
+
+
+
+## シャーディング設定
+
+コレクションごとにシャーディングを構成します。
+
++ 追加情報 +
+ +レプリケーションファクターを 1 より大きく設定するには、[マルチノード デプロイメント](/deploy/installation-guides/docker-installation.md#multi-node-configuration) を使用してください。 + +設定パラメーターの詳細については、次を参照してください: + +- [Replication](/weaviate/config-refs/collections.mdx#replication) + +
+
+
+
+
+## シャードの検査（コレクション）
+
+インデックス自体は複数のシャードで構成される場合があります。
+
+import CodeSchemaShardsGet from "/_includes/code/howto/manage-data.shards.inspect.mdx";
+
++ 追加情報 +
+ +設定パラメーターの詳細については、次を参照してください: + +- [Sharding](/weaviate/config-refs/collections.mdx#sharding) + +
+
+
+:::info `v1.26` でテナントステータスの名称変更
+`v1.26` では、`HOT` ステータスは `ACTIVE` に、`COLD` ステータスは `INACTIVE` に変更されました。
+:::
+
+## マルチテナンシーの有効化
+
+デフォルトでは マルチテナンシー は無効です。マルチテナンシーを有効にするには、コレクション定義で `multiTenancyConfig` を設定します。
+
++ マルチテナンシーの対応状況 +
+ +- `v1.20` でマルチテナンシーを追加 +- `v1.21` でテナントのアクティビティステータス設定を追加 +- `v1.25.0` でバッチインポート時の自動テナント作成を追加 +- `v1.25.2` で単一オブジェクト挿入時の自動テナント作成を追加 +- `v1.25.2` で自動テナントアクティベーションを追加 + +
+
+ +
+
++ 追加情報 +
+ +import TenantNameFormat from "/_includes/tenant-names.mdx"; + +テナントステータスは Weaviate `1.21` 以降で利用可能です。 + ++ +
+
+
+## Tenant States 概要
+
+テナント状態には `Active` 、 `Inactive` 、 `Offloaded` の 3 種類があります。
+
+| Tenant state | CRUD & Queries | Vector Index | Inverted Index | Object Data | Time to Activate | Description |
+|------------------|----------------|--------------|----------------|-------------|------------------|------------|
+| Active (default) | **Yes** | Hot/Warm | Warm | Warm | None | テナントは利用可能です |
+| Inactive | **No** | Warm | Warm | Warm | Fast | テナントはローカルに保持されていますが利用できません |
+| Offloaded | **No** | Cold | Cold | Cold | Slow | テナントはクラウドストレージに保持され、利用できません |
+
+:::tip Tenant state and consistency
+テナント状態は最終的に整合性が取られます。 [詳細はこちら](/weaviate/concepts/replication-architecture/consistency#tenant-states-and-data-objects)
+:::
+
+### Active
+
+`Active` テナントはクエリおよび CRUD 操作が可能です。 [ベクトル インデックスの種類](/weaviate/starter-guides/managing-resources#vector-index-types) に応じて **Hot** または **Warm** リソースを使用します。
+
+テナントのオブジェクトデータと転置インデックスはディスク上に保存され、 `Warm` リソースを使用します。
+
+ベクトル インデックスのリソース温度を管理
+ +ベクトル インデックスの種類により、デフォルトのリソース種類が決まります。 + +* [`HNSW` index (default)](/academy/py/vector_index/hnsw) - ベクトル インデックスを RAM 上に保持する **Hot** リソースを使用します。 +* [`Flat` index](/academy/py/vector_index/flat) - ベクトル インデックスをディスク上に保持する **Warm** リソースを使用します。 +* [`Dynamic` index](/academy/py/vector_index/dynamic) - 初期状態では flat インデックス（ **Warm** リソース）として開始し、設定された閾値を超えると HNSW インデックス（ **Hot** リソース）へ切り替わります。 + +
+
+### Inactive
+
+`Inactive` テナントはクエリおよび CRUD 操作ができません。
+
+テナントのオブジェクトデータ、ベクトル インデックス、転置インデックスはディスク上に保存され、 `Warm` リソースを使用します。これは **Hot** リソースを使用する Active テナントと比較して Weaviate のメモリ要件を下げる効果があります。
+
+テナントがローカルにあるため、Inactive テナントは迅速にアクティブ化できます。
+
+
+
+### Offloaded
+
+import OffloadingLimitation from '/_includes/offloading-limitation.mdx';
+
+
+
+## テナントをアクティブ化
+
+ディスク上の `INACTIVE` テナントをアクティブ化する、またはクラウドから `OFFLOADED` テナントをオンロードしてアクティブ化するには、次を呼び出します。
+
+
+
+
+追加情報
+ +コレクションレベルの設定は、デフォルト値および [環境変数](/deploy/configuration/env-vars/index.md) などの一般的な設定パラメーターよりも優先されます。 + +- [利用可能なモデル統合](../model-providers/index.md) +- [ベクトライザー設定リファレンス](/weaviate/config-refs/collections.mdx#vector-configuration) + +
+
+
+## ベクトル インデックス パラメーターの設定
+
+[圧縮](../configuration/compression/index.md) や [フィルター ストラテジ](../concepts/filtering.md#filter-strategy) などのベクトル インデックス パラメーターは、コレクション設定を通じて指定できます。いくつかのパラメーターは、コレクション作成後に[更新](collection-operations.mdx#update-a-collection-definition)することも可能です。
+
+:::info Filter strategy parameter
+Was added in `v1.27`
+:::
+
+Additional information
+ +- インデックス タイプと圧縮の詳細については、[概念: ベクトル インデックス](../concepts/indexing/vector-index.md) を参照してください。 + +
+
+
+
+
+## プロパティレベルの設定
+
+コレクション内の個々のプロパティを設定します。各プロパティは独自の設定を持つことができます。一般的な設定例を次に示します。
+
+- プロパティをベクトル化する
+- プロパティ名をベクトル化する
+- [トークナイゼーションタイプ](../config-refs/collections.mdx#tokenization) を設定する
+
+Additional information
+ +- インデックス タイプと圧縮の詳細については、[概念: ベクトル インデックス](../concepts/indexing/vector-index.md) を参照してください。 + +
+
+
+
+## 追加リソース
+
+- + 追加情報 +
+ +設定パラメーターの詳細については、次を参照してください。 + +- [距離](../config-refs/distances.md) +- [ベクトルインデックス](../config-refs/indexing/vector-index.mdx) + +
+
+
+## 指定ベクトル付きオブジェクトの作成
+
+オブジェクトを作成する際に、 ベクトル を指定できます。（複数の名前付き ベクトル を指定する方法については[下記](#create-an-object-with-named-vectors)を参照してください。）
+
++ 追加情報 +
+ +オブジェクトを作成するには、次の項目を指定します: + +- 追加したいオブジェクトデータ +- 対象のコレクション +- [マルチテナンシー](../concepts/data.md#multi-tenancy) が有効な場合は、[テナントを指定]( ../manage-collections/multi-tenancy.mdx) します + +デフォルトでは、[auto-schema](/weaviate/config-refs/collections.mdx#auto-schema) により、新しいコレクションの作成とプロパティの追加が行われます。 + +重複した ID を指定すると Weaviate はエラーを返します。重複オブジェクトの挿入を避けるために、決定論的 ID を使用してください。 +::: + +
+
+
+
+## クロスリファレンス付きオブジェクトの作成
+
+import CrossReferencePerformanceNote from '/_includes/cross-reference-performance-note.mdx';
+
++ 追加情報 +
+決定論的 ID を生成するには、次のメソッドを使用してください: + +- `generate_uuid5` (Python) +- `generateUuid5` (TypeScript) + +
+
+ +
+
+
+## ID でのオブジェクト削除
+
+ID で削除するには、コレクション名とオブジェクト ID を指定します。
+
+追加情報
+ + - オブジェクトを削除するには、コレクション名と識別条件（例: オブジェクト ID やフィルター）を指定する必要があります。 + - [マルチテナンシー](../concepts/data.md#multi-tenancy) コレクションの場合、オブジェクトを削除する際にテナント名も指定する必要があります。方法の詳細については、[データ管理: マルチテナンシー操作]( ../manage-collections/multi-tenancy.mdx) を参照してください。 ++ +
+
+
+
+### ContainsAny / ContainsAll
+
+特定の条件でオブジェクトを削除する際には、`ContainsAny` / `ContainsAll` フィルターを使用します。
+
+追加情報
+ +- 1 回のクエリで削除できるオブジェクト数には、設定可能な最大値 ([QUERY_MAXIMUM_RESULTS](/deploy/configuration/env-vars/index.md#general)) があり、デフォルトでは 10,000 件です。上限を超えて削除する場合は、クエリを再実行してください。 + +
+
+
+## id で複数オブジェクトの削除
+
+複数のオブジェクトをその id 値で削除するには、`id` ベースの条件を持つフィルター（例: `ContainsAny`）を使用します。
+
+追加情報
+ +この機能は Weaviate `v1.21` で追加されました。 + +
+
+
+制限事項
+ +1 回のクエリで削除できるオブジェクト数には上限（`QUERY_MAXIMUM_RESULTS`）があります。これは、予期しないメモリ急増やクライアント側のタイムアウト、ネットワーク中断が発生しやすい長時間実行リクエストから保護するためです。 + +オブジェクトは取得される場合と同じ順序、つまり UUID の順序で削除されます。上限を超える数を削除したい場合は、オブジェクトが一致しなくなるまで同じクエリを複数回実行してください。 + +既定の `QUERY_MAXIMUM_RESULTS` 値は 10,000 です。この値は、たとえば [環境変数](/deploy/configuration/env-vars/index.md) で変更可能です。 + +
+
+
+
+
+
+
+## 関連ページ
+
+- [Weaviate に接続する](/weaviate/connections/index.mdx)
+- レスポンス例
+ +以下のようなレスポンスが返されます: + +
+
+
+## 基本インポート
+
+次の例では、`MyCollection` コレクションにオブジェクトを追加します。
+
+追加情報
+ +バルクインポートジョブを作成するには、次の手順に従います。 + +1. バッチオブジェクトを初期化します。 +1. バッチオブジェクトに項目を追加します。 +1. 最後のバッチが送信（フラッシュ）されることを確認します。 + +レガシー Python クライアントは gRPC をサポートしていません。 + +
レガシー TypeScript クライアントは gRPC をサポートしていません。 + +
+ +```java +Config config = new Config("http", "localhost:8080"); +config.setGRPCSecured(false); +config.setGRPCHost("localhost:50051"); +``` +
+ +```java +cfg := weaviate.Config{ + Host: fmt.Sprintf("localhost:%v", "8080"), + Scheme: "http", + // highlight-start + GrpcConfig: &grpc.Config{ + Host: "localhost:50051", + Secured: false, + }, + // highlight-end +} + +client, err := weaviate.NewClient(cfg) +if err != nil { + require.Nil(t, err) + } +``` +
+ +```java + df.write + .format("io.weaviate.spark.Weaviate") + .option("scheme", "http") + .option("host", "localhost:8080") + // highlight-start + .option("grpc:host", "localhost:50051") + .option("grpc:secured", "false") + // highlight-start + .option("className", className) + .mode("append") + .save() +``` + +
+
+
+
+
+
+
+
+
+
+サンプルデータを取得する
+ +
+
+
+
+
+
+
+
+
+
+
+
+
+JSON ファイルをストリーミングするサンプルコード
+ +
+
+
+
+
+
+
+
+
+
+
+
+
+
+## バッチ ベクトル化
+
+:::info `v1.25` で追加されました。
+:::
+
+import BatchVectorizationOverview from '/_includes/code/client-libraries/batch-import.mdx';
+
+CSV ファイルをストリーミングするサンプルコード
+ ++
+ +## 質問とフィードバック + +import DocsFeedback from "/_includes/docs-feedback.mdx"; + +
+
+
+## ID でオブジェクトを取得
+
+ ID を指定してオブジェクトを取得します。指定した ID が存在しない場合、Weaviate は 404 エラーを返します。
+
+追加情報
+
+ `PATCH` リクエストを `/v1/objects` REST API エンドポイントに送信 して実行されます。
+ - 完全更新は、内部的には `PUT` リクエストを `/v1/objects` REST API エンドポイントに送信 して実行されます。
+ - `vector` プロパティを含む更新では、`text` プロパティがすべて [スキップ](../manage-collections/vector-config.mdx#property-level-settings) されていない限り、ベクトル埋め込みが再計算されます。
+ - オブジェクトを更新するには、コレクション名、ID、更新するプロパティを指定する必要があります。
+ - [マルチテナンシー](../concepts/data.md#multi-tenancy) コレクションの場合は、テナント名も指定する必要があります。詳細は [データ管理: マルチテナンシー操作](../manage-collections/multi-tenancy.mdx) を参照してください。
+
+ +
+
+## オブジェクトプロパティの更新
+
+この操作では、指定したプロパティの値をまるごと置き換え、指定していないプロパティはそのまま残します。コレクション名、オブジェクト ID、および更新するプロパティを指定してください。
+
+以前にベクトル化されたプロパティの値を更新した場合、Weaviate はオブジェクトを自動的に再ベクトル化します。これにより更新されたオブジェクトも再インデックスされます。
+
+ただし、新しいプロパティをコレクション定義に追加した場合、Weaviate は新規オブジェクトのみをベクトル化します。新しいプロパティが定義されたときに既存オブジェクトを再ベクトル化および再インデックスすることはなく、既存プロパティが更新されたときのみ行います。
+
+追加情報
+ + - 部分更新は、内部的には+ +
+
+ +`X-Google-Vertex-Api-Key`、`X-Google-Studio-Api-Key`、`X-Google-Api-Key`、`X-PaLM-Api-Key` は非推奨となります。 + +
+
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_anthropic_rag.png b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_anthropic_rag.png
new file mode 100644
index 000000000..e39e7df08
Binary files /dev/null and b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_anthropic_rag.png differ
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_anthropic_rag_grouped.png b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_anthropic_rag_grouped.png
new file mode 100644
index 000000000..7b153f7be
Binary files /dev/null and b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_anthropic_rag_grouped.png differ
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_anthropic_rag_single.png b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_anthropic_rag_single.png
new file mode 100644
index 000000000..81f95addd
Binary files /dev/null and b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_anthropic_rag_single.png differ
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_anyscale_rag.png b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_anyscale_rag.png
new file mode 100644
index 000000000..d6aaeb088
Binary files /dev/null and b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_anyscale_rag.png differ
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_anyscale_rag_grouped.png b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_anyscale_rag_grouped.png
new file mode 100644
index 000000000..c800661f2
Binary files /dev/null and b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_anyscale_rag_grouped.png differ
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_anyscale_rag_single.png b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_anyscale_rag_single.png
new file mode 100644
index 000000000..8e6582577
Binary files /dev/null and b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_anyscale_rag_single.png differ
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_aws_embedding.png b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_aws_embedding.png
new file mode 100644
index 000000000..0bce5d91f
Binary files /dev/null and b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_aws_embedding.png differ
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_aws_embedding_search.png b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_aws_embedding_search.png
new file mode 100644
index 000000000..a7e91afc2
Binary files /dev/null and b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_aws_embedding_search.png differ
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_aws_rag.png b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_aws_rag.png
new file mode 100644
index 000000000..95ba2a90d
Binary files /dev/null and b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_aws_rag.png differ
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_aws_rag_grouped.png b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_aws_rag_grouped.png
new file mode 100644
index 000000000..ab06c0ea9
Binary files /dev/null and b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_aws_rag_grouped.png differ
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_aws_rag_single.png b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_aws_rag_single.png
new file mode 100644
index 000000000..9e79207df
Binary files /dev/null and b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_aws_rag_single.png differ
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_cohere_embedding.png b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_cohere_embedding.png
new file mode 100644
index 000000000..df7452a39
Binary files /dev/null and b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_cohere_embedding.png differ
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_cohere_embedding_search.png b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_cohere_embedding_search.png
new file mode 100644
index 000000000..de91b5ad6
Binary files /dev/null and b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_cohere_embedding_search.png differ
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_cohere_rag.png b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_cohere_rag.png
new file mode 100644
index 000000000..19ee75edd
Binary files /dev/null and b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_cohere_rag.png differ
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_cohere_rag_grouped.png b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_cohere_rag_grouped.png
new file mode 100644
index 000000000..542d7f00d
Binary files /dev/null and b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_cohere_rag_grouped.png differ
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_cohere_rag_single.png b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_cohere_rag_single.png
new file mode 100644
index 000000000..0d0611103
Binary files /dev/null and b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_cohere_rag_single.png differ
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_cohere_reranker.png b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_cohere_reranker.png
new file mode 100644
index 000000000..bdd0d217b
Binary files /dev/null and b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_cohere_reranker.png differ
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_databricks_embedding.png b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_databricks_embedding.png
new file mode 100644
index 000000000..eddd4f4e9
Binary files /dev/null and b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_databricks_embedding.png differ
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_databricks_embedding_search.png b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_databricks_embedding_search.png
new file mode 100644
index 000000000..180e03072
Binary files /dev/null and b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_databricks_embedding_search.png differ
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_databricks_rag.png b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_databricks_rag.png
new file mode 100644
index 000000000..439aa039c
Binary files /dev/null and b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_databricks_rag.png differ
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_databricks_rag_grouped.png b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_databricks_rag_grouped.png
new file mode 100644
index 000000000..99aa84e8b
Binary files /dev/null and b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_databricks_rag_grouped.png differ
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_databricks_rag_single.png b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_databricks_rag_single.png
new file mode 100644
index 000000000..db5dca5fc
Binary files /dev/null and b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_databricks_rag_single.png differ
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_friendliai_rag.png b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_friendliai_rag.png
new file mode 100644
index 000000000..8b9929063
Binary files /dev/null and b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_friendliai_rag.png differ
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_friendliai_rag_grouped.png b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_friendliai_rag_grouped.png
new file mode 100644
index 000000000..1689c5644
Binary files /dev/null and b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_friendliai_rag_grouped.png differ
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_friendliai_rag_single.png b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_friendliai_rag_single.png
new file mode 100644
index 000000000..5bdbbfdfe
Binary files /dev/null and b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_friendliai_rag_single.png differ
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_google_embedding.png b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_google_embedding.png
new file mode 100644
index 000000000..c01af7719
Binary files /dev/null and b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_google_embedding.png differ
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_google_embedding_search.png b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_google_embedding_search.png
new file mode 100644
index 000000000..9ea7bc641
Binary files /dev/null and b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_google_embedding_search.png differ
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_google_rag.png b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_google_rag.png
new file mode 100644
index 000000000..4b21ab7b9
Binary files /dev/null and b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_google_rag.png differ
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_google_rag_grouped.png b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_google_rag_grouped.png
new file mode 100644
index 000000000..fd1439362
Binary files /dev/null and b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_google_rag_grouped.png differ
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_google_rag_single.png b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_google_rag_single.png
new file mode 100644
index 000000000..708b388b8
Binary files /dev/null and b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_google_rag_single.png differ
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_gpt4all_embedding.png b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_gpt4all_embedding.png
new file mode 100644
index 000000000..80f68921d
Binary files /dev/null and b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_gpt4all_embedding.png differ
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_gpt4all_embedding_search.png b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_gpt4all_embedding_search.png
new file mode 100644
index 000000000..bdec74c95
Binary files /dev/null and b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_gpt4all_embedding_search.png differ
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_huggingface_embedding.png b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_huggingface_embedding.png
new file mode 100644
index 000000000..7af9255d7
Binary files /dev/null and b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_huggingface_embedding.png differ
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_huggingface_embedding_search.png b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_huggingface_embedding_search.png
new file mode 100644
index 000000000..4e6496b4b
Binary files /dev/null and b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_huggingface_embedding_search.png differ
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_imagebind_embedding.png b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_imagebind_embedding.png
new file mode 100644
index 000000000..48186ffa7
Binary files /dev/null and b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_imagebind_embedding.png differ
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_imagebind_embedding_search.png b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_imagebind_embedding_search.png
new file mode 100644
index 000000000..f192b632e
Binary files /dev/null and b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_imagebind_embedding_search.png differ
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_jinaai_embedding.png b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_jinaai_embedding.png
new file mode 100644
index 000000000..98e4e1c71
Binary files /dev/null and b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_jinaai_embedding.png differ
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_jinaai_embedding_search.png b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_jinaai_embedding_search.png
new file mode 100644
index 000000000..070b22536
Binary files /dev/null and b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_jinaai_embedding_search.png differ
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_jinaai_reranker.png b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_jinaai_reranker.png
new file mode 100644
index 000000000..f870101c7
Binary files /dev/null and b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_jinaai_reranker.png differ
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_kubeai_embedding.png b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_kubeai_embedding.png
new file mode 100644
index 000000000..b993e6fa6
Binary files /dev/null and b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_kubeai_embedding.png differ
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_kubeai_embedding_search.png b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_kubeai_embedding_search.png
new file mode 100644
index 000000000..012c88705
Binary files /dev/null and b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_kubeai_embedding_search.png differ
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_kubeai_rag.png b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_kubeai_rag.png
new file mode 100644
index 000000000..e1c0d359d
Binary files /dev/null and b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_kubeai_rag.png differ
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_kubeai_rag_grouped.png b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_kubeai_rag_grouped.png
new file mode 100644
index 000000000..bafdb62d7
Binary files /dev/null and b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_kubeai_rag_grouped.png differ
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_kubeai_rag_single.png b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_kubeai_rag_single.png
new file mode 100644
index 000000000..18aa5408c
Binary files /dev/null and b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_kubeai_rag_single.png differ
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_mistral_embedding.png b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_mistral_embedding.png
new file mode 100644
index 000000000..aa6dd1a58
Binary files /dev/null and b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_mistral_embedding.png differ
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_mistral_embedding_search.png b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_mistral_embedding_search.png
new file mode 100644
index 000000000..9e5f384c7
Binary files /dev/null and b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_mistral_embedding_search.png differ
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_mistral_rag.png b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_mistral_rag.png
new file mode 100644
index 000000000..fa88d2c63
Binary files /dev/null and b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_mistral_rag.png differ
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_mistral_rag_grouped.png b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_mistral_rag_grouped.png
new file mode 100644
index 000000000..7c7df0bc6
Binary files /dev/null and b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_mistral_rag_grouped.png differ
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_mistral_rag_single.png b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_mistral_rag_single.png
new file mode 100644
index 000000000..9db6306be
Binary files /dev/null and b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_mistral_rag_single.png differ
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_model2vec_embedding.png b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_model2vec_embedding.png
new file mode 100644
index 000000000..17f2793bf
Binary files /dev/null and b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_model2vec_embedding.png differ
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_model2vec_embedding_search.png b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_model2vec_embedding_search.png
new file mode 100644
index 000000000..35b894b2a
Binary files /dev/null and b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_model2vec_embedding_search.png differ
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_nvidia_embedding.png b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_nvidia_embedding.png
new file mode 100644
index 000000000..1d372382c
Binary files /dev/null and b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_nvidia_embedding.png differ
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_nvidia_embedding_search.png b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_nvidia_embedding_search.png
new file mode 100644
index 000000000..89ea77aa7
Binary files /dev/null and b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_nvidia_embedding_search.png differ
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_nvidia_rag.png b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_nvidia_rag.png
new file mode 100644
index 000000000..175949f00
Binary files /dev/null and b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_nvidia_rag.png differ
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_nvidia_rag_grouped.png b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_nvidia_rag_grouped.png
new file mode 100644
index 000000000..50e57e988
Binary files /dev/null and b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_nvidia_rag_grouped.png differ
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_nvidia_rag_single.png b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_nvidia_rag_single.png
new file mode 100644
index 000000000..21fb4eaa6
Binary files /dev/null and b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_nvidia_rag_single.png differ
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_nvidia_reranker.png b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_nvidia_reranker.png
new file mode 100644
index 000000000..7496b7956
Binary files /dev/null and b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_nvidia_reranker.png differ
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_octoai_embedding.png b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_octoai_embedding.png
new file mode 100644
index 000000000..c3b6224cb
Binary files /dev/null and b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_octoai_embedding.png differ
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_octoai_embedding_search.png b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_octoai_embedding_search.png
new file mode 100644
index 000000000..c1d6434f6
Binary files /dev/null and b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_octoai_embedding_search.png differ
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_octoai_rag.png b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_octoai_rag.png
new file mode 100644
index 000000000..35b7c1147
Binary files /dev/null and b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_octoai_rag.png differ
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_octoai_rag_grouped.png b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_octoai_rag_grouped.png
new file mode 100644
index 000000000..879c0e167
Binary files /dev/null and b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_octoai_rag_grouped.png differ
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_octoai_rag_single.png b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_octoai_rag_single.png
new file mode 100644
index 000000000..857101c4a
Binary files /dev/null and b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_octoai_rag_single.png differ
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_ollama_embedding.png b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_ollama_embedding.png
new file mode 100644
index 000000000..594ed53ec
Binary files /dev/null and b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_ollama_embedding.png differ
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_ollama_embedding_search.png b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_ollama_embedding_search.png
new file mode 100644
index 000000000..77cca648d
Binary files /dev/null and b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_ollama_embedding_search.png differ
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_ollama_rag.png b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_ollama_rag.png
new file mode 100644
index 000000000..761d42e50
Binary files /dev/null and b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_ollama_rag.png differ
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_ollama_rag_grouped.png b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_ollama_rag_grouped.png
new file mode 100644
index 000000000..7f9ab415b
Binary files /dev/null and b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_ollama_rag_grouped.png differ
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_ollama_rag_single.png b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_ollama_rag_single.png
new file mode 100644
index 000000000..7c450ea32
Binary files /dev/null and b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_ollama_rag_single.png differ
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_openai_azure_embedding.png b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_openai_azure_embedding.png
new file mode 100644
index 000000000..5b6ab7222
Binary files /dev/null and b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_openai_azure_embedding.png differ
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_openai_azure_embedding_search.png b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_openai_azure_embedding_search.png
new file mode 100644
index 000000000..469953307
Binary files /dev/null and b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_openai_azure_embedding_search.png differ
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_openai_azure_rag.png b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_openai_azure_rag.png
new file mode 100644
index 000000000..cf04a14a8
Binary files /dev/null and b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_openai_azure_rag.png differ
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_openai_azure_rag_grouped.png b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_openai_azure_rag_grouped.png
new file mode 100644
index 000000000..e32145e9e
Binary files /dev/null and b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_openai_azure_rag_grouped.png differ
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_openai_azure_rag_single.png b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_openai_azure_rag_single.png
new file mode 100644
index 000000000..76515649a
Binary files /dev/null and b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_openai_azure_rag_single.png differ
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_openai_embedding.png b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_openai_embedding.png
new file mode 100644
index 000000000..723a25a21
Binary files /dev/null and b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_openai_embedding.png differ
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_openai_embedding_search.png b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_openai_embedding_search.png
new file mode 100644
index 000000000..a58d97f0f
Binary files /dev/null and b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_openai_embedding_search.png differ
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_openai_rag.png b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_openai_rag.png
new file mode 100644
index 000000000..6379a44a7
Binary files /dev/null and b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_openai_rag.png differ
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_openai_rag_grouped.png b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_openai_rag_grouped.png
new file mode 100644
index 000000000..bad8a7b0f
Binary files /dev/null and b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_openai_rag_grouped.png differ
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_openai_rag_single.png b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_openai_rag_single.png
new file mode 100644
index 000000000..17549614a
Binary files /dev/null and b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_openai_rag_single.png differ
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_selfhosted_embedding.png b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_selfhosted_embedding.png
new file mode 100644
index 000000000..a87305d8e
Binary files /dev/null and b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_selfhosted_embedding.png differ
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_transformers_embedding.png b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_transformers_embedding.png
new file mode 100644
index 000000000..7af9255d7
Binary files /dev/null and b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_transformers_embedding.png differ
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_transformers_embedding_search.png b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_transformers_embedding_search.png
new file mode 100644
index 000000000..4e6496b4b
Binary files /dev/null and b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_transformers_embedding_search.png differ
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_transformers_reranker.png b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_transformers_reranker.png
new file mode 100644
index 000000000..ed95f22e2
Binary files /dev/null and b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_transformers_reranker.png differ
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_voyageai_embedding.png b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_voyageai_embedding.png
new file mode 100644
index 000000000..60718bdf5
Binary files /dev/null and b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_voyageai_embedding.png differ
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_voyageai_embedding_search.png b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_voyageai_embedding_search.png
new file mode 100644
index 000000000..429303314
Binary files /dev/null and b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_voyageai_embedding_search.png differ
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_voyageai_reranker.png b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_voyageai_reranker.png
new file mode 100644
index 000000000..3764c7c09
Binary files /dev/null and b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_voyageai_reranker.png differ
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_wes_embedding.png b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_wes_embedding.png
new file mode 100644
index 000000000..3aacecfcd
Binary files /dev/null and b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_wes_embedding.png differ
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_wes_embedding_search.png b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_wes_embedding_search.png
new file mode 100644
index 000000000..f2682c999
Binary files /dev/null and b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_wes_embedding_search.png differ
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_xai_rag.png b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_xai_rag.png
new file mode 100644
index 000000000..753608447
Binary files /dev/null and b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/integration_xai_rag.png differ
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/ollama/api-endpoint.mdx b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/ollama/api-endpoint.mdx
new file mode 100644
index 000000000..a5d16629f
--- /dev/null
+++ b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/ollama/api-endpoint.mdx
@@ -0,0 +1,4 @@
+Weaviate サーバーは Ollama API エンドポイントに到達できる必要があります。Weaviate が Docker コンテナ内で実行され、Ollama がローカルで実行されている場合は、`host.docker.internal` を使用して、コンテナ内の `localhost` からホストマシン上の `localhost` へ Weaviate をリダイレクトしてください。
+
+Weaviate インスタンスと Ollama インスタンスが別の方法でホストされている場合は、API エンドポイントのパラメーターを調整し、ご自身の Ollama インスタンスを指すようにしてください。
+
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/provider.connect.local.py b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/provider.connect.local.py
new file mode 100644
index 000000000..4d9f6cf55
--- /dev/null
+++ b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/provider.connect.local.py
@@ -0,0 +1,9 @@
+# START-ANY
+import weaviate
+
+client = weaviate.connect_to_local()
+
+# Work with Weaviate
+
+client.close()
+# END-ANY
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/provider.connect.local.ts b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/provider.connect.local.ts
new file mode 100644
index 000000000..9f40fe912
--- /dev/null
+++ b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/provider.connect.local.ts
@@ -0,0 +1,10 @@
+// START-ANY
+import weaviate from 'weaviate-client'
+
+const client = await weaviate.connectToLocal()
+
+// Work with Weaviate
+
+client.close()
+// END-ANY
+
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/provider.connect.py b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/provider.connect.py
new file mode 100644
index 000000000..c6a03fc55
--- /dev/null
+++ b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/provider.connect.py
@@ -0,0 +1,168 @@
+# START-ANY
+import weaviate
+from weaviate.classes.init import Auth
+import os
+
+# END-ANY
+
+weaviate_url = os.getenv("WEAVIATE_URL")
+weaviate_key = os.getenv("WEAVIATE_API_KEY")
+
+# START AnthropicInstantiation
+# Recommended: save sensitive data as environment variables
+anthropic_key = os.getenv("ANTHROPIC_APIKEY")
+# END AnthropicInstantiation
+# START AnyscaleInstantiation
+# Recommended: save sensitive data as environment variables
+anyscale_key = os.getenv("ANYSCALE_APIKEY")
+# END AnyscaleInstantiation
+# START AWSInstantiation
+# Recommended: save sensitive data as environment variables
+aws_access_key = os.getenv("AWS_ACCESS_KEY")
+aws_secret_key = os.getenv("AWS_SECRET_KEY")
+# END AWSInstantiation
+# START CohereInstantiation
+# Recommended: save sensitive data as environment variables
+cohere_key = os.getenv("COHERE_APIKEY")
+# END CohereInstantiation
+# START DatabricksInstantiation
+# Recommended: save sensitive data as environment variables
+databricks_token = os.getenv("DATABRICKS_TOKEN")
+# END DatabricksInstantiation
+# START FriendliInstantiation
+# Recommended: save sensitive data as environment variables
+friendli_key = os.getenv("FRIENDLI_TOKEN")
+# END FriendliInstantiation
+# START FriendliDedicatedInstantiation
+# Recommended: save sensitive data as environment variables
+friendli_key = os.getenv("FRIENDLI_TOKEN")
+# END FriendliDedicatedInstantiation
+# START GoogleInstantiation # START GoogleVertexInstantiation
+# Recommended: save sensitive data as environment variables
+vertex_key = os.getenv("VERTEX_APIKEY")
+# START GoogleInstantiation # END GoogleVertexInstantiation
+studio_key = os.getenv("STUDIO_APIKEY")
+# END GoogleInstantiation
+# START HuggingFaceInstantiation
+# Recommended: save sensitive data as environment variables
+huggingface_key = os.getenv("HUGGINGFACE_APIKEY")
+# END HuggingFaceInstantiation
+# START JinaAIInstantiation
+# Recommended: save sensitive data as environment variables
+jinaai_key = os.getenv("JINAAI_APIKEY")
+# END JinaAIInstantiation
+# START MistralInstantiation
+# Recommended: save sensitive data as environment variables
+mistral_key = os.getenv("MISTRAL_APIKEY")
+# END MistralInstantiation
+# START NVIDIAInstantiation
+# Recommended: save sensitive data as environment variables
+nvidia_key = os.getenv("NVIDIA_APIKEY")
+# END NVIDIAInstantiation
+# START OctoAIInstantiation
+# Recommended: save sensitive data as environment variables
+octoai_key = os.getenv("OCTOAI_APIKEY")
+# END OctoAIInstantiation
+# START OpenAIInstantiation
+# Recommended: save sensitive data as environment variables
+openai_key = os.getenv("OPENAI_APIKEY")
+# END OpenAIInstantiation
+# START AzureOpenAIInstantiation
+# Recommended: save sensitive data as environment variables
+azure_key = os.getenv("AZURE_APIKEY")
+# END AzureOpenAIInstantiation
+# START VoyageAIInstantiation
+# Recommended: save sensitive data as environment variables
+voyageai_key = os.getenv("VOYAGEAI_APIKEY")
+# END VoyageAIInstantiation
+# START XaiInstantiation
+# Recommended: save sensitive data as environment variables
+xai_key = os.getenv("XAI_APIKEY")
+# END XaiInstantiation
+
+
+# START-ANY
+# highlight-start
+headers = {
+# END-ANY
+
+# START AnthropicInstantiation
+ "X-Anthropic-Api-Key": anthropic_key,
+ "X-Anthropic-Baseurl": "https://api.anthropic.com", # Optional; for providing a custom base URL
+# END AnthropicInstantiation
+# START AnyscaleInstantiation
+ "X-Anyscale-Api-Key": anyscale_key,
+# END AnyscaleInstantiation
+# START AWSInstantiation
+ "X-AWS-Access-Key": aws_access_key,
+ "X-AWS-Secret-Key": aws_secret_key,
+# END AWSInstantiation
+# START CohereInstantiation
+ "X-Cohere-Api-Key": cohere_key,
+# END CohereInstantiation
+# START DatabricksInstantiation
+ "X-Databricks-Token": databricks_token,
+# END DatabricksInstantiation
+# START FriendliInstantiation
+ "X-Friendli-Api-Key": friendli_key,
+# END FriendliInstantiation
+# START FriendliDedicatedInstantiation
+ "X-Friendli-Api-Key": friendli_key,
+ "X-Friendli-Baseurl": "https://inference.friendli.ai/dedicated",
+# END FriendliDedicatedInstantiation
+# START GoogleInstantiation # START GoogleVertexInstantiation
+ "X-Goog-Vertex-Api-Key": vertex_key,
+# START GoogleInstantiation # END GoogleVertexInstantiation
+ "X-Goog-Studio-Api-Key": studio_key,
+# END GoogleInstantiation
+# START HuggingFaceInstantiation
+ "X-HuggingFace-Api-Key": huggingface_key,
+# END HuggingFaceInstantiation
+# START JinaAIInstantiation
+ "X-JinaAI-Api-Key": jinaai_key,
+# END JinaAIInstantiation
+# START MistralInstantiation
+ "X-Mistral-Api-Key": mistral_key,
+# END MistralInstantiation
+# START NVIDIAInstantiation
+ "X-NVIDIA-Api-Key": nvidia_key,
+# END NVIDIAInstantiation
+# START OctoAIInstantiation
+ "X-OctoAI-Api-Key": octoai_key,
+# END OctoAIInstantiation
+# START OpenAIInstantiation
+ "X-OpenAI-Api-Key": openai_key,
+# END OpenAIInstantiation
+# START AzureOpenAIInstantiation
+ "X-Azure-Api-Key": azure_key,
+# END AzureOpenAIInstantiation
+# START VoyageAIInstantiation
+ "X-VoyageAI-Api-Key": voyageai_key,
+# END VoyageAIInstantiation
+# START XaiInstantiation
+ "X-Xai-Api-Key": xai_key,
+# END XaiInstantiation
+
+# START-ANY
+}
+# highlight-end
+# END-ANY
+
+# START-ANY
+
+client = weaviate.connect_to_weaviate_cloud(
+ cluster_url=weaviate_url, # `weaviate_url`: your Weaviate URL
+ auth_credentials=Auth.api_key(weaviate_key), # `weaviate_key`: your Weaviate API key
+ # highlight-start
+ headers=headers
+ # highlight-end
+)
+# END-ANY
+
+
+# START-ANY
+
+# Work with Weaviate
+
+client.close()
+# END-ANY
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/provider.connect.ts b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/provider.connect.ts
new file mode 100644
index 000000000..959656e8c
--- /dev/null
+++ b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/provider.connect.ts
@@ -0,0 +1,132 @@
+// START-ANY
+import weaviate from 'weaviate-client'
+
+// END-ANY
+
+// START AnthropicInstantiation
+const anthropicApiKey = process.env.ANTHROPIC_APIKEY || ''; // Replace with your inference API key
+// END AnthropicInstantiation
+// START AnyscaleInstantiation
+const anyscaleApiKey = process.env.ANYSCALE_APIKEY || ''; // Replace with your inference API key
+// END AnyscaleInstantiation
+// START AWSInstantiation
+const aws_access_key = process.env.AWS_ACCESS_KEY || ''; // Replace with your AWS access key
+const aws_secret_key = process.env.AWS_SECRET_KEY || ''; // Replace with your AWS secret key
+// END AWSInstantiation
+// START CohereInstantiation
+const cohereApiKey = process.env.COHERE_APIKEY || ''; // Replace with your inference API key
+// END CohereInstantiation
+// START DatabricksInstantiation
+const databricksToken = process.env.DATABRICKS_TOKEN || ''; // Replace with your inference API key
+// END DatabricksInstantiation
+// START FriendliInstantiation
+const friendliApiKey = process.env.FRIENDLI_TOKEN || ''; // Replace with your inference API key
+// END FriendliInstantiation
+// START GoogleInstantiation // START GoogleVertexInstantiation
+const vertexApiKey = process.env.VERTEX_APIKEY || ''; // Replace with your inference API key
+// START GoogleInstantiation // END GoogleVertexInstantiation
+const studioApiKey = process.env.STUDIO_APIKEY || ''; // Replace with your inference API key
+// END GoogleInstantiation
+// START HuggingFaceInstantiation
+const huggingFaceApiKey = process.env.HUGGINGFACE_APIKEY || ''; // Replace with your inference API key
+// END HuggingFaceInstantiation
+// START JinaAIInstantiation
+const jinaaiApiKey = process.env.JINAAI_APIKEY || ''; // Replace with your inference API key
+// END JinaAIInstantiation
+// START MistralInstantiation
+const mistralApiKey = process.env.MISTRAL_APIKEY || ''; // Replace with your inference API key
+// END MistralInstantiation
+// START NVIDIAInstantiation
+const nvidiaApiKey = process.env.NVIDIA_APIKEY || ''; // Replace with your inference API key
+// END NVIDIAInstantiation
+// START OctoAIInstantiation
+const octoaiApiKey = process.env.OCTOAI_APIKEY || ''; // Replace with your inference API key
+// END OctoAIInstantiation
+// START OpenAIInstantiation
+const openaiApiKey = process.env.OPENAI_APIKEY || ''; // Replace with your inference API key
+// END OpenAIInstantiation
+// START AzureOpenAIInstantiation
+const azureApiKey = process.env.AZURE_APIKEY || ''; // Replace with your inference API key
+// END AzureOpenAIInstantiation
+// START VoyageAIInstantiation
+const voyageaiApiKey = process.env.VOYAGEAI_APIKEY || ''; // Replace with your inference API key
+// END VoyageAIInstantiation
+// START Xainstantiation
+const xaiApiKey = process.env.XAI_APIKEY || ''; // Replace with your inference API key
+// END XaiInstantiation
+
+// START-ANY
+
+const client = await weaviate.connectToWeaviateCloud(
+ 'WEAVIATE_INSTANCE_URL', // Replace with your instance URL
+ {
+ authCredentials: new weaviate.ApiKey('WEAVIATE_INSTANCE_APIKEY'),
+ // highlight-start
+ headers: {
+ // END-ANY
+ // START AnthropicInstantiation
+ 'X-Anthropic-Api-Key': anthropicApiKey,
+ 'X-Anthropic-Baseurl': 'https://api.anthropic.com', // Optional; for providing a custom base URL
+ // END AnthropicInstantiation
+ // START AnyscaleInstantiation
+ 'X-Anyscale-Api-Key': anyscaleApiKey,
+ // END AnyscaleInstantiation
+ // START AWSInstantiation
+ 'X-AWS-Access-Key': aws_access_key,
+ 'X-AWS-Secret-Key': aws_secret_key,
+ // END AWSInstantiation
+ // START CohereInstantiation
+ 'X-Cohere-Api-Key': cohereApiKey,
+ // END CohereInstantiation
+ // START DatabricksInstantiation
+ 'X-Databricks-Token': databricksToken,
+ // END DatabricksInstantiation
+ // START FriendliInstantiation // START FriendliDedicatedInstantiation
+ 'X-Friendli-Api-Key': friendliApiKey,
+ // END FriendliInstantiation // END FriendliDedicatedInstantiation
+ // START FriendliDedicatedInstantiation
+ 'X-Friendli-Baseurl': 'https://inference.friendli.ai/dedicated',
+ // END FriendliDedicatedInstantiation
+ // START GoogleInstantiation // START GoogleVertexInstantiation
+ 'X-Vertex-Api-Key': vertexApiKey,
+ // START GoogleInstantiation // END GoogleVertexInstantiation
+ 'X-Studio-Api-Key': studioApiKey,
+ // END GoogleInstantiation
+ // START JinaAIInstantiation
+ 'X-JinaAI-Api-Key': jinaaiApiKey,
+ // END JinaAIInstantiation
+ // START HuggingFaceInstantiation
+ 'X-HuggingFace-Api-Key': huggingFaceApiKey,
+ // END HuggingFaceInstantiation
+ // START MistralInstantiation
+ 'X-Mistral-Api-Key': mistralApiKey,
+ // END MistralInstantiation
+ // START NVIDIAInstantiation
+ 'X-NVIDIA-Api-Key': nvidiaApiKey,
+ // END NVIDIAInstantiation
+ // START OctoAIInstantiation
+ 'X-OctoAI-Api-Key': octoaiApiKey,
+ // END OctoAIInstantiation
+ // START OpenAIInstantiation
+ 'X-OpenAI-Api-Key': openaiApiKey,
+ // END OpenAIInstantiation
+ // START AzureOpenAIInstantiation
+ 'X-Azure-Api-Key': azureApiKey,
+ // END AzureOpenAIInstantiation
+ // START VoyageAIInstantiation
+ 'X-VoyageAI-Api-Key': voyageaiApiKey,
+ // END VoyageAIInstantiation
+ // START XaiInstantiation
+ 'X-Xai-Api-Key': xaiApiKey,
+ // END XaiInstantiation
+ // START-ANY
+ }
+ // highlight-end
+ }
+)
+
+// Work with Weaviate
+
+client.close()
+// END-ANY
+
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/provider.connect.weaviate.py b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/provider.connect.weaviate.py
new file mode 100644
index 000000000..9fef94ca1
--- /dev/null
+++ b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/provider.connect.weaviate.py
@@ -0,0 +1,20 @@
+# START WeaviateInstantiation
+import weaviate
+from weaviate.classes.init import Auth
+import os
+
+# Best practice: store your credentials in environment variables
+weaviate_url = os.getenv("WEAVIATE_URL")
+weaviate_key = os.getenv("WEAVIATE_API_KEY")
+
+client = weaviate.connect_to_weaviate_cloud(
+ cluster_url=weaviate_url, # Weaviate URL: "REST Endpoint" in Weaviate Cloud console
+ auth_credentials=Auth.api_key(weaviate_key), # Weaviate API key: "ADMIN" API key in Weaviate Cloud console
+)
+
+print(client.is_ready()) # Should print: `True`
+
+# Work with Weaviate
+
+client.close()
+# END WeaviateInstantiation
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/provider.connect.weaviate.ts b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/provider.connect.weaviate.ts
new file mode 100644
index 000000000..e7d9e1c91
--- /dev/null
+++ b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/provider.connect.weaviate.ts
@@ -0,0 +1,19 @@
+// START WeaviateInstantiation
+import weaviate from 'weaviate-client'
+
+// Best practice: store your credentials in environment variables
+const weaviateUrl = process.env.WEAVIATE_URL as string; // Weaviate URL: "REST Endpoint" in Weaviate Cloud console
+const weaviateApiKey = process.env.WEAVIATE_API_KEY as string; // Weaviate API key: "ADMIN" API key in Weaviate Cloud console
+
+const client = await weaviate.connectToWeaviateCloud(
+ weaviateUrl,
+ {
+ authCredentials: new weaviate.ApiKey(weaviateApiKey),
+ }
+)
+
+// Work with Weaviate
+
+client.close()
+// END WeaviateInstantiation
+
diff --git a/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/provider.generative.py b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/provider.generative.py
new file mode 100644
index 000000000..427684b47
--- /dev/null
+++ b/i18n/ja/docusaurus-plugin-content-docs/current/weaviate/model-providers/_includes/provider.generative.py
@@ -0,0 +1,1328 @@
+import os
+from weaviate.classes.config import Configure
+
+# ================================
+# ===== INSTANTIATION-COMMON =====
+# ================================
+
+import weaviate
+
+def import_data():
+ collection = client.collections.create(
+ "DemoCollection",
+ vector_config=Configure.Vectors.text2vec_openai(),
+ )
+
+ source_objects = [
+ {"title": "The Shawshank Redemption"},
+ {"title": "The Godfather"},
+ {"title": "The Dark Knight"},
+ {"title": "Jingle All the Way"},
+ {"title": "A Christmas Carol"},
+ ]
+
+ with collection.batch.fixed_size(batch_size=200) as batch:
+ for src_obj in source_objects:
+ weaviate_obj = {
+ "title": src_obj["title"],
+ }
+ batch.add_object(
+ properties=weaviate_obj,
+ )
+
+ if len(collection.batch.failed_objects) > 0:
+ print(f"Failed to import {len(collection.batch.failed_objects)} objects")
+ for failed in collection.batch.failed_objects:
+ print(f"e.g. Failed to import object with error: {failed.message}")
+
+client = weaviate.connect_to_local(
+ headers={
+ "X-OpenAI-Api-Key": os.environ["OPENAI_APIKEY"],
+ "X-Cohere-Api-Key": os.environ["COHERE_APIKEY"],
+ "X-Anthropic-Api-Key": os.environ["ANTHROPIC_APIKEY"],
+ }
+)
+
+# clean up
+client.collections.delete("DemoCollection")
+
+# START BasicGenerativeAnthropic
+from weaviate.classes.config import Configure
+
+client.collections.create(
+ "DemoCollection",
+ # highlight-start
+ generative_config=Configure.Generative.anthropic()
+ # highlight-end
+ # Additional parameters not shown
+)
+# END BasicGenerativeAnthropic
+
+# clean up
+client.collections.delete("DemoCollection")
+
+# START GenerativeAnthropicCustomModel
+from weaviate.classes.config import Configure
+
+client.collections.create(
+ "DemoCollection",
+ # highlight-start
+ generative_config=Configure.Generative.anthropic(
+ model="claude-3-opus-20240229"
+ )
+ # highlight-end
+ # Additional parameters not shown
+)
+# END GenerativeAnthropicCustomModel
+
+# clean up
+client.collections.delete("DemoCollection")
+
+# START FullGenerativeAnthropic
+from weaviate.classes.config import Configure
+
+client.collections.create(
+ "DemoCollection",
+ # highlight-start
+ generative_config=Configure.Generative.anthropic(
+ # # These parameters are optional
+ # base_url="https://api.anthropic.com",
+ # model="claude-3-opus-20240229",
+ # max_tokens=512,
+ # temperature=0.7,
+ # stop_sequences=["\n\n"],
+ # top_p=0.9,
+ # top_k=5,
+ )
+ # highlight-end
+ # Additional parameters not shown
+)
+# END FullGenerativeAnthropic
+
+# clean up
+client.collections.delete("DemoCollection")
+import_data()
+
+# START RuntimeModelSelectionAnthropic
+from weaviate.classes.config import Configure
+from weaviate.classes.generate import GenerativeConfig
+
+collection = client.collections.use("DemoCollection")
+response = collection.generate.near_text(
+ query="A holiday film",
+ limit=2,
+ grouped_task="Write a tweet promoting these two movies",
+ # highlight-start
+ generative_provider=GenerativeConfig.anthropic(
+ # # These parameters are optional
+ # base_url="https://api.anthropic.com",
+ # model="claude-3-opus-20240229",
+ # max_tokens=512,
+ # temperature=0.7,
+ # stop_sequences=["\n\n"],
+ # top_p=0.9,
+ # top_k=5,
+ ),
+ # Additional parameters not shown
+ # highlight-end
+)
+# END RuntimeModelSelectionAnthropic
+
+# START WorkingWithImagesAnthropic
+import base64
+import requests
+from weaviate.classes.generate import GenerativeConfig, GenerativeParameters
+
+src_img_path = "https://upload.wikimedia.org/wikipedia/commons/thumb/b/b0/Winter_forest_silver.jpg/960px-Winter_forest_silver.jpg"
+base64_image = base64.b64encode(requests.get(src_img_path).content).decode('utf-8')
+
+prompt = GenerativeParameters.grouped_task(
+ # highlight-start
+ prompt="Which movie is closest to the image in terms of atmosphere",
+ images=[base64_image], # A list of base64 encoded strings of the image bytes
+ # image_properties=["img"], # Properties containing images in Weaviate
+ # highlight-end
+)
+
+jeopardy = client.collections.use("DemoCollection")
+response = jeopardy.generate.near_text(
+ query="Movies",
+ limit=5,
+ # highlight-start
+ grouped_task=prompt,
+ # highlight-end
+ generative_provider=GenerativeConfig.anthropic(
+ max_tokens=1000
+ ),
+)
+
+# Print the source property and the generated response
+for o in response.objects:
+ print(f"Title property: {o.properties['title']}")
+print(f"Grouped task result: {response.generative.text}")
+# END WorkingWithImagesAnthropic
+
+# clean up
+client.collections.delete("DemoCollection")
+
+# START BasicGenerativeAnyscale
+from weaviate.classes.config import Configure
+
+client.collections.create(
+ "DemoCollection",
+ # highlight-start
+ generative_config=Configure.Generative.anyscale()
+ # highlight-end
+ # Additional parameters not shown
+)
+# END BasicGenerativeAnyscale
+
+# clean up
+client.collections.delete("DemoCollection")
+
+# START GenerativeAnyscaleCustomModel
+from weaviate.classes.config import Configure
+
+client.collections.create(
+ "DemoCollection",
+ # highlight-start
+ generative_config=Configure.Generative.anyscale(
+ model="mistralai/Mixtral-8x7B-Instruct-v0.1"
+ )
+ # highlight-end
+ # Additional parameters not shown
+)
+# END GenerativeAnyscaleCustomModel
+
+# clean up
+client.collections.delete("DemoCollection")
+
+# START FullGenerativeAnyscale
+from weaviate.classes.config import Configure
+
+client.collections.create(
+ "DemoCollection",
+ # highlight-start
+ generative_config=Configure.Generative.anyscale(
+ # # These parameters are optional
+ # model="meta-llama/Llama-2-70b-chat-hf",
+ # temperature=0.7,
+ )
+ # highlight-end
+ # Additional parameters not shown
+)
+# END FullGenerativeAnyscale
+
+# clean up
+client.collections.delete("DemoCollection")
+import_data()
+
+# START RuntimeModelSelectionAnyscale
+from weaviate.classes.config import Configure
+from weaviate.classes.generate import GenerativeConfig
+
+collection = client.collections.use("DemoCollection")
+response = collection.generate.near_text(
+ query="A holiday film",
+ limit=2,
+ grouped_task="Write a tweet promoting these two movies",
+ # highlight-start
+ generative_provider=GenerativeConfig.anyscale(
+ # # These parameters are optional
+ # base_url="https://api.anthropic.com",
+ # model="meta-llama/Llama-2-70b-chat-hf",
+ # temperature=0.7,
+ ),
+ # Additional parameters not shown
+ # highlight-end
+)
+# END RuntimeModelSelectionAnyscale
+
+# clean up
+client.collections.delete("DemoCollection")
+
+# START BasicGenerativeAWSBedrock
+from weaviate.classes.config import Configure
+
+client.collections.create(
+ "DemoCollection",
+ # highlight-start
+ generative_config=Configure.Generative.aws(
+ region="us-east-1",
+ service="bedrock",
+ model="cohere.command-r-plus-v1:0"
+ )
+ # highlight-end
+)
+# END BasicGenerativeAWSBedrock
+
+# clean up
+client.collections.delete("DemoCollection")
+
+# START BasicGenerativeAWSSagemaker
+from weaviate.classes.config import Configure
+
+client.collections.create(
+ "DemoCollection",
+ # highlight-start
+ generative_config=Configure.Generative.aws(
+ region="us-east-1",
+ service="sagemaker",
+ endpoint="API キー ヘッダー
+ +`v1.27.7`、`v1.26.12`、`v1.25.27` 以降では、 Vertex AI ユーザー向けには `X-Goog-Vertex-Api-Key`、 Gemini API 向けには `X-Goog-Studio-Api-Key` ヘッダーがサポートされています。最も高い互換性を得るため、これらのヘッダーの使用を推奨します。 ++ +`X-Google-Vertex-Api-Key`、`X-Google-Studio-Api-Key`、`X-Google-Api-Key`、`X-PaLM-Api-Key` は非推奨となります。 + +