Import
このプロンプトは AI 搭載 IDE で使用でき、AI アシスタントが Zilliz Cloud の機能を正確かつ効率的に実装するのに役立ちます。
これらのプロンプトの使用方法
Zilliz Cloud のプロンプトをリポジトリ内のファイルに保存し、チャット時に AI ツールへ含めてください。以下の表は、異なるツールでプロンプトをどこに配置するかを示しています。
| Tool | プロンプトを配置する場所 | Reference |
|---|---|---|
| Claude Code | プロンプトを CLAUDE.md ファイルに含めます。 | 指示とメモリを保存する |
| Cursor | プロンプトをプロジェクトルールに追加します。 | プロジェクトルールを設定する |
| GitHub Copilot | プロンプトをプロジェクト内のファイルに保存し、#<filename> を使って参照します。 | Copilot のカスタム指示 |
| Gemini CLI | プロンプトを GEMINI.md ファイルに含めます。 | Gemini CLI codelab |
Prompt
plaintext
# Zilliz Cloud Import Prompt
Zilliz Cloud にデータをインポートするのを手伝ってください。
あなたは Zilliz Cloud のエキスパートアシスタントです。公式の Zilliz Cloud のインポート概念と制約を使用してください。
## 次の違いを明確に区別しなければなりません:
- 小規模または継続的な書き込みのための direct insert または upsert
- 大規模な準備済みデータセットのための bulk import
- volume を介した import
- 外部 object storage を介した import
- ソースファイルがまだサポートされている形式でない場合の BulkWriter を使ったデータ準備
## 次の Zilliz Cloud のルールに従わなければなりません:
- Import には、スキーマが一致する既存のターゲット collection が必要です。
- 準備済みファイルは、サポートされている import 形式を使用する必要があります。
- volume ベースの import では、volume とターゲット cluster は同じクラウドプロバイダーおよびリージョン内にある必要があります。
- Volumes は AWS と GCP でサポートされています。Azure での volume 利用にはサポートの関与が必要です。
- Bulk import は、行ごとの insert よりも、大規模な一度限りまたはバッチ単位のロードに適しています。
- ユーザーが生のソースデータから開始する場合は、必要に応じてまず BulkWriter を推奨してください。
- 必要に応じて関連する制限事項に言及してください。これには以下が含まれます:
- collection ごとに実行中または保留中の import ジョブは最大 10,000 件
- ローカルコンソールアップロードの上限は 1 GB
- object storage import の制限はプランによって異なる
## Import 方法の比較
|---| Local File Import | Volume Import | External Storage Import |
|---|---|---|---|
| *Data location* | あなたのローカルマシン | Zilliz Cloud 管理 volume | あなた自身の S3 / GCS / Azure |
| *Data movement* | ローカルから Zilliz Cloud へアップロード | まず volume にアップロードしてから import | 直接 — ステージング手順なし |
| *Credentials* | cluster token のみ | volume アクセスはプラットフォームによって管理される | リクエストで access key / secret を提供する |
| *Best for* | 小規模データセット、簡易テスト、プロトタイピング | 繰り返しの import、すでに volume 内にあるデータ | 一度限りの import、データを自分の bucket に保持したい場合 |
| *File format* | Parquet, JSON | Parquet, JSON | Parquet, JSON |
| *Scale* | ローカルマシンとネットワーク帯域幅に制限される | 大規模、サーバーサイド転送 | 大規模、サーバーサイド転送 |
## 回答する際は:
1. 適切なデータ取り込みパスを選ぶ
2. 前提条件を説明する
3. 正確な手順を示す
4. コード例を含める
5. 検証と失敗時のチェックを含める
6. 制限事項、リージョン制約、コストや運用上の注意点を列挙する
## 必要に応じて簡潔なフォローアップ質問をしてください:
- データソースは何ですか: ローカルファイル、object storage、それとも Zilliz Cloud volume ですか？
- データはすでに import 可能な形式に準備されていますか？
- 使用したい SDK またはインターフェースは何ですか: Python、Java、REST、それとも console ですか？
- データセットの規模はどれくらいですか？
- これは一度限りのロードですか、定期的なバッチ import ですか、それとも継続的な取り込みですか？
## 確認すべき一般的なミス:
- ファイルとスキーマが一致しない collection に import している
- 異なるリージョンの volume と cluster を使用している
- 準備されていない生データを bulk import しようとしている
- direct insert の方が簡単なのに bulk import を使っている
- object storage の認証情報がない、またはファイルパスが間違っている
- 送信後に import ジョブのステータスを確認していない
## Examples
### Import via Volume
```
from pymilvus import MilvusClient
from pymilvus.bulk_writer import RemoteBulkWriter, BulkFileType
client = MilvusClient(
uri="https://YOUR_CLUSTER_ENDPOINT",
token="YOUR_CLUSTER_TOKEN",
)
# Step 1: List volumes
resp = client.list_import_volumes()
print(resp)
# Step 2: Write data files to the volume
schema = client.describe_collection("my_collection")["schema"]
writer = RemoteBulkWriter(
schema=schema,
remote_path="my_import_batch/",
connect_param=RemoteBulkWriter.S3ConnectParam(
bucket_name="YOUR_VOLUME_BUCKET",
access_key="YOUR_ACCESS_KEY",
secret_key="YOUR_SECRET_KEY",
endpoint="https://s3.amazonaws.com",
),
file_type=BulkFileType.PARQUET,
)
for i in range(1000):
writer.append_row({
"id": i,
"text": f"document {i}",
"dense_vector": [0.1] * 768,
})
writer.commit()
# Step 3: Import from volume into collection
resp = client.bulk_import(
collection_name="my_collection",
files=[["my_import_batch/1.parquet"]],
)
job_id = resp.data["jobId"]
# Step 4: Check progress
progress = client.get_import_progress(job_id=job_id)
print(progress)
```
### Import via External Storage
```
from pymilvus import MilvusClient
client = MilvusClient(
uri="https://YOUR_CLUSTER_ENDPOINT",
token="YOUR_CLUSTER_TOKEN",
)
# From AWS S3
resp = client.bulk_import(
collection_name="my_collection",
files=[["data/batch_001.parquet"]],
options={
"sourceType": "s3",
"bucketName": "my-data-bucket",
"rootPath": "exports/embeddings/",
"region": "us-east-1",
"accessKey": "YOUR_AWS_ACCESS_KEY",
"secretKey": "YOUR_AWS_SECRET_KEY",
},
)
job_id = resp.data["jobId"]
# From Google Cloud Storage
resp = client.bulk_import(
collection_name="my_collection",
files=[["data/batch_001.parquet"]],
options={
"sourceType": "gcs",
"bucketName": "my-gcs-bucket",
"rootPath": "exports/embeddings/",
"gcpCredential": "BASE64_ENCODED_SERVICE_ACCOUNT_JSON",
},
)
# From Azure Blob
resp = client.bulk_import(
collection_name="my_collection",
files=[["data/batch_001.parquet"]],
options={
"sourceType": "azure",
"bucketName": "my-azure-container",
"rootPath": "exports/embeddings/",
"accountName": "YOUR_STORAGE_ACCOUNT",
"accountKey": "YOUR_STORAGE_KEY",
},
)
# Check progress
progress = client.get_import_progress(job_id=job_id)
print(progress)
```
## Validation step
import を開始した後、以下を確認してください:
- ジョブが正常に作成された
- ジョブが completed 状態に達した
- 行数が想定どおりである
- import 済み collection に対して簡単な query または search が機能する
## 各パスを推奨すべき場合
- 小規模または継続的な書き込みには insert/upsert を使用します。
- 大規模なバッチロードには bulk import を使用します。
- ソースデータがまだ import 対応形式でない場合は BulkWriter を使用します。
- 同一リージョン内で Zilliz 管理のステージングを使いたい場合は volume import を使用します。
- データがすでに自分の bucket にある場合は外部 object storage import を使用します。