Formatter
JSON または Parquet の formatter 実装を通じて、バッファされた BulkWriter の列を 1 つ以上のインポートファイルにシリアライズします。
interface Formatter
実装:
-
class JsonFormatter implements Formatterバッファされた行を JSON ファイルに書き込みます。トップレベルの
rowsプロパティには、動的フィールドが有効な場合はそれを含む、シリアライズされた entity が格納されます。-
extension-[必須]
生成されるファイルに対して
.jsonを返します。 -
persist-[必須]
バッファされた列をシリアライズし、生成された JSON ファイルパスを返します。
-
-
class ParquetFormatter implements Formatter@shanghaikid/parquetjsを使用してバッファされた行を Parquet ファイルに書き込み、Milvus の scalar、vector、array、および動的フィールドの値を Parquet 互換の表現に変換します。-
extension-[必須]
生成されるファイルに対して
.parquetを返します。 -
persist-[必須]
バッファされた列をシリアライズし、生成された Parquet ファイルパスを返します。
-
Example
formatter 実装を選択する
SDK によって公開されている JSON および Parquet 実装を作成します。
import { JsonFormatter, ParquetFormatter } from '@zilliz/milvus2-sdk-node';
const jsonFormatter = new JsonFormatter();
const parquetFormatter = new ParquetFormatter();
console.log(jsonFormatter.extension); // .json
console.log(parquetFormatter.extension); // .parquet
Notes
-
Formatter インターフェースは、読み取り専用の
extensionフィールドとpersist(columns, dynamicRows, rowCount, dir, schema)メソッドを公開しており、このメソッドは生成されたローカルファイルパスを返します。 -
BulkWriter は、
formatがjsonの場合に JsonFormatter を選択し、formatがparquetの場合に ParquetFormatter を選択します。 -
Parquet 出力には SDK 依存関係
@shanghaikid/parquetjsが必要です。