JSONL / JSON Lines フォーマッター

JSONL（JSON Lines）は、各行が有効な JSON 値（通常はオブジェクト）であるテキスト形式です。NDJSON（Newline Delimited JSON）または JSON Lines としても知られています。ルール：各行は完全で有効な JSON オブジェクトです。行は改行（\n）で区切られます。行間の末尾のコンマはありません。ファイルは末尾の改行を持つことがあります。JSON 配列と比べた利点：ストリーミングフレンドリー（ファイル全体を読み込まずに一度に 1 行を読む）、追加が容易、grep が容易、大規模なデータセット用メモリ効率的。使用方法：Elasticsearch バルク API、OpenAI ファインチューニングデータセット、ログ集約、Clickhouse、BigQuery。

JSON 配列：[{...}, {...}, {...}] — 解析前にファイル全体を読む必要があります。小さなデータセットに適しています。JSONL：1 行に 1 オブジェクト、ストリーム解析可能な行ごと。変換は簡単です：JSONL → JSON 配列：行を [] で囲み、コンマで結合します。JSON 配列 → JSONL：各要素を独自の行に文字列化します。実用的な違い：10 GB JSON 配列を解析するには 10 GB の RAM が必要です；10 GB JSONL ファイルは一度に 1 レコード分の RAM だけが必要です。ツール：jq、jsonlines Python ライブラリ、Clickhouse、Apache Kafka はすべて JSONL をネイティブにサポートしています。

行ごと：const records = text.split(\"\\n\").filter(line => line.trim()).map(line => JSON.parse(line))。ストリーム処理：Node.js で readline インターフェースと共に fs.createReadStream() を使用します。readline.createInterface({ input: fileStream }).on(\"line\", (line) => { if (line.trim()) process(JSON.parse(line)); })。大規模ファイルの場合、ストリーミングアプローチを使用します — ファイル全体をメモリに読み込まないでください。ブラウザ：ファイルをフェッチし、行分割と共に TransformStream を使用します。エラーハンドリング：不正な行を処理するために、各 JSON.parse() を try-catch でラップします。

OpenAI ファインチューニングは特定のスキーマで JSONL を使用します。チャット形式：各行は {\"messages\": [{\"role\": \"system\", \"content\": \"...\"}, {\"role\": \"user\", \"content\": \"...\"}, {\"role\": \"assistant\", \"content\": \"...\"}]}。完了形式（レガシー）：各行は {\"prompt\": \"...\", \"completion\": \" ...\"}。要件：最低 10 個の例、推奨 50-100 以上。ファイルサイズ：最大 1 GB。検証：openai tools.fine_tunes.prepare_data コマンドを使用します。完了後の \"\n\" トークンは、モデルがレスポンスがどこで終わるかを学習するために重要です。

コマンドライン：行数をカウント：wc -l file.jsonl。最初の 10 を取得：head -n 10 file.jsonl。最後の 10 を取得：tail -n 10 file.jsonl。jq でフィルタ：cat file.jsonl | jq -c 'select(.status == \"active\")'。Python ストリーミング：with open(\"file.jsonl\") as f: for line in f: record = json.loads(line)。行数で分割：split -l 1000 file.jsonl chunk_。マージ：cat chunk_* > merged.jsonl。ソート：sort -t'\"status\"' file.jsonl（生の行でソート、注意）。DuckDB：SELECT * FROM read_json_auto('file.jsonl', format='newline_delimited')。