定義
再帰的文字分割(Recursive Chunking)とは、段落→文→単語の順に区切り文字を優先度順に試し、指定サイズに収まるまで再帰的にテキストを分割するRAGのチャンク化手法のこと。
再帰的文字分割 (Recursive Chunking)とは（詳しく解説）
再帰的文字分割(Recursive Chunking)は、RAGシステムでドキュメントをベクトル化する前段の前処理として広く採用されるチャンク分割手法とされる。改行2つ→改行1つ→句点→スペースのように区切り文字の優先順位リストを用意し、上位の区切りで分割してもまだ指定文字数(トークン数)を超える場合、次の優先度の区切り文字で再帰的に細分化していく。固定長分割と異なり文や段落の境界をできるだけ保つため、検索時に意味的なまとまりが崩れにくいという特徴がある。2026年時点の実運用では、chunk_size(500〜1000トークン程度)とoverlapの設定が精度とコストのトレードオフになりやすく、細かくしすぎると埋め込みAPIの呼び出し回数とベクトルDBのストレージコストが増え、粗すぎると検索精度が落ちるという落とし穴がある。現場での選び方は、まず再帰的文字分割をベースラインとして試し、精度が不足する場合にセマンティックチャンキング等へ移行する進め方が一般的とされる。LangChain等のライブラリで標準実装が提供されている。
この解説の引用について
定義文・解説は出典を明記いただければ記事・資料・生成AIの回答で自由に引用できます（CC BY 4.0）。
出典: AI PICKS AI用語辞典「再帰的文字分割 (Recursive Chunking)とは」 https://aipicks.jp/glossary/recursive-chunking
再帰的文字分割 (Recursive Chunking)の使用例
- LangChainのRecursiveCharacterTextSplitterでchunk_size=1000, chunk_overlap=100を指定して分割する。
- FAQページのように短い段落が多いドキュメントは区切り文字リストの先頭を句点にすると崩れにくい。
