English

Chunk With Overlap: deja de perder significado en los límites

Tu pipeline de RAG recupera el documento correcto, el modelo de embeddings está bien, la base de datos vectorial está bien — y aun así la respuesta llega cortada a mitad de idea. Nueve de cada diez veces, el culpable no es el modelo. Es cómo cortaste el documento antes de que siquiera llegara al modelo de embeddings.

El problema: los embeddings solo ven un fragmento a la vez

Un modelo de embeddings no lee todo tu documento. Lee el fragmento que le entregas, de forma aislada, y convierte ese fragmento en un vector. Divide el documento en un punto fijo e ingenuo — cada 1000 caracteres, sin importar qué haya en la página — y de vez en cuando cortarás justo a través de la frase que responde la pregunta del usuario. La mitad termina en el fragmento 4, la otra mitad en el fragmento 5, y el embedding de ninguno de los dos captura la idea completa. En el momento de la consulta, el recuperador solo puede devolver fragmentos completos, así que el modelo recibe media respuesta y o bien duda o bien alucina el resto.

La solución: solapamiento entre fragmentos

Haz que fragmentos consecutivos compartan una porción de texto. En lugar de que los límites entre fragmentos sean cortes tajantes, cada fragmento repite la parte final del fragmento anterior. Si una frase queda dividida por el corte principal, hay una buena probabilidad de que la frase completa aún aparezca intacta dentro de la región de solapamiento de un fragmento vecino — de modo que al menos un embedding representa la idea por completo.

Un punto de partida de uso común:

chunk_size = 1000      # characters per chunk
chunk_overlap = 200    # characters shared with the previous chunk

Eso es aproximadamente un 20% de solapamiento — un valor predeterminado razonable desde el cual ajustar, no una regla a seguir a ciegas.

Cómo hacerlo de verdad: usa un splitter recursivo, no un corte fijo

Solapar un splitter ingenuo de tamaño fijo sigue cortando donde caiga el conteo de caracteres — a mitad de palabra, a mitad de frase, donde sea. Un splitter recursivo de caracteres intenta el corte más limpio posible primero y solo recurre a uno más tosco si el fragmento sigue siendo demasiado grande:

1. Intenta dividir primero en saltos de párrafo.
2. Si un "párrafo" sigue siendo demasiado grande, recurre a saltos de línea sencillos.
3. Si eso sigue siendo demasiado grande, recurre a dividir en espacios.
4. Solo como último recurso corta a mitad de palabra.

La mayoría de los cortes caen en límites naturales del documento, y el solapamiento absorbe los que no. (La biblioteca y el nombre de la clase variarán según tu stack — la división recursiva con solapamiento es el concepto que importa, no el paquete específico.)

splitter = RecursiveCharacterTextSplitter(
    chunk_size=1000,
    chunk_overlap=200,
)
chunks = splitter.split_text(document_text)

Ajuste por corpus

• Documentos largos y densos (PDFs, textos legales, manuales) a menudo necesitan un tamaño de fragmento mayor para que un fragmento siga conteniendo una idea completa.
• Contenido corto y estructurado (FAQs, fichas de producto, entradas de changelog) normalmente prefiere fragmentos más pequeños — no rellenes una respuesta de 100 palabras para llenar una ventana de 1000 caracteres y diluir su embedding.
• Si las respuestas siguen sintiéndose cortadas a mitad de idea tras cambiar a un splitter recursivo, sube chunk_overlap antes de tocar chunk_size.

Trucos avanzados

• El solapamiento no es gratis. Más solapamiento significa más fragmentos totales para el mismo documento — más embeddings que calcular y almacenar. Empieza en ~20% y ajusta según los fallos observados, no "por si acaso".
• El solapamiento no arregla un tamaño de fragmento incorrecto. Si los fragmentos son consistentemente demasiado pequeños para contener una idea completa, sube el tamaño del fragmento, no el solapamiento.
• El conteo de caracteres no es completitud semántica. El contenido estructurado como tablas o bloques de código todavía puede cortarse de forma torpe — considera un splitter consciente de la estructura si eso es una parte importante de tu corpus.

Recursos

• LangChain — Recursive character text splitting
• Pinecone — Chunking strategies for LLM applications