PNL - Tema 3. Representación de texto

Un archivo con imágenes digitales.

Un conjunto amplio de textos organizados para análisis computacional.

Un programa de software utilizado para procesar textos.

Un tipo de algoritmo de clasificación de textos.

Considera el orden de las palabras en un texto.

No captura las frecuencias de las palabras.

Ignora el orden y el contexto de las palabras.

Requiere una gran cantidad de memoria.

Convierte palabras en vectores numéricos con un solo "1" en la posición correspondiente.

Representa todas las palabras del texto con el mismo valor.

Asigna un valor binario (0 o 1) a las palabras de acuerdo con su importancia.

Convierte el texto en un formato binario que puede ser leído por máquinas.

Es difícil de interpretar.

No refleja relaciones semánticas entre palabras.

Impide representar palabras frecuentes.

No es útil en modelos de Machine Learning.

El número total de palabras en un documento.

El número de documentos que contienen un término específico.

La cantidad de veces que un término aparece en todo el corpus.

La frecuencia de aparición de cada término en un documento.

Aumentar la relevancia de palabras muy frecuentes en el corpus.

Reducir el peso de palabras comunes que aparecen en muchos documentos.

Medir la frecuencia de aparición de cada término en un solo documento.

Identificar palabras únicas en un documento.

El conteo de frecuencia de un término multiplicado por su frecuencia en todo el corpus.

La frecuencia de un término en un documento dividida por su frecuencia en el corpus.

La frecuencia de un término en un documento multiplicada por su IDF.

El conteo de palabras dividido por el número total de palabras.

Una secuencia de palabras que aparece una sola vez en un documento.

Una secuencia continua de n palabras consecutivas en un texto.

Un modelo que clasifica palabras en categorías gramaticales.

Un tipo de análisis de sentimientos aplicado a un conjunto de textos.

No puede ser usado en tareas de clasificación de textos.

Es demasiado complejo y requiere mucho tiempo de procesamiento.

No permite realizar análisis de frecuencia de términos.

Pierde información sobre el contexto y el orden de las palabras.

TF-IDF ignora las palabras comunes y resalta las más relevantes dentro de un corpus.

TF-IDF considera solo la frecuencia de palabras dentro de un documento, sin importar el corpus.

TF-IDF es más rápido de calcular que la representación TF.

TF-IDF captura mejor el contexto y el orden de las palabras.