Por qué los detectores de IA no funcionan

Ay, amiga.

Aquí es donde aparece el gran reto educativo. No podemos diseñar políticas pensando sólo en pillar al tramposo. Primero, porque los detectores de IA son imperfectos. Y conviene entender en qué consiste esa imperfección, porque no es la del plagio clásico. Es otra cosa, distinta, más sutil, y bastante peor.

El plagio clásico dejaba huella

Si yo copio un párrafo de un libro, ese párrafo existe en algún sitio. Un PDF en la nube, una web indexada, una tesis en un repositorio universitario, un blog viejo y sin visitas pero que Google sí ha rastreado...

La detección del plagio clásico era, en esencia, un problema de cotejo: comparar el texto sospechoso con un corpus enorme y buscar coincidencias literales. Turnitin lleva veinte años haciendo eso, y funciona razonablemente bien. ¿Por qué? Porque el original existe y es localizable. Hay una huella que se puede seguir hasta su madriguera.

Con la IA no hay original que cotejar

Cuando le pides a ChatGPT que te escriba un ensayo sobre Kant, el texto que produce no existía antes de que tú lo pidieras. Es nuevo, único, generado en ese instante a partir de patrones estadísticos. Si pides el mismo ensayo otra vez, sale distinto. No hay un corpus contra el que cotejarlo. No hay una web donde "vivía" antes.

Así que los detectores actuales cambian de estrategia. En vez de buscar coincidencias, intentan reconocer patrones estadísticos propios del texto generado por modelos de lenguaje. Es otro deporte completamente distinto, aunque se siga llamando "detección".

Entonces, ¿qué miden los detectores?

Por qué esto no es suficiente

Porque la uniformidad y previsibilidad también correlacionan con:

• Prosa muy trabajada y pulida (lo que toda redacción académica decente intenta ser).
• Escritura de personas no nativas, que usan estructuras simples y vocabulario limitado.
• Textos técnicos, jurídicos o burocráticos, uniformes por convención.
• Textos cortos, donde no da tiempo a que aparezca la variabilidad humana.
• Cualquier texto editado, revisado o corregido. Es decir, la mayoría de los textos académicos serios.

Una variable proxy es una medida sustituta que se usa en estadística cuando la variable que de verdad te importa es imposible, demasiado cara o inobservable. En economía se usa el PIB per cápita como proxy de "calidad de vida". En estudios laborales, el coeficiente intelectual como proxy de "capacidad". Y en sociología, cuando no hay datos de años de escolaridad, se recurre a los ingresos de los padres como proxy de "nivel educativo". En todos los casos, el truco solo funciona si hay una correlación fuerte entre el sustituto y la variable real.

Eso es justo lo que hace un detector de IA. No puede medir la "autoría humana" directamente, así que mide la uniformidad estadística del texto y la usa como sustituto.

El problema es que la correlación aquí es floja y los falsos positivos abundan. Un proxy malo no te dice nada de la variable real, sólo te da la sensación de que sí.

García Márquez también suspende

Hay un ejemplo que circula por redes y que vale la pena nombrar. Si pasas un fragmento de Cien años de soledad por algunos detectores actuales, da 100% generado por IA.

La explicación es vergonzosamente sencilla.

El realismo mágico es un estilo saturado de marcadores propios, con una cadencia controladísima, sin titubeos, sin construcciones rotas. Es decir, el autor sabía trabajar el ritmo de su prosa de manera exquisita. Y por eso, estadísticamente, ese control se confunde con la uniformidad de un modelo de lenguaje.

Y para más coña, los modelos de lenguaje fueron entrenados con literatura, incluyendo con toda seguridad a García Márquez (cuyos libros aparecen reproducidos en cientos de rincones de todo internet). Así que el detector ve un texto que "se parece" a lo que un modelo escribiría, sin poder saber que el modelo se parece al texto porque aprendió de él.

Una pescadilla mordiéndose la cola.

Lo que el ejemplo demuestra es que el detector no está midiendo "autenticidad", mide estilo.

Y el estilo, por sí solo, no debería ser objeto de juicio académico ni base para una sanción. Suspender a una alumna porque escribe pulido es como suspenderla por entregar el ensayo a tiempo.

Eso no significa que el problema del uso indiscriminado de IA en educación no exista. Existe. Es enorme, es real, y requiere otra conversación (más larga y más incómoda) sobre cómo evaluamos lo que aprende un estudiante en una era en la que la herramienta para "redactar bien" cuesta cero euros y vive a un clic.

Pero la solución no puede ser una variable proxy que confunde a García Márquez con ChatGPT, ni una política educativa diseñada para pillar al tramposo en lugar de para enseñar a pensar.

Si trabajas en educación, en RRHH o en cualquier sitio donde se vayan a usar estos detectores para tomar decisiones sobre personas, hazte una pregunta antes de pulsar "subir documento":

¿De verdad voy a decidir el futuro de alguien con un número que ni siquiera mide lo que dice medir?