¿Pueden los detectores de IA salvarnos de ChatGPT? Probé 5 herramientas en línea para descubrirlo.

¿Pueden los detectores de inteligencia artificial salvarnos de ChatGPT? Probé 5 herramientas en línea para averiguarlo.

Cuando me encontré por primera vez con la pregunta de si es posible luchar contra el plagio generado por IA y cómo podría funcionar, era enero de 2023, solo unos meses después de que el mundo se diera cuenta del explosivo crecimiento de la IA generativa. Ahora, casi un año después, parece que hemos estado explorando la IA generativa durante años y años, pero en realidad hemos estado examinando el problema durante solo unos meses.

En cualquier caso, esta es una versión actualizada del artículo original de enero. Cuando hice las pruebas de detectores de GPT, utilicé tres: el Detector de Salida GPT-2, el Detector de Contenido de IA de Writer.com y el Detector de Contenido de IA de Content at Scale. El mejor resultado fue del Detector de Salida GPT-2, con un 66% de precisión. Esta vez, estoy añadiendo otros tres: GPTZero, ZeroGPT (sí, son diferentes) y el Detector de GPT de Writefull.

También: Cómo usar ChatGPT: Todo lo que necesitas saber

Lamentablemente, estoy eliminando el Detector de Contenido de IA de Writer.com de nuestro conjunto de pruebas porque falló en enero y volvió a fallar ahora. A continuación, encontrarás un comentario de la empresa, que su equipo me envió después de que se publicara el artículo original en enero.

Pero antes de seguir adelante, necesitamos hablar sobre el concepto de plagio y cómo se relaciona con nuestro problema. Webster’s define “plagiarizar” como “robar y hacer pasar (las ideas o palabras de otro) como propias; usar (la obra de otro) sin acreditar la fuente.”

• ¿Quién es responsable de la explosión del hospital en Gaza? Aquí te...
• Netflix se lanza a la transmisión deportiva con un torneo de golf d...
• Desarrollo profesional de ingeniero de aprendizaje automático estra...

Esta definición se ajusta al contenido creado por IA. Mientras alguien utiliza una herramienta de IA como Notion AI o ChatGPT, no está robando contenido, pero si esa persona no atribuye las palabras a una IA y las reclama como propias, aún cumple con la definición de plagio del diccionario.

También: Los mejores generadores de imágenes de IA para probar

En este artículo experimental, he pedido ayuda a ChatGPT. Mis palabras están en texto normal y en negrita. Las palabras de la IA están en cursiva. Después de cada sección generada por IA, mostraré los resultados de los detectores. Al final del artículo, analizaremos el rendimiento de los detectores en general.

Aquí tienes el resultado para el texto anterior, que yo mismo escribí:

• Detector de Salida GPT-2: 99,98% real
• Detector de Contenido de IA de Content at Scale: ¡100% Muy probablemente sea humano!
• GPTZero: Tu texto probablemente ha sido escrito completamente por un ser humano
• ZeroGPT: 28,9% IA GPT Tu texto es muy probablemente humano
• Detector de GPT de Writefull: 1% de probabilidad de que esto provenga de GPT-3, GPT-4 o ChatGPT

Contenido escrito por humanos: 4 de 5 correctos

Vamos a profundizar un poco más.

Explicación de por qué ChatGPT puede ser un verdadero problema para los profesores y editores en cuanto a plagio

ChatGPT es una variante del modelo de lenguaje GPT (Generative Pre-trained Transformer) desarrollado por OpenAI. Está diseñado para generar texto similar al de un humano al predecir la siguiente palabra o frase en una secuencia de entrada dada. Si bien ChatGPT puede ser una herramienta útil para generar texto y responder a preguntas, también puede ser un problema para los profesores y editores en cuanto a plagio.

Una de las principales razones por las que ChatGPT puede ser un problema para los profesores y editores es que puede generar texto muy similar al de los escritores humanos reales. Esto significa que los estudiantes u otras personas podrían usar ChatGPT para generar texto que luego podrían presentar como su propio trabajo, cometiendo así plagio.

También: Finalmente se lanza la aplicación oficial de ChatGPT para Android

Para los profesores y editores, detectar si un texto dado fue generado por ChatGPT o escrito por un humano puede ser muy difícil, ya que el texto generado puede no contener errores o discrepancias obvias que revelen su origen artificial. Esto puede dificultar a los profesores y editores identificar y prevenir el plagio, ya que pueden no ser capaces de determinar si un texto dado es original o copiado de otra fuente.

En general, ChatGPT y otros modelos de lenguaje similares pueden ser un problema para los profesores y editores en cuanto a plagio porque pueden generar texto que es difícil de distinguir del escrito por humanos, facilitando que los estudiantes y otras personas cometan plagio sin ser detectados.

• Detector de salida de GPT-2: 99.69% real
• Detección de contenido de Content at Scale AI: 3% ¡Muy probablemente generado por inteligencia artificial!
• GPTZero: Recomendamos ingresar un texto más largo para una predicción más precisa
• ZeroGPT: 51.22% IA GPT Tu texto es generado por IA/GPT
• Detectar GPT con Writefull GPT: 12% probablemente proviene de GPT-3, GPT-4 o ChatGPT

Contenido escrito por IA: 1 de 5 correcto (apenas)

Recuerda, el texto en cursiva fue generado por IA.

Muéstrame al menos tres formas en las que pueda detectar que ChatGPT se utilizó para producir un texto

Hay varias formas en las que potencialmente puedes detectar si ChatGPT u otro modelo de lenguaje se utilizó para producir un texto. Aquí hay tres enfoques potenciales que podrías usar:

1. Observa patrones repetitivos o inusuales en el texto: Una forma de detectar si se utilizó un modelo de lenguaje para generar un texto es buscar patrones repetitivos o inusuales en la escritura. Por ejemplo, los modelos de lenguaje pueden repetir ciertas frases o combinaciones de palabras, o utilizar estructuras de oraciones inusuales o inconsistentes.
2. Verifica la falta de originalidad: Otra forma de detectar si se utilizó un modelo de lenguaje para generar un texto es verificar la falta de originalidad en la escritura. Si un texto parece estar copiado de otra fuente, o si contiene información que está ampliamente disponible en internet u otras fuentes, podría ser una señal de que fue generado por un modelo de lenguaje.
3. Utiliza un verificador de plagio: Finalmente, puedes utilizar un verificador de plagio para verificar si un texto parece estar copiado de otra fuente. Si bien un verificador de plagio puede no ser capaz de determinar de manera definitiva si se utilizó un modelo de lenguaje para generar un texto, puede ayudarte a identificar casos de copia o parafraseo de otras fuentes.
4. Observa cuándo la respuesta es obviamente incorrecta: Hablé sobre esto en mi reseña de Notion AI, donde destacé un texto escrito por la IA que aparentaba tener autoridad, pero estaba claramente equivocado. Si un estudiante o escritor no tiene un dominio completo del tema que se está discutiendo, es posible que no detecte las inexactitudes y simplemente las deje en la respuesta generada por la IA. Por supuesto, las declaraciones incorrectas no son exclusivas de una herramienta de escritura de IA. Muchos blogueros y comentaristas, por ejemplo, simplemente repiten afirmaciones hechas por otros blogueros, creando una cámara de eco de “hechos falsos” por completo, lo que demuestra que si bien la inteligencia puede ser artificial, la estupidez es un rasgo universal.

Ten en cuenta que puede ser difícil determinar definitivamente si se utilizó un modelo de lenguaje para generar un texto, y estos métodos no siempre son efectivos. Sin embargo, pueden ser herramientas útiles para ayudarte a identificar posibles casos de texto generado por modelos de lenguaje.

En este conjunto de pruebas, solo se ejecutó el contenido en cursiva anterior a través del conjunto de comprobación.

• Detectar Salida GPT-2: 99.98% falso
• Detección de contenido en Escala IA: 99% ¡Altamente probable que sea humano!
• GPTZero: Tu texto puede incluir partes escritas por IA
• ZeroGPT: 91.35% IA GPT Tu texto es generado por IA/GPT
• Detectar GPT de Writefull: 77% probable que provenga de GPT-3, GPT-4 o ChatGPT

Contenido escrito por IA: 4 de 5 correctos

Enumera tres verificadores de plagio que pueden detectar texto de ChatGPT

Cabe destacar que actualmente no existe un verificador de plagio diseñado específicamente para detectar texto generado por ChatGPT u otros modelos de lenguaje. Si bien algunos verificadores de plagio pueden identificar ciertas características del texto generado por modelos de lenguaje que podrían indicar su origen artificial, no hay garantía de que puedan determinar definitivamente si un texto fue generado por un modelo de lenguaje.

Dicho esto, aquí hay tres verificadores de plagio que podrías considerar usar para ayudar a identificar posibles casos de texto generado por modelos de lenguaje:

1. Turnitin: Turnitin es un verificador de plagio popular que se utiliza ampliamente en escuelas y universidades. Compara un texto con una base de datos de otros textos para identificar casos de copia o parafraseo. Si bien puede no poder determinar definitivamente si un texto fue generado por un modelo de lenguaje, podría identificar ciertas características del texto generado por modelos de lenguaje que podrían indicar su origen artificial.
2. PlagScan: PlagScan es otro verificador de plagio que compara un texto con una base de datos de otros textos para identificar casos de copia o parafraseo. Al igual que Turnitin, puede identificar ciertas características del texto generado por modelos de lenguaje que podrían indicar su origen artificial, pero no está diseñado específicamente para detectar texto generado por modelos de lenguaje.
3. Copyleaks: Copyleaks es un verificador de plagio que utiliza algoritmos avanzados de aprendizaje automático para escanear un texto y compararlo con una base de datos de otros textos para identificar casos de copia o parafraseo. Si bien puede identificar ciertas características del texto generado por modelos de lenguaje, no está diseñado específicamente para detectar texto generado por modelos de lenguaje.

Cabe destacar que ningún verificador de plagio es completamente infalible, y siempre existe la posibilidad de que un texto generado por un modelo de lenguaje pueda pasar desapercibido. Por lo tanto, es importante utilizar los verificadores de plagio como parte de una estrategia más amplia para detectar y prevenir el plagio.

• Detectar Salida GPT-2: 99.58% real
• Detección de contenido en Escala IA: 100% ¡Altamente probable que sea humano!
• GPTZero: Tu texto puede incluir partes escritas por IA
• ZeroGPT: 100% IA GPT Tu texto es generado por IA/GPT
• Detectar GPT de Writefull: 88% probable que provenga de GPT-3, GPT-4 o ChatGPT

Contenido escrito por IA: 3 de 5 correctos

Verificadores de plagio de IA en línea

La mayoría de los detectores de plagio se utilizan para comparar escritos con un corpus de otros escritos. Por ejemplo, cuando un estudiante entrega un ensayo, un producto como Turnitin analiza el ensayo enviado con una gran biblioteca de otros ensayos en su base de datos, así como con otros documentos y textos en internet para determinar si el ensayo entregado contiene contenido que ya ha sido escrito.

Pero las herramientas de escritura de IA generan contenido original, al menos en teoría. Sí, construyen su contenido a partir de lo que han sido entrenados, pero las palabras reales que construyen son algo únicas para cada composición.

También: Los 10 mejores complementos de ChatGPT en este momento

Por lo tanto, es probable que los verificadores de plagio mencionados anteriormente no funcionen, porque es probable que el contenido generado por IA no existiera en, digamos, el trabajo de otro estudiante.

En este artículo, solo estamos hablando de detectores GPT. Pero el plagio es un gran problema y, como hemos visto, algunos eligen definir el plagio como algo que reclamas como tuyo pero que no has escrito, mientras que otros eligen definir el plagio como algo escrito por otra persona que tú reclamas como tuyo.

Esa distinción nunca fue un problema hasta ahora. Ahora que tenemos escritores no humanos, la distinción de plagio es más sutil. Depende de cada profesor, escuela, editor e institución decidir exactamente dónde se establece esa línea.

• Detectores de GPT-2: 99.98% real
• Detector de contenido de Content at Scale AI: 100% ¡Muy probable que sea humano!
• GPTZero: Es probable que tu texto haya sido escrito completamente por un humano
• ZeroGPT: 0% IA GPT, tu texto fue escrito por un humano
• Detectores de Writefull GPT: 1% probablemente esto proviene de GPT-3, GPT-4 o ChatGPT

Contenido escrito por humanos: 5 de 5 correcto

Resultados generales

De las cinco pruebas realizadas, cuatro de ellas fueron generalmente precisas. Las pruebas demostraron ser más precisas en contenido humano puro que en contenido de IA pura. Es interesante observar que los detectores individuales variaron ampliamente, por lo que si vas a usar un detector GPT, es posible que desees utilizar varios en un solo texto y agregar los resultados. Incluso con eso, no hay garantía de precisión completa.

También: OpenAI retira su propia herramienta de detección de IA porque funcionaba tan mal

Prueba	General	Humano	IA	IA	IA	Humano
Detectores de GPT-2	60%	Correcto	Fallo	Correcto	Fallo	Correcto
Detector de contenido de Content at Scale AI	40%	Correcto	Fallo	Fallo	Fallo	Correcto
GPTZero	80%	Fallo	Correcto	Correcto	Correcto	Correcto
ZeroGPT	80%	Correcto	Fallo	Correcto	Correcto	Correcto
Detectores de Writefull GPT	60%	Fallo	Fallo	Correcto	Correcto	Correcto

En enero, lo mejor que hicimos fue un 66% de aciertos. Aquí, tenemos dos herramientas que tuvieron un 80% de aciertos. Pero no me sentiría cómodo usando estas herramientas para validar el contenido de un estudiante. Como se ha demostrado, a menudo se califica la escritura de hablantes no nativos como generada por una IA, e incluso mi contenido creado a mano fue calificado como IA en algunas ocasiones. Por lo tanto, abogaría por tener precaución antes de confiar en los resultados de cualquiera (o todas) estas herramientas.

También: Esta primera herramienta fue construida utilizando un centro de aprendizaje automático administrado por la empresa de IA con sede en Nueva York Hugging Face. Aunque la empresa ha recibido $40 millones de financiamiento para desarrollar su biblioteca de lenguaje natural, el detector GPT-2 parece ser una herramienta creada por el usuario que utiliza la biblioteca Hugging Face Transformers. De las seis pruebas que realicé, fue precisa en cuatro de ellas.

Detectador de Contenido AI de Writer.com (Precisión N/D)

Writer.com es un servicio que genera escritos de IA orientados a equipos corporativos. Su herramienta Detectador de Contenido AI puede escanear contenido generado. Desafortunadamente, encontré que esta herramienta no era confiable y no generaba resultados, exactamente de la misma manera que en enero.

Después de que este artículo se publicó originalmente en enero, la gente de Writer.com se puso en contacto con ENBLE. La CEO May Habib tuvo este comentario para compartir:

La demanda del detectador de IA ha aumentado drásticamente. El tráfico ha crecido 2-3 veces por semana desde que lo lanzamos hace un par de meses. Ahora tenemos la capacidad de escalarlo para asegurarnos de que no se caiga, y nuestro objetivo es mantenerlo gratuito y actualizado para capturar las últimas salidas de los modelos, incluyendo los nuestros. Si la salida de IA se va a utilizar literalmente, definitivamente debería atribuirse.

Detección de Contenido AI de Content at Scale (Precisión 40%)

La tercera herramienta que encontré también fue producida por una empresa de generación de contenido de IA. Content at Scale se promociona como “Ayudamos a los especialistas en marketing de contenido enfocados en SEO automatizando la creación de contenido”. Su llamado de atención de marketing es: “¡Sube una lista de palabras clave y obtén entradas de blog de más de 2,600 palabras que evaden la detección de contenido de IA, ¡todo sin intervención humana!” Lamentablemente, los resultados empeoraron desde enero, en ese momento tenía un 50% de precisión.

GPTZero (Precisión 80%)

No está del todo claro qué impulsa a GPTZero. La empresa está contratando ingenieros y vendedores, y funciona en AWS, por lo que hay gastos e inversiones involucrados. Sin embargo, lo único que pude encontrar sobre una oferta de servicio fue un lugar donde puedes registrarte para obtener una cuenta gratuita y escanear más de las 5,000 palabras ofrecidas sin iniciar sesión. Si estás interesado en este servicio para la detección de GPT, tendrás que ver si ellos te responden con más detalles.

ZeroGPT (Precisión 80%)

ZeroGPT parece haber madurado como un servicio desde la última vez que lo revisamos. Cuando lo revisamos por última vez, no se listaba ningún nombre de empresa y el sitio estaba lleno de anuncios de Google, sin una estrategia aparente de monetización. El servicio funcionaba bastante bien, pero parecía sospechoso.

Esa sensación de sospecha ha desaparecido por completo. ZeroGPT se presenta como cualquier otro servicio SaaS, completo con precios, nombre de la empresa, información de contacto y todo lo demás. Sigue funcionando bastante bien, así que tal vez los desarrolladores decidieron convertir su código funcional en un negocio funcional. ¡Bien por ellos!

Detector de GPT de Writefull (Precisión 60%)

Writefull vende servicios de soporte de escritura, además de ofrecer muestras gratuitas de sus herramientas. El detector de GPT es bastante nuevo y funcionó bastante bien. Quizás mejore con el tiempo.

Pensamientos finales

Primero permitiré que ChatGPT diga lo suyo: la plagio impulsado por IA es un problema creciente, ya que las herramientas de IA como Notion AI y ChatGPT pueden generar texto que es difícil de distinguir del escrito por humanos. Hay varias formas de detectar si un texto fue generado por una IA, como buscar patrones repetitivos o inusuales, verificar la falta de originalidad o utilizar un detector de plagio. Los detectores de plagio como Turnitin, PlagScan y Copyleaks pueden identificar ciertas características del texto generado por modelos de lenguaje, pero no son infalibles.

Incluso las herramientas especializadas que encontré eran completamente inadecuadas para la tarea. Hubo alguna mejora limitada desde mis pruebas en enero, pero ciertamente no me sentiría cómodo amenazando el estatus académico de un estudiante o acusándolo de hacer trampa basándome en los resultados de ninguna de estas herramientas.

También: Las personas son más pesimistas acerca de la IA ahora que antes del auge, muestra un estudio

En este punto, no creo que estemos listos para dejar que la IA luche contra la IA. En su lugar, tendremos que depender de la percepción humana (lo que significa que las personas tienen que prestar atención) para identificar obras que fueron generadas por una IA.

No asumas inmediatamente que algo es generado por una máquina. Solo porque algo sea estúpido o terriblemente impreciso, no asumas de inmediato que no fue escrito por un humano. Como todos hemos llegado a saber, los humanos son bastante capaces de escribir cosas increíblemente malas por sí mismos.

También: ChatGPT de OpenAI es asombrosamente bueno en mi trabajo, pero no puede reemplazarme (aún)

Entonces, ¿qué piensas? ¿Puedes distinguir si una pieza fue generada por IA? ¿Has utilizado estas herramientas de escritura de IA en los meses desde que se volvieron disponibles de repente? ¿Crees que son una ayuda o un obstáculo para la educación y el periodismo? Déjanos saber en los comentarios a continuación. Esto es lo que ChatGPT respondió:

Como modelo de lenguaje, no puedo ver ni interactuar con piezas de escritura físicas, por lo que no puedo decir si una pieza es generada por IA o no. Sin embargo, puedo decirte que hay varias herramientas de escritura de IA disponibles y se pueden utilizar para generar una amplia gama de contenido escrito, incluyendo artículos de noticias, ficción, poesía y más.

No tengo experiencia personal utilizando estas herramientas, ya que solo soy un programa de computadora y no tengo la capacidad de navegar por internet o utilizar herramientas físicas. Sin embargo, puedo decirte que algunas personas han encontrado útiles las herramientas de escritura de IA en la educación y el periodismo, ya que pueden ahorrar tiempo y esfuerzo al automatizar ciertas tareas. Otros han expresado preocupaciones sobre el potencial de estas herramientas para ser utilizadas para producir contenido engañoso o sesgado, o para reemplazar a los escritores humanos. En última instancia, si las herramientas de escritura de IA son una ayuda o un obstáculo depende de cómo se utilizan y del contexto en el que se utilizan.

Así que, sí, eso es todo.

---

Puedes seguir las actualizaciones diarias de mi proyecto en las redes sociales. Asegúrate de suscribirte a mi boletín de actualizaciones semanales en Substack y seguirme en Twitter en @DavidGewirtz, en Facebook en Facebook.com/DavidGewirtz, en Instagram en Instagram.com/DavidGewirtz y en YouTube en YouTube.com/DavidGewirtzTV.

---

• artificial intelligence
• Innovation