ChatGPT es tan malo en los ensayos que los profesores pueden detectarlo al instante

Desde que se lanzó ChatGPT, ha sido aclamado como un presagio de fatalidad para escritores, programadores y motores de búsqueda. Pero la desaparición de ningún concepto único ha sido proclamada con más implacable pregonada que el humilde ensayo del estudiante. Las descargas de alta velocidad del chatbot sobre Jane Austen y las explicaciones gramaticalmente impecables del ciclo de Krebs han enviado a los educadores a la conspiración sobre el futuro de las evaluaciones basadas en texto.

Pero los profesores universitarios están detectando tareas ChatGPT en la naturaleza por una razón diferente: porque los ensayos producidos por la IA son basura.

"El primer indicador de que estaba tratando con IA fue que, a pesar de la coherencia sintáctica del ensayo, no tenía sentido", escribió el profesor asistente de filosofía en la Universidad de Furman, Darren Hicks, en una publicación de Facebook después de confrontar su primer ChatGPT generado. ensayo sobre 'Hume y la paradoja del horror'.

Para otro profesor que pidió permanecer en el anonimato, también fue que el ensayo fue discordante y resonantemente erróneo, lo que primero suscitó sus sospechas de que ChatGPT podría haber estado involucrado. El ensayo, que abordaba el trabajo de la teórica crítica Judith Butler, "no tenía sentido", dijeron. Parecía haber combinado varias fuentes que "hablaban sobre Butler, sexualidad, género y lo que sea... Era una serie de oraciones que tenían su propio sentido individualmente, pero juntas tenían muy poco sentido".

Los estudiantes a menudo también se equivocan, pero son las formas idiosincrásicas en las que ChatGPT estropea las tareas lo que los profesores están empezando a reconocer. Dicen que los ensayos encarnan una constelación de rasgos que desencadenan un efecto de valle inquietante en el lector. Los educadores están comenzando a compartir estos primeros encuentros y sus pistas sobre cómo detectar las huellas fantasmales de ChatGPT.

"Normalmente, cuando un estudiante plagia, surge un análisis de costo-beneficio porque está desesperado", dijo Hicks a Motherboard. No conocen el material y no tienen tiempo para completar la evaluación, por lo que preguntan qué probabilidades hay de que los atrapen. "Debido a que es una lucha de último minuto, en la mayoría de los casos los ensayos son terribles", dijo.

No es así con ChatGPT. En el caso del ensayo ChatGPT de Hick, "estaba mal, pero estaba seguro y estaba escrito con claridad", dijo. "Si no conociera mejor el material, se habría visto bien. Y esa , esa es una extraña combinación de banderas que nunca había visto antes".

También están las claves estilísticas reveladoras. "Tiende a producir ensayos que están llenos de trivialidades insípidas y de sabiduría común", dijo Bret Devereaux, profesor visitante de historia en la Universidad de Carolina del Norte en Chapel Hill, quien recientemente se encontró con su primera tarea creada por ChatGPT. "Es una especie de diferencia entre pedir una buena comida en un restaurante y pedir el menú completo en un restaurante, meterlo en una licuadora y luego tomarlo como sopa", dice. "Este último simplemente no va a saber muy bien".

Luego está el punto bastante importante de que ChatGPT es un mentiroso descarado. Si su hábito de fabricación no es evidente en el ensayo en sí, es probable que levante la cabeza en las citas. El chatbot tiene una inclinación por conjurar obras completamente imaginadas de autores a veces ficticios. También se sabe que combina los nombres de eruditos menos famosos con los más prolíficos. El catch-22 de ChatGPT es que solo puede detectar sus mentiras de manera confiable si usted mismo es un experto en la materia, lo que significa que es probable que un estudiante en pánico que recurra al software una hora antes de la fecha límite tenga dificultades para determinar qué es incorrecto.

ChatGPT no reproduce ningún contenido palabra por palabra de sus datos de entrenamiento, lo que significa que vuela por debajo del radar del software tradicional de detección de plagio, pero el profesor anónimo dijo que algunas de las frases de su ensayo generado por ChatGPT se rastrearon fácilmente hasta lo que probablemente era parte de su contenido en línea. material de origen. ( Turnitin ha integrado un detector de IA y GPTZero es un programa similar del propio OpenAI, pero ninguno de los dos es infalible en este momento).

Todas estas peculiaridades surgen de cómo funciona ChatGPT. La herramienta de OpenAI ingirió vastos conjuntos de datos de lenguaje y aprendió las relaciones probabilísticas entre palabras, seguidas de un mayor aprendizaje de refuerzo con humanos sobre lo que constituye una "buena" respuesta a diferentes indicaciones. Puede producir oraciones que suenan correctas, a pesar de que el programa no comprende los conceptos subyacentes.

En un artículo reciente del New Yorker, el autor de ciencia ficción Ted Chiang lo describió como un "JPG borroso de Internet": ha transformado de manera impresionante volúmenes masivos de datos en una caja negra algorítmica, pero en el proceso ha sacrificado la especificidad, los matices y la garantía de exactitud. Ingrese un mensaje y lo que obtendrá es una aproximación entrecerrada de la conciencia colectiva de Internet.

Esto, combinado con el hecho de que ChatGPT no puede reconocer los límites de su propio conocimiento, significa que la herramienta es una mierda elegante. Donde no sabe cosas, llena la brecha con pelusa fluida y relacionada tangencialmente. O peor aún, "alucina", produciendo vuelos de fantasía superficialmente coherentes.

Detrás de todo esto, por supuesto, se vislumbra el contrafactual. Quizás otros estudiantes están entregando ensayos de ChatGPT que son tan buenos que pasan desapercibidos para los profesores. Después de todo, hay un coro de profesores extrañamente comprometidos con transmitir los triunfos de la tecnología sobre sus insignificantes tareas. Pero parecería que, sin un retoque sustancial por parte del estudiante, es poco probable que este sea el caso en su mayor parte.

"En este momento, no creo que sea lo suficientemente bueno para escribir un trabajo de nivel universitario", dice Kristin Merrilees, estudiante de Barnard College. Ha oído hablar de algunos estudiantes que usan ChatGPT en ejercicios de hojas de trabajo, donde las respuestas requeridas son cortas y relativamente simples, pero no conoce a nadie que haya intentado un ensayo completo hasta ahora. Pero Merrilees dice que ha usado el software como una ayuda de estudio para ayudar a resumir el material sobre un tema en particular, aunque "a veces se equivoca".

Si bien es probable que el modelo mejore aún más, algunos problemas siguen siendo intratables por ahora. Los expertos en inteligencia artificial señalan que, en la actualidad, los investigadores no están seguros de cómo hacer que el modelo sea más confiable en cuanto a los hechos, o conscientes de los límites de sus capacidades. "Poner a tierra grandes modelos de lenguaje es un objetivo elevado y algo de lo que apenas hemos comenzado a rascar la superficie", dice Swabha Swayamdipta, profesora asistente de Ciencias de la Computación en la Escuela de Ingeniería Viterbi de la USC.

Para hacer que herramientas como ChatGPT sean más confiables, las empresas pueden incorporar más aprendizaje de refuerzo humano, pero esto también puede "hacer que los modelos sean más dóciles y predecibles, empujándolos a ser más suaves y tener un estilo más reconocible", dice Jaime Sevilla, director de Epoch, una firma de investigación y pronóstico de IA. Puede ver la diferencia que esto hace al comparar ChatGPT con su primo más loco, GPT-3, señala.

Los profesores todavía están lidiando con lo que deberían hacer con ChatGPT, si es que deberían hacer algo. Pero la evidencia temprana de trampas habilitadas para ChatGPT sugiere una rúbrica aproximada sobre cómo hacer que las indicaciones de ensayo sean menos jugables. Las preguntas que se enfocan en describir o explicar temas con muchas palabras dedicadas a ellos en línea están directamente dentro de la cabina de mando de ChatGPT. Piense en algo como "discutir los temas principales de Hamlet". "Eso está por todo Internet, va a dar en el clavo", dice Hicks.

Si los profesores desean cubrir este tipo de textos, es posible que deban ser más creativos con el tipo de preguntas que hacen. Ser más específico es una ruta potencial: "ChatGPT leyó sin problemas su biblioteca una vez y luego quemó la biblioteca", dice Devereaux. "Va a ser difícil producir citas específicas a menos que sean tan comunes en el material de capacitación que dominen el algoritmo".

Algunos profesores dicen que debido a que sus evaluaciones requieren pensamiento crítico y evidencia de aprendizaje, están más allá de las capacidades de ChatGPT. "He visto informes sobre ChatGPT que aprueba este examen en esta o aquella escuela de negocios", dice Devereaux. "Si ChatGPT puede aprobar su examen, probablemente haya algún problema con su examen".

Pero una parte del discurso dice que la interrupción relacionada con ChatGPT es inevitable; los educadores deben bajar las herramientas y rendirse, usurpados por las fauces cuadradas de la interfaz de IA.

Ethan Mollick, profesor asociado de innovación y emprendimiento en la Escuela Wharton de la Universidad de Pensilvania, les dijo a los estudiantes que espera que usen ChatGPT para hacer sus tareas, y que esto no contará como hacer trampa siempre que reconozcan dónde ayudó. . Él y otros han comenzado a hacer que los estudiantes analicen los ensayos producidos por ChatGPT en clase como parte del plan de estudios también.

Algunos profesores con los que hablé pensaron que hacer que los estudiantes examinaran el resultado de ChatGPT podría resultar un enfoque creativo para la tecnología. Pero a otros les preocupaba que esto evitaría que los estudiantes realmente aprendieran a escribir ensayos y que se perderían la reflexión y el análisis críticos que son una parte importante del proceso.

"Un ensayo en este sentido es un cuadro de palabras en el que ponemos pensamientos para que podamos dárselos a otra persona", escribió Devereaux en un blog sobre ChatGPT. "Pero ChatGPT no puede tener pensamientos originales, solo puede remezclar la escritura que ya está en su material de capacitación; solo puede copiar mal lo que alguien más ya ha hecho mejor en otro lugar".

Por su parte, Hicks ha amenazado a cualquier estudiante sospechoso de usar ChatGPT con una prueba oral en el acto. (Malas noticias para los estudiantes que resultan ser tan sosos y engreídos como ChatGPT).

Dada la avalancha de sentina generada por IA que ya está inundando Internet, Devereaux dice que no entiende realmente por qué se desató ChatGPT en el mundo, o si su valor terminará siendo positivo.

"Soy un historiador militar, así que como se puede imaginar, estoy muy familiarizado con las muchas tecnologías que existen, pero que no debemos usar", dice. " Podríamos realizar un experimento en vivo sobre si la detonación de 2.000 armas nucleares provocaría un invierno nuclear. No deberíamos.