Physical Address
304 North Cardinal St.
Dorchester Center, MA 02124
Descubre la impactante verdad sobre la frecuencia de mentiras en los chatbots: ¡Te sorprenderás con el resultado!
- OpenAI presentó su chatbot ChatGPT que a menudo inventa información.
- Google y Microsoft también lanzaron chatbots que ofrecieron información falsa.
- La startup Vectara está investigando con qué frecuencia los chatbots alucinan.
- La investigación estima que los chatbots inventan información al menos el 3% de las veces.
- No hay forma de determinar definitivamente con qué frecuencia alucinan debido a la cantidad ilimitada de formas en que pueden responder.
- Los investigadores esperan que sus métodos estimulen los esfuerzos en la industria para reducir las alucinaciones.
- Las tecnologías de OpenAI tuvieron la tasa más baja de alucinación, mientras que Palm Chat de Google tuvo la tasa más alta.
- Los chatbots se basan en probabilidades y a veces adivinan incorrectamente.
- Los investigadores utilizaron otro modelo de lenguaje para verificar la precisión de los resúmenes de los chatbots.
- El detector de alucinaciones también puede cometer errores.
Los chatbots y su propensión a inventar información
En los últimos años, los chatbots han ganado popularidad por su capacidad para responder preguntas, escribir poesía y hablar de diversos temas. Sin embargo, un estudio realizado por la startup Vectara ha revelado que estos chatbots a menudo inventan información. Esto ha sido denominado como alucinación por parte de los expertos.
La investigación de Vectara muestra que los chatbots pueden inventar información en al menos el 3% de las ocasiones, e incluso hasta un 27% en algunos casos. La imprevisibilidad de los chatbots y su capacidad para responder de múltiples formas dificulta determinar con exactitud la frecuencia de estas alucinaciones. A pesar de los esfuerzos de compañías como OpenAI, Google y Meta para reducir este problema, no está claro si podrán eliminarlo por completo.
El impacto de los chatbots en la precisión de la información
La capacidad de los chatbots para inventar información plantea preocupaciones sobre la precisión de la información proporcionada por estos sistemas. Los casos reportados de chatbots ofreciendo información falsa sobre temas como el telescopio James Webb y la cantante Billie Eilish resaltan la necesidad de abordar este problema.
La investigación de Vectara revela que los chatbots tienen tasas variables de alucinación, con las tecnologías de OpenAI presentando la tasa más baja y Palm Chat de Google presentando la tasa más alta. Estos chatbots se basan en probabilidades y a veces adivinan incorrectamente. Los investigadores esperan que su estudio impulse a la industria a tomar medidas para reducir las alucinaciones y mejorar la precisión de los chatbots en la información que proporcionan.
