Google dice que su “chatbot” es capaz de tener una conversación casi humana

Mejor prueba

Si alguna vez has intentado tener una conversación con un chatbot, sabes que incluso los sistemas de última generación de hoy en día no son precisamente elocuentes, repartiendo regularmente respuestas sin sentido o dolorosamente genéricas.

Ahora, sin embargo, Google ha creado Meena, un chatbot que, según dice, es mejor que cualquier otro que haya probado, una afirmación que la compañía apoya usando una nueva métrica que desarrolló específicamente para medir las habilidades de conversación de una IA.

Creando la conversación

Después de crear Meena, un proceso detallado en un artículo publicado en el servidor de preimpresión arXiv, Google necesitaba una forma de evaluar el chatbot. Para ello, desarrolló algo que llama el promedio de sensibilidad y especificidad (SSA).

Para calcular esta métrica, Google pidió a los trabajadores humanos que llevaran a cabo alrededor de 100 conversaciones de forma libre con Meena y varios otros chatbots de dominio abierto. Cada vez que el chatbot respondía, el trabajador tenía que responder dos preguntas sobre la respuesta.

Primero, ¿tenía sentido lógico y contextual dentro de la conversación? Si es así, entonces tenían que responder a la pregunta, "¿Era específico de la conversación?". Esto fue para eliminar cualquier respuesta genérica, por ejemplo, si el humano escribía que le gustaba el tenis, y el chatbot respondía, "Eso está bien", la respuesta sería etiquetada como "no específica".

Casi humano

Google determinó que un humano promedio alcanzaría una puntuación de SSA de 86 por ciento.

Los otros chatbots del estudio del equipo obtuvieron una puntuación de entre el 31 y el 56 por ciento. Meena, sin embargo, obtuvo un 79 por ciento, lo que pone la IA más cerca del nivel de conversación que se espera de un humano que de otro chatbot.

Skynet está más cerca.