The role of automated feedback in training and retaining biological recorders for citizen science

    loading  Checking for direct PDF access through Ovid

Abstract

The rapid rise of citizen science, with lay people forming often extensive biodiversity sensor networks, is seen as a solution to the mismatch between data demand and supply while simultaneously engaging citizens with environmental topics. However, citizen science recording schemes require careful consideration of how to motivate, train, and retain volunteers. We evaluated a novel computing science framework that allowed for the automated generation of feedback to citizen scientists using natural language generation (NLG) technology. We worked with a photo-based citizen science program in which users also volunteer species identification aided by an online key. Feedback is provided after photo (and identification) submission and is aimed to improve volunteer species identification skills and to enhance volunteer experience and retention. To assess the utility of NLG feedback, we conducted two experiments with novices to assess short-term (single session) and longer-term (5 sessions in 2 months) learning, respectively. Participants identified a specimen in a series of photos. One group received only the correct answer after each identification, and the other group received the correct answer and NLG feedback explaining reasons for misidentification and highlighting key features that facilitate correct identification. We then developed an identification training tool with NLG feedback as part of the citizen science program BeeWatch and analyzed learning by users. Finally, we implemented NLG feedback in the live program and evaluated this by randomly allocating all BeeWatch users to treatment groups that received different types of feedback upon identification submission. After 6 months separate surveys were sent out to assess whether views on the citizen science program and its feedback differed among the groups. Identification accuracy and retention of novices were higher for those who received automated feedback than for those who received only confirmation of the correct identification without explanation. The value of NLG feedback in the live program, captured through questionnaires and evaluation of the online photo-based training tool, likewise showed that the automated generation of informative feedback fostered learning and volunteer engagement and thus paves the way for productive and long-lived citizen science projects.

El rápido crecimiento de la ciencia ciudadana, generalmente con personas laicas formando redes extensas de sensores de la biodiversidad, es visto como una solución a la disparidad entre la demanda y el suministro de datos, a la vez que compromete a los ciudadanos con temas ambientales. Sin embargo, los esquemas de registro de la ciencia ciudadana requieren de consideraciones cuidadosas sobre cómo motivar, entrenar y retener a los voluntarios. Evaluamos un novedoso marco de trabajo científico y computacional que permitió la generación automatizada de retroalimentación para los ciudadanos científicos que usan tecnología de generación de lenguaje natural (GLN). Trabajamos con un programa de ciencia ciudadana basado en fotografías en el cual los usuarios también ofrecen identificación de especies con ayuda de una clave en línea. La retroalimentación es proporcionada después de presentar (e identificar) la fotografía y tiene como objetivo el mejoramiento de las habilidades de identificación de los voluntarios y el aumento en la experiencia y retención de voluntarios. Para evaluar la utilidad de la retroalimentación de GLN llevamos a cabo experimentos con novatos para así poder evaluar el aprendizaje a corto (sesión única) y a largo plazo (cinco sesiones en dos meses), respectivamente. Los participantes identificaron especímenes en una serie de fotos. Un grupo recibió solamente la respuesta correcta después de cada identificación, mientras que el otro grupo recibió la respuesta correcta además de la retroalimentación de GLN, la cual explica las razones por las que se identifica erróneamente y resalta los caracteres clave que facilitan la identificación correcta. Después desarrollamos una herramienta para el entrenamiento en la identificación con la retroalimentación de GLN como parte del programa de ciencia ciudadana BeeWatch y analizamos el aprendizaje de los usuarios. Finalmente, implementamos retroalimentación de GLN en el programa en vivo y evaluamos esto al asignar al azar a todos los usuarios de BeeWatch a grupos de tratamiento que recibieron diferentes tipos de retroalimentación al presentar la identificación. Después de seis meses, se enviaron encuestas separadas para evaluar si las opiniones sobre el programa de ciencia ciudadana y su retroalimentación variaban entre los grupos. La certeza en la identificación y la retención de novatos fueron mayores para aquellos grupos que recibieron la retroalimentación automatizada que para aquellos que sólo recibieron la confirmación de la identificación correcta sin la explicación. El valor de la retroalimentación de GLN en el programa en vivo, capturado por medio de cuestionarios y la evaluación en línea de la herramienta de entrenamiento basada en fotos, también mostró que la generación automatizada de retroalimentación informativa promueve el aprendizaje y el compromiso de los voluntarios, lo que sienta el camino para proyectos de ciencia ciudadana productivos y de larga vida.

Related Topics

    loading  Loading Related Articles