El lenguaje de las tecnologías y experiencias de realidad extendida
Como han demostrado las investigaciones, las formas en que pensamos y nos comunicamos sobre algo, y el lenguaje específico que utilizamos para hacerlo, moldean directamente nuestras experiencias al respecto (Berger & Luckmann, 1991[1]; Searle, 1999[2]). A su vez, el objetivo detrás de esta sección del informe es doble: primero, comprender mejor cómo nos comunicamos sobre los medios y las experiencias de realidad extendida (XR)[3] examinando el lenguaje utilizado para describirlos; segundo, buscar innovaciones en las formas en que conceptualizamos nuestras interacciones con los medios XR a través de la introducción de términos y conceptos novedosos. Esta sección se basa en 266 artículos revisados por pares publicados en 2023 en cuatro revistas clave dedicadas a la investigación de XR[4] además de cinco artículos relevantes que se encuentran más allá de este alcance. Las cuatro revistas clave, que analizan todas las secciones académicas de este informe, fueron seleccionadas porque se dedican a publicar trabajos de XR. Los artículos adicionales se basaron en la búsqueda del autor.
Un hallazgo clave es que en 2023 hubo un conjunto muy limitado de términos utilizados y autores citados para describir los medios y las experiencias de XR. Incluso los artículos que se centran en aspectos comunicativos de la XR, o que son de naturaleza más cualitativa o exploratoria, todavía se adhieren a la atracción centrípeta de conceptos psicológicos como presencia (Slater & Wilbur, 1997[5]), personificación e inmersión (Biocca & Delaney[6], 1995; Biocca, 1997[7]) para explicar los medios XR o estudiar fenómenos específicos utilizando XR. Esto es similar a los hallazgos del informe de 2022 sobre el lenguaje de XR que encontró que la investigación se basa en los mismos términos clave sin necesariamente hacer el trabajo de interpretación o explicación. Uno podría pensar que esto es de esperarse, particularmente dada la epistemología objetivista que sustenta en gran medida las revistas clave de las que se extrae el corpus de artículos y, sin embargo, hay razones para el cambio.
Si bien un conjunto limitado de términos descriptivos no es intrínsecamente problemático, las formas en que comunicamos sobre las experiencias XR deberían reflejar la evolución en nuestras prácticas de creación y consumo en torno a las tecnologías XR. Además, como han señalado acertadamente investigaciones previas, existen diversas tradiciones intelectuales e importantes diferenciadores, incluso dentro de términos aparentemente dados por sentado como "presencia" (Felton & Jackson, 2022[8]; Murphy & Skarbez, 2020[9]), sobre los cuales las investigaciones actuales rara vez son específicas. En resumen, existe la necesidad, si no de más terminología, sí de más claridad sobre qué queremos decir exactamente cuando comunicamos sobre XR.
Si bien no es una tendencia dominante en todo el corpus de artículos, también surgen tres temas interrelacionados: 1) el enfoque en la narrativa, 2) consideraciones sensoriales/espaciales y 3) realidad aumentada. Específicamente, la exploración de la narrativa se extiende a cómo los sentidos humanos y nuestro entorno físico inmediato se convierten en parte de la experiencia general de realidad virtual (VR); la co-creación de significado entre la audiencia y el intérprete, y el usuario y el artefacto virtual; la veracidad de Narrativas de los medios XR y descripciones del metaverso. La realidad aumentada (RA) también fue tema clave de varios artículos, que ofrecen a los lectores conceptos empíricos para describir mejor nuestro compromiso con la RA. La bibliografía comentada a continuación muestra cada uno de estos temas con más detalle a través de una selección de artículos.
Las innovaciones en el lenguaje de XR incluyen la introducción y el examen sistemático de las prácticas de “incorporación” y “offboarding” en los medios de XR, la metáfora del museo para estructurar cómo pensamos sobre la codificación y decodificación del significado en los medios de realidad virtual y la sugerencia provocativa de cambiar el nombre de VR a “inmersión sensorial” o SI (sensory immersion). Por último, vale la pena señalar que el concepto de Inteligencia Artificial (IA) apareció en algunos de los artículos, pero no fue un tema destacado y cuando se mencionó, a menudo fue en referencia hipotética a lo que podría significar para la futura creación de contenido XR. De manera similar, la computación espacial no entró en la literatura de manera significativa, lo que pone de relieve el desfase entre la academia y la industria.
Bibliografía comentada: una selección de artículos que muestran los temas de narrativa, espacialidad, los sentidos humanos y la realidad aumentada
Jang, S. Y., Park, J., Engberg, M., MacIntyre, B., & Bolter, J. D. (2023). RealityMedia: immersive technology and narrative space [RealityMedia : tecnología inmersiva y espacio narrative]. Frontiers in Virtual Reality, 4. https://doi.org/10.3389/frvir.2023.1155700
Este artículo examina los procesos de creación de significado detrás del consumo de narrativas de realidad virtual de no ficción. Diseña un experimento de realidad virtual, en el que a 20 personas se les muestra una experiencia similar a un museo llamada RealityMedia , con varias galerías que muestran la historia de los medios. Los autores sostienen que la realidad virtual “es un nuevo espacio de escritura en la larga tradición de inscripción” (p. 1), en el que el consumo de narrativas es similar a la creación de sentido que tiene lugar en un museo. Específicamente, los autores postulan que la creación de sentido narrativo ocurre en tres niveles: la arquitectura del espacio, la colección y los artefactos individuales.
Este artículo es un interesante complemento al libro Reality Media[10] (2021), que explora la coexistencia de medios de comunicación más antiguos y más nuevos y las formas en que los medios más nuevos, como la televisión, remedian a los medios más antiguos, como la radio. Los autores destacan la complejidad añadida del diseño de narrativas de realidad virtual, que ahora tienen lugar en dimensiones visuales, auditivas y espaciales (y en algunos casos hápticas). También llaman la atención sobre la tensión entre el control del autor y la agencia del usuario en el nivel al que deben guiarse las narrativas de realidad virtual para atraer a diferentes audiencias. A su vez, la metáfora del museo y las tres capas específicas de inscripción y decodificación de significado emergen como herramientas para pensar sobre narrativas de realidad virtual.
Harley, D. (2023). Virtual narratives, physical bodies: Designing diegetic sensory experiences for virtual reality [Narrativas virtuales, cuerpos físicos: diseño de experiencias sensoriales diegéticas para la realidad virtual]. Convergence, https://doi.org/10.1177/13548565231178915
Este artículo utiliza un enfoque de “investigación a través del diseño” (Gaver, 2012[11]) para examinar cómo las experiencias sensoriales pueden incorporarse en [12] narrativas diegéticas de realidad virtual, por lo que la contribución deseada del artículo es utilizar el diseño “para producir preguntas en lugar de productos” (p. X). A modo de ilustración, el autor analiza cuatro proyectos específicos que insertan contextualmente diversas interacciones físicas y sensoriales en la experiencia de realidad virtual, como controladores manuales que se han adaptado a la forma y sensación de un objeto específico, o arena debajo de los pies descalzos del usuario. El artículo incita a investigadores y diseñadores a ir más allá de la forma narrativa visual y auditiva más tradicional, al considerar cómo se pueden incorporar de manera significativa elementos de diseño en el entorno inmediato, como el casco de realidad virtual que se lleva puesto u otros objetos reales de baja tecnología pueden ser significativamenrw incorporados en la experiencia XR general . A su vez, tal expansión práctica y conceptual también resultaría en una reorientación del “espacio de diseño” del productor.
Whittaker, L. (2023). Onboarding and offboarding in virtual reality: A user-centred framework for audience experience across genres and spaces [Incorporación y salida de la realidad virtual: un marco centrado en el usuario para la experiencia de la audiencia en todos los géneros y espacios]. Convergence, https://doi.org/10.1177/13548565231187329
Este artículo, que forma parte del proyecto expansivo Story Futures [13], es la primera consideración sistemática de la incorporación y salida de experiencias de realidad virtual. El autor define la incorporación y la salida como los procesos de llevar al público a una experiencia inmersiva y retroceder nuevamente. Si bien el autor señala que estas prácticas han sido examinadas exhaustivamente en entornos teatrales y de actuaciones en vivo, tienden a descuidarse en el contexto de la realidad virtual, en detrimento de quienes la utilizan. Además, los conceptos de inmersión y presencia, características clave de los medios de realidad virtual, también tienden a pasar por alto los procesos necesarios para entrar y salir de esos estados. Por lo tanto, incluir la incorporación y la salida como conceptos vitales para el trabajo de inmersión y presencia requiere que ampliemos nuestra comprensión de estas últimas palabras clave de la realidad virtual.
El autor presenta un marco adaptado del StoryFutures Audience Toolkit para invitar a las “audiencias de realidad virtual a un contrato de participación” (p.13). El marco pide a quienes diseñan experiencias de realidad virtual que consideren su responsabilidad hacia la audiencia y el efecto deseado a través de prácticas adecuadas de incorporación y salida basadas en una consideración de plataforma, lugar, tiempo, género y usuario. Finalmente, el autor aboga por dos cambios: 1) uno que centra la atención fuera de la tecnología y hacia el usuario, y 2) uno que va más allá del “momento de inmersión al proceso de incorporación” (p. 17). Este último concepto se basa en argumentos de que las personas frecuentemente son conscientes de su entorno físico incluso cuando experimentan contenido absorbente de realidad virtual , por lo que la incorporación y la salida se convierte en una cuestión de cómo conducir de manera óptima a las audiencias a estos estados de negociación perceptiva constante en lugar de a un destino final.
Kirwan, E. (2022). Performer/audience experience, performer perception and audience immersion [Experiencia intérprete/audiencia, percepción del intérprete e inmersión de la audiencia]. Virtual Creativity, 12(1). https://doi.org/10.1386/vcr_00060_1
This article examines three VR-mediated dance performances and juxtaposes the experiences of the audience and performers. The author argues that VR “enhances the performer’s and audience’s immersion, yet by doing so, separates performer and audience even further” (p. 55), leading to a non-event that is more akin to watching a film than experiencing the co-creation of meaning during live performance. As such, the article offers reflections on the evolution of dance, as a story medium that “immerses audiences through its unfolding narrative” (p. 52).
Bay, M. (2023). Arendt in the Metaverse: Four properties of eXtended Reality that imperil factual truth and democracy [Arendt en el metaverso: cuatro propiedades de la realidad extendida que ponen en peligro la verdad fáctica y la democracia]. Convergence, 29(6), 1698-1712. https://doi.org/10.1177/13548565231199957
Este artículo sostiene que las tecnologías de realidad extendida (XR) inhiben la creación social de lo que Arendt (1968) [14] llama una realidad común y una verdad fáctica porque están cada vez más conectadas con grandes conglomerados de medios que favorecen la segmentación rentable de la audiencia y la personalización del contenido. El autor sostiene que esta personalización es particularmente potente cuando se presenta a través de contenido XR, que tiene poderes de persuasión sin precedentes. Si bien el autor reconoce que el artículo presenta un argumento abstracto y algo teórico, las sinergias entre la IA generativa que puede crear contenido de realidad virtual fotorrealista y el impacto en las audiencias que lo consumen merecen atención.
El problema con los altos niveles de personalización del contenido en XR —similar a otros medios— es que se vuelve “menos base para la interacción y la deliberación políticas—y, por lo tanto, se inhibe la co-construcción de una realidad común ” (p. 1705). Sin embargo, a diferencia de otros medios, la personalización hiperdirigida en XR puede generar algunos problemas únicos, incluida la creación de recuerdos falsos, no solo a nivel cognitivo sino también motor, y problemas de procesamiento predictivo. Esto último se basa en el hecho de que nuestra percepción actual se basa en nuestras experiencias previas, por lo que podemos sentir “recuerdos falsos inducidos por XR incluso cuando… no utilizamos ninguna tecnología XR” (p. 1707). El artículo concluye con una contextualización más amplia de XR dentro del debate sobre la desinformación, las narrativas falsas y la regulación. De manera provocativa, el autor señala que la realidad mejorada por RA generalmente no se considera desinformación, pero es un espacio que necesita un seguimiento cercano: “cualquier regulador que esté preocupado por la amenaza democrática de la información errónea o desinformación debe reconocer el desafío de las percepciones erróneas individualizadas de la realidad, como los que son posibles gracias a las gafas RA” (p. 1708).
Boellstorff, T. (2024). Toward anthropologies of the metaverse [Hacia antropologías del metaverso]. American Ethnologist, 51(1), 47-56. DOI: 10.1111/amet.13228
Este artículo sostiene que la antropología, que ha estudiado durante mucho tiempo las prácticas socioculturales en una variedad de entornos mediados y no mediados, puede ayudarnos a desenredar los conceptos erróneos actualmente abundantes sobre el metaverso. Específicamente, el autor identifica cuatro características opcionales del metaverso que se describen frecuente y engañosamente como características necesarias: primero, que la realidad virtual es necesaria para acceder al metaverso. Boellstorff da el ejemplo de Second Life como un metaverso popular o lugar virtual que no requiere realidad virtual. Para subrayar la separación propuesta del metaverso de la realidad virtual, el autor sostiene que “lo que hace que el metaverso sea real es la inmersión social, no la inmersión sensorial” (p. 4). Además, Boellstorff sugiere que, dado que la realidad virtual es principalmente un medio sensorial , debería cambiarse con mayor precisión el nombre de “inmersión sensorial”, reservando el término realidad virtual para un consumo más amplio.
En segundo lugar, el autor desmantela la interoperabilidad entre metaversos como un beneficio; por el contrario, sostiene que es valioso poder separar la propia identidad en diferentes entornos en línea y fuera de línea. En tercer lugar, se desacredita la necesidad de un metaverso a gran escala, ya que hay valor en comunidades de varios tamaños, incluidas las más pequeñas y, por último, la criptomoneda se destaca como otra característica opcional. El autor sostiene que enmarcar estas características opcionales como fundamentales para un metaverso beneficia principalmente a las grandes corporaciones que lo construyen y, además, que la antropología tiene herramientas valiosas para ayudarnos a descolonizar las visiones futuras de la retórica promocional y el "bloqueo" tecnológico.
Este artículo también aborda la noción de que el metaverso “ya está pasado de moda, reemplazado por inteligencia artificial generativa como ChatGPT” (p. 1). En respuesta, el autor sugiere que visiones corporativas poco inspiradas han contribuido a empujar el metaverso (y posiblemente la realidad virtual ha tenido un destino similar) hacia un ciclo de exageración que inevitablemente implica ser suplantado por la próxima gran tecnología. Sin embargo, la historia del metaverso se remonta al telégrafo del siglo XIX y seguirá evolucionando como un lugar para la interacción virtual “vinculado al mundo físico” (p. 7).
Alha, K., Leorke, D., Koskinen, E., & Paavilainen, J. (2023). Augmented play: An analysis of augmented reality features in location-based games [Juego aumentado: un análisis de las características de la realidad aumentada en juegos basados en ubicación]. Convergence, 29(2), 342-361. https://doi.org/10.1177/13548565231156495
Este artículo analiza cómo se incorpora el entorno físico en 11 juegos de realidad aumentada (RA). Los autores descubren la superposición, la combinación, la inmersión y la materialidad como los procesos clave a través de los cuales esto tiene lugar. Sin embargo, señalan que, de acuerdo con investigaciones anteriores, la RA sigue siendo más una estrategia de marketing o un "truco" que una parte central de los juegos. En resumen, la superposición muestra el contenido del juego encima de la vista de la cámara del teléfono sin responder directamente al entorno circundante. La combinación depende de que la cámara del teléfono reconozca las ubicaciones adecuadas para que aparezca el contenido del juego. La inmersión ocurre cuando el juego muestra al jugador el contenido que lo rodea, haciéndolo sentir como si estuviera dentro del juego, y la materialidad ocurre cuando el juego reconoce objetos físicos con la cámara del juego y posteriormente los trae al juego.
En la actualidad, el imaginario social de la RA reemplaza con creces su aceptación real, y las audiencias más amplias están limitadas debido a las prácticas sociales existentes en torno al juego y los altos niveles de errores tecnológicos con la RA. Sin embargo, los autores utilizan sus hallazgos para cuestionar también la definición actual de RA: “si en cambio definiésemos la RA como la conexión más amplia de información virtual al espacio físico en tiempo real, cada juego basado en la ubicación podría considerarse potencialmente como 'realidad aumentada' ” (pág. 358). Además, los juegos de realidad aumentada son sólo un paso en el “cambio social más amplio hacia el 'espacio aumentado'” (p. 344).
Berger, P. L., & Luckmann, T. (1991). The social construction of reality: A treatise in the sociology of knowledge (No. 10). London, UK: Penguin UK. (Originally published 1966). ↑
Searle, J. R. (1995). The construction of social reality. New York, NY: Simon and Schuster. ↑
While extended reality of XR as an umbrella term refers to mixed, augmented, and virtual reality technologies the articles almost exclusively focused on the latter two. ↑
The four dedicated journals to XR research include Virtual Reality (153 articles), Frontiers in Virtual Reality (91 articles), Presence: Virtual and Augmented Reality (13 articles), and Virtual Creativity (13 articles). The five additional articles come from the journals Convergence and American Ethnologist. ↑
Slater, M., and Wilbur, S. (1997). A Framework for Immersive Virtual Environments (FIVE): Speculations on the Role of Presence in Virtual Environments. Presence: Teleoperators & Virtual Environments 6, 603–616. ↑
Biocca, F., & Delaney, B. (1995). Immersive virtual reality technology. Communication in the age of virtual reality, 15(32), 10-5555. ↑
Biocca, F. (1997). The cyborg's dilemma: Progressive embodiment in virtual environments. Journal of computer-mediated communication, 3(2), JCMC324. ↑
Felton, W. M., & Jackson, R. E. (2022). Presence: A review. International Journal of Human–Computer Interaction, 38(1), 1-18. ↑
Murphy, D., & Skarbez, R. (2020). What Do We Mean When We Say “Presence”?. PRESENCE: Virtual and Augmented Reality, 29, 171-190. ↑
Bolter, J. D., Engberg, M., & MacIntyre, B. (2021). Reality media: Augmented and virtual reality. MIT Press. ↑
Gaver, W. (2012, May). What should we expect from research through design?. In Proceedings of the SIGCHI conference on human factors in computing systems (pp. 937-946). ↑
Diegetic narrative often refers to the sound that occurs within the context of a story and that can be heard by its characters. In the context of this article, however, diegetic narrative refers to any sensory characteristics or interactions situated in the storyworld that the user directly experiences. ↑
Bennett, J., Dalton, P., Goriunova, O., Preece, C., Whittaker, L., Verhulst, I., & Woods, A. (2021). The story of immersive users. StoryFutures Audience Insight Report. ↑
Arendt, H., (1968). Between Past and Future: Eight Exercises in Political Thought. New York, NY: The Viking Press. ↑