PROPUESTA METODOLÓGICA PARA EL
DESARROLLO DE INTERFACES DE USUARIO PARA ENTORNOS PERSONALES DE APRENDIZAJE
METHODOLOGICAL PROPOSAL FOR THE DEVELOPMENT OF USER INTERFACES FOR PERSONAL LEARNING
ENVIRONMENTS
Autores: Mauricio Arturo Ibarra Corona
José Alejandro Vargas Díaz
Diego Octavio Ibarra Corona
Institución: Universidad Autónoma de Querétaro, México
Correo electrónico: mauricio.ibarra@uaq.mx
|
Ibarra, M.A.; Vargas, J.A. & Ibarra, D.O. Propuesta metodológica para el desarrollo de interfaces… Pág. 203-216 Recibido: 26/05/2021 Aceptado: 30/09/2021 Publicado: 25/11/2021 |
Universidad & Ciencia Vol. 10 (2021) Especial Civitec ISSN: 2227-2690 RNPS: 2450 |
RESUMEN
Los Entornos Personales de Aprendizaje (PLE) representan un nuevo enfoque para el proceso enseñanza aprendizaje y una nueva serie de retos cuando se habla de su implementación virtual tal como el diseño e implementación de la interfaz de usuario de éstos. Debido a lo anterior, en el presente trabajo se creó una metodología para el desarrollo de interfaces de usuario con base en la experiencia de éste para entornos personales de aprendizaje, conjugando diferentes metodologías que comprenden diferentes aspectos relacionados al usuario, con la finalidad de mejorar la experiencia de utilizar dichos entornos. Para lograr esto, se investigaron diversas metodologías sobre el desarrollo de interfaces de usuario, experiencias de usuario, diseño centrado en el usuario y entornos personales de aprendizaje y se tomaron diversos aspectos de estas para desarrollar la metodología, la cual fue probada mediante su aplicación en la creación de una interfaz para un PLE y que posteriormente fue validada realizando una encuesta comparativa entre la interfaz creada y la interfaz de un PLE ya existente. Se encontró que la experiencia de usuario aumentó significativamente, obteniendo resultados con ventaja de más de 30 % en varios indicadores al aplicar la metodología desarrollada y aplicada en el presente trabajo de tesis, lo que permite establecer que el uso y aplicación de una metodología, aunque sea únicamente como referencia es de vital importancia para el desarrollo de productos de calidad.
Palabras clave: Diseño Centrado en el Usuario, Entorno Personal de Aprendizaje, Experiencia de Usuario, Interfaz de Usuario, Metodología, Usabilidad.
ABSTRACT
Personal Learning Environments (PLE) represent a new approach to the teaching-learning process and a new series of challenges when discussing their virtual implementation such as the design and implementation of their user interface. Due to the former, in the present work, a methodology for the development of user interfaces was created based on its experience for personal learning environments, combining different methodologies that include different aspects related to the user, in order to improve the experience of using such environments. To achieve this, various methodologies on the development of user interfaces, user experiences, user-centered design and personal learning environments were investigated and various aspects of these were taken to develop the methodology, which was tested through its application in the creation of an interface for a PLE and which was subsequently validated by conducting a comparative survey between the interface created and the interface of an existing PLE. It was found that the user experience increased significantly, obtaining results with an advantage of more than 30 % in several indicators when applying the methodology developed and applied in this thesis, which allows establishing that the use and application of a methodology, although It is only as a reference that it is of vital importance for the development of quality products.
Keywords: Metodology, Personal Learning Environment, Usability, User Centered Design, User Experience, User Interface.
INTRODUCCIÓN
El proceso de enseñanza-aprendizaje ha evolucionado debido a la presencia ubicua de las tecnologías de información y comunicación (TIC). De hacer uso principalmente de pizarrones y manuscritos se está cambiando al uso de multimedia y de recursos digitales para la instrucción de temas de virtualmente todas las áreas. Los Entornos Personales de Aprendizaje (PLE, por sus siglas en inglés) representan una de múltiples herramientas que pueden ser planeadas, diseñadas, desarrolladas e implementadas para el uso de cualquier persona que busque una forma sencilla y centralizada de almacenar y clasificar sus recursos de aprendizaje (hipervínculos, archivos de texto, libros digitales, videos, etc.).
El grado de complejidad de un PLE depende directamente de las funciones que ofrece y de la arquitectura que posea (Casquero et al., 2014). Lo anterior significa que un PLE puede ser tan sencillo como una barra de favoritos en el navegador, ya que las personas tienden a almacenar aquellos sitios de internet que más consultan o que más les ayudaron a salir de un problema, o tan complejo como una plataforma con una arquitectura similar a la que ofrecen servicios de almacenamiento en la nube, como aquellas personas que guardan enlaces a sus sitios favoritos o guardan los documentos que se encuentran (Torres et al., 2019).
La interacción entre el humano y cualquier sistema de cómputo tiene diversas implicaciones, una de ellas es que la interfaz de cualquier plataforma debería de estar adecuada para que el usuario pueda volverse más prolífico en sus labores conforme más la utiliza (Nielsen, 1995), a su vez, debería de considerar las metas, entorno y objetivos del usuario final. Lo anterior representa un problema cuando se habla de entornos personales de aprendizaje, ya que no existe ninguna metodología especializada que conjunte las características mencionadas anteriormente.
En el presente trabajo de investigación se desarrolla una metodología para el desarrollo de la interfaz de usuario para PLE, ya que si bien existen diversas investigaciones al respecto (detalladas en el planteamiento del problema), ninguna estipula la serie de pasos que habrán de seguirse para el desarrollo adecuado de una interfaz que cuente con un buen nivel de usabilidad y que genere una buena experiencia de usuario (UX, por sus siglas en inglés). Lo anterior, considerando que toda plataforma de sotfware ha de contar con dichas carácterísticas para que posea calidad y sea útil para los usuarios (Baraković y Skorin-Kapov, 2017).
Entornos personales de aprendizaje
Previo a la tecnología educativa moderna, el proceso de enseñanza-aprendizaje se basaba en el sistema tradicional, donde un profesor exponía algún tema frente a sus alumnos. Existían diferentes recursos de los cuales podían disponer, como libros y enciclopedias (Nganji, 2018). Gracias a los desarrollos tecnológicos y a la disponibilidad de éstos, el proceso ahora tiene la posibilidad de hacer uso de recursos más extensos y variados.
Como dicen Adell y Castañeda (2010), hablar de la inclusión de las tecnologías de la información y comunicación y de su influencia en la educación obliga a que exista una reflexión sobre el impacto que tienen sobre el proceso y forma en la que las personas aprenden. De igual manera mencionan que, en años recientes, esta reflexión se ha visto posada sobre la educación formal, es decir, el aprendizaje en el marco de una institución que refine e impone procesos, recursos, estándares, etc.
Una interfaz de usuario o UI (del inglés User Interface) representa aquel punto de interacción entre el humano y la computadora. Actualmente, la mayoría de los dispositivos y computadoras hacen uso de una interfaz de usuario para facilitar dicha interacción (Sastoque, Narváez y Garnica, 2016). Una interfaz de usuario, como toda tecnología, cuenta con una serie de atributos que la definen.
Según Alonso-Virgós, Espada, y Crespo (2019), la usabilidad y la experiencia de usuario forman parte de este conjunto de atributos que caracterizan a una UI. La interfaz de usuario de cualquier sistema cumple un propósito, “cubrir la necesidad del hombre de transmitir y comunicar, en este caso, a través de un medio electrónico” (González, 2004, p. 5), lo que indica la importancia que tiene una interfaz de usuario en cualquier medio que se trate. La usabilidad es comúnmente definida como la capacidad de una entidad de ser usada y normalmente es evaluada mediante heurísticas (Quiñones y Rusu, 2017). Una heurística, por definición, es más una recomendación que una guía para lograr un resultado. La usabilidad, entonces, es aquella característica del sistema que permite definir la utilidad que éste presta y la facilidad con la cual se puede usar.
Experiencia de usuario
La experiencia de usuario (UX del inglés User Experience), es un producto de la interacción entre humano y computadora (Law, Van y Roto, 2014). Se trata de un concepto multidimensional y multidisciplinario, para el cual no existe una definición universalmente aceptada. Es un concepto que trata de ir más allá de la interacción humano-computadora al añadir aspectos como la belleza, la diversión o el crecimiento personal.
Según Hassan (2015), aunque el concepto de Experiencia de Usuario es relativamente reciente, la disciplina y el sector profesional al que hace referencia existen desde hace ya una cantidad considerable de tiempo. La UX surgió debido al estudio de la relación entre las computadoras y las personas, los primeros en tomar consciencia de esto fueron los miembros de la comunidad científica a finales de la década de los años 60, lo que terminó dando origen a una nueva área de estudio denominada Interacción Humano-Computadora y que es la convergencia de la informática con múltiples disciplinas como lo son: ergonomía, psicología, antropología, diseño industrial y sociología. El mismo Hassan (2015) menciona que fue hasta la década de los años 90 que se pudo formalizar la Experiencia de Usuario como una disciplina profesional que tenía lazos estrechos con la informática, aunque en estos años sería conocida como ingeniería de la usabilidad, fue hasta años recientes que surgiría el concepto de UX como tal.
MATERIALES Y MÉTODOS
Para el desarrollo de interfaces basadas en la experiencia del usuario, se empleó la metodología de investigación basada en diseño (IBD), tomando como base la descripción realizada por Benito y Salinas (2016), así como la metodología para la construcción de interfaces gráficas centradas en el usuario propuesta por Sastoque, Narváez y Garnica, (2016).
Según González y Pomares (2012), la investigación basada en el diseño tiene como objetivo contribuir con soluciones y conocimientos a un problema del mundo real. Estos mismos autores, también exponen que se trata de un proceso iterativo y donde múltiples procesos se pueden estar ejecutando de manera simultánea. Wang y Hannafin (citado en Benito y Salinas, 2016) mencionan que esta metodología cuenta con cinco características: pragmática, fundamentada; interactiva, iterativa, integrada y contextual. Benito y Salinas (2016) proponen que la metodología IBD aplicada a la tecnología educativa cuente necesariamente con las siguientes etapas: definición del problema, diseño, desarrollo, implementación y evaluación. Considerando que se desarrollará una interfaz de usuario, partiendo de la creación de una metodología, se aplicarán principios de metodologías ágiles, que según Hartson y Pyla (2019), se caracterizan por ser incrementales e iterativas. Tomando como referencia lo anterior, en la Figura 1 se muestran los pasos a seguir en la metodología para la elaboración del presente trabajo de investigación.
|
|
|
Figura 1. Metodología por seguir. Fuente: Elaboración propia con base en Benito y Salinas (2016). |
1. Documentación: la realización de una metodología implica analizar los elementos que la conformarán. Para cumplir con los objetivos planteados, se requieren de los fundamentos metodológicos para el desarrollo de: UX, UI, heurísticas de usabilidad, diseño centrado en el usuario y PLE.
2. Análisis: es necesario analizar las metodologías recabadas para identificar los pasos empleados, elementos clave, y si dependen de otras metodologías, para determinar su influencia en el desarrollo metodológico deseado.
3. Diseño: una vez que han sido identificadas las partes que componen a las metodologías recabadas, es necesario desarrollar un modelo que involucre las partes esenciales de cada una de ellas para integrar el cumplimiento de los objetivos de cada una de dichas metodologías. Debido al carácter iterativo de la metodología, se plantea que el diseño pase por 2 etapas. Un primer diseño de la interfaz, realizado únicamente mediante la aplicación de los conceptos encontrados en la etapa de la documentación y un segundo diseño realizado a partir de la retroalimentación obtenida durante la etapa de validación.
4. Implementación: realizado el diseño, es necesario pasarlo a la realidad haciendo uso de herramientas para la construcción de interfaces de usuario (como HTML y CSS). Tras lo anterior, se vuelve imperativo distribuirlo mediante alguna plataforma para posteriormente evaluarlo.
5. Validación: validar el producto resultante de la implementación para determinar su efectividad. Es posible que a partir de esta evaluación se identifiquen áreas de oportunidad, correcciones o errores que sean pertinentes cambiar en la metodología desarrollada.
RESULTADOS Y DISCUSIÓN
Tras realizar el análisis de los diferentes modelos heurísticos que soportan el desarrollo de interfaces de usuario, experiencia de usuario y entornos personales de aprendizaje, se diseñó una metodología que engloba los conceptos anteriores, aplica distintas técnicas propuestas por varios autores y busca resolver la problemática planteada. Establecido lo anterior, la metodología se encuentra representada en la Figura 2.
|
|
|
Figura 2. Metodología propuesta. Fuente: Elaboración propia. |
La metodología propuesta consta de 6 etapas, cada una perteneciente a un dominio específico que permite desarrollar un aspecto crucial que la interfaz final del PLE tendrá que poseer. Dichos aspectos son:
Ø Entorno Personal de Aprendizaje (resaltado en color verde).
Ø Experiencia de Usuario (resaltado en color azul).
Ø Interfaz de Usuario (resaltado en color morado).
Ø Usabilidad (resaltado en color naranja).
Con el afán de cumplir con los pasos de la metodología de la presente investigación, se realizó un diseño de baja fidelidad, mismo que sirvió de base para un diseño de alta resolución y que finalmente sería el punto de partida para la implementación real de la interfaz de usuario empleando la metodología propuesta.
Diseño de baja fidelidad
Para el diseño de baja fidelidad, es necesario considerar todo lo estipulado en las etapas anteriores de la metodología, ya que el diseño debe de servir como modelo base (guía). En este entendido, se optó por crear un mockup con base en lo propuesto por Meyerovich y Bodik (2010), que aplican el box model, propio de CSS, que permite generar diseños de interfaces responsivas, adaptables, portables y que son amigables en los dispositivos sobre los que se ejecutan. Adicionalmente, es importante recalcar que debido al carácter personalizable que la interfaz de usuario debe de tener, es indispensable pensar en un acomodo modular que permita al usuario (y al diseñador) acomodar los elementos a su gusto y conveniencia.
Para realizar el diseño de baja fidelidad se utilizó la herramienta Lucidchart, donde se diseñó únicamente la interfaz principal del PLE, la pantalla dónde el estudiante interactúa con los recursos que el mismo ha almacenado y creado. El resto de las pantallas (como un inicio de sesión o un registro) son dispensables, ya que el usuario no interacturá la misma cantidad de tiempo con ellas y, además, no son las que generarán el impacto deseado en el proceso de aprendizaje del usuario (estudiante). El resultado se presenta en la Figura 3.
|
|
|
Figura 3. Mockup de la interfaz principal del PLE. Fuente: Elaboración propia. |
Diseño de alta fidelidad
Para el desarrollo del diseño de alta fidelidad, se utilizó la plataforma AdobeXD para realizar el diseño de la interfaz de usuario más crítica en alta fidelidad. Dicha interfaz de usuario habría de contemplar el uso de colores que fuesen lo más neutros posibles, para darle énfasis a aquello de mayor relevancia dentro de la interfaz, los recursos que el mismo estudiante habría de administrar dentro de la plataforma (Soto y Ramírez, 2018), de igual manera, debido a la personalización, en el diseño de alta fidelidad se hace uso de colores neutros que permitan la inclusión de una mayor gama de colores en un futuro (que el mismo estudiante podría añadir).
El diseño de alta fidelidad presente en la Figura 4 contempla todos los aspectos mencionados con anterioridad y únicamente hace uso de escalas de blancos y grises para delimitar los elementos que conforman a la interfaz de usuario de la pantalla principal del PLE.
|
|
|
Figura 4. Diseño de alta fidelidad de la interfaz del PLE. Fuente: Elaboración propia. |
Para el desarrollo de la interfaz de usuario, se utilizaron como tecnologías base HTML (Hyper Text Markup Language) y CSS (Cascade Style Sheet), ya que éstas permiten un desarrollo flexible y escalable que permite la generación de una interfaz que se puede adaptar a virtualmente todo tipo de dispositivo inteligente.
En la Figura 5 se presentan las interfaces de usuario más críticas ya implementadas utilizando Foundation, son responsivas y están diseñadas para ser utilizadas en cualquier dispositivo inteligente con un navegador web, de igual manera contemplan el aspecto de personalización que los PLE deben de proveer.
|
|
|
Figura 5. Interfaces principales del PLE. Fuente: Elaboración propia. |
Evaluación de la Interfaz de Usuario
Siguiendo los pasos descritos por la metodología, se aplicó el instrumento diseñado por Pierotti (Pierotti, 1995) (Anexo 2) los resultados para cada una de las diez heurísticas (y las tres adicionales propuestas por la autora) se describen en los siguientes párrafos.
El instrumento cuenta con trece secciones, cada una dedicada a la evaluación de cada una de las heurístiscas propuestas por Nielsen y tres adicionales propuestas por Xerox. De cada sección únicamente fueron contestadas aquellas preguntas que aplicaban para la interfaz desarrollada (debido a que hay preguntas referentes a aspectos ya funcionales que, por el enfoque de la metodología, no han sido desarrollados en la interfaz de usuario). Aquellas preguntas cuya respuesta fue negativa, fueron valoradas y, en algunos casos, consideradas en una revisión de la interfaz propuesta. Una vez terminada la evaluación por medio del instrumento, es necesario validar la interfaz de usuario con los usuarios finales del PLE, los estudiantes.
Para la interfaz diseñada con la propuesta diseñada con la presente metodología, se aplicó una encuesta a 56 estudiantes de la Facultad de Informática de la Universidad Autónoma de Querétaro (FIF - UAQ), además, con la finalidad de validar la propuesta metodológica, se aplicó la misma encuesta a los mismos estudiantes, pero con una interfaz de usuario de un PLE ya existente, con la finalidad de demostrar la mejoría que representa la aplicación de la presente metodología. El análisis de los datos se presenta a continuación. La interfaz de usuario existente que fue utilizada para realizar la comparación fue la del PLE Symbaloo. La encuesta aplicada referente a dicha interfaz tuvo un Alfa de Cronbach de 0.927, mientras que el de la encuesta aplicada a la interfaz propia tuvo 0.895, ambas dentro de un rango aceptable según lo mencionado por González y Pazmiño (2015). En la encuesta, además de algunos datos demográficos, se midieron los indicadores explicados en el apartado de metodología de la presente tesis.
Tras realizar el análisis de los resultados de la encuesta, es posible decir que la mejoría que presenta la aplicación de una metodología para el desarrollo de interfaces de software es bastante sustancial cuando se le compara con una interfaz que no hizo uso de ninguna. En las 19 preguntas de la encuesta, la interfaz desarrollada en la presente investigación obtuvo mejores resultados que su contraparte (Symbaloo), es de resaltar que en todos los resultados existió un margen considerable.
CONCLUSIONES
La usabilidad es una cualidad que se puede definir de prácticamente cualquier objeto que interactué con un humano, existen objetos creados en la naturaleza que ya cuentan con una buena usabilidad, sin embargo, cuando se trata de creaciones humanas es necesario prestar atención a aquellas cualidades que definirán la usabilidad del objeto en cuestión. Los sistemas de información no son ajenos a este concepto y debido a su carácter intangible es uno de los que más dificultad representa cuando se habla de describir y mejorar su usabilidad, es por lo anterior que muchos investigadores han dedicado sus esfuerzos en diseñar modelos de referencia y heurísticas que permiten tanto a desarrolladores y diseñadores generar sistemas de información con interfaces de usuario que son funcionales y fáciles de utilizar. Lo anterior cobra especial importancia cuando hablamos de soluciones de tecnología educativa, un campo de las tecnologías de información y comunicación del que aún falta mucho más por descubrir, analizar y estudiar. En un campo tan joven es indispensable aplicar disciplinas ya existentes y bien establecidas, como lo son la usabilidad, el diseño centrado en el usuario y la experiencia de usuario.
Al hablar de Entornos Personales de Aprendizaje (un tipo de herramienta relativamente nueva dentro del incipiente campo de la tecnología educativa), la experiencia de usuario debería de ser la piedra angular para el desarrollo de éstos, ya que al ser una herramienta que es (como su nombre lo indica) personal y propia de los usuarios, se tiene que tener especial atención en la experiencia que éstos tienen, tras realizar la investigación y buscar entre diversos autores, quedó claro lo complejo que es desarrollar una buena experiencia de usuario y aún más evaluar si efectivamente fue positiva para el usuario, lo que queda claro tras realizar el presente trabajo de investigación es que definir el concepto de UX es mucho más fácil que aplicarlo y evaluarlo.
REFERENCIAS BIBLIOGRÁFICAS
ADELL, J. y CASTAÑEDA, L. J. (2010). Los Entornos Personales de Aprendizaje (PLEs): una nueva manera de entender el aprendizaje. México.
ALONSO-VIRGÓS, L., ESPADA, J. P. y CRESPO, R. G. (2019). Analyzing compliance and application of usability guidelines and recommendations by web developers. Computer Standards & Interfaces. Disponible en https://doi.org/10.1016/J.CSI.2019.01.004 Visitado el 4 de junio de 2020.
BARAKOVIĆ, S. y SKORIN-KAPOV, L. (2017). Modelling the relationship between design/performance factors and perceptual features contributing to Quality of Experience for mobile Web browsing. Computers in Human Behavior, No. 74, pp. 311–329. Disponible en https://doi.org/10.1016/J.CHB.2017.04.046 Visitado el 4 de junio de 2020.
BENITO, B. y SALINAS, J. (2016). La Investigación Basada en Diseño en Tecnología Educativa. En Revista Interuniversitaria de Investigación en Tecnología Educativa. Disponible en https://doi.org/10.6018/riite2016/260631 Visitado el 4 de junio de 2020.
CASQUERO, O. …[ et al.] (2014). Personal learning environments, higher education and learning analytics: a study of the effects of service multiplexity on undergraduate students’ personal networks / Entornos de aprendizaje personales, educación superior y analítica del aprendizaje: un e. Cultura y Educación, Vol. 26, No. 4, pp. 696–738. Disponible en https://doi.org/10.1080/11356405.2014.985945 Visitado el 12 de junio de 2020.
GONZALEZ ALONSO, J. y PAZMIÑO SANTACRUZ, M. (2015). Cálculo e interpretación del Alfa de Cronbach para el caso de validación de la consistencia interna de un cuestionario, con dos posibles escalas tipo Likert. Revista Publicando, Vol. 2, No. 1, pp. 62–67.
GONZÁLEZ, L. L. (2004). El diseño de interfaz gráfica de usuario para publicaciones digitales. Revista digital universitaria, Vol. 5, No. 7, p,12.
GONZALEZ, R. y POMARES, A. (2012). La investigación científica basada en el diseño como eje de proyectos de investigación en ingeniería. México.
HARTSON, R. y PYLA, P. (2019). Connecting Agile UX With Agile Software Development. The UX Book, pp. 625–647. Disponible en https://doi.org/10.1016/B978-0-12-805342-3.00029-1 Visitado el 12 de junio de 2020.
HASSAN, Y. (2015). Experiencia de usuario: principios y métodos. En Yusef Hassan (Ed.), Experiencia de Usuario: Principios y Métodos (Vol. 9). Yusef Hassan Montero. Disponible en http://www.yusef.es/ Visitado el 16 de mayo de 2020.
LAW, E. L.-C., VAN SCHAIK, P., y ROTO, V. (2014). Attitudes towards user experience (UX) measurement. International Journal of Human-Computer Studies, Vol. 72, No. 6, pp.526–541. Disponible en https://doi.org/10.1016/J.IJHCS.2013.09.006 Visitado el 4 de mayo de 2020.
MEYEROVICH, L. A. y BODIK, R. (2010). Fast and Parallel Webpage Layout. Proceedings of the 19th International Conference on World Wide Web, 711–720. Disponible en https://doi.org/10.1145/1772690.1772763 Visitado el 4 de mayo de 2020.
NGANJI, J. T. (2018). Towards learner-constructed e-learning environments for effective personal learning experiences. Behaviour and Information Technology, Vol. 37, No. (7), pp. 647–657. Disponible en https://doi.org/10.1080/0144929X.2018.1470673. Visitado el 4 de junio de 2020.
NIELSEN, J. (1995). 10 usability heuristics for user interface design. Nielsen Norman Group, Vol. 1, No. 1.
PIEROTTI, D. (1995). Heuristic Evaluation - A System Checklist (pp. 1–12). Xerox Corporation. Disponible en ftp://ftp.cs.uregina.ca/pub/class/305/lab2/example-he.html%0Ahttp://eitidaten.fh-pforzheim.de/daten/mitarbeiter/blankenbach/ vorlesungen/GUI/Heuristic_Evaluation_Checklist_stcsig_org.pdf%0Ahttp://www.stcsig.org/usability/topics/articles/he-checklist.html. Visitado el 1 de julio de 2020.
QUIÑONES, D. y RUSU, C. (2017). How to develop usability heuristics: A systematic literature review. Computer Standards & Interfaces, No. 53, pp. 89–122. Disponible en https://doi.org/10.1016/J.CSI.2017.03.009 Visitado el 4 de julio de 2020.
SASTOQUE, S. NARVÁEZ, C., y GARNICA, G. (2016). Metodología para la construcción de Interfaces Gráficas Centradas en el Usuario. Nuevas Ideas en Informática Educativa, Vol. 12, pp. 314–324.
SOTO, M. y RAMÍREZ, L. (2018). Heurísticas para evaluación de usabilidad en entornos virtuales de aprendizaje. Publicaciones e Investigación, Vol. 12, No. 1, pp. 51–63.
TORRES, R. …[et al.] (2019). Personal learning Environments based on Web 2.0 services in higher education. Telematics and Informatics, Vol. 38, pp. 194–206. Disponible en https://doi.org/10.1016/j.tele.2018.10.003 Visitado el 4 de junio de 2020.
TULLIS, T. y ALBERT, B. (2008). Measuring the user experience: Collecting. Analyzing and Presenting Usability Metrics.