Objetivo

El instrumento utilizado corresponde a un cuestionario de preguntas cerradas compuesto por 7 ítems, cada uno asociado a una competencia STEM. Los primeros cuatro ítems están constituidos por preguntas de selección múltiple (7), las que evalúan el logro de resultados de aprendizaje del nivel de dominio 1, fundamentales para las competencias Aplicación de conocimientos de matemáticas, ciencia e ingeniería; Validación de soluciones ingenieriles; Diseño de soluciones y Resolución de problemas. La tabla 1 detalla las especificaciones del instrumento en los ítems señalados:

Ítem	Pregunta	Competencia	Resultado de aprendizaje evaluado - Nivel 1 de dominio	Respuesta correcta
1	1 2 3	1. Aplicación de conocimientos de matemáticas, ciencias e ingeniería.	1.1. Relaciona una formulación matemática y la descripción gramatical de un problema de ingeniería para encontrar una solución. 1.2. Expresa a través de modelos gráficos y/o matemáticos diferentes problemas de ingeniería para encontrar su solución. 1.3. Resuelve a través de modelos gráficos y/o matemáticos diferentes problemas de ingeniería para encontrar su solución.	C B A
2	4	2. Validación de Soluciones ingenieriles.	2.1. Identifica los pasos y características de un diseño de experimentos o actividades de validación empírica para resolver problemas de Ingeniería.	C
3	5	3. Diseño de soluciones.	3.1. Identifica métodos, técnicas y herramientas aplicados en el proceso de diseño de soluciones ingenieriles.	D
4	6 7	4. Resolución de problemas.	4.1. Extrae información de un problema ingenieril que ayude a su comprensión y solución. 4.2. Establece relaciones entre causas y efectos a través de la información proporcionada por el problema.	A B

Tabla 1: Especificaciones de los cuatro primeros ítems del instrumento evaluativo.

 

Evaluación

Evaluación de competencias

Enlace a evaluación de competencias.

 

Conclusiones

Considerando el proceso de diseño del diagnóstico y los resultados obtenidos por los estudiantes, se pueden obtener las siguientes conclusiones preliminares:

1. Los promedios de porcentajes totales de logro por estudiante son similares en las carreras evaluadas, el rango en que se encuentran va del 60,5% (Ing. Civil Oceánica) al 67,3% (Ing. Civil).
2. La pregunta con mayor cantidad de respuestas correctas fue la número 7, con una frecuencia de logro promedio de 91,3%. Esta pregunta se identifica con el resultado de aprendizaje “Establece relaciones entre causas y efectos a través de la información proporcionada por el problema” de la Competencia Resolución de Problemas. Le sigue de cerca la pregunta 8, donde la frecuencia de logro promedio es del 88,8%, correspondiente a la Competencia Comprensión de la disciplina. En ambas preguntas, más del 80% de los estudiantes de cada carrera contestó de forma correcta.
3. La pregunta con menor cantidad de respuestas correctas fue la número 5 con una frecuencia de logro promedio de tan solo 9,5%. Esta pregunta se identifica con el resultado de aprendizaje “Identifica métodos, técnicas y herramientas aplicados en el proceso de diseño de soluciones ingenieriles.” de la Competencia Diseño de Soluciones. Le sigue la pregunta 10, donde la frecuencia de logro promedio es del 48,9% con mucha variación entre las carreras (desde el 37% al 61,9% de respuestas correctas), correspondiente a la Competencia Conocimiento Contemporáneo.
4. A partir de la evaluación realizada, se observa que sobre el 75% de los estudiantes tiene un nivel de dominio de competencias que le permite:
   1. Relacionar una formulación simple matemática y la descripción gramatical de un problema de ingeniería para encontrar una solución (pregunta 1).
   2. Establecer relaciones simples entre causas y efectos a través de la información proporcionada por el problema (pregunta 7).
   3. Explicar el impacto de las soluciones ingenieriles en el contexto global, social, económico y en el medio ambiente (pregunta 8).
5. Además, sobre el 65% de los estudiantes es capaz de: 
   1. Identificar los pasos y características de un diseño de experimentos o actividades de validación empírica para resolver problemas de ingeniería (pregunta 4).
   2. Resolver a través de modelos gráficos problemas de ingeniería para encontrar su solución (pregunta 3).
6. Asimismo, la mayoría de los estudiantes (cerca del 50% o más en algunos casos) presentan dificultades para:
   1. Relacionar las variables de un problema con el lenguaje matemático que las representa en forma de ecuación (pregunta 2). Esto se relaciona con la interpretación mediante modelos gráficos de un problema formulado con lenguaje matemático.
   2. Identificar métodos, técnicas y herramientas aplicados en el proceso de diseño de soluciones ingenieriles (pregunta 5). De todos modos, aquí nos encontramos con una situación esperable en estudiantes de primer año. Con el avance de los alumnos en la carrera debieran adquirir las herramientas necesarias para el diseño de soluciones ingenieriles.
   3. Extraer información de un problema que ayude a su comprensión y solución, mediante el establecimiento de relaciones lógicas integradoras de variables por parte del estudiante (pregunta 6).
   4. Identificar aspectos socio-políticos y económicos del medio en el que se desempeñará la disciplina (pregunta 10).
7. A partir del análisis de frecuencia de respuesta y promedios de logro se puede señalar  que en general, los estudiantes de las 4 carreras innovadas de la Facultad presentan mayores dificultades al enfrentarse a preguntas complejas que requieren de mayores niveles de abstracción para su solución. Así ocurre con el desempeño de los estudiantes ante las preguntas 2, 6 y 10, que pese a ser similares con otras preguntas en que los resultados fueron mejores, tienen en común la expresión de formulaciones complejas que requieren del estudiante la aplicación de habilidades de análisis, representación, interpretación y relación en niveles superiores. 
8. Los resultados permiten suponer que sobre el 60% de los estudiantes de las carreras evaluadas tiene el nivel de desarrollo de competencias mínimo necesario para cursar las asignaturas de matemáticas del primer semestre.

Gráficos y tablas

Escuelas	Número de estudiantes evaluados	Porcentaje de cobertura de alumnos	Promedio de porcentajes totales de logro por estudiante
Ingeniería Civil Industrial Valparaíso	127 de 140	91%	65,9%
Ingeniería Civil Industrial Santiago	88 de 104	85%	65,3%
Ingeniería Civil Oceánica	27 de 32	84%	60,5%
Ingeniería Civil	90 de 94	96%	67,3%
Ingeniería en Construcción	84 de 107	79%	65,1%
	Promedio Escuelas	87%	64,8%

Tabla 2: Promedios de porcentajes totales de logro por estudiante en cada Escuela.

 

 

Competencia (C) y Resultado de Aprendizaje (R.A)	C1 R.A 1	C1 R.A 2	C1 R.A 3	C2	C3	C4 R.A 1	C4 R.A 2	C5	C7
Ingeniería Civil Industrial Valparaíso	87,4%	57,5%	84,3%	70,9%	9,4%	60,6%	94,5%	91,3%	37,0%
Ingeniería Civil Industrial Santiago	89,8%	50,0%	83,0%	64,8%	5,7%	58,0%	96,6%	95,5%	44,3%
Ingeniería Civil Oceánica	77,8%	51,9%	70,4%	70,4%	14,8%	44,4%	88,9%	81,5%	44,4%
Ingeniería Civil	87,8%	58,9%	74,4%	76,7%	6,7%	63,3%	92,2%	88,9%	56,7%
Ingeniería en Construcción	84,5%	52,4%	73,8%	75,0%	10,7%	56,0%	84,5%	86,9%	61,9%
Promedio Escuelas	85,5%	54,1%	77,2%	71,5%	9,5%	56,5%	91,3%	88,8%	48,9%

Tabla 3: Distribución de frecuencias de logro por Competencia y/o Resultado de Aprendizaje.