¿Cuál es la necesidad de una revisión sistemática?
Debido a los diferentes niveles de conocimiento de los evaluadores y la complejidad de la evaluación de sistemas de información, inevitablemente surgirán algunos problemas en la práctica de la evaluación de sistemas de información. Los problemas comunes incluyen principalmente los siguientes aspectos:
Primero, los objetivos de la evaluación no están claros y la evaluación está acostumbrada a evaluaciones amplias y completas.
En la práctica actual de evaluación de sistemas de información, el error más común es que los objetivos de la evaluación no están claros. Antes de la evaluación, no analizamos cuidadosamente el propósito de la evaluación ni descubrimos por qué necesitamos evaluar. En cambio, adoptamos prácticas habituales, realizamos una evaluación integral y establecimos indicadores para evaluar los beneficios económicos, los beneficios sociales, los niveles técnicos, etc. . Puede imaginarse o incluirse en otras evaluaciones. Esto a menudo da como resultado que los resultados de la evaluación sean bastante diferentes de la intención original de la evaluación. De hecho, las metas son el núcleo de la evaluación; todas las evaluaciones se realizan en torno a metas. Si los objetivos no son claros, los resultados de la evaluación obtenidos no tendrán sentido o serán inútiles, lo que es absolutamente un desperdicio de personas y dinero. Por ejemplo, si el propósito de la evaluación es solo evaluar la calidad del desarrollo y la estabilidad del sistema de información, no hay necesidad de considerar los beneficios económicos del sistema de información en consecuencia, si el propósito es evaluar los beneficios del sistema de información; , no es necesario considerar la calidad del desarrollo del sistema de información. Por lo tanto, antes de la evaluación del sistema de información, se deben definir claramente los objetivos de la evaluación. Por un lado, es necesario garantizar que los resultados de la evaluación cumplan con los requisitos y, por otro lado, se deben eliminar los factores innecesarios para que la evaluación sea fácil de realizar. implementar.
El segundo es una comprensión insuficiente de la complejidad de la evaluación del sistema de información y, a menudo, no se puede completar de principio a fin.
La falta de comprensión de la complejidad de la evaluación de sistemas de información también es un error fácil de cometer. Al comienzo de asumir la tarea de evaluación, el responsable siempre quiso hacer esta evaluación mejor que cualquier evaluación anterior, fijó metas ambiciosas, fijó algunas metas y esperaba enumerar todos los aspectos involucrados y establecer el mejor modelo. Los resultados suelen ser contraproducentes. A medida que el trabajo de evaluación se profundizó, descubrieron que las cosas no eran nada sencillas. Se acercaba la fecha límite y tenían que terminarlo apresuradamente y afrontarlo. La razón principal de este error es no apreciar plenamente la complejidad de la evaluación de los sistemas de información.
La complejidad de la evaluación de un sistema de información está determinada por una variedad de factores, que se reflejan principalmente en los siguientes aspectos: Primero, los altos riesgos e incertidumbres del desarrollo del sistema de información hacen difícil determinar el costo, el cronograma y plazo de finalización. En segundo lugar, los beneficios del sistema de información están dispersos, es decir, los beneficiarios del sistema de información incluyen muchos objetos, lo que aumenta la complejidad de evaluar sus beneficios; en tercer lugar, una vez que el sistema de información se pone en uso; se ha integrado en la organización y los procesos comerciales de la empresa, lo que tiene un gran impacto en la empresa. El impacto real es difícil de subdividir, o incluso evaluar de forma independiente, en particular, los beneficios intangibles, los beneficios indirectos y los beneficios a largo plazo; Los beneficios rezagados generados después de que se completa el sistema de información no se pueden medir directamente. Además, hay muchos temas involucrados en los sistemas de información y el contenido de las evaluaciones puede ser bastante diferente. En las diferentes etapas de la evaluación, los métodos de evaluación aplicables son diferentes. Los evaluadores deben comprender plenamente la complejidad de la evaluación de sistemas de información y prestar atención a las cuestiones clave y centrales al considerar los problemas. Aquellos que sean irrelevantes o tengan poca relevancia para el propósito de la evaluación deben descartarse, y no se debe "agarrar las cejas y la barba". Esto no sólo puede simplificar la evaluación, sino también garantizar que los resultados de la evaluación se acerquen más a la esencia del problema porque se consideran todas las cuestiones clave y centrales. Al mismo tiempo, el trabajo de evaluación se llevará a cabo de manera ordenada gracias a una cuidadosa consideración previa.
En tercer lugar, se pone demasiado énfasis en la racionalidad y regularidad del proceso de evaluación, lo que resulta en una reducción de la operatividad de la evaluación.
En el proceso de evaluación del sistema de información, también es un fenómeno común prestar demasiada atención a la racionalidad y regularidad del proceso de evaluación del proyecto y no prestar atención a la operatividad del método de evaluación del sistema de información. De hecho, no importa qué método de evaluación se elija, su operatividad es uno de los criterios importantes para medir su naturaleza científica. En la práctica, algunos evaluadores concentran mucha energía en la determinación de indicadores cuantitativos y la selección de modelos matemáticos, ignorando la operatividad de los métodos de evaluación, lo que resulta en evaluaciones fallidas o poco realistas. Para evitar este problema, considere los siguientes aspectos: Primero, estudie las evaluaciones exitosas de otras personas sobre sistemas de información iguales o similares, analice las ganancias y pérdidas y seleccione la esencia.
Esto puede reducir los desvíos en el proceso de evaluación y mejorar la operatividad del método de evaluación. En segundo lugar, se deben combinar múltiples métodos para mejorar la confiabilidad de la evaluación. Hay muchos factores a considerar al evaluar un sistema. No es factible ni práctico utilizar un método para evaluar o medir diferentes factores. Sólo combinando varios métodos y evaluando el sistema de acuerdo con su entorno específico podemos obtener conclusiones integrales y objetivas. En tercer lugar, el método de evaluación debe simplificarse lo más posible para que sea fácil de entender y verificar.
Debido a que la construcción del sistema de información es un proyecto de sistema complejo, es necesario estimar completamente la complejidad del trabajo de evaluación y no perseguir ciegamente la integridad y precisión de la evaluación, porque cuanto más precisa sea la evaluación, cuanto más complejo sea el método, menor será su operatividad. Por lo tanto, bajo la premisa de lograr los objetivos básicos, es necesario llegar a un compromiso entre la viabilidad y la precisión del método de evaluación y simplificar el método de evaluación.
En cuarto lugar, existen muchas lagunas en el diseño del sistema de indicadores, lo que hace que los resultados de la evaluación no sean convincentes.
Al diseñar el sistema de índice de evaluación del sistema de información, es probable que se produzcan algunos errores. Los problemas comunes incluyen niveles de diseño de indicadores poco claros, relaciones de inclusión entre indicadores, indicadores no mensurables y la incapacidad del sistema de indicadores para reflejar completamente la situación integral del objeto que se está evaluando, etc. La aparición de tales errores a menudo conduce al fracaso de la evaluación o a la falta de confiabilidad de los resultados de la evaluación. De hecho, el diseño del sistema de indicadores es un eslabón clave en la evaluación del sistema; si hay un error en este eslabón, por muy bueno que sea el trabajo posterior, será en vano.
El diseño del sistema de índices de evaluación del sistema de información debe seguir ciertos principios. Específicamente, en primer lugar, el diseño de indicadores de evaluación debe prestar atención a la combinación de cientificidad y naturaleza avanzada, no sólo para garantizar la cientificidad de los indicadores, sino también para garantizar que los indicadores puedan reflejar nuevas ideas en el trabajo de evaluación. En segundo lugar, los indicadores de diseño deben ser sistemáticos. Los indicadores del sistema de indicadores no se ensamblan al azar, sino que deben formar un todo orgánico. Sólo así podremos garantizar que el sistema de índice diseñado pueda reflejar de manera más completa y objetiva la situación integral del objeto que se está evaluando. En tercer lugar, el diseño de indicadores debe seguir el principio de comprobabilidad, es decir, los indicadores diseñados son comprobables y se pueden obtener datos reales y confiables a través de ciertos canales para garantizar la operatividad del trabajo de evaluación. Además, debemos prestar atención al principio de combinar métodos cualitativos y cuantitativos. Dado que la evaluación de los sistemas de información involucra todos los aspectos, es difícil hacer una evaluación objetiva del sistema simplemente usando métodos cuantitativos o cualitativos. Por lo tanto, es mejor utilizar una combinación de métodos cualitativos y cuantitativos.
En quinto lugar, comprensión insuficiente de la evaluación
Sin un análisis más profundo de los resultados de la evaluación del sistema, uno piensa que siempre que el sistema se evalúe de cierta manera y se escriba un informe de evaluación , todo estará bien. Todo está bien, esto también es un error fácil de cometer en la evaluación. De hecho, no importa qué tipo de evaluación sea, su propósito final es resumir el sistema por un lado y, lo que es más importante, encontrar problemas y resumir experiencias a través de la evaluación, a fin de brindar orientación para el trabajo futuro. En la práctica, también existe una tendencia a cometer errores, es decir, no reconocer plenamente el valor de la evaluación del sistema de información en sí y no realizar una investigación en profundidad sobre si existen errores entre los resultados de la evaluación y la situación real. En realidad, estas cuestiones tienen mucho que ver con una mayor evaluación: estudiar el valor de la evaluación en sí puede hacer que los líderes sean plenamente conscientes del papel de la evaluación, atraer la atención de los líderes hacia este trabajo y hacer que el trabajo de evaluación futuro sea más fácil de llevar a cabo al estudiar la evaluación; resultados Si hay un error en la situación real, aclare la causa del error, corrigiendo así el error, acercando los resultados de la evaluación a la realidad y acumulando algo de experiencia para evaluaciones similares en el futuro.
6. La comprensión insuficiente de los factores humanos en el proceso de evaluación conduce a una evaluación no objetiva.
La falta de comprensión de los factores humanos también es un error fácil de cometer en el proceso de práctica de la evaluación. Actualmente la mayoría de la gente piensa que la evaluación es asunto del evaluador. Sólo si son técnicamente competentes y trabajan duro los resultados de la evaluación que reciben pueden ser objetivos y justos. De hecho, además de los evaluadores, también hay muchas personas que realmente participan en la evaluación, incluidos expertos que participan en la investigación y evaluación de contenidos específicos del sistema, líderes del sistema, personal de I+D, usuarios y recolectores de datos que participan en la evaluación del sistema. Los problemas en ambos lados conducirán a resultados de evaluación menos objetivos.
Por ejemplo, si la selección de expertos es limitada, el contenido de la evaluación serán las opiniones de uno o dos expertos, perdiendo el significado de evaluación colectiva, se debería decir que los usuarios del sistema tienen más voz, pero si simplemente van; a través de las mociones, o los evaluadores piensan que no son expertos, sus propias palabras no tienen peso y obviamente afectarán los resultados de la evaluación. El personal de recopilación de datos no es meticuloso en su trabajo y los datos recopilados son incompletos e incluso subjetivos; también conduce a la distorsión de los resultados de la evaluación; la evaluación del responsable del sistema de información de cada unidad es obviamente muy importante, pero si insisten en "No dejen que se publique el escándalo", los investigadores siempre podrán conseguirlo. elogios de su parte como "el sistema tiene éxito". Se puede observar que el factor humano es muy importante en el proceso de evaluación de un sistema de información.
7. No integrar la teoría con la práctica.
En la práctica de la evaluación de sistemas de información, muchas unidades no se dan cuenta plenamente de que la evaluación también es un proceso iterativo que combina teoría y práctica. Al mismo tiempo, carecen de la investigación empírica correspondiente y no pueden dar retroalimentación a través de la práctica. . De hecho, la evaluación de los sistemas de información se basa en la teoría de la evaluación, que es un proceso de la teoría a la práctica. También se debe probar mediante la práctica si los resultados de la evaluación son consistentes con la situación real del sistema de información, o si la teoría utilizada es adecuada para evaluar un sistema de información. Si es necesario, se debe revisar la teoría de evaluación existente. Este es otro paso. De la práctica al proceso teórico. De la teoría a la práctica y de regreso a la teoría, se necesitan muchas iteraciones para formar una serie de métodos de evaluación relativamente estables y maduros. En la práctica de la evaluación, esto parece difícil de hacer, porque la práctica de la evaluación generalmente no tiene la posibilidad de repetición; sin embargo, si nos basamos en ejemplos de otras evaluaciones de sistemas de información, en realidad podemos hacerlo;