View
226
Download
1
Category
Preview:
Citation preview
Dr. Luis Olsina• Calidad, Métricas, Indicadores..• Proceso de Evaluación• Marco de Medición y Evaluación
• GQM• INCAMI
• Conclusiones
ContenidosContenidosParte II Parte II
GIDIS_Web, Dpto. de Informática,GIDIS_Web, Dpto. de Informática,
Facultad de Ingeniería, UNLPamFacultad de Ingeniería, UNLPam
E-mail E-mail olsinal@ing.unlpam.edu.arolsinal@ing.unlpam.edu.ar
©© 2007 GIDIS_Web 2007 GIDIS_Web
Ingeniería Web: Marco de Medición Ingeniería Web: Marco de Medición
y Evaluación de Calidady Evaluación de Calidad
Curso de Posgrado Universidad Nacional de San Luis / La Rioja / Catamarca
Esquema
• Conceptos: Calidad, Métricas, Indicadores..
• Proceso de Evaluación
• Medición/Evaluación orientada a Metas
• GQM
• Marco de Medición y Evaluación INCAMI• Componentes de INCAMI
• Conclusiones
● Diversos Estándares (ej. ISO) tratan sobre:– Calidad (Producto): el modelo de calidad interna y
externa y de calidad en uso de software (ISO 9126-1:2001), – Calidad (Proceso): process assessment and
capability determination for software organizations (ISO 15504:2003) o CMMI
– Evaluación: el proceso de evaluación (ISO 14598:1998),
– Medición: el proceso de medición (ISO 15939:2002)
Con frecuencia, no existe un claro consenso entre los mismos términos en diferentes documentos ...
● Presentaremos los principales conceptos, a partir de un estudio ontológico del dominio [Olsina et al 2003/04]
Stds ISO sobre Calidad, Medición…
¿Qué es la Calidad?
● Calidad – La calidad es difícil de definir y medir,
aunque fácil de reconocer (según Kitchenham y Pfleeger)
– La calidad (percibida) de un ente en general es transparente cuando está presente, pero se reconoce fácilmente cuando está ausente
● Calidad en General– Distintas Visiones (según David Garvin, 87):
– Visión Trascendente – Visión del Usuario– Visión del Productor– Visión del Producto– Visión basada en el Valor
● trade-off calidad/costo
¿Qué es la Calidad?
Dimensiones de la Calidad
Para un Producto (según David Garvin, 87)
– Estética: apariencia sensorial– Conformidad: con estándares– Durabilidad: vida prevista (en tiempo de uso)– Desempeño: características esenciales que pueden
ser medidas (consumo, potencia, aceleración etc.)– Confiabilidad: probabilidad de que el producto no
falle o funcione bien durante un período de tiempo– Servicio: rapidez, atención, facilidad de reparación– Calidad Percibida: durante el uso en contextos
específicos
Proyecto vs. CalidadVariables de un Proyecto
– Alcance– Tiempo
● Esfuerzo● Calendario
– Time-to-Market– Calidad
● Producto● Proceso● Recurso
– Capacidades y Habilidades, – Métodos y Herramientas, ...
– Costo● Presupuesto
Costos e Impacto de la No-Calidad
● Malgasto, desperdicio de:– esfuerzo (personas-horas)– materiales
● Pérdida de tiempo para disponer del producto● Retrabajo
– por reparaciones del producto– impactos por cambio
● Impacto en el cliente – pérdida de imagen de la empresa– pérdia de confianza en el producto
● ventas
Costos de la Calidad● De Producto
– De prevención (de la no-calidad)– Entrenamiento (método, tecnología)– planificación– prototipado, simulación– modelado
– De evaluación – Descubrir, controlar– No conformidades
– De Corrección– Defectos ...
● De una Organización o Proceso – De certificación
Definir a la CalidadDefinir, Especificar a la Calidad depende de:
– Ente a Aplicar● Proyecto (de Desarrollo, de Mantenimiento)
– Proceso– Producto– Recurso
● Producto en Uso● Servicio
– Perspectiva (Perfil de Usuario)● Desarrollador● Gerente● Usuario Final, ...
– Dominio– Para un mismo perfil (para distintos –o iguales – proyectos)
● diferentes necesidades, prioridades
Definir/Evaluar la Calidad
Definir, Evaluar a la Calidad es “a human-intensive business”
– No es una simple tarea● Definir, Especificar, ● Medir, Evaluar ...
la calidad, por ejemplo, de un producto de software o producto Web
– No es una simple tarea● Definir, ● Seleccionar, ● Emplear Sistemáticamente Porgramas, Estrategias,
Técnicas y métodos para medición y evaluación de productos y otros entes de interés para IS e IW
– A veces un método o técnica no basta ...
¿Qué es la Calidad?● Calidad del Producto Sw (según ISO/IEC 9126-1: 2001)
– The totality of characteristics of an entity that bears on its ability to satisfy stated or implied needs
– La totalidad de características de un ente que tiene que ver con (influencia en, afecta a) la capacidad de satisfacer necesidades explícitas o implícitas
– Características● Usabilidad, Funcionalidad, Confiabilidad …
¿Qué es Modelo de Calidad?
● Modelo de Calidad
– The set of characteristics and the relationships between them which provide the basis for specifying quality requirements and evaluating quality (según ISOIEC 9126-1)
– El conjunto de características y las relaciones entre las mismas, que proveen la base para especificar requerimientos de calidad y evaluar calidad.
Modelo de Calidad (ISO/IEC 9126-1)
Software
Quality
Software
Quality
ReliabilityReliability
Suitability
Accuracy
Interoperability
Security
Compliance
Suitability
Accuracy
Interoperability
Security
Compliance
FunctionalityFunctionality
Maturity
Fault Tolerance
Recoverability
Compliance
Maturity
Fault Tolerance
Recoverability
Compliance
Understandability
Learnability
Operability
Attactiveness
Compliance
Understandability
Learnability
Operability
Attactiveness
Compliance
Time behaviour
Resource utilization
Compliance
Time behaviour
Resource utilization
Compliance
Analysability
Changeability
Stability
Testeability
Compliance
Analysability
Changeability
Stability
Testeability
Compliance
Adaptability
Instalability
Co-existence
Replaceability
Compliance
Adaptability
Instalability
Co-existence
Replaceability
Compliance
UsabilityUsability EfficiencyEfficiency MaintainabilityMaintainability PortabilityPortability
CaracterísticasCaracterísticas
SubcaracterísticasSubcaracterísticas
● Funcionalidad
adecuación, precisión, interoperabilidad, seguridad(datos), conformidad
● Confiabilidad
madurez, tolerancia a fallas, recuperabilidad, conformidad
● Usabilidad
comprensibilidad, facilidad de aprender, operabilidad, grado de atractivo, conformidad
● Eficiencia
comportamiento con respecto al tiempo, utilización de recursos, conformidad
● Mantenibilidad
analizabilidad, modificabilidad, testeabilidad, estabilidad, conformidad
● Portabilidad
adaptabilidad, instalabilidad, capacidad de coexistir, reemplazabilidad, conformidad
El Modelo de Calidad El Modelo de Calidad ISO 9126ISO 9126
● Comprensibilidad: permitir al usuario entender si es adecuado y cómo usarlo en tareas particulares y condiciones de uso
● Facilidad de ser Aprendido: es fácil de aprender a usar la aplicación por el usuario?
● Operabilidad: facilidad de ser operado y controlado por el usuario
● Grado de Atractivo: capacidad del producto de ser atractivo para el usuario
● Conformidad: adhesión a estándares, normas, regulaciones y otras prescripciones de usabilidad
ISO 9126: Usabilidad
Capacidad de ser comprendido, aprendido, operado y resultar atractivo para el usuario, cuando es usado en condiciones especificadas
Características y Subcaracterísticas
● Usabilidad
– Comprensibilidad– Facilidad de ser Aprendido– Operabilidad – Grado de Atractivo
● Confiabilidad
– Madurez de Enlaces● Enlaces Rotos● Enlaces Inválidos● Enlaces no Implementados
– Madurez de Páginas● Eficiencia
– Performance– ................
CalidadCalidad
Métrica: Enlaces Rotos
● Enlaces Rotos– Cantidad de Enlaces Rotos internos – Cantidad de Enlaces Rotos externos– Porcentaje de Enlaces Rotos
100×+
=talEnlacesCantidadTo
ExternoslacesRotosCantidadEnInternoslacesRotosCantidadEnosEnlacesRotPorcentaje
What is Quality?
Quality of a Software Product (ISO/IEC 9126-1: 2001)
Three Views for Quality:
– Internal Quality – Def.● The totality of attributes of a product that determines its
ability to satisfy stated and implied needs when used under specified conditions
– External Quality – Def.● The extent to which a product satisfies stated and implied
needs when used under specified conditions
– Quality in Use – Def.● The capability of software product to enable specified users
to achieve specified goals with effectiveness, productivity, safety and satisfaction in specified context of use.
The ISO 9126-1 Quality Model
Software
Quality
Software
Quality
ReliabilityReliability
Suitability
Accuracy
Interoperability
Security
Compliance
Suitability
Accuracy
Interoperability
Security
Compliance
FunctionalityFunctionality
Maturity
Fault Tolerance
Recoverability
Compliance
Maturity
Fault Tolerance
Recoverability
Compliance
Understandability
Learnability
Operability
Attactiveness
Compliance
Understandability
Learnability
Operability
Attactiveness
Compliance
Time behaviour
Resource utilization
Compliance
Time behaviour
Resource utilization
Compliance
Analysability
Changeability
Stability
Testeability
Compliance
Analysability
Changeability
Stability
Testeability
Compliance
Adaptability
Instalability
Co-existence
Replaceability
Compliance
Adaptability
Instalability
Co-existence
Replaceability
Compliance
UsabilityUsability EfficiencyEfficiency MaintainabilityMaintainability PortabilityPortability
CharacteristicsCharacteristics
SubcharacteristicsSubcharacteristics
● Internal Quality is specified by a quality model (the six characteristics shown)● It can be measured and evaluated by static attributes of documents such as
specification of requirements, architecture, or design; pieces of source code, and so forth.
● In early phases of a software or Web lifecycle, we can evaluate and control the internal quality of these early products.
● But assuring internal quality is not usually sufficient to assure external quality.
Perspectives of Quality: ISO 9126-1
● External Quality is specified by a quality model (the six characteristics shown)
● It can be measured and evaluated by dynamic properties of the running code in a computer system, i.e. when the module or full application is executed in a computer or network simulating as close as possible the actual environment.
● In late phases of a software lifecycle (e.g. in different kinds of testing, or even in the operational state of a software or Webapp), we can measure, evaluate and control the external quality of these late products,
● But assuring external quality is not usually sufficient to assure quality in use.
Perspectives of Quality: ISO 9126-1
● Quality in Use is specified by a quality model (four characteristics), ● It can be measured and evaluated by the extent to which the software or Web
application meets specific user’s needs in the actual, real, specific context of use.
● Regarding the spirit of this standard, quality in use is the end user’s view of the quality of a running system containing software, and is measured and evaluated in terms of the result of using the software, rather than by properties of the software itself.
Perspectives of Quality: ISO 9126-1
● Attributes of internal and external quality of a software product are rather the cause, attributes of quality in use rather the effect.
● QinU evaluates the degree of excellence, and can be used to validate the extent to which the software or Web meets specific user needs.
● Considering appropriate attributes of the software (or Web) for internal quality is a prerequisite to achieve the required external behavior, and considering appropriate attributes of the software to external behavior is a prerequisite to achieve quality in use
Perspectives of Quality: ISO 9126-1
Modelo para Calidad en Uso
Quality in Use
Quality in Use
EffectivenessEffectiveness ProductivityProductivity SafetySafety SatisfactionSatisfaction
● Calidad en Uso es la vista de la calidad para usuarios– similar a la definición de Usabilidad en ISO 9241-11
● The capability of software product to enable specified users to achieve specified goals with effectiveness, productivity, safety and satisfaction in specified context of use. ISO/IEC 9126-1:2001.
● Effectiveness
The capability of software product to enable users to achieve specified goals with accuracy and completeness in a specified context of use. ISO 9126.
● Potential Metrics
● Level of Task Completeness: measures the level of success in completing the specified task correctly
● Average of Achieved Goals: the average of completed tasks
Característica para Calidad en Uso
Posibles Dependencias
Pro ce s sQ u a lity
I n te rn a lQ u a lity
Ex te rn a lQ u a lity
Q u a lityin Us e
Attributes/MetricsQuality / Concept ModelEntity
ResourceAttributes/M etrics
ProcessAttributes/M etrics
ProductAttributes/M etrics
for Inte rnal andExte rnal Q uality
Resource
Process
Product in Use Attributes/M etrics
Product
Product/Systemin Use
influe nce s to
de pe nds on
Pro du ctQ u a lity
R e s o u rceQ u a lity
What is Web Quality?
WebApps “involve a mixture between print publishing and software development, between marketing and computing, between internal communications and external relations, and between art and technology” [Powell 97]
● We argue the three ISO views (and quality models) are also applicable to a great extent to intermediate and final life-cycle Web products.
● Like any software line production, the Web lifecycle involves different stages of its products whether in early phases as inception and development, or late phases as deployment, operation and evolution.
What is Web Quality?
● Thus, to the general question if we can apply the same ISO internal and external quality, and quality in use models, the natural answer is yes
● However, to the more specific question whether we can use the same six-prescribed quality characteristics for internal and external quality, and the four characteristics for quality in use, our answer is yes for the latter, but some other considerations might be taken into account for the former.
What is Web Quality?
● The very nature of WebApps is a mixture of information (media) contents, functionalities and services.
● We argue that the six quality characteristics (i.e., Usability, Functionality, Reliability, Efficiency, Portability, and Maintainability) are not well suited (or they were not intended) to specify requirements for information quality.
● A new Characteristic related with information CONTENTS is needed
What is Web Quality?
Content characteristic has four major subconcepts not covered by the six-prescribed ISO characteristics
● Information Accuracy is the extent to which information is correct, unambiguous, authoritative (reputable), objective, and verifiable.
● Information Suitability is the extent to which information is appropriate (appropriate coverage for the target audience), complete (relevant amount), concise (shorter is better), and current.
● Accessibility emphasizes the importance of technical aspects of WebApps in order to make Web contents more accessible for users with various disabilities
● Legal Compliance. The capability of the information product to adhere to standards, conventions, and legal norms related to contents and intellectual property rights.
● El Aseguramiento de Calidad del software, es un conjunto de actividades planificadas y sistemáticas necesarias para aportar que el producto (proceso,...) satisfará los requerimientos explícitos e implícitos de Calidad
● Actividades– Preventivas– de Control (Medición, Evaluación, ...)– Correctivas
Aseguramiento de Calidad
ISO 12207 – ProcesosPROCESOS DE SOPORTEPROCESOS PRINCIPALES
ADQUISICIÓN
SUMINISTRO
DESARROLLOOPERACIÓN
MANTENIMIENTO
DOCUMENTACIÓNGESTIÓN DE CONFIGURACIÓN
RESOLUCIÓN DE PROBLEMAS
PROCESOS ORGANIZACIONALESGESTIÓN INFRAESTRUCTURA
MEJORA FORMACIÓN
ASEGURAMIENTO DE CALIDAD
VERIFICACIÓNVALIDACIÓN
AUDITORÍA
REVISIÓN CONJUNTA
Aseguramiento de Calidad
● Control de Calidad del Software/Web– Creación de Modelos de Calidad: útiles para
discutir, planificar, y controlar la calidad
– Medición/Evaluación de Productos sw/web: necesidad de obtener datos cuantitativos que ayuden a mejorar la calidad
● A partir de Métricas de Atributos de Entes
● E interpretación de las medidas a partir de Indicadores para un Modelo de Calidad acordado
References
Olsina, L.; Rossi, 2002, Measuring Web Application Quality with WebQEM, In IEEE Multimedia Magazine, ISSN 1070-986X, Vol. 9, Nº 4, pp. 20-29
Olsina, L; Covella, G. Rossi, G; 2006, Web Quality; (Book Chapter of Web Engineering) Springer, E. Mendes & N. Mosley (Eds). pp 109-142. ISBN 3-540-28196-7
Covella, G., Olsina, L; 2006, Assessing Quality in Use in a Consistent Way, In proceed. of ACM. Int’l Congress on Web Engineering, (ICWE’06), San Francisco, USA, pp. 1-8, ISBN 1-59593-352-2
Conceptos para Requerim. NF
● Necesidad de Información ● Entidad ● Atributo● Calidad, Calidad en Uso
– CONCEPTO CALCULABLE ● Modelo de Calidad, de Calidad en Uso
– MODELO DE CONCEPTO
Modelo para Requerimientos
Attribute
namedefinitionobjetivetype = {internal, external}
Entity
namedescription
0..*0..*
subEntity
1..*
1..*
1..*
1..*
asociated_with
InformationNeed
purposeviewpoint
about
ConceptModel
namespecificationreferences
CalculableConcept
namedescription
1..*1 1..*1
combines0..*0..*
subConcept
1
1..*
1
-focus 1..*
describes 0..*0..*
represented_by
Repasando Conceptos
● NECESIDAD DE INFORMACION – Información necesaria para gestionar objetivos,
metas, riesgos y problemas [ISO-15939].– Una necesidad de información es descripta por uno o
varios conceptos calculables (Calidad, Calidad en Uso, etc.) para entes específicos
– Ejemplos:● Evaluar la confiabilidad de enlaces para páginas estáticas de
un sitio Web– Objetivo = Evaluar; – Concepto Calculable = Confiabilidad de Enlaces; – Ente = páginas estáticas Web
● Predecir la productividad en desarrollo de un grupo de trabajo
Repasando Conceptos
● ENTIDAD – Un objeto que va a ser caracterizado mediante una
medición de sus atributos [ISO-15939]. – Una entidad puede ser física –tangible– (p.ej. una
computadora) o abstracta -intangible– (p.ej. un programa software)
– Objetos de interés para el dominio de software son: ● Recurso, personas, hw, sw necesarios para realizar los procesos● Proceso, cualquier actividad relacionada al desarrollo, mantenimiento● Producto, cualquier artefacto producido en proyecto sw/web ● Producto en uso?, ● Proyecto,● Servicio
Repasando Conceptos
● ATRIBUTO
– Una propiedad mensurable, física o abstracta, de una entidad [ISO 14598-1].
– el atributo puede ser, por ejemplo, para un producto en etapa temprana o tardía
● Tamaño de código fuente (atributo para calidad interna), precio (atributo para calidad externa).
● En nuestro caso, enlaces internos rotos...
– El atributo se puede medir (cuantificar) por medio de una métrica directa o indirecta.
Repasando Conceptos
● CONCEPTO CALCULABLE– Es una relación abstracta entre atributos de una o
más entidades, y una necesidad de información [ISO-15939].
– Ejemplos de conceptos calculables son: para nuestro caso Calidad, Costo, Accesibilidad, Calidad en Uso, ....
– Evaluar o predecir dicho concepto, desde una perspectiva de usuario.
● Gerente, ● Desarrollador, ● Usuario final, etc.
Repasando Conceptos
● MODELO de CONCEPTO – El conjunto de subconceptos y las relaciones entre
ellos, que sirven de base para una ulterior evaluación o estimación.
– Ej. Características y/o subcaracterísticas y sus relaciones que proveen las bases para modelar Calidad.
– Una característica puede estar conformada por subcaracterísticas y atributos.
– El modelo puede ser fijo (estándar, como ISO 9126-1), propio o mixto.
Modelo para Requerimientos
Attribute
namedefinitionobjetivetype = {internal, external}
Entity
namedescription
0..*0..*
subEntity
1..*
1..*
1..*
1..*
asociated_with
InformationNeed
purposeviewpoint
about
ConceptModel
namespecificationreferences
CalculableConcept
namedescription
1..*1 1..*1
combines0..*0..*
subConcept
1
1..*
1
-focus 1..*
describes 0..*0..*
represented_by
Modelo para Calidad Externa
● Usabilidad
– Operabilidad ● ...
– Grado de Atractivo● ...
● Confiabilidad
– Madurez de Enlaces● Enlaces Rotos● Enlaces Inválidos● Enlaces no Implementados
● Eficiencia
– Performance● ...
Calidad ExternaCalidad Externa
Quality in Use Model
● Instance of QinU MODEL with associated Attr.
1. Quality in Use
1.1 Effectiveness
1.1.1 Task Effectiveness (TE)
1.1.2 Task Completeness (TC)
1.2 Productivity
1.2.1 Efficiency related to Task Effectiveness (ETE)
1.2.2 Efficiency related to Task Completeness (ETC)
1.3 Satisfaction
Calculable ConceptCalculable Concept
Sub-Sub-ConceptConcept
AttributeAttribute
Conceptos para Medición● Atributo
● Métrica– Directa– Indirecta (Fórmula)
● Medición● Medida● Escala
– Tipo de Escala– Categórica, Numérica (Unidad)
● Método– De Medición, de Cálculo (Instrumento)
Modelo para MediciónMetric
namevalueInterpretationdefinitionreferencesaccuracy
DirectMetric
MeasurementMethod
type = {Objetive, Subjetive}includes
Measure
value
Attribute
namedefinitionobjetivereferences
Scale
<<enum>> scaleTypevalueType = {Symbol, Integer,Float}
Measurement
timePoint1
11
1
produces
1
1..*
1
1..*quantifies 11
contains
1
0..*
1
0..*refers_to
CalculationMethod
IndirectMetric
2..*2..*
related_metrics
Tool
namedescriptionversionprovider
Method
namespecificationreferences 0..*
1..*0..*
1..*automated_by
CategoricalScale
allowedValues
NumericalScale
type = {continuous, discrete}
Unit
namedescription
1
1..*
1
1..*
expressed_in
Repasando Conceptos● METRICA
– El método de medición o cálculo definido y la escala de medición
● Semejante a [ISO 14598-1].● Ej. Cantidad (o porcentaje) de enlaces rotos
– MEDICION● Actividad que usa la definición de la métrica para
producir el valor de una medida.– Se realiza en una determinada fecha, hora ...
– MEDIDA● Número o categoría asignada a un atributo de una
entidad mediante una medición [ISO 14598-1]
Repasando Conceptos
● METRICA DIRECTA– Una métrica de un atributo que no depende de
ninguna métrica de otro atributo.
Cantidad de Enlaces Rotos Internos
• Medidos por la presencia de errores del tipo 404, (410 ?)
Cantidad de Imágenes con Texto Alternativo
• Medido por la presencia de la etiqueta ALT (con texto no nulo) en cada una de las imágenes vinculadas a las páginas de un sitio Web
Repasando Conceptos
● METRICA INDIRECTA– Una métrica de un atributo que se deriva de una o
más métricas de otros atributos.● Se formaliza por medio de una Función de Medición
(Fórmula, Ecuación). ● Función de Medición: Un algoritmo o cálculo que
permite combinar dos o más métricas.
Ejemplos de Métricas Indirectas
● Porcentaje de Enlaces Rotos de un Sitio
100×+
=talEnlacesCantidadTo
ExternoslacesRotosCantidadEnInternoslacesRotosCantidadEnosEnlacesRotPorcentaje
100×=stalImágeneCantidadTo
ágenesALTCantidadImLTPresenciaAPorcentaje
● Porcentaje de Presencia de la propiedad ALT.
Repasando Conceptos
● METODO (de MEDICION, CALCULO)– Secuencia lógica de operaciones y potenciales
heurísticas, expresadas de forma genérica, que permite la realización de una descripción de actividad.
– El tipo de método de medición va a depender de la naturaleza de las operaciones utilizadas para cuantificar el atributo. Pueden distinguirse dos tipos:
● Subjetivo: Cuando la cuantificación supone un juicio realizado por un ser humano.
● Objetivo: Cuando la cuantificación está basada en métodos numéricos.
Repasando Conceptos● INSTRUMENTO (Herramienta de Sw)
– Instrumento (o herramienta de software) que automatiza parcial o totalmente a un método de medición o cálculo.
● Doctor HTML: Imagiware [http://www2.imagiware.com/RxHTML]; web-based y off-line; Analizador de Errores y Fallas, HTML tags, Performance, etc.
● LIFT: UsableNet.com [http://www.usablenet.com/lift_onsite/]; web-based y off-line, con ranking; Analizador de Errores y Fallas, HTML tags, Imágenes, Performance, test de Accesibilidad, etc.
● LinkBot: WatchFire [http://www.watchfire.com/solutions/linkbot.asp]; off-line, con ranking; Analizador de Errores y Fallas, Performance, HTTP códigos de estado, etc. Herramienta de reparación.
Repasando Conceptos● Escala
– Un conjunto de valores con propiedades definidas [ISO 14598-1].
● Escala Numérica– Continua– Discreta
● Escala Categórica
– Tipos de Escala ● Nominal, ● Ordinal, ● Intervalo...
Repasando Conceptos
● UNIDAD (para escalas numéricas)– Una cantidad particular, definida y adoptada por
convención, con la que se pueden comparar otras cantidades de la misma clase para expresar sus magnitudes respecto a esa cantidad particular [ISO-15939]
● Ejemplos: LOC, bytes, palabras, links ...
Repasando Conceptos
● TIPOS DE ESCALA
– Una escala puede ser clasificada de acuerdo a los siguientes Tipos de Escala: Nominal, Ordinal restringida, Ordinal no restringida, Intervalo, Proporción, Absoluta.
– Cada tipo de escala determina las transformaciones admisibles, el tipo de operaciones matemáticas, y los análisis estadísticos que pueden aplicarse sobre el conjunto de valores de la escala.
Escala, Tipos de EscalaScale
typeIs ranking
meaningful?Are distances
between scales the same?
Does the scale include an absolute zero?
Nominal No No No
Ordinal Yes No No
Interval Yes Yes No
Ratio Yes Yes Yes
Absolute Yes Yes Yes
Escala, Tipos de EscalaScale type Examples of suitable
statisticsSuitable statistical tests
Nominal Mode
Frequency
Non-parametric
Ordinal Median
Percentile
Non-parametric
Interval Mean
Standard deviation
Non-parametric and parametric
Ratio Mean
Geometric mean
Standard deviation
Non-parametric and parametric
Absolute Mean
Geometric mean
Standard deviation
Non-parametric and parametric
Tipo de
Escala
TransformaciónAdmisible
EstadísticasSignificativas
Ejemplos
Nominal Equivalencia uno-a-uno Moda, Frecuencia Test no paramétricos
Clasificación,etiquetado
Ordinal Funciones monotónicasincrementales
Mediana, Spearman yKendall Tau, W
Test no paramétricos (Todo lo previo)
Grado de disponibili-dad, funcionalidad,complejidad, etc.
Intervalo m1 = a m + b Media Aritmética,Desvío estándar
Coef. de correlación dePearson
Test no paramétricos (Todo lo previo)
Temperatura (Celsius,Fahrenheit) Tiemposrelativos, etc.
Proporción m1 = a m Porcentajes, MediaGeométrica
Test paramétricos y noparamétricos
(Todo lo previo)
Preferencia de calidad,tamaño (LOC),longitud, etc.
Absoluta m1 = m (Identidad) (Todo lo previo) Conteo
Métricas:Métricas: Tipos de EscalaTipos de Escala
Modelo para MediciónMetric
namevalueInterpretationdefinitionreferencesaccuracy
DirectMetric
MeasurementMethod
type = {Objetive, Subjetive}includes
Measure
value
Attribute
namedefinitionobjetivereferences
Scale
<<enum>> scaleTypevalueType = {Symbol, Integer,Float}
Measurement
timePoint1
11
1
produces
1
1..*
1
1..*quantifies 11
contains
1
0..*
1
0..*refers_to
CalculationMethod
IndirectMetric
2..*2..*
related_metrics
Tool
namedescriptionversionprovider
Method
namespecificationreferences 0..*
1..*0..*
1..*automated_by
CategoricalScale
allowedValues
NumericalScale
type = {continuous, discrete}
Unit
namedescription
1
1..*
1
1..*
expressed_in
Ejemplo de Atributos/Métricas
Necesidad de Información: Evaluar la confiabilidad de enlaces para páginas estáticas de un sitio Web
● Entidad: Producto (sitio Web) ● Concepto Calculable: Confiabilidad de Enlaces● Modelo para Confiabilidad de Enlaces (Link Reliability)
1. Link Reliability
// Atributos1.1 Internal Broken Links (IBL)
1.2 External Broken Links (EBL)
1.3 Invalid Links (IL)
Ejemplo de Atributos/Métricas
1. Link Reliability
// Atributos
1.1 Internal Broken Links (IBL)
// Dos Posibles Métricas para 1.1
a) #IBL Unidad: Enlace; Escala: Numérica, Enteros
Tipo de Escala: Absoluta
Tipo de Método de Medición: Objetivo
b) %IBL = (#IBL / #TL) * 100; Unidad: Normalizada a Porcentaje; Escala: Numérica, Reales
Tipo de Escala: Absoluta
Para Resaltar
● Las métricas (en el proceso de medición) NO pueden interpretar por sí solas a un concepto calculable (ej. Calidad, Confiabilidad, etc.)
Necesidad de INDICADORES para obtener Información Contextual (proceso de evaluación)
Conceptos para Evaluación
● Necesidad de Información ● Modelo de Concepto
– Concepto Calculable● INDICADOR
– Elemental (interpreta Medida de Métrica)– Global (calcula Modelo de Concepto)
● MODELO ELEMENTAL y GLOBAL● CRITERIO de DECISION● CALCULO, VALOR INDICADOR
Modelo para Evaluación
Metric
namevalueInterpretationdefinitionreferencesaccuracy
CalculableConcept
namedefinitionreferences
0..*0..*
subConcept
CalculationMethod
Scale
<<enum>> scaleTypevalueType = {Symbol, Integer,Float}
Indicator
nameaccuracyreferencesdescription
1 11 1
evaluates/estimates
includes
11
contains
Calculation
timePoint
10..*
10..*
related_to IndicatorValue
value1 11 1
produces
ElementaryIndicator
0..1
1
0..1
1interprets
ElementaryModel
namespecification
11
modeled_by
GlobalIndicator
2..*2..*
related_indicators
GlobalModel
namespecification
11
DecisionCriteria
namedescriptionrange
1..*1..*
has
1..*1..*
has
Repasando Conceptos
● INDICADOR– El método de cálculo y la escala definidos,
además del modelo y criterios de decisión con el fin de proveer una evaluación o estimación de un concepto calculable con respecto a una necesidad de información.
– Indicador Elemental● Preferencia de Enlaces Rotos Internos (IBL_P)
– Indicador Global● Preferencia en Confiabilidad de Enlaces (LR_P)
Repasando Conceptos● MODELO ELEMENTAL
– Algoritmo o función asociados a criterios de decisión que modela a un indicador elemental.
Métrica Métrica Porcentaje de Enlaces Rotos InternosPorcentaje de Enlaces Rotos Internos
X = #Enlaces_Rotos_Int / #Total_Enlaces_del_Sitio● Modelo de Indicador Elemental
IE = 1 (or 100%) si X = 0;IE = 0 (or 0%) si X >= X max ;otherwise IE = (X max – X) / X max si 0 < X < X max
Repasando Conceptos● MODELO GLOBAL
– Algoritmo o función asociados a criterios de decisión que modela a un indicador global.
Ejemplo para Preferencia de Confiabilidad de Enlaces
– Modelo Aditivo
Indicador Global = (Peso componente x Indicator Elemental)
IG/P = P1 IE1+ ....+ Pn IEn
P1 + ....+ Pn = 1;
0 <= IEi <= 100
Repasando Conceptos● CRITERIO de DECISION
– Thresholds, targets, or patterns used to determine the need for action or further investigation, or to describe the level of confidence in a given results [ISO 15939].
● Ejemplo de Criterio de Decisión– Niveles de Aceptabilidad
● Insatisfactorio (rango 0-40)● Marginal (rango 40-70)● Satisfactorio (rango 70-100)
Modelo para Evaluación
Metric
namevalueInterpretationdefinitionreferencesaccuracy
CalculableConcept
namedefinitionreferences
0..*0..*
subConcept
CalculationMethod
Scale
<<enum>> scaleTypevalueType = {Symbol, Integer,Float}
Indicator
nameaccuracyreferencesdescription
1 11 1
evaluates/estimates
includes
11
contains
Calculation
timePoint
10..*
10..*
related_to IndicatorValue
value1 11 1
produces
ElementaryIndicator
0..1
1
0..1
1interprets
ElementaryModel
namespecification
11
modeled_by
GlobalIndicator
2..*2..*
related_indicators
GlobalModel
namespecification
11
DecisionCriteria
namedescriptionrange
1..*1..*
has
1..*1..*
has
Ejemplo de Indicadores
1. Level of Link Reliability
1.1 Level of Internal Broken Links <Peso1.1> (Indicador1.1)
1.2 Level of External Broken Links <Peso1.2> (Indicador1.2)
1.3 Level of Invalid Links <Peso1.3> (Indicador1.1)
IG1 = P1.1 IE1.1+ P1.2 IE1.2+ P1.3 IE1.3
Example of IndicatorsCode Global/Partial
Indicator Name Elementary Indicator Name Weight Actual
Value 1. Quality in Use Level 57.43 1.1 Effectiveness Level 0.33 59.67 1.1.1 Task Effectiveness Performance Level 0.5 54.17 1.1.2 Task Completeness Performance Level 0.5 65.58 1.2 Productivity Level 0.33 51.87 1.2.1 Efficiency Level related to Task Effectiveness 0.5 49.76 1.2.2 Efficiency Level related to Task Completeness 0.5 54.04 1.3 Satisfaction Level 0.33 87.08 1.3.1 Calculated Satisfaction Level 1 87.08
In the case study we used the LSP model for calculation,In the case study we used the LSP model for calculation,
but if we’d use the additive model to calculate PIbut if we’d use the additive model to calculate PI1.11.1
PIPI1.11.1 = W = W1.1.11.1.1 EI EI1.1.11.1.1+ W+ W1.1.21.1.2 EI EI1.1.21.1.2
gives 60.29 instead of 59.67 gives 60.29 instead of 59.67
Para Resaltar Metrics are welcome when they are clearly needed and easy to collect and
understand
Utilidad de las Métricas● Datos a partir de Medición (objetiva, subjetiva)
● Especificar en el mundo numérico, la correspondencia de un atributo de un ente
● Operacionalizar Heurísticas● Servir de “base” a Métodos Cuantitativos de Evaluación o
Predicción. ● La métrica (y su medida) NO puede interpretar por sí sola un
concepto calculable (Necesidad de INDICADORES)
Para Resaltar
Indicators are ultimately the foundation for interpretation of information needs and decision-making.
Utilidad de los Indicadores
● Mapeo del mundo numérico a otro● Servir de base para cuantificar Conceptos Calculables
para una Necesidad de Información● Ofrecen Información/Conocimiento contextual● Los indicadores ofrecen información para la toma de
decisiones (Análisis y Recomendaciones)
ReferenciasOlsina, L.; Martín, M., 2004, Ontology for Software Metrics and Indicators, In Journal of Web Engineering, Rinton Press, US, Vol 2 Nº 4, pp. 262-281, ISSN 1540-9589
Molina, H; Papa, F.; Martin, M.; Olsina, L; 2004; Semantic Capabilities for the Metrics and Indicators Cataloging Web System. In: Engineering Advanced Web Applications, Matera M. Comai S. (Eds.), Rinton Press Inc., US, pp. 97-109, ISBN 1-58949-046-0
Martín, M.; Olsina, L., 2003, Towards an Ontology for Software Metrics and Indicators as the Foundation for a Cataloging Web System, In IEEE Computer Society (1st LA-WEB) Sant. de Chile, pp 103-113, ISBN 0-7695-2058-8.
Esquema
• Conceptos: Calidad, Métricas, Indicadores..
• Proceso de Evaluación• Medición/Evaluación orientada a Metas
• GQM
• Marco de Medición y Evaluación INCAMI• Componentes de INCAMI
• Conclusiones
Proceso de Evaluación
● Los Procesos para Evaluación (ej. ISO 14598), son en su especificación original suficientemente genéricos y abstractos
– personalizables a las distintas necesidades del proceso de evaluación de calidad de productos de software y Web
● Los Procesos para Evaluación NO prescriben ni recomiendan métodos ni procedimientos específicos para realizar las actividades sino que representan un marco conceptual genérico.
Proceso de Evaluación
● Fases o etapas fundamentales del Proceso de Evaluación definido en el Estándar ISO 14598 del ‘98.
– Establecimiento de los Requerimientos de Evaluación
– Especificación de la Evaluación– Diseño de la Evaluación– Ejecución de la Evaluación, y– Conclusión de la Evaluación
Proceso de Evaluación WebQEM
Q u ality R eq u ir em en tsD ef in it io n
M e tric D e fin ition E le m e nta ryIndic a tor D e fin ition
G loba l Indic a torD e fin ition
M eas u r em en tI m p lem en ta tio n
E lem en tar y I n d ic a to rI m p lem en ta tio n
G loba l Indic a torIm ple m e nta tion
Re q u ire me n tsS p e c ific a t io n
IS O / IEC 9126-1 Q u a lity M o d e ls o r o w n -d e fin e d W e b Q u a lity M o d e ls
W e b A u d ie n c e 's N e e d s Co n te xtu a lD e c is io nCrit e ria
M e a s u reVa lu e
In d ic a to rVa lu e
De
sig
n
of
the
Ev
alu
ati
on
D o c um e ntat io n / C o nc lus io n o f the E valuat io n
F in a lRe s u lt s
Re
co
mm
en
da
tio
ns
N on-func tiona l R e quire m e nts E le m e nta ry E va lua tion P a rtia l/G loba l E va lua tion
W e b P ro d u c tD e s c rip t io n s
Ev a lu a t io nGo a l
Ex
ec
uti
on
of
the
Ev
alu
ati
on
Ele me n ta ryIn d ic a to rS p e c ific a t io n
W e b P ro d u c tCo mp o n e n t s
Glo b a lIn d ic a to rS p e c ific a t io n
M e t ricS p e c ific a t io n
Esquema
• Conceptos: Calidad, Métricas, Indicadores..
• Proceso de Evaluación
• Medición/Evaluación orientada a Metas
• GQM• Marco de Medición y Evaluación INCAMI
• Componentes de INCAMI• Conclusiones
Qué es GQM: Enfoque, Modelo● Enfoque para la medición orientada a lograr ciertos
objetivos (metas) en una organización– algo más que juntar datos útiles...
● Enfoque arriba-abajo para determinar:– objetivos de la medición (de productos, etc.)– marco para definir con precisión qué medir
● Enfoque abajo-arriba para interpretar los datos a partir de los objetivos y las mediciones
● Historia:– 1984: Nace en Universidad de Maryland (Basili)– 1996: Fraunhofer Institute for Experimental Software Engineering– Fuerte adopción en la industria para planes de medición
Modelo GQM : Estructura
Estructura (Modelo) GQM● Nivel Conceptual (Goal-Meta)
– se define un objetivo (meta) para un objeto (ente), con respecto a determinado “modelo de calidad”, para un punto de vista, relativo a un contexto en particular
● Nivel Operativo (Question-Pregunta)– se refina un conjunto de preguntas a partir de una
meta, identificando el objeto de medición con respecto a características de calidad seleccionadas para un punto de vista.
● Nivel Cuantitativo (Metric-Métrica): – se asocia un conjunto de métricas para cada pregunta,
de modo de responder a cada una de ellas de un modo cuantitativo
Enfoque y Modelo Jerárquico GQM
DEFINITION
Goal 1
Question 11 Question 12 Question 13
Metric 111 Metric 112 Metric 121
INTERPRETATION
Object (Process, Artifact, Resource), Prupose, Qualityfocus, Human Agent (ViewPoint), Context.
Quality Model according to theAgent viewpoint and Context
Ejemplo de Plantilla de Metas
Para un Producto:● Analizar el producto final (ente, objeto)● con el propósito de comprender (objetivo,
propósito)● con respecto a la confiabilidad (foco de la calidad)● desde el punto de vista del usuario final (punto de
vista)● en el contexto de la proyecto X (contexto, ambiente)
GQM: EjemploPurposeCharacteristicEntityViewpoint
UnderstandLink ReliabilityStatic Pages of a Web SiteFinal User
Question 1.1 What is the level of internal and external broken links (physical error)?
Metric 1.1.1 Percentage of Internal Broken Links
Metric 1.1.2 Percentage of External Broken Links
Frequency of Broken Links per Hit Pages
Question 1.2 What is the level of invalid links (logical error)?
Metric 1.2.1 Percentage of Invalid Links
................... ............................................
Pasos Básicos para GQM● Desarrollar objetivos a nivel de organización, área y/o
proyecto para calidad, calidad en uso, etc.● Generar preguntas (basadas en plantillas, modelos,
experiencias previas) que definan esos objetivos de forma operacionalizable
● Especificar métricas útiles que se deben especificar para responder a las preguntas
● Desarrollar mecanismos para recolectar los datos● Recolectar, validar y analizar los datos en el momento
para retroalimentar a los proyectos para acciones de correctivas, de mejora, ...
● Analizar los datos post-mortem para evaluar conformidad con los objetivos y hacer recomendaciones para futuras mejoras
A Resaltar del Enfoque GQM
● GQM es un enfoque útil para decidir qué medir. ● La medición debe estar orientada a las metas
– permite a los tomadores de decisión, elegir aquellas métricas que se relacionen a las metas más importantes de los problemas más urgentes
– las metas brindan un contexto para el análisis e interpretación de los datos
● la explicación de las razones por las que se refinan ciertos objetivos en métricas permite evaluar la validez de las conclusiones
– Las personas deberían estar fuertemente involucradas en la definición e interpretación
● Toda recolección de datos debe estar basada en una justificación explícitamente documentada– métricas útiles y relevantes
A Resaltar del Enfoque GQM
● GQM es un enfoque flexible, pero genérico● Se podrían resaltar algunas debilidades:
– No parte de un marco conceptual bien definido del dominio de métricas e indicadores.
– No necesariamente (y explícitamente) está centrado en modelos de calidad, calidad en uso, entre otros
– El proceso de interpretación de las medidas de las métricas no está bien definido
● Por ejemplo, no se habla de indicadores elementales y globales
– Cuando intervienen muchas métricas puede ser difícil el proceso de análisis, interpretación y recomendación
● No prescribe modelo de agregación
Esquema
• Conceptos: Calidad, Métricas, Indicadores..
• Proceso de Evaluación• Medición/Evaluación orientada a Metas
• GQM
• Marco de Medición y Evaluación INCAMI
• Componentes de INCAMI
• Conclusiones
INCAMI (Information Need, Concept model, Attribute, Metric, and Indicator) [Olsina, Molina, Papa 05]
● INCAMI es un marco conceptual (framework) de utilidad para procesos de medición y evaluación
● Centrado en la Ontología de Métricas e Indicadores definida previamente [Olsina, Martín, 03, 04]
Introducción Enfoque INCAMI
● INCAMI es un enfoque (semejante a GQM) útil para decidir qué medir y evaluar. – La medición y evaluación debe estar orientada a metas
y necesidades de información, en el contexto de una organización, proyecto/s, etc.
– Centrado en Modelo de Conceptos (Calidad, Calidad en Uso, Costo, etc.)
– Se selecciona los atributos, métricas e indicadores útiles para una necesidad de información en particular
– Evaluación centrada en modelos de agregación, que facilita la interpretación y recomendaciones
Introducción Enfoque INCAMI
Ambiente de M&E
Componentes de INCAMI
Principales Componentes:
● Definición de Proyectos y Usuarios– Proyecto de Requerimientos, Medición y
Evaluación
● Especificación de Requerimientos centrados en modelos
● Diseño y Ejecución de la Medición. ● Diseño y Ejecución de la Evaluación.● Análisis y Recomendaciones
Componente: Proyecto de M&E
● Project: Representación abstracta de un proyecto de medición o evaluación.
● MEProject: Proyecto de medición y evaluación
● INCAProject: Proyecto que permite especificar los requerimientos en un proyecto de medición y evaluación
● MeasurementProject: Proyecto que permite realizar la medición a partir de los requerimientos especificados (INCAProject), en un proyecto de medición y evaluación
● EvaluationProject: Proyecto que permite realizar la evaluación a partir de una medición y de los requerimientos especificados, en un proyecto de medición y evaluación.
Componente: Proyecto de M&E
Componente RNF
Componente Medición
Componente Evaluación
Calculation
date_timeStampresponsibleName
Project(from INCAMI)
Metric(from Measurement)
ElementaryIndicator1 1-metric
1 1interprets
Range
namedescriptionupper_thresholdlower_threshold
ElementaryModel
namespecification
1
1
-elementaryModel 1
1
modeled_by
DecisionCriteria
1..*
1
-ranges 1..*
1
has1
1..*
-decisionCriteria
1
1..*
has
MeasurementProject(from Measurement)
GlobalModel
namespecificationweightedparameters []operators []
1 1..*-decisionCriteria
1 1..*has
Scale(from Measurement)
CalculationMethod(from Measurement)
GlobalIndicator
operatorparameters_values[]
1
1..*
-globalModel 1
1..*modeled_by
ConceptModel(from Requirements)
EvaluationProject
1
1
-measurementProject
1
1
based_on
Indicator
nameweightaccuracyreferences []
1
1
1
1
contains
1 11 1includes
0..*
1..*
-indicators 0..*
1..*
define
1..*
1
-relatedIndicators
1..*
1
related_indicators11
evaluates/estimates
IndicatorValue
valuetype = {actual,estimated}
0..*
1
0..*
1
implements
1 0..*
-indicator1 0..*
related_to
1
1
1
1
produces
Entity(from Requirements)
0..*
1 -evaluatedEntities
0..*
1
identifies
0..*
1
0..*
1
quantified_by
Arquitectura de INCAMI
● INCAMI está orientado a dar soporte tecnológico a procesos de QA en proyectos organizacionales
● Herramienta (INCAMI_Tool) en estado prototípico [Papa, Molina, 05]
– Toma de la base conceptual (ontología) de M&I.– Guarda metadatos y valores de métricas e indicadores
para proyectos específicos● Evaluación centrada en modelos de agregación
– Herramienta WebQEM_Tool● Permite uso de otras técnicas y métodos para análisis de
mediciones
Herramienta INCAMI_ToolHerramienta INCAMI_Tool
INCAMI_Tool: Definición de Modelo
INCAMI_Tool: Selección de Métricas
INCAMI_Tool: Selección Modelo Agregación
INCAMI_Tool: Resultados Finales
Para Resaltar
● INCAMI es un marco de definición y especificación de requerimientos no funcionales, de medición y de evaluación orientado a la necesidad de información, donde queda claramente establecido el propósito, el punto de vista, el contexto, el foco a evaluar, y el objeto sobre el cual se realizará la medición, evaluación y recomendaciones.
Para Resaltar
● INCAMI es un marco bien establecido dado que se centra en Modelos de Conceptos (p.ej. calidad, calidad en uso, costo, etc.) y, además, las Métricas seleccionadas para cuantificar los Atributos que forman parte del modelo son, por lo tanto, aquellas útiles, orientadas al propósito específico conforme a la Necesidad de Información a nivel organizacional o de proyecto.
Para Resaltar
● GQM es un enfoque simple, orientado a la meta de la medición, y ha sido utilizado en varios proyectos y organizaciones a nivel industrial
● GQM no está basado en una clara conceptualización de métricas e indicadores
● GQM adolece de esa base ontológica de modo que asegure que los datos (y los metadatos asociados a los datos como Escala, Unidad, Método, etc.) sean confiables, consistentes y repetibles para ulteriores análisis entre proyectos.
Para Resaltar
● GQM carece de conceptos específicos para evaluación con el fin de interpretar las mediciones (tal como nuestro marco realiza con la definición de Indicadores Elementales y Globales).
● La interpretación de las mediciones es un punto débil en GQM.
● GQ(I)M es un nuevo paradigma surgido a fines del 2003 (SEI)
Para Resaltar
● El trabajo de Kitchenham et al es el más cercano a nuestra investigación.
● Sin embargo, INCAMI está modelado con tecnologías de OO (a diferencia del modelo ER empleado por los autores), y como otras características distintivas está basado en una conceptualización explícita y formal, y contempla aspectos de evaluación.
Referencias
Basili V., Rombach H.D., 1989, The TAME Project: Towards Improvement-Oriented Software Environments, IEEE Trans. on Software Engineering, 14(6), pp. 758-773.
Kitchenham B.A.; Hughes R.T.; Linkman S.G.; 2001, Modeling Software Measurement Data, IEEE Transaction on Software Engineering, 27 (9), pp.788, 804.
Referencias
Olsina, L; Papa, F.; Molina, H; 2007, How to Measure and Evaluate Web Applications in a Consistent Way, Chapter Book to appear in a Springer Book titled Web Engineering: Modelling and Implementing Web Applications, Rossi, Pastor, Schwabe, and Olsina Eds.
Olsina, L; Molina, H; Papa, F.; 2005; Organization Oriented Measurement and Evaluation Framework for Software and Web Engineering Projects, In LNCS 3579 of Springer, Int’l Congress on Web Engineering, (ICWE’05), Australia, pp. 42-52
Esquema
• Conceptos: Calidad, Métricas, Indicadores..
• Proceso de Evaluación
• Medición/Evaluación orientada a Metas
• GQM
• Marco de Medición y Evaluación INCAMI• Componentes de INCAMI
• Conclusiones
Conclusiones● Aseguramiento de Calidad (QA), como proceso de
soporte, es cada vez más prioritario a los procesos principales de las Líneas de Producción de Sw/Web
● Sin el robusto establecimiento de marcos y programas de medición y evaluación como soporte a QA, los proyectos de las organizaciones son menos repetibles y controlables y, en consecuencia, más propensos a fracasar.
● El marco INCAMI intenta realizar una contribución en este sentido– Trabajo Actuales/Futuros:
● Modelización de Contexto● Memoria Organizacional● INCAMI / CMMI
Recommended