Z-Score y Youden

CPQ//Ley 7020/65 MCEI005 MANUAL DE CALIDAD COFILAB ENSAYOS INTERLABORATORIOS

IDENTIFICACION COPIA REVISION FECHA DE VIGENCIA FILE:mcei005.doc MCEI005 1 2 24/11/04 Hoja 1 de 10

TITULO:

Evaluación estadística en Ensayos de Aptitud Interlaboratorios (EAI).

OBJETIVOS: Establecer los criterios a seguir en el procesamiento estadístico de datos provenientes de Ensayos de Aptitud Interlaboratorios (EAI). ALCANCE: Todos los EAI coordinados por el COFILAB. 1. Introducción Los Ensayos de Aptitud Interlaboratorios (EAI), están orientados a la evaluación continua de la competencia técnica o desempeño. Cada laboratorio participante recibe dos submuestras de concentración parecida, tomadas aleatoriamente cada una de ellas, de una muestra homogénea. Los datos analíticos informados son evaluados estadísticamente y los resultados de esta evaluación se vuelcan en un Informe Final que se envía a cada participante. Un elemento básico en los EAI es la evaluación del desempeño de cada participante. Para ello la organización del ensayo debe establecer dos estimaciones: 1) El valor asignado para la concentración de cada analito en cada una de las muestras y 2) La diferencia aceptable entre el resultado informado por cada participante respecto al valor asignado. Hay diferentes métodos para establecer estas estimaciones. No se conoce un protocolo estandarizado que prescriba la estrategia a utilizarse, por ello el organizador del ensayo debe tomar sus propias decisiones y desarrollar sus procedimientos. Dejando constancia de los mismos en el respectivo Protocolo Técnico. En los EAI se utilizará estadística robusta, evitando el requisito de normalidad en los datos a evaluar. Así, la mediana se utilizará en lugar de la media como estimador del valor asignado y la mediana de la desviación absoluta multiplicada por 1.483 (MADe) como estimador del desvío estándar de reproducibilidad utilizado para obtener la puntuación z. Este estadístico resultó más adecuado que el modelo de precisión de Horwitz evaluado a partir de los datos de ejercicios anteriores. A fin de obtener la máxima utilidad de los datos informados, serán presentados en el Informe Final los análisis y gráficos de Youden, por ser esta una excelente herramienta de diagnóstico, permitiendo a cada laboratorio participante evaluar sus errores aleatorios y sistemáticos y guiarlo en la toma de acciones correctivas, si correspondiera. En todos los casos se procurará presentar la información en forma gráfica y tablas para facilitar la comprensión de la misma.



2. Análisis de Youden

El Análisis de Youden está especialmente dirigido a comparaciones interlaboratorios. La ventaja del Análisis de Youden es su habilidad para separar los errores aleatorios de los sistemáticos utilizando un diseño simple y con requerimientos de un mínimo esfuerzo analítico por parte de los participantes.

Para su implementación se requieren dos materiales similares (submuestras A y B) con

pequeñas diferencias en la concentración de las características (analitos) a determinar. Este requisito es necesario, ya que, tanto los errores aleatorios como los sistemáticos pueden depender de la concentración de la característica considerada, como también, de posibles interferencias de la matriz presente.

Cada laboratorio participante, para una característica dada, genera así, un resultado de X

para el caso de la submuestra A y un resultado de Y para el caso de la submuestra B. Estos resultados permiten la construcción del “Gráfico de Youden” a partir del cual se obtiene el diagnóstico general de desempeño. 3. Gráfico de Youden

El gráfico de Youden se prepara a partir de un eje x como abscisa con una escala adecuada para cubrir el rango de los resultados de la característica evaluada en el material A. Y un eje y como ordenada, con escala en las mismas unidades para incluir el rango de los resultados de la misma característica en el material B.

El par de resultados de cada laboratorio es así un punto del gráfico. Habrá una

cantidad de puntos igual a la de laboratorios participantes y un punto origen cuyas coordenadas son las medianas de X y de Y (valores de consenso) . Una vez graficados los resultados, se dibuja una “línea mediana” horizontal, paralela al eje x. De esta forma habrá puntos arriba de esta línea y puntos por debajo. Una segunda “línea mediana” se dibuja paralela al eje de las y, la cual dejará puntos a su izquierda y a su derecha. Una línea diagonal de 45° y un círculo con centro en el origen completan el gráfico. En la Fig. 1 se muestran los componentes del gráfico y en la Tabla 1 se describen los mismos.



Tabla 1: Descripción de los componentes del Gráfico de Youden Origen Es el punto de coordenadas (xM,yM), siendo xM e yM las medianas

respectivas de los resultados de X y de Y de todos los laboratorios participantes. Se utiliza la mediana por ser menos vulnerable a la presencia de resultados aberrantes.

Ejes XY Coordenadas con escala adecuada para representar todos los resultados de los laboratorios participantes.

Líneas medianas Líneas paralelas a los ejes que pasan por el punto origen y dividen al gráfico en cuatro cuadrantes.

Línea de 45° Línea diagonal a 45° que pasa por el origen bisectando los cuadrantes inferior izquierdo y superior derecho.

Resultados del Laboratorio i

Punto de coordenadas (xi,yi), siendo xi y yi los resultados de las concentraciones de la característica determinada por el laboratorio i en las muestras A y B respectivamente.

Círculo Límite del 95%

Círculo con centro en el origen (valores asignados) y radio igual a la desviación estándar multiplicada por un factor de confianza, de tal forma que el círculo contendría al 95% de los resultados si los errores sistemáticos fueran eliminados.

En el caso hipotético de ausencia de errores sistemáticos y si sólo operaran errores

aleatorios, los puntos de los resultados se distribuirían alrededor del origen ocupando regularmente los cuatro cuadrantes, ya que los errores positivos y negativos son igualmente probables. Si por el contrario, en el caso hipotético de ausencia de errores aleatorios y sólo

Fig. 1:Componentes del Gráfico de Youden.



operaran errores sistemáticos, los puntos de resultados estarían alineados sobre la línea de 45°, ya que se espera que si un laboratorio tiene desvíos positivos ó negativos en sus resultados, tendrá desvíos con similar magnitud y sentido en ambas submuestras analizadas. Operando ambos tipos de errores, se obtendría una combinación de ambos casos extremos y los resultados ocuparían un espacio elíptico con la mayoría de los puntos en los cuadrantes inferior izquierdo y superior derecho. 4. Simulación de un ensayo interlaboratorios con 11 participantes

En la Fig. 2 se muestra el gráfico de Youden para un Interlaboratorio simulado con 11

participantes. Las submuestras tienen concentraciones medias de cloruro de 30 y 40 mg/L respectivamente y desviación estándar de ±1. Los errores sistemáticos impuestos van de -2.5 para el laboratorio 1 y se incrementa en intervalos de 0.5 mg/L hasta llegar a +2.5 para el laboratorio 11. En el gráfico se presentan los resultados del análisis de Youden calculados como se indica en el punto 5.

La distribución de los puntos en el gráfico de Youden ponen en evidencia posibles problemas, resultando una excelente herramienta de diagnóstico.

• Puntos conformando una elipse angosta y alargada es señal de problemas con el método analítico utilizado y señalan la necesidad de su modificación.

• Puntos alejados de ambos ejes indican resultados erráticos.



• El punto cercano a un eje pero alejado del otro es indicativo de resultados bastante buenos en un material pero bastante malos en el otro.

• Puntos en el cuadrante inferior izquierdo y superior derecho pero alejados del origen reflejan una tendencia de resultados altos o bajos en ambos materiales.

• Puntos cercanos a la línea de 45° pero alejados del origen indican errores sistemáticos importantes.

• Puntos alejados de la línea de 45° indican errores aleatorios grandes y son clara evidencia de desviación importante con el método de ensayo utilizado.

• Puntos fuera del círculo de confianza (95%) indican errores totales grandes.

• Alta proporción de puntos fuera del círculo de radio igual a 2.448 x s y cercanos a la línea de 45º indican presencia general de errores sistemáticos.

5. Análisis de Youden, cálculos En la Fig. 3 se representan nuevamente los resultados del laboratorio i (xi,yi) en un Gráfico de Youden y los vectores involucrados en los cálculos.

En la Fig. 3 se representaron los siguientes puntos: Punto R: De coordenadas (xi,yi). Resultados informados por el laboratorio i. Punto O: De coordenadas (xM,yM). Resultados de las medianas ó valores de

consenso utilizado. Punto P: De coordenadas (x’i,y’i). Distancia del punto R a la línea de 45°. Los vectores generados y sus ecuaciones de cálculo resultan:

Fig. 3: Errores Aleatorios y Sistemáticos.



OR : Error Total (εT) cometido por el laboratorio i. Es una medida del desvío entre los valores de consenso y los resultados del laboratorio i. εT = Raíz cuadrada [ ( xi - xM )2 + ( yi - yM )2 ] ec. 5.1 OP : Componente Sistemático del error (CS) CS = [ (xi – xM ) + ( yi – yM ) ] / √2 ec. 5.2 PR : Componente Aleatorio del error (CA) CA = Raíz cuadrada [ (x1-(CS/√2+xM))2 + (y1-(CS/√2+yM))2 ] ec. 5.3 5.1. Ajuste de los componentes Sistemático y Aleatorio calculados Los componentes Sistemático y Aleatorio calculados requieren ser proporcionados de tal forma que su suma sea igual al módulo del vector Error Total, de esta forma se obtienen los Errores Sistemático y Aleatorio correspondientes: Error Sistemático, εS = [CS / (|CS| + CA)] x εT ec. 5.4 Error Aleatorio, εA = [CA / (|CS| + CA)] x εT ec. 5.5

Asi, valor absoluto del error sistemático sumado al error aleatorio resulta igual al error total:

εT = |εS| + εA ec. 5.6 5.2. Desviación estándar, Círculo de confianza. La desviación estándar combinada, s se obtiene sumando el cuadrado de los errores aleatorios de todos los laboratorios, dividiendo el resultado por el número de laboratorios menos 1 y extrayendo la raiz cuadrada:

)1(2

−Σ= n

Aiεσ ec. 5.7

Para el cálculo de radio, r del círculo de confianza se utilizan los factores mostrados

en la Tabla 2



Tabla 2: Tabla de probabilidad para una Distribución Normal Circular

% f % f 10 0.459 70 1.552 20 0.668 75 1.665 25 0.759 80 1.794 30 0.845 90 2.146 40 1.011 95 2.448 50 1.177 99 3.035 60 1.350

--- --- % = Porcentaje de puntos dentro del círculo. f = Factor de multiplicación de la desviación estándar.

El radio del círculo que demarca un Intervalo de Confianza del 95% será así de:

r = 2.448 x s ec. 5.8

Para graficar el círculo se utiliza su fórmula dada por: y = raiz cuadrada (x2 – r2) ec. 5.9

Tabla de presentación de resultados y cálculos En la Tabla 3 se muestran los datos originales y los resultados obtenidos en forma generalizada.

Tabla 3: Datos originales y cálculos Lab. N° Muestra A Muestra B εTi εSi εAi εAi

2 1 x1 y1 εT1 εS1 εA1 εA1

2 2 x2 y2 εT2 εS2 εA2 εA2

2 . . . . . . . . . . . . . . n xn yn εTn εSn εAn εAn

2 Mediana

: xM yM Des. Est. = s = (Σ εAi

2) / (n –1) Radio = r = f x s

6. Evaluación de desempeño. Puntuación z La evaluación de desempeño puede medirse simplemente como el desvío (d) entre el resultado analítico y el respectivo valor asignado o por este desvío expresado en forma porcentual: d = xi – xM ec. 5.10 d% = (xi – xM) / xM x 100 ec. 5.11



Una indicación de desempeño más adecuada e internacionalmente aceptada, es la puntuación z. La puntuación z es la medida del desvío de los resultados informados por cada laboratorio, respecto al valor asignado, expresado en unidades de desviación estándar. Este parámetro es conveniente por su cálculo directo y fácil interpretación. En este caso definimos una puntuación z para cada resultado analítico como el cociente entre el desvío respecto al valor asignado (xi – xM) dividido por la desviación estándar sz. Resultando: z = (xi – xM) / sz ec. 5.12 dónde: xM = Valor asignado (Mediana de los resultados informados). sz = Desvío estándar utilizado en el cálculo de z (MADe, mediana absoluta de los desvíos respecto al valor asignado multiplicada por el factor 1.483). xM = mediana (xi) ec. 5.13 MADe = mediana (|xi – mediana(xi)|) x 1.483 ec. 5.14

La puntuación utilizada se muestra en la Tabla 4

Tabla 4: Puntuación z. |z| ≤ 2 se considera “Satisfactorio”

2 < |z| < 3 se considera “Cuestionable” |z| ≥ 3 se considera “No satisfactorio”

Manipulaciones de z Los valores individuales de z pueden combinarse para obtener un desempeño global de cada laboratorio participante. Con este propósito se utilizan los siguientes índices: a) Sz: Suma de los z de cada laboratorio, Sz = Σz, si todas las puntuaciones z son del mismo signo, este índice será de mayor valor absoluto indicando un desvío sistemático. b) SRz: Suma re-escalada de los z de cada laboratorio, SRz = (Σz) / raiz(m), donde: m= número de análisis combinados, igual que en a), al utilizar los signos de z, se detecta la presencia de errores sistemáticos. SRz se interpreta utilizando la misma escala de la puntuación z. SRz ≤ 2 Satisfactorio; 2 < SRz < 3 Cuestionable; SRz ≥ 3 No satisfactorio c) SSz: Suma de los cuadrados de z, SSz = Σz2, no tiene en cuenta los signos de z y detecta desvíos anormalmente altos entre valores provenientes de la misma población. Este índice tiene una distribución chi cuadrado (χ2), y se interpreta utilizando la tabla de distribución χ2 para n carácterísticas reportadas. Para el caso de 4 y 6 analitos por ejemplo, la interpretación se muestra en la tabla 5:



Tabla 5: Interpretación de la suma de cuadrados de z. Intervalo de confianza

n = 4 n = 6

Evaluación

95% ≤ 9.49 ≤ 12.59 Satisfactorio 99% > 9.49 ≤ 13.28 > 12.59 ≤ 16.81 Cuestionable

> 99% > 13.28 > 16.81 No satisfactorio d) Puntaje %: Para la determinación del puntaje global en cada ensayo interlaboratorio resulta de utilidad asignar un puntaje a cada valor absoluto de z obtenido en cada analito y expresar el puntaje en una escala porcentual. Con este propósito se asignan puntos conforme a la siguiente tabla:

Puntuación z Puntos asignados

|z| ≤ 1 5 1 < |z| ≤ 2 4 2 < |z| < 3 2

|z| ≥ 3 0 El puntaje de desempeño se calcula como: Puntaje % = Total de puntos / Número de análisis x 100 / 5 Con esta escala se consideran Satisfactorios los resultados iguales o mayores a 70% Notas: 1) La interpretación de SRz y SSz debe ser realizada con sumo cuidado, ya que no se tienen en cuenta resultados aberrantes y las puntuaciones z no satisfactorias de signo opuesto se cancelan entre sí, dando la impresión de desempeño satisfactorio. SSz refleja con mayor exactitud el desvío total que SRz, pero no da el signo del desvío. Por ello ambos índices resultan complementarios. 2) Es evidente que cuanto más cerca de cero resulten los índices mejor será el desempeño. Un laboratorio debería investigar y posiblemente tomar acciones de mejora si:

Algunos de los resultados informados resultaron aberrantes. Si todas las puntuaciones z resultaron del mismo signo. Si valores absolutos de una puntuación z o de SRz resulto mayor a 2. Si el resultado de SSz resultó mayor al valor de tabla para el 95%.



3) No es recomendable comparar estadísticos z combinados entre laboratorios con análisis de diferente cantidad de analitos. Por ello, es conveniente agrupar los resultados por número de analitos reportados (n). 7. Bibliografía 7.1. “The Sample, the Procedure, and The Laboratory”. W.J.Youden. Analytical Chemistry, Vol. 32, N° 13, Dec. 1960. 7.2. “Graphical Diagnosis of Interlaboratory Test Results”. W.J.Youden. Industrial Quality Control, Vol. XV, N°. 11, May 1959. 7.3. “Selection, use and interpretation of proficiency testing (PT) eschemes by laboratories 1999”. Eurchem Nederland, task group “Proficiency testing schemes” 7.4. “Quality Control”. W.Horwitz et al. J. Assoc. Off. Anal. Chem. Vol. 63, Nº 6, (1980). 7.5. “Ensayos de aptitud por comparaciones interlaboratorios”. IRAM 305-1: 1998. 7.6. “Evaluación de desempeño en los Ensayos de Aptitud Interlaboratorios (EAI)”. COFILAB: 18/Ago/04. 7.7. CAEAL Proficiency Testing Program For Environmental Laboratories. CAEAL Training Service. November 2003. Revision 5.5.

Documents

Z-Score y Youden