Aseguramiento de calidad...ASEGURAMIENTO DE LA CALIDAD DE LOS RESULTADOS • Dicho programa debe...

Aseguramiento de calidad

ENSAYOS INTRALABORATORIOS

ENSAYOS INTERLABORATORIOSNorma ISO 17025

Bqca. QM Alicia I. Cuesta, Consultora Internacional de la FAO

Objetivos de la clase

• ENSAYOS INTRALABORATORIOS Ensayos microbiológicos cualitativos y cuantitativos. Evaluación e interpretación de los resultados.Utilidad de los resultados del Ensayo Intralaboratorio.

• ENSAYOS INTERLABORATORIOS:Ensayos microbiológicos cualitativos y cuantitativos.Evaluación e interpretación de los resultados.Utilidad de los resultados del Ensayo Interlaboratorio.Proveedores de Ensayos Interlaboratorios.Gráficos de control.

El ASEGURAMIENTO DE LA CALIDAD: Es un programa de actividades

llevadas a cabo por el laboratorio con la finalidad de verificar

que los resultados obtenidos tienen una precisión y exactitud aceptable

y mejorar en conjunto el funcionamiento del mismo.

Estos programas son planificados y revisados periódicamente.

Introducción

Interpretación Exactitud Reproducibilidad

Error sistemático OutlierEstadística

Evaluación VeracidadISO 5725 Criterio

DatoPrecisión Repetibilidad

ASEGURAMIENTO DE LA CALIDADDE LOS RESULTADOS

• Dicho programa debe abarcar todos los ensayos incluidos en el alcance de acreditación del laboratorio.

• La frecuencia de realización de cada uno de estos Programas queda establecida por el laboratorio.

•• El laboratorio debe tener procedimientos de control El laboratorio debe tener procedimientos de control de calidad para monitorear la validez de los ensayos de calidad para monitorear la validez de los ensayos llevados a cabollevados a cabo.

ASEGURAMIENTO DE LA CALIDADDE LOS RESULTADOS

CONTROLES DE CALIDAD: Son las actividades que se deben realizar para todos los ensayos acreditados.Comprenden: 1. Control de calidad interno: Un programa de controles periódicos es necesario para demostrar que se controlala variabilidad (por ejemplo, entre analistas y entre equipos o materiales, etc.).

Uso de cepas de referencia. Participación en Ensayos Intralaboratorio.

2. Control de calidad externo:Participación en Ensayos de Aptitud Interlaboratorio

(“Proficiency Testing”)

Control de calidad interno:

El control de calidad interno consiste en todos los procedimientos realizados por un laboratorio para la evaluación continua de su trabajo.

El principal objetivo es asegurar la coherencia de El principal objetivo es asegurar la coherencia de los resultados obtenidos diariamente y el los resultados obtenidos diariamente y el cumplimiento de los criterios establecidos.cumplimiento de los criterios establecidos.

Uso de cepas de referencia

Empleo de cepas de referencia durante la realización del ensayo como :

Control positivo, negativo. Muestras inoculadas para control.Control de productividad y selectividad de

los medios de cultivos usados. El uso de materiales de referencia

(incluidos los materiales utilizados en Ensayos de aptitud)

ENSAYOS INTRALABORATORIO:

MÉTODOS CUANTITATIVOS: Se comparan los resultados obtenidos :

Por cada analista perteneciente al laboratorio que realiza por duplicado el análisis de la muestra. (repetibilidad de cada analista).Entre analistas del mismo laboratorio para un

ensayo (reproducibilidad entre analistas)

Son las verificaciones de calidad para evaluar el desempeño de los analistas

del laboratorio en un ensayo.

Definiciones: Ensayos Cuantitativos

Es un método de análisis cuyo respuesta es el recuento del analito medido en forma directa (la enumeración por masa o volumen), o indirectamente (el absorbancia del color, la impedancia, etc.) en una cierta cantidad de muestra.

(prEN ISO 16140:1999)

ENSAYOS INTRALABORATORIO:

MÉTODOS CUALITATIVOS:Se comparan los resultados obtenidos :

Entre analistas del mismo laboratorio para un ensayo:

Recuperación de un microorganismo apartir de un material de referencia.

Definiciones: Ensayos Cualitativos

Es un método de análisis cuyo respuesta es la presencia o ausencia del analito detectado directamente o indirectamente en una cierta cantidad de muestra. ( prEN ISO 16140:1999)

Participación en Ensayos Intralaboratorio:

El laboratorio, en forma periódica, planifica, realiza, evalúa y verifica que estén bajo control los resultados de los ensayos:

Cualitativos: verificando que los resultados entre analistas sean concordantes y conformes.

Cuantitativos: determinando los parámetros de precisión.

Determina la Repetibilidad : El análisis por duplicado de una misma muestra por los distintos analistas (autorizados o en vías de autorización) que realizan el ensayo.

Determina la Reproducibilidad :Los recuentos cruzados entre analistas o con métodos diferentes, etc.

Definición: Repetibilidad (r).

Grado de concordancia entre los resultados de sucesivas mediciones del mismo mesurandomismo mesurando realizadas en las mismas condiciones de medición.

Las mismas condiciones significa resultados obtenidos :Con el mismo método de ensayo.Sobre el mismo material de ensayo.Bajo las mismas condiciones

(mismo operador, mismos equipos, mismo laboratorio y un corto intervalo de tiempo).

Definición: Reproducibilidad (R).

Grado de concordancia entre los resultados de sucesivas mediciones del mismo mesurandomismo mesurandorealizadas en diferentes condiciones de medición.El ensayo se realiza sobre el mismo material de ensayo pero en diferentes condiciones. Esto es:

Resultados obtenidos con diferentes métodos de ensayoo equipos (REPRODUCIBILIDAD ENTRE MÉTODOS)Resultados obtenidos con diferentes operadores o analistas

(REPRODUCIBILIDAD ENTRE ANALISTAS)Resultados obtenidos por diferentes laboratorios

(REPRODUCIBILIDAD ENTRE LABORATORIOS) Resultados obtenidos en diferente tiempo.

ENSAYOS INTRALABORATORIOS

Resultado 1 Resultado 2Comparo el Resultado 1 y Resultado 2.

El valor límite máximo de r y R para un ensayo, para una matrizse pueden obtener a partir de:

• Estudios de validación o análisis de los resultados obtenidos en interlaboratorios,

• Norma o de la bibliografía.

ENSAYOS CUANTITATIVOS:

Determino la repetibilidad de cada analista y la repetibilidad del laboratorio. El análisis por duplicado de una misma muestra por los distintos analistas que realizan el ensayo. Ejemplo: El analista A ensayó, con la metodología Z, una muestra de un alimento por duplicado. Los resultados obtenidos fueron:

x1= 2.0x103 ufc/g y x2=1.5x103 ufc/g.

Los resultados se pasan a logaritmo en base 10: log 10 x1 =3.30 log ufc/g y log 10x2=3.18 log ufc/g

Ensayos Cuantitativos (cont):

Ejemplo:El valor de repetibilidad (r) obtenido por el analista A será:

Lo cual quiere decir: La repetibilidad del analista A es conforme.

El valor límite máximo de repetibilidadpara la metodología Z es r =0.18 log ufc/g

r = │ log 10 x1 - log 10x2│

r =0.12 log ufc/g

Registro de los datos obtenidos:

PR 8.1/4

Pág.____ de ____

Ensayos cuantitativos: Planilla individual de cada analista Ensayos Intralaboratorio

LABORATORIO DE MICROBIOLOGIA

Ensayo: Matriz: Analista:

Identificación de las Muestras

Fecha de análisis de

las muestras

Metodología

Resultado 1 ( unidades)

Resultado2 ( unidades)

log Resultado 1 (log 10 unidades)

log Resultado 2 (log 10unidades)

r del

analista

Clasificación obtenida

Conforme /no conforme

Firma del responsable

Valores límites máximos establecidos para: r (log 10 unidades) :

NOTA: el valor de r se obtiene de restar “log10 Resultado 1” con el “log10 Resultado 2”.

Determinación de la reproducibilidad:

Los recuentos cruzados entre analistas o con métodos diferentes, etc. Ejemplo: El analista B y C ensayaron, con la metodología Y, una muestra de un alimento. Los resultados obtenidos fueron:

xB= 2.4x102 NMP/g y xC= 1.1x103 NMP/g.

Los resultados se pasan a logaritmo en base 10: log 10 xB =2.38 log NMP/g y log 10 xC =3.04 log NMP/g

Determinación de la reproducibilidad (cont.):

El valor de reproducibilidad (R) obtenido entre el analista B y C será:

En este caso el responsable asignado deberá abrir una NO CONFORMIDAD y se determinarán sus correspondientes acciones correctivas.

R = │ log 10 xB - log 10 xC │R =0.66 log NMP/g

El valor límite máximo de reproducibilidad para la metodología Y es

R =0.50 log NMP/g

Registro de los datos obtenidos:

PR 8.1/6

Pág.____ de ____

Ensayos cuantitativos: Planilla reproducibilidad entre metodologías Ensayos Intralaboratorio

LABORATORIO DE MICROBIOLOGIA

Ensayo: Matriz:

Identificación de las Muestras

Fecha de análisis de

las muestras

Analista Metodología 1

Metodología 2

log Resultado Metodología 1

log Resultado Metodología 2

R entre

Metodología

Clasificación obtenida

Conforme /no conforme

Firma del responsable

Valores límites máximos establecidos para: R (log 10 unidades):

NOTA: el valor de R se obtiene de restar “log10 Resultado Metodología 1” con el “log10 Resultado Metodología 2” para la misma muestra y el mismo analista.

Síntesis Parcial

Control de calidad interno: consiste en todos los procedimientos realizados por un laboratorio para la evaluación continua de su trabajo. El principal objetivo es asegurar la coherencia de los resultados obtenidos diariamente y el cumplimiento de los criterios establecidos. Para los ensayos Cualitativos se verifica que los resultados entre analistas sean concordantes y conformes.Y para los Cuantitativos determina la Repetibilidad y la Reproducibilidad entre analistas.Empleo de cepas de referencia durante la realización del ensayo.

ASEGURAMIENTO DE LA CALIDADDE LOS RESULTADOS

LOS CONTROLES DE CALIDAD INTERNOS NO SON SUFICIENTES.

No puedo determinar mediante ellos el Valor verdadero!!

Realizo un Control de calidad externo.

Definiciones:

•Valor verdadero : valor en consistencia con la definición de una magnitud (concepto abstracto, no realizable).

•Valor asignado o valor de referencia: es el valor convencionalmente verdadero.

•Exactitud de una medición: Proximidad entre el resultado de una medición y el valor verdadero del mensurando.

Exactitud de una medición:

Cálculo del valor de referencia o valor asignado:Uso un material de referencia certificado.

Casi nunca son estos los casos en ensayos microbiológicos.

Se considera que el valor medio obtenido por el conjunto de laboratoriosluego de eliminar los outliers en el propio ejercicio puede utilizarse como valor de referencia o valor verdadero.

Ensayos de Aptitud Interlaboratorio(“Proficiency Testing”) :

Los programas de ensayos de aptitud organizados externamente

por un proveedor de ensayos interlaboratorioCONSTITUYEN UN MEDIO INDEPENDIENTE

por el cual un laboratorio se puede EVALUAR OBJETIVAMENTE

y demostrar la veracidad y precisiónde los resultados obtenidos por sus métodos

analíticos.

Ensayos de Aptitud Interlaboratorio(“Proficiency Testing”) :

Constituye una herramienta para la evaluación externa de la calidad de los resultados de ensayo o desempeño del laboratorio.

La participación en estos ensayos PERMITE AL LABORATORIO COMPARAR SUS RESULTADOS FRENTE A LOS DE OTROS LABORATORIOS.

Es importante evaluar los resultados obtenidos en los ensayos de aptitud como una manera de comprobar la calidad de los ensayos, adoptando las medidas oportunas, si son necesarias.

Ensayos de Aptitud Interlaboratorio(“Proficiency Testing”) :

La organización proveedora de Ensayos de Aptitud Interlaboratorio envía muestras cuyo contenido en tipo y número de microorganismos es desconocido por el participante.El laboratorio participante las analiza y remite los resultados obtenidos al organizador, posteriormente recibe un informe con sus análisis y evaluaciones.ISO/DIS 13528 Statistical methods for use in proficiency testing by interlaboratory comparisons.

Ensayos de Aptitud InterlaboratorioMétodos cualitativos (“Proficiency Testing”) :

Ensayos de Aptitud InterlaboratorioMétodos cuantitativos (“Proficiency Testing”) :

01020304050607080

insatis

factorio

cues

tiona

blesa

tisfac

toriosa

tisfac

toriosa

tisfac

toriocu

estio

nable

insatis

factorio

STAPHYLOCOCCUS aureus - cerealZ-score-2=5257ufc/g valor asignado=21000ufc/g Z-score+2=83891ufc/g

Ensayos de Aptitud InterlaboratorioMétodos cuantitativos (“Proficiency Testing”) :

Ensayos de Aptitud InterlaboratorioMétodos cuantitativos

(“Proficiency Testing”) :

Valor de Z-score: Clasificaciónlzl<2 Satisfactorio2 < lzl < 3 Cuestionablelzl >3 Insatisfactorio

ENSAYOS INTERLABORATORIOS

Los laboratorios deben participar regularmente en ensayos de aptitud relacionados con el alcance de su acreditación, dando preferencia a los programas de ensayos de aptitud que utilicen matrices apropiadas.

Los laboratorios no sólo deben usar la valoración de calidad externa para evaluar el “bias” o sesgo del laboratorio sino también para verificar la validez del sistema de calidad entero.

Ensayos de Aptitud Interlaboratorio

(“Proficiency Testing”) :Los resultados de los laboratorios participantes de una ronda interlaboratorio se clasifican, dependiendo del método estadístico usado, para evaluar los resultados en:

• Satisfactorios e insatisfactorios(Ejemplo: ensayos cualitativos y D-score) o

•Satisfactorios, cuestionables e insatisfactorios(Ejemplo: Z-score).

Registro Ensayos de Aptitud InterlaboratorioEnsayos cualitativos

(“Proficiency Testing”) :

Ensayo: Matriz:

Proveedor del Ensayo

Interlaboratorio

Identificación de las

Muestras

Fecha de análisis de las

muestras

Analista

Metodología usada por el laboratorio

Resultado obtenido

por el laboratorio

Valor asignado

Clasificación obtenida

Satisfactorio /Insatisfactorio

Firma del responsable

Proveedores de Ensayos de Aptitud Interlaboratorio (“proficiency testing”) :

Lo ideal es que estén acreditados por ISO 43.

Algunos de ellos figuran a continuación:

QM Quality Management Limited. UK AOAC Laboratory Proficiency Testing Program USA.RAEMA Réseau d´Analyses et d´Echanges en Microbiologie des Aliments. FranciaINTI Instituto Nacional de Tecnología Industrial. Argentina.SVM Foundation for the Advancement of Public and Environmental Protection The Netherlands

Ensayos de Aptitud Interlaboratorio(“Proficiency Testing”) :

Cuando los resultados de losensayos NO resultan dentro

del intervalo de conformidad o se visualice una tendencia determinada

tomar respectivamente acciones correctivas o preventivas,

siguiendo los lineamientos establecidos en el Procedimiento

“Reclamos, sugerencias, no conformidades, acciones correctivas y acciones preventivas”.

Ensayos de Aptitud Interlaboratorio(“Proficiency Testing”) :

¿ Qué hago cuando el resultado del control de ¿ Qué hago cuando el resultado del control de calidad es no conforme?calidad es no conforme?

Análisis de causa: puedo usar como herramienta “ tormenta de ideas”

En un alto % no se encuentra la causa verdadera.Ejemplo: Si EIL no conformeRealizo una evaluación: analizo posibles causas.Si no encuentro la causa participo en otro interlaboratorio para volver a demostrar la competencia.

Ensayos de Aptitud Interlaboratorio(“Proficiency Testing”) :

¿ Qué hago cuando el resultado del control de ¿ Qué hago cuando el resultado del control de calidad es no conforme?calidad es no conforme?Hasta que no se demuestre nuevamente la Hasta que no se demuestre nuevamente la competencia técnica el laboratorio debe dejar de competencia técnica el laboratorio debe dejar de hacer el ensayo.hacer el ensayo.

IMPORTANTE!!!Los datos obtenidos a través

del programa el aseguramiento de la calidad deben ser registrados en forma tal

que se puedan detectar las tendenciasy aplicar técnicas estadísticas

para la revisión de los resultados.

Evaluación de las tendencias de los resultados obtenidos:Los gráficos de control son una herramienta de trabajo para el control estadístico de los resultados de ensayo y sirven para monitorearlos.

•Ejemplo: Ensayo de Aptitud InterlaboratorioMatriz: QuesoMetodología: FIL-IDF 73B:1998 parte IEnsayo: recuento de Coliformes a 30º C (ufc/g)Año: 2002 – 2003 y 2004

Síntesis Final

El laboratorio debe llevar a cabo periódicamente controles de calidad interno y externo con la finalidad de verificar que sus resultados tienen una precisión y exactitud aceptable y mejorar en conjunto el funcionamiento del mismo.

Actuar Planear

HacerVerificar

Ciclo deDeming