Separata

Resumen

Cuando se introducen cambios en los distintos componentes de una encuesta periódica, es usual que se produzcan efectos sobre los resultados que, dependiendo de su patrón y magnitud, pueden comprometer la comparabilidad intertemporal de las cifras de distintas temáticas que puedan generarse a partir de la encuesta. En el caso de Colombia, la Encuesta Continua de Hogares sufrió varias modificaciones en sus instrumentos como parte del proceso que dio lugar a la Gran Encuesta Integrada de Hogares, las cuales desembocaron en inquietudes sobre la comparabilidad de los indicadores de mercado laboral, pobreza y distribución del ingreso en el año 2006. En este artículo, se presenta una propuesta metodológica aplicada sobre esta encuesta, para aproximarse a la comprensión de estos efectos al usar herramientas provenientes del diseño estadístico de experimentos.

Palabras clave

mercado laboral, errores no muestrales, diseño factorial, puntaje de propensión.

Abstract

The changes introduced to different components of periodical surveys usually have effects on the results that, depending on their pattern and magnitude, could compromise the inter-temporal comparability of different thematic outputs from the survey. In Colombia, the Encuesta Continua de Hogares suffered several modifications on its instruments as part of the process that ended with the Gran Encuesta Integrada de Hogares; these changes resulted on questioning about the comparability of the indicators of the labour market, poverty and income distribution on 2006. This article presents a methodological proposal applied to the GEIH in order to obtain a better understanding of the effects using the tools usually employed in the statistical design of experiments.

Key words

Educational gap, educational role gap, educational inter-generation gap, systemic educational gap.

Introducción

En todos los institutos de estadística se llevan a cabo encuestas periódicas para monitorear el comportamiento de indicadores de temáticas como el mercado laboral, los precios, la evolución de los sectores económicos o las condiciones de vida de las personas, entre otras. Dada la necesidad de comparar sus resultados en diferentes periodos de tiempo, es deseable que estas encuestas sean estables en cuanto a sus características de medición, sin que ello implique que sus definiciones, materiales y métodos sean estáticos en el tiempo.

Habitualmente se introducen a las encuestas periódicas, ampliaciones de cobertura, actualizaciones en los marcos y métodos de muestreo, modernización o adopción de nuevas definiciones para algunos fenómenos o su escala de medición o se modifican los procedimientos de depuración de la información y generación de resultados; aspectos que inciden de forma diferencial en las cifras de los periodos subsiguientes y en la comparabilidad de estas encuestas con periodos previos a los cambios.

En el caso colombiano, desde el inicio de la Encuesta Nacional de Hogares, en 1970, la medición de la temática de mercado laboral ha sufrido modificaciones o actualizaciones como las mencionadas, en diferentes periodos del tiempo y con impactos de mayor o menor magnitud. Los principales cambios se reseñan a continuación:

• Antes de 1976 se efectuaron, con diferente periodicidad, 9 aplicaciones sin que existiese unicidad en la cobertura geográfica, ni en el diseño de muestra.

• En el primer trimestre de 1976, se inició la aplicación de la encuesta con periodicidad trimestral para las ciudades de Bogotá, Cali, Medellín y Barranquilla, y semestral, para Bucaramanga, Manizales y Pasto.

• En forma complementaria, desde 1982 se llevó a cabo la recolección de información anualmente, en un mes determinado, para otras ciudades adicionales, así: Cartagena en septiembre; Villavicencio en junio; Cúcuta, Pereira y sus áreas metropolitanas respectivas, en el mes de junio de 1982, esto cambió a partir de 1983, a los meses de junio y diciembre. Ibagué y Montería se incluyeron en el mes de diciembre de 1983.

• A partir de 1984, las ciudades de Bogotá, Cali, Medellín, Barranquilla, Bucaramanga, Manizales y Pasto fueron investigadas trimestralmente por la encuesta. También se homogenizó la temática del formulario, para lo cual se obtuvo, desde este punto, las series temporales más largas y estables de que se dispone para la temática de mercado laboral.

• En noviembre de 1988, se llevó a cabo la primera aplicación rural de la encuesta, con la finalidad de entregar resultados individuales para las regiones Atlántica, Central, Pacífica y Oriental. Este dominio se investigó nuevamente tres años después en el mes de diciembre; luego, en forma habitual, en el mes de septiembre, entre 1992 y 2000.

Para el año 2001, la Encuesta Nacional de Hogares dio paso a la Encuesta Continua de Hogares, lo que representó la inclusión permanente de las 13 áreas que se mantienen hasta la actualidad y la distribución de la muestra a lo largo de todas las semanas del año, con la finalidad de efectuar un operativo continuo. De igual forma, se modificaron las definiciones de las poblaciones de referencia de ocupados y desocupados, por lo que se disminuyó el número de horas requeridas para considerar como ocupado a un Trabajador Familiar Sin Remuneración (TFSR) y se incorporó a la medición del desempleo el concepto de disponibilidad2.

La Encuesta Continua de Hogares (ECH) permitió contar con indicadores de mercado laboral mensuales, a nivel nacional y para las 13 áreas, y trimestrales, para los dominios cabecera y resto, sin mayores alteraciones metodológicas3 entre 2001 y el segundo semestre de 2006, cuando una propuesta para integrar las encuestas de mercado laboral e ingresos y gastos dio origen a la Gran Encuesta Integrada de Hogares (GEIH). Como parte de esta transición, se produjeron cambios importantes en 4 aspectos no muestrales de la encuesta: la longitud del cuestionario, el tipo de informante, el medio de captura, el orden y la redacción de algunas de las preguntas del módulo de fuerza de trabajo. Asimismo, se modificó el diseño de muestra para ampliar a 23 el número de ciudades autorrepresentadas en la encuesta. Simultáneamente con estos cambios, se observaron resultados para la tasa global de participación, tasa de ocupación y tasa de desempleo, que fueron considerados atípicos para la coyuntura económica del momento, por lo que se dio inicio a una serie de ejercicios de campo y de escritorio, con el fin de evaluar si los cambios introducidos a la encuesta guardaban alguna relación con las atipicidades encontradas en los indicadores.

En este escenario, la Comisión de Expertos Independientes y una misión de la CEPAL, convocadas para la evaluación de las cifras de empleo de la Gran Encuesta Integrada de Hogares y su comparabilidad con las de la Encuesta Continua de Hogares, propuso al DANE la realización de un ejercicio controlado de campo en donde se contrastaran los resultados obtenidos con los elementos metodológicos de la ECH y los de la GEIH. En respuesta, el DANE amplió esta propuesta a la realización de un ejercicio de tipo experimental, que aportara elementos a la comprensión de los posibles efectos introducidos y las relaciones existentes entre éstos y los cambios efectuados. El ejercicio, cuya metodología y principales resultados se presentan en este artículo, se llevó a cabo en los meses de noviembre y diciembre de 2007.

1. Cambios introducidos en la transición ECH - GEIH

La transición ECH-GEIH representó los cinco cambios principales que se reseñan a continuación:

• La longitud del cuestionario: la inclusión de las preguntas correspondientes a ingresos, así como las temáticas de trayectorias laborales, calidad del empleo, y las de gastos en una submuestra de la encuesta, dieron como resultado un formulario ostensiblemente más largo que el habitual.

• El tipo de informante: en la ECH se utilizaba el concepto de informante idóneo, en el que la información es suministrada por cada uno de los miembros del hogar cuando se encuentran presentes o, en caso de ausencia, por una persona mayor de 18 años, residente en la vivienda, pariente del jefe de hogar y que estuviese en condiciones de suministrar la información solicitada. La GEIH es más rigurosa con el informante directo: indaga en forma personal a todos los miembros del hogar mayores de 18 años y aquellos entre 10 y 17 años que trabajen o estén buscando trabajo4. En la práctica, esto se tradujo en un aumento en el porcentaje de informantes directos que pasó, de cerca del 40% para la ECH, a valores superiores al 80% en la GEIH, con el consiguiente incremento en la cantidad promedio de visitas que es necesario hacer a cada hogar para completar la información requerida.

• Orden de las categorías o el fraseo de algunas preguntas: si bien no se modificaron las definiciones de las poblaciones de referencia de ocupados, desocupados e inactivos, sí se produjeron variaciones menores en el fraseo de algunas de las preguntas del módulo de clasificación de fuerza de trabajo y se invirtió el orden de las categorías de otra actividad e incapacitado permanente para trabajar, en la pregunta sobre la principal actividad realiza-
da en la semana de referencia, encargada de abrir este módulo5.

• Medio de captura: la ECH se diligenciaba con un formulario en papel que se capturaba posteriormente a nivel de cada una de las sedes territoriales y subsedes del DANE. La GEIH se diligencia directamente en formulario electrónico sobre un Dispositivo Móvil de Captura (DMC) que ha sido proporcionado a cada
encuestador.

• Ampliación de la muestra: con el fin de aumentar el número de ciudades o áreas metropolitanas autorrepresentadas en la encuesta, se amplió el estrato de 13 a 23 áreas, que incluyó a Tunja, Florencia, Popayán, Valledupar, Quibdó, Neiva, Riohacha, Santa Marta, Armenia y Sincelejo. Esto representó una reconformación de los estratos de diseño de la muestra para aquellos que en el diseño inicial contenían estas diez ciudades, la selección de una ampliación de la muestra en el dominio de cabeceras sin 23 áreas y la selección de nuevos segmentos en las ciudades en donde se requería una ampliación de la muestra inicial6.

2. Objetivos del abordaje desde los diseños experimentales

Utilizando herramientas del diseño estadístico de experimentos, la prueba experimental pretende establecer si alguno de los aspectos no muestrales modificados en la GEIH (informante, medio, orden y extensión), incide en las tasas global de participación, de ocupación o de desempleo, en qué forma y en qué magnitud, cuáles son las posibles interacciones que se presentan entre éstos y, en conjunto, cuál es el impacto que podría esperarse de la introducción simultánea de los cambios. Se descarta de este ejercicio la evaluación de la ampliación de muestra que ya ha sido analizada a partir de otros ejercicios7.

En relación con el ejercicio inicialmente planteado al DANE por la CEI, y con los paralelos que se efectúan usualmente cuando se introducen modificaciones en encuestas periódicas, el enfoque experimental bajo el diseño empleado aporta elementos adicionales a la comprensión de los efectos individuales y las interrelaciones entre las modificaciones aplicadas a la encuesta que, de otra forma, no pueden establecerse en forma individual.
3. Metodología

3.1 Determinación de la población objetivo o universo experimental

En concordancia con las definiciones de unidades de muestreo y análisis de la encuesta, se elige el hogar como unidad experimental. De otro lado, se considera que la naturaleza de los cambios introducidos puede establecer impactos diferenciales en zona urbana y rural, en particular con relación a las modificaciones del medio de captura y el tipo de informante: un mayor nivel de familiaridad de los encuestados con la tecnología en zona urbana podría generar un menor impacto al pasar de captura en papel a captura en DMC y, una mayor dificultad en la zona rural para llevar a cabo las revisitas necesarias hasta conseguir el informante directo, podrían desembocar en un mayor impacto por tal causa en esta zona. Teniendo en cuenta estos elementos, se decide establecer dos dominios de interés: urbano y rural, que jugarán el papel de bloques dentro del diseño en forma análoga al uso de estratos en las muestras probabilísticas.

Con el fin de mantener un mejor control sobre la aplicación del diseño experimental y suponiendo que la reacción a este tipo de cambios no difiere en forma importante entre distintas regiones del país, se escoge llevar a cabo el ejercicio urbano en la ciudad de Bogotá y el rural en los centros poblados y zona rural dispersa de los municipios de El Colegio, Sesquilé, Nilo, Apulo, Villapinzón y Ricaurte, que cumplen con las características de ser heterogéneos con respecto a su actividad económica y encontrarse cerca de Bogotá.

3.2 Elección del tipo de diseño experimental y conformación de los tratamientos

El interés de identificar los impactos individuales de las 4 modificaciones no muestrales mencionadas sobre los principales indicadores de mercado laboral, así como sus interacciones, sugirió el uso de un diseño de experimentos de tipo factorial 24, con 4 factores y 2 niveles cada uno. Los factores en consideración fueron: (1) informante, con los niveles idóneo y directo; (2) medio, con los niveles papel y DMC; (3) orden, con los niveles ECH y GEIH, y (4) extensión, con los mismos niveles. De la combinación de los factores y niveles elegidos se obtienen para la prueba experimental los 16 tratamientos que se presentan en la tabla 1.

La recolección de información en campo para estos 16 tratamientos requirió la elaboración de 4 cuestionarios, que se diferenciaron por el color de la tinta utilizada para su impresión:

1. Negro: orden ECH y extensión ECH; corresponde al formulario ECH utilizado en el segundo trimestre de 2006.

2. Verde: orden GEIH y extensión GEIH; equivale al formulario GEIH utilizado en el tercer trimestre de 2006.

3. Azul: orden ECH y extensión GEIH; es el formulario GEIH excepto por el módulo de fuerza de trabajo que es el empleado por la ECH.

4. Magenta: orden GEIH y extensión ECH; es el formulario ECH con el módulo de GEIH para fuerza de trabajo.

Estos cuestionarios fueron diagramados e impresos en papel, así como implementados como cuestionarios electrónicos para la recolección de información en los dispositivos móviles de captura, completando con ello las combinaciones posibles de orden, extensión y medio.

Para la incorporación del factor informante, se capacitó a los encuestadores de tal forma, que un encuestador aplicara solamente formularios en papel o en dispositivo móvil, y a un cierto tipo de informante específico, con lo que se tienen 4 tipos de encuestador. La información recolectada en papel fue luego capturada en los dispositivos móviles para la consolidación de las bases de datos.

3.3 Diseño de muestra para el experimento. Selección y asignación aleatoria de unidades experimentales a los tratamientos

La selección de hogares para la muestra en la zona urbana se llevó a cabo con un diseño estratificado en 2 etapas: en la primera se conformaron manzanas o grupos de manzanas denominadas unidades primarias de muestreo o UPM, con un mínimo de 16 viviendas, y se establecieron estratos controlando por un cruce entre nivel socioeconómico modal de la UPM y rangos de participación de la PET en su población total, luego se seleccionó una muestra de UPM en cada estrato.

En una segunda etapa, se visitó cada manzana o grupo de manzanas seleccionado y se enlistaron todas las viviendas existentes. Sobre el consolidado de este proceso de enlistamiento, se llevó a cabo la selección de 16 viviendas en cada manzana o grupo y se efectuó una asignación aleatoria de 8 de los 16 tratamientos a cada una, eligiendo dos viviendas para cada tratamiento. Esto permite un buen nivel de homogeneidad entre las submuestras de los tratamientos, a la vez que garantiza que no haya más de 2 encuestadores en cada manzana. Las combinaciones de 8 tratamientos asignados variaron de una UPM a otra.

En la zona rural, se seleccionaron para el ejercicio todos los hogares residentes en la zona rural dispersa y centros poblados de los municipios escogidos. En este caso, frente a la dificultad operativa de llevar a cabo un enlistamiento de hogares y una posterior selección para la aplicación de los formularios correspondientes, la asignación aleatoria de tratamientos se llevó a cabo de la siguiente forma: sobre un listado que contiene las áreas geográficas en las que se subdivide el área rural de un municipio, y la cantidad de hogares censados por área geográfica, se efectuó una asignación aleatoria de cada cada una de ellas a 8 de los 16 tratamientos, y se balanceó en función del número de hogares de manera tal, que los tamaños finales esperados para las submuestras fueran similares. Una vez en campo, durante el barrido, los 4 grupos de encuestadores conformados desde la capacitación, se encargaron de asignar los hogares existentes en cada área geográfica, a uno de los tratamientos y respetando la aleatorización inicial propuesta para cada una.

El tamaño de muestra inicialmente planteado corresponde a 10 000 hogares para la zona urbana y 10 000, para la rural, con lo que se pretende detectar diferencias estadísticamente significativas de mínimo 1,5 puntos porcentuales
para la tasa de desempleo, que es la de menor
magnitud.

3.4 Herramientas empleadas para el análisis de datos

Si bien desde el diseño del ejercicio se previó un balance de tamaños de muestra entre las 16 submuestras de los tratamientos, así como homogeneidad con respecto a las características demográficas y socioeconómicas de la población por la vía de la distribución aleatoria de las unidades a los tratamientos, evaluaciones posteriores sobre la información recolectada sugirieron leves desbalances que, en la zona urbana, estaban relacionados con los tamaños de hogar y el nivel socioeconómico y, en la zona rural, marcaban diferencias en la composición tanto demográfica como socioeconómica de la población según el tipo de informante empleado.

Frente a este panorama, se decidió restablecer la comparabilidad de las submuestras de los 16 tratamientos, utilizando una ampliación de la herramienta de pareo por puntajes de propensión presentada por Rosenbaum y Rubin [1983], a un escenario multivariado empleando regresión logística multinomial y una distancia euclidiana entre los pares de vectores de probabilidades8. En cada zona, urbana y rural, el uso de esta herramienta permitió excluir del análisis los elementos que, con relación a un conjunto de covariables, no tenían par en alguno de los restantes 15 tratamientos.

Esto, sin embargo, tuvo un costo alto en términos de la reducción del número de casos útiles y la consiguiente disminución de la capacidad del ejercicio para detectar diferencias con significancia estadística, especialmente en la zona rural. Del total de hogares con información, fue posible conservar para los análisis posteriores un 70% de hogares en zona urbana y un 33% en zona rural.

Sobre las muestras comparables, se estimaron los efectos principales de los factores asociados con cada una de las tasas en zona urbana y rural, así como sus interacciones, y se utilizó regresión logística. Como variable respuesta, se empleó una variable indicadora o dummy que da origen a la tasa9, y como explicativa, la matriz de contrastes ortogonales del ejercicio experimental que se presenta en la tabla 2.

Para cada elemento en la muestra, esta matriz asigna valores de 1 o -1 a variables indicadoras que representan cada factor o interacción, según el tratamiento que le fue asignado, que busca explicar los cambios en la variable respuesta en términos de los factores considerados. El valor -1 se asigna cuando el elemento pertenece a un tratamiento que tiene el nivel bajo de ese factor (papel para medio, idóneo para tipo de informante, ECH para orden o longitud) y el valor 1 en caso contrario. Los signos de las interacciones se calculan multiplicando los valores asignados a los factores, de manera que, por ejemplo, un individuo con nivel bajo en informante y bajo en medio, tendrá valor 1 en la interacción Informante-Medio IM (-1 x -1 = +1).

En una regresión inicial se emplean las 15 variables que corresponden al modelo completo, con todos los efectos principales e interacciones. Luego, se depura el modelo eliminando sucesivamente aquellas interacciones que no resultan significativas estadísticamente, para lo cual se aplica un criterio jerárquico: en primer lugar, se elimina la interacción de orden 4 y se verifica el modelo; luego, se eliminan las de orden 3 que no sean significativas y se verifica el modelo nuevamente. Finalizado el proceso de determinación del modelo, es importante considerar que para que una interacción esté incluida, es necesario que al menos uno de los efectos principales que la componen lo esté también. Si en algún caso ninguna de las variables que componen la matriz de contrastes, resulta asociada a la variable respuesta, se concluye que no es posible establecer una relación entre los factores empleados en el diseño (los cambios introducidos a la encuesta) y los resultados obtenidos, con lo que el impacto esperado de los cambios sobre los indicadores sería nulo.

Al emplear la regresión logística, se pretende estimar la razón de riesgos (OR) para obtener un estimativo de la razón de prevalencias (PR) a través de una transformación. Este parámetro corresponde al cociente entre las probabilidades de pertenecer al numerador de la tasa (i.e. ser ocupado, desocupado o participar en el mercado laboral) habiendo efectuado la encuesta con una u otra versión de los instrumentos. En este escenario, un valor de PR igual a 1, equivale a la no existencia de efectos en los indicadores que puedan ser atribuibles a los cambios efectuados en la encuesta; valores inferiores a 1, por ejemplo 0,94, indican que por cada 100 individuos que pertenecen al numerador de la tasa encontrados con la vieja metodología, es posible encontrar 94 con la nueva metodología. Para todos los casos se empleó un 5% de significancia estadística para la evaluación de pruebas de hipótesis.

4. Resultados

4.1 Efectos sobre mercado laboral

Los efectos identificados sobre los tres principales indicadores de mercado laboral, se resumen en la tabla 3 y se comentan brevemente
a continuación.

En la zona urbana, el ejercicio experimental muestra una asociación entre la extensión del formulario y la interacción tipo de informante, medio y extensión, con una disminución en la tasa global de participación (TGP) y la tasa de ocupación (TO).

Para el formulario largo, se encuentran 94,45 personas económicamente activas y 94,42 personas ocupadas, por cada 100 detectadas con el formulario corto. Para el subconjunto de población urbana incluida en el ejercicio, se estiman una TGP del 58,9% y una TO del 52,8% con el formulario corto; la ampliación del formulario representa una reducción de 3,4 puntos porcentuales y 3,2 puntos porcentuales, respectivamente. No se detectan asociaciones entre los factores incluidos en el ejercicio y la tasa de desempleo (TD).

Para la zona rural, se observan impactos sobre los tres indicadores TGP, TO y TD asociados con los cambios introducidos en la encuesta. La tasa global de participación muestra asociación con las modificaciones en el orden y fraseo de las preguntas y con la ampliación en la extensión del formulario, conducentes ambas a la obtención de una menor cantidad de población económicamente activa: 93 personas con el nuevo formulario, por cada 100 detectadas con el formulario de la ECH. Estos dos factores, junto con el cambio en el medio de captura se asocian con una reducción en la tasa de ocupación, para la que se estiman 89 personas ocupadas por cada 100 captadas con el formulario de la Encuesta Continua de Hogares; sobre una TO del 48,6% estimada para este subconjunto de población con los instrumentos de esa encuesta, el efecto corresponde a una disminución de 5,3 puntos porcentuales.

Para la tasa de desempleo, se observa un aumento asociado con los cambios en el medio de captura y el tipo de informante que, sin embargo, no resultan estadísticamente significativos dada la importante reducción en el tamaño de muestra que se presentó en esta zona.

En la zona rural, la configuración de los efectos encontrados sugiere una mayor participación de la extensión del formulario en la clasificación entre inactivos y activos, y una del informante para la clasificación entre ocupados y desempleados.

4.2 Efectos sobre ingresos

El análisis de datos en esta temática se desarrolla siguiendo la ruta de construcción de los ingresos per cápita por unidad de gasto (pcug): primero se evalúan los efectos sobre el porcentaje de perceptores de ingreso, a continuación se revisa la no respuesta, luego los montos reportados por aquellos que se han declarado perceptores, y finalmente, se observa el efecto agregado de cantidad de perceptores y montos reportados en los valores per cápita por unidad de gasto. El resumen de los efectos identificados para la zona urbana se presenta en la tabla 4 y el correspondiente a la zona rural, en la tabla 5.

4.2.1 Efectos en zona urbana

Cantidad de perceptores: los cambios en el medio de captura y la extensión del formulario, se traducen en disminuciones, al pasar de 1,85 a 1,57 perceptores por hogar cuando se cambian los instrumentos de la ECH por los de la GEIH. Para la subpoblación urbana considerada en el ejercicio, se estima en 65,4 el porcentaje de perceptores de ingreso por alguna fuente con los primeros, cifra que se reduce en 7 puntos porcentuales cuando se consideran los instrumentos nuevos. La revisión de perceptores de ingreso por tipo de fuente, muestra que el mayor efecto se produce sobre los ingresos por otras fuentes que se reducen en 5 puntos porcentuales y sobre los ingresos monetarios de la primera actividad que lo hacen en 2,6 puntos porcentuales.

No respuesta: dada la baja frecuencia de este fenómeno en cualquiera de los tratamientos, no es posible encontrar diferencias con significancia estadística atribuibles a alguno de los factores considerados. En general, se observan menores tasas de no respuesta en los tratamientos con informante directo y mayores con los que tienen captura en campo con el dispositivo móvil.

Montos reportados: la ampliación en la extensión del formulario y el cambio en el medio de captura, se presentan asociadas a los montos en sentido contrario: la mayor extensión se relaciona con aumentos en el monto reportado y la captura con el dispositivo móvil se asocia con menores montos. El efecto agregado de los cambios en extensión y medio, corresponde a un aumento de cerca del 6,5% en el monto total reportado por cada perceptor.

Al desagregar el ingreso reportado según fuente, se observa el impacto más importante en el ingreso por otras fuentes, en donde la mayor segregación de las preguntas que ofrece el formulario largo (GEIH) para esta fuente muestra ingresos un 35% más altos que los observados con el formulario corto (ECH).

Montos per cápita por unidad de gasto: sobre este ingreso, se combinan la reducción en la cantidad de perceptores y el aumento en el monto reportado que se observan para los nuevos instrumentos. En la zona urbana, los efectos de la extensión sobre montos y perceptores se eliminan mutuamente y se obtiene una disminución del 8,6% en el ingreso total per cápita por unidad de gasto, atribuible al cambio en el medio de captura. Una reducción de similar magnitud se observa sobre el ingreso monetario de primera actividad; mientras que para el ingreso por otras fuentes, prevalece el aumento en los montos de cerca del 32% en los ingresos pcug.

4.2.2 Efectos en zona rural

Cantidad de perceptores: la ampliación en la extensión del formulario se traduce en una disminución en la cantidad de perceptores por hogar, que pasa de 1,64 a 1,39. Para el ingreso por cualquier tipo de fuente, se encuentran 91 perceptores con el formulario largo (GEIH) por cada 100 con el formulario corto (ECH). Entre las fuentes de ingreso, el mayor impacto se observa sobre el ingreso por otras fuentes, para el que los detectados como perceptores con los formularios largo y corto están en una relación de 67 por cada 100.

No respuesta: presenta asociaciones con el tipo de informante, se obtienen menores tasas de no respuesta para los tratamientos con informante directo. Sin embargo, tanto la baja frecuencia de este fenómeno como la pérdida de muestra sufrida en el proceso de pareo por puntajes de propensión, impiden que estas diferencias, cercanas a 2,4 puntos porcentuales para el ingreso total, puedan considerarse estadísticamente significativas.

Montos reportados: tanto para el ingreso por cualquier fuente como para el ingreso monetario de la primera actividad, se observan aumentos relacionados con la ampliación en el formulario y, en sentido contrario a lo observado para la zona urbana, con la captura en dispositivo móvil. Al llevar a cabo la agregación a nivel de unidad de gasto, la muestra se reduce y no es posible encontrar diferencias con significancia estadística.

4.2.2 Efectos en zona rural

Cantidad de perceptores: la ampliación en la extensión del formulario se traduce en una disminución en la cantidad de perceptores por hogar, que pasa de 1,64 a 1,39. Para el ingreso por cualquier tipo de fuente, se encuentran 91 perceptores con el formulario largo (GEIH) por cada 100 con el formulario corto (ECH). Entre las fuentes de ingreso, el mayor impacto se observa sobre el ingreso por otras fuentes, para el que los detectados como perceptores con los formularios largo y corto están en una relación de 67 por cada 100.

No respuesta: presenta asociaciones con el tipo de informante, se obtienen menores tasas de no respuesta para los tratamientos con informante directo. Sin embargo, tanto la baja frecuencia de este fenómeno como la pérdida de muestra sufrida en el proceso de pareo por puntajes de propensión, impiden que estas diferencias, cercanas a 2,4 puntos porcentuales para el ingreso total, puedan considerarse estadísticamente significativas.

Montos reportados: tanto para el ingreso por cualquier fuente como para el ingreso monetario de la primera actividad, se observan aumentos relacionados con la ampliación en el formulario y, en sentido contrario a lo observado para la zona urbana, con la captura en dispositivo móvil. Al llevar a cabo la agregación a nivel de unidad de gasto, la muestra se reduce y no es posible encontrar diferencias con significancia estadística.

4.2.3 Resultados sobre pobreza

La evaluación de los efectos producidos por los cambios sobre las incidencias de la indigencia y la pobreza, solo pudo ser efectuada para la zona urbana, dada la importante pérdida de tamaño de muestra que se presentó en la zona rural. Sin considerar ajustes a Cuentas Nacionales10, se estima que los cambios produjeron aumentos de 3,23 puntos porcentuales en la incidencia de la indigencia y de 6,5 puntos porcentuales en la de la pobreza urbana.

5. Discusión

Las actividades de mejora o actualización de las encuestas periódicas, conllevan a la necesidad de modificar en mayor o menor medida los instrumentos utilizados para la medición. Cuando estos cambios no tienen implícita una alteración de las definiciones de las poblaciones en estudio, como la clasificación entre ocupados y desocupados, por ejemplo, puede pensarse que no habrá efectos en el mediano plazo sobre los indicadores de interés; sin embargo, los cambios introducidos pueden aumentar o disminuir la sensibilidad de la encuesta para captar ciertos fenómenos particulares, o hacerla más susceptible a algunos tipos de errores no muestrales, lo que afecta los resultados.

En este sentido, adquiere enorme importancia la implementación de las modificaciones en forma controlada, considerando no solamente los aspectos temático-teóricos y muestrales de la medición, sino también el impacto que tienen desde el punto de vista de la ejecución de la encuesta: las necesidades puntuales de recapacitación o incluso reemplazo del personal, los efectos en términos de tiempos de diligenciamiento y costos, y estar dispuesto a tomar las medidas necesarias para minimizar el riesgo de incurrir en errores no muestrales, que vayan en detrimento de la calidad de la información generada.

En la mayoría de los institutos de estadística, es usual establecer un periodo de transición durante el cual se mantienen en paralelo, los dos esquemas de medición, con y sin modificaciones, y utilizar la información recopilada en este periodo para evaluar los efectos de los nuevos instrumentos, antes de hacer que sus resultados sean los oficiales. Siempre y cuando se mantengan los niveles de cobertura y calidad de la encuesta oficial en el paralelo, esta herramienta puede proporcionar información valiosa para determinar si la comparabilidad intertemporal de los resultados se ha visto comprometida. Sin embargo, es importante garantizar desde el punto de vista operativo, que se está en condiciones de poner en práctica los dos esquemas con personal suficientemente capacitado y buen nivel de supervisión. En otro caso, la medición en paralelo puede poner en riesgo la calidad de los resultados de ambas encuestas y ser inútil para efectos de empalmar las series, si así se requiere.

Cuando se pretende introducir varias modificaciones a la encuesta en forma simultánea, un paralelo brinda información acerca del efecto agregado de las modificaciones, pero no acerca de cómo se relacionan entre sí y con los indicadores de interés. En este sentido, el uso de una combinación de herramientas cuantitativas y cualitativas para la prueba de las modificaciones, antes de su implementación, puede ser de gran ayuda a la hora de evaluar el beneficio real de los cambios propuestos y establecer la mejor forma de implementarlos. En esta vía, los diseños de experimentos son una herramienta que permite identificar, describir y cuantificar las relaciones existentes entre los aspectos sobre los que se harán cambios y los indicadores más relevantes, lo que brinda señales acerca de lo que puede esperarse en la evaluación de las nuevas cifras y evidencia debilidades que puedan estar presentes en el método de medición y surgir luego como errores no muestrales en el proceso de implementación.

La construcción de un ejercicio para este fin, que utilice el diseño de experimentos, es una tarea en la que es importante definir varios aspectos: la población a la que se quiere inferir, las modificaciones que serán objeto de evaluación, los indicadores sobre los que se esperan cambios y el nivel detectable de estos cambios, así como las subpoblaciones para las que se esperan impactos diferenciales. Es de particular importancia el cuidado del proceso de asignación aleatoria de las unidades experimentales a los tratamientos de interés, que garantice la comparabilidad de las submuestras involucradas y, al igual que en todos los ejercicios que se basan en la recolección de información primaria, concebir el operativo teniendo en cuenta las capacidades de la Entidad y las dificultades innatas al ejercicio.

Agradecimientos

La autora agradece la colaboración prestada por los estadísticos Luis Carlos Gómez y Andrés Arias, cuyos comentarios y sugerencias fueron de gran ayuda para una clara definición de los objetivos del diseño experimental, y cuya experiencia permitió determinar las herramientas estadísticas más adecuadas para resolver los inconvenientes encontrados a lo largo del ejercicio.

Bibliografía

Lasso F. J.. Nueva metodología de Encuesta de Hogares ¿Más o menos desempleados?, Archivos de Economía, Documento 213 30 de noviembre de 2002.

Comisión de Expertos Independientes (CEI). Informe de Medio Término, entregado al DANE en mayo de 2007.

Rosenbaum P., Rubin D. The central role of the propensity score in observational studies for causal effects. Biometrika Vol. 70. Num. 1. 1983.

Documento Metodológico: Diseño y herramientas de análisis de la Prueba Experimental Gran Encuesta Integrada de Hogares. DANE. Marzo de 2008.