REIS. 29/85 pp. 219-256
Francisco Alvira Martín
Emilio Martínez Ramos
En noviembre de 1983 se llevó a cabo un experimento
como complemento al curso que desarrollaba en el Centro de Investigaciones
Sociológicas Emilio Martínez Ramos, director de Emopública[i]. Utilizando el
cuestionario que se adjunta, se efectuaron un total de 200 entrevistas entre
los dos Institutos: el CIS y Emopública. Cada uno seleccionó dos entrevistadores
cuya ideología se inclinaba a la derecha y dos que se inclinaban a la izquierda
y se escogieron dos barrios madrileños, uno con el voto predominante de
izquierdas (Carabanchel) y otro con el voto predominante de centro o de derecha
(Salamanca). De esta manera, cada instituto tenía dos entrevistadores de cada
tendencia y realizaba 100 entrevistas en total, es decir, 25 por entrevistador,
dividiéndolos en 50 entrevistas en cada barrio seleccionado. Obviamente en cada
uno de los barrios había un entrevistador de izquierdas y otro de derechas por
cada Instituto. Al final de este análisis se presentan las tablas básicas de
los resultados, tomando como variables independientes:
—
el tipo de entrevistador (dos niveles);
—
el Instituto (dos niveles), y
—
el barrio (dos niveles).
La
selección del tipo de entrevistador fue llevaba a cabo por los jefes de
campo de los respectivos Institutos y cabe preguntarse si realmente la clasificación
en entrevistador de izquierdas o derechas está correctamente efectuada. La evidencia
existente parece apoyar la tesis de que tanto en un instituto como en otro los
entrevistadores clasificados de izquierdas estaban claramente más a la
izquierda que los clasificados como de derechas[ii]. Lo que no implica que el
criterio de asignación a izquierdas o derechas sea el mismo en ambos
institutos.
Una
posible asociación entre tipo de entrevistador e ideología —por ejemplo— no
deja claro cuál sea el mecanismo a través del que se está produciendo la
influencia del entrevistador en el entrevistado. Puede ser que esté funcionando
la aquiescencia o la deseabilidad social, o simplemente que el entrevistador
ponga en marcha un mecanismo de percepción selectiva.
La
introducción del centro o Instituto como variable independiente está justificada
por el hecho de que cada Instituto desarrolla sus propias normas para la
realización del trabajo de campo, normas que podrían tener un impacto en los
resultados. En este ejemplo existe una característica importante que diferencia
ambos Institutos: El CIS es un Instituto oficial, que es por tanto identificado
con la Administración y el Gobierno socialistas. Emopública se presenta como
una empresa privada en principio independiente.
Por
último, el Barrio es una variable independiente con matices específicos.
Se espera —puesto que así se ha hecho el diseño— que haya relación entre Barrio
y gran parte de las respuestas del cuestionario. La ausencia de relación
implicaría que el experimento estaba mal hecho.
La
relación entre las variables
Un
análisis lógico del cuestionario permite plantear dos hipótesis, sustanciadas ambas
por los conocimientos existentes, que, sin embargo, llevan a resultados
empíricos distintos.
Las
preguntas del cuestionario pueden dividirse en dos bloques:
1.
De una parte, preguntas sobre temas políticos (P.3, P.4 y P.5), relativamente cercanos
al entrevistado.
2.
Por otra parte, temas sobre Centroamérica (P.6 a P.10, inclusive) que
normalmente quedan muy lejanos del entrevistado.
Puesto que los entrevistadores han sido clasificados
en izquierdas o derechas, cabe partir de la hipótesis de que el posible efecto
de éstos sobre las respuestas de los entrevistados se manifestará en el bloque
de preguntas políticas; pero cabe también partir de la hipótesis de que el
posible impacto de los entrevistadores sólo se manifestará en preguntas que
requieran respuestas poco pensadas o cristalizadas por parte de los
entrevistados (bloque de preguntas
sobre Centroamérica). Las preguntas del bloque
político plantean temas que después de ocho años de elecciones suelen estar
relativamente cristalizadas en el entrevistado.
Hemos escogido dos preguntas de ambos bloques como
representativas para estudiar ambas hipótesis. Los resultados aparecen en los
cuadros 1 y 2 para el seguimiento de las noticias de Latinoamérica y la
autoubicación ideológica, respectivamente. Las cifras que aparecen en los
cuadros son números absolutos, pero dada la estructura del experimento, son
directamente traducibles a porcentajes.
Al examinar las tres variables independientes y las diferentes
respuestas, se aprecian obviamente diferencias que pudieran sugerir relación
entre ellas. Estas diferencias pueden deberse en principio al azar, por lo que
procede hacer algún test de significatividad. Estos son los resultados
para los diferentes cruces utilizando el ji-cuadrado.
Sólo en el caso de
«Barrio» y «Seguimiento de noticias sobre Latinoamérica» cabe hablar de
relación. Resulta sorprendente no encontrar relación entre «Barrio» e
«Ideología», puesto que era ése el punto de partida del experimento aun cuando
el X2 obtenido se acerque al X2 crítico[iii].
(C03)
En cualquier caso, lo que
resulta importante es que no parece haber relación entre entrevistador e
Instituto de una parte y autoubicación ideológica o seguimiento de noticias de Latinoamérica.
Obviamente
(véanse Rosemberg, 1968; M. Rosemberg, The logic of Survey analysis, Basic
Books, 1968, y H. Hyman, Diseños o análisis de encuestas, Amorrortu,
1968, entre otros), la no existencia de relaciones bivariadas no significa que
no puedan aparecer éstas al introducir terceras —o en su caso cuartas—
variables. Conviene, sin embargo, poner de relieve que el diseño experimental
hace que barrio, entrevistador e instituto sean ortogonales
y,
por tanto, lo que pueden aparecer son efectos interactivos o moduladores de
unas variables sobre otras. Es decir, dado que dentro de cada instituto se
utilizaron entrevistadores de derechas y de izquierdas y se hicieron el mismo
número de entrevistas para cada barrio de derechas y de izquierdas, no puede
haber relación ni entre instituto y tipo de entrevistador (los dos institutos
utilizan dos de derechas y dos de izquierdas) ni entre barrio e instituto (los
dos institutos hacen el mismo número de entrevistas en cada tipo de barrio), ni
entre barrio y tipo de entrevistador (en el barrio de derechas hay cuatro
entrevistadores, dos de derechas y dos de izquierdas, y lo mismo sucede en el
barrio de izquierdas). Lo que sí podría suceder sería que hubiera relación
entre barrio e ideología para un determinado instituto o para un determinado
tipo de entrevistador, mientras que para el otro no lo hubiera (modulación o
interacción) o que al hacer el análisis controlando por una tercera variable
—barrio, entrevistador o instituto— sugiera una relación antes oculta o
suprimida.
En
los cuadros 3 y 4 se utiliza el barrio como variable de control para estudiar
la posible relación entre Instituto y entrevistador de una parte y autoubicación
ideológica y seguimiento de noticias de Latinoamérica de otra.
(C04)
Se utiliza barrio como variable controlada a la vista
de que el hallazgo de relación entre barrio y cualquier respuesta del
cuestionario resultaría trivial por partir el experimento precisamente de esa
relación.
(C05)
Este es el resumen de las pruebas de ji-dos de dichos
cuadros.
(C06)
Al controlar el barrio sigue sin haber relación entre
entrevistador e instituto de una parte y dos preguntas representativas del
cuestionario utilizado. Parece que estos datos reafirman los anteriores y su interpretación
es clara: los resultados obtenidos por el CIS y Emopública en este experimento
y en estas preguntas no difieren más de lo que lo harían por azar; de la misma manera
las diferencias aparentes y mínimas entre las respuestas que han dado a los entrevistadores
de derechas y las que se han dado a los entrevistadores de izquierdas caen
dentro de las diferencias que se obtendrían por mero azar.
Una inspección cuidadosa de las tablas que se
presentan al final hace sobresalir dos preguntas para las que las respuestas
podrían estar influidas por las variables instituto y/o entrevistador. Son
estas preguntas la intención de voto en primer lugar y la pregunta 5 en lo que
se refiere a la cercanía o lejanía respecto de Manuel Fraga.
En el caso de la intención de voto hay claramente
relación entre barrio y entrevistador y el voto declarado. En cambio, el ji-dos
obtenido para la variable instituto no es significativo (15,49 frente a 16,91
con un alfa igual a 0,05). En este último caso y a la vista de las diferencias
entre CIS y Emopública en lo que respecta al No Sabe y No Votará una
participación del, ji-dos arroja los siguientes resultados:
(C07)
Habría pues que seguir profundizando en las relaciones
entre parte de las respuestas a esta pregunta y la variable instituto.
En lo que respecta a la variable «cercanía-lejanía
respecto de M. Fraga» hay relación entre barrio y entrevistador y dicha
variable. No hay, sin embargo, con instituto. Ahora bien, al realizar el
análisis de la relación entre entrevistador y «cercanía a Fraga» controlando la
variable instituto, aparece un claro efecto interactivo. Los resultados son los
siguientes:
(C08)
La relación entre entrevistador y la «cercanía-lejanía
de Fraga» viene mediatizada por el instituto, de modo que es real en el caso
del CIS, pero dicha relación no se da en el caso de Emopública. Este efecto
interactivo obviamente no suprime el efecto principal existente entrevistador
-» «cercanía de Fraga».
Análisis multivariable de las relaciones
Continuar este tipo de análisis con introducción de
terceras o cuartas variables, que es una de las maneras de hacer análisis
multivariable, resulta difícil si se quiere introducir una cierta complejidad y
estimar los efectos de cada variable y cada efecto interactivo. Por ello, hemos
utilizado dos tipos de análisis:
1. Análisis de regresión con variables dicotómicas.
2. Análisis log-linear utilizando diferentes modelos.
Análisis de regresión con variables
dicotómicas
Para evitar problemas de interpretación y de cálculo
de coeficientes, sólo se han utilizado las respuestas a dos preguntas:
— la autoubicación ideológica, y
— la cercanía-lejanía de Fraga.
Ambas son variables ordinales que pueden considerarse
variables continuas.
Las variables independientes utilizadas son las tres
que interesan:
— Instituto (0: CIS; 1: Emopública).
— Barrio (0: Derechas; 1: Izquierdas).
— Entrevistador (0: Derechas; 1: Izquierdas).
Estos han sido los resultados en una regresión
múltiple paso a paso:
(C09)
Los resultados coinciden con los obtenidos en el
apartado anterior a pesar de que en este análisis se han excluido los No Sabe y
No Contesta en la variable dependiente. No parece existir un efecto de sesgo ni
del entrevistador ni del Instituto.
(C10)
Existe un efecto del barrio y del entrevistador,
pero no del instituto. Este resultado también coincide con el que se
obtiene mediante un proceso de elaboración de variables similar al utilizado en
el apartado anterior. El análisis de regresión, sin embargo, no revela efectos
interactivos a no ser que previamente se haya descubierto e introducido en la
ecuación de la forma adecuada.
Modelos log-linear
Puesto que no existen restricciones en lo que respecta
a la variable dependiente, al menos no las que marca el análisis de regresión,
se ha efectuado un análisis de tres variables distintas:
— la intención de voto (V);
— la autoubicación ideológica (I);
— cercanía-lejanía de Fraga (F).
Y, como siempre, las variables independientes son:
— barrio (B);
— entrevistador (E);
— - instituto (C).
Veamos el análisis de la variable intención de
voto. El cuadro recoge un test de asociación parcial entre factores
(véase el subprograma «Multiway Contingency Analysis» del BMD), de tal
modo que los correspondientes valores de LR cuadrado y sus probabilidades
indican donde sí hay asociación parcial.
a) Existe un efecto de V que
indica simplemente que la intención de voto no se distribuye entre las
diferentes categorías de un modo equiprobable, mientras sí sucede así en E
(entrevistador), B (barrio) y C (centro o instituto).
b) Existe además una
asociación entre VE y VB, es decir, una relación entre voto y entrevistador y
voto y barrio. No hay relación, como es lógico, entre EB, EC y BC, dado el
diseño experimental efectuado.
(C11)
c) Existe, asimismo, una asociación VBC que si
trabajamos con una= 0,05 está justo en el límite y que por ello debemos
explorar.
A la vista de estos resultados tentativos, cabe
plantearse varios modelos.
Hemos elegido tres.
— Modelo VBC.
— Modelo VB.
— Modelo VE.
Puesto que los modelos log-linear son modelos
jerárquicos, el primer modelo implica:
1. Efecto interactivo VBC.
2. Asociaciones parciales entre VC y VB.
3. Efectos principales de V, C y B.
4. Una constante.
De la misma manera deben interpretarse los otros
modelos. El modelo VBC incluye, o es más amplio que, el modelo VB, mientras que
el modelo VE es un modelo distinto. Los resultados fueron:
(C12)
Es evidente que los modelos VB y VE no explican
adecuadamente los datos obtenidos. El modelo VBC podría ser el modelo adecuado,
puesto que los datos obtenidos partiendo de dicho modelo presentan unas
diferencias respecto de los resultados realmente obtenidos que podrían deberse
al azar.
Aunque deberíamos probar otros modelos, de aceptar el
modelo VBC tendríamos:
1. Hay relación entre barrio e intención de voto (BV).
2. Hay relación entre centro y voto (CV), es decir,
cada Instituto obtiene resultados que difieren más allá de lo que permite el
azar.
3. Hay un efecto interactivo entre barrio y centro, de
un lado, e intención de voto, de otro (VBC). El efecto del centro sobre la
intención de voto depende del tipo de barrio.
Un análisis de los efectos estimados revela que el
efecto del barrio sobre
la intención de voto es alta en el caso del voto a AP
y al PSOE, mientras que el efecto del centro sobre el voto lo es en «otros
partidos» y en el «no sabe/no contesta». Emopública obtiene un número de «otros
partidos» mucho mayor que el CIS y en cambio éste obtiene un número de NS/NC
desproporcionado.
Hagamos ahora un análisis de la variable ideología.
Los resultados obtenidos con ella como variable dependiente son los
siguientes:
(C13)
Aparte del efecto de I, que es significativo pero
trivial a efectos del análisis que estamos efectuando, sólo hay un efecto
significativo, el efecto interactivo, es decir, la interacción entre centro,
entrevistador e ideología.
Este ha sido el modelo escogido para su contrastación,
el modelo IEC, que implica:
a) Efecto interactivo IEC.
b) Relación entre IC, EC.
c) Efectos principales de I,
C, E y una constante.
El ajuste de este modelo ha resultado en un LR
cuadrado de 16,10 que con 24 grados de libertad da una probabilidad de 0,8843.
Es, por tanto, un modelo aceptable que implica, como ya se ha señalado, que hay
relación entre ideología y centro/entrevistadores y que, además, hay un efecto
interactivo entrevistador X centro e ideología. El análisis de los efectos
estimados permite comprobar que es precisamente el efecto interactivo el
efecto más importante. En el caso de Emopública, los entrevistadores de
derechas logran respuestas de autoubicación ideológica más a la derecha,
mientras que los entrevistadores de izquierdas reciben respuestas más hacia la
izquierda; en el caso del CIS es justo al revés[iv].
Cercanía-lejanía de Fraga. Estos
son los resultados obtenidos por esta variable:
(C14)
Existe relación entre «cercanía-lejanía de Fraga» y
entrevistador (FE) y también entre dicha variable y barrio (FB); asimismo hay
una relación interactiva entre entrevistador y centro, de una parte, y
cercanía-lejanía de Fraga.
El contraste de estos tres modelos produce el
siguiente resultado
(C15)
Los tres modelos presentan un buen ajuste a los datos
observados, pero es evidente que hay que elegir un modelo. Entre FEC y FE
elegiríamos FE por un principio de simplicidad, dado que FE está anidado («nested»)
en FEC, mientras que no hay manera de elegir entre FB y FE. Habría que probar
otros modelos jerárquicos que incluyeran ambos efectos y analizar los
resultados.
A modo de resumen
Una primera aproximación a los resultados del
experimento permite apreciar las diferencias entre entrevistadores, centros,
etc., y lleva a creer inmediatamente en la introducción de sesgos por parte de
los entrevistadores y/o centros. Al utilizar tests de significación para dejar
a un lado las fluctuaciones aleatorias, estas diferencias aparentes se
presentan en muchos casos como falsas o, mejor dicho, perfectamente atribuibles
al azar.
El proceso de elaboración de las relaciones entre las
diferentes variables permite cualificar esta aparente ausencia de sesgos. Sí
que hay sesgos, pero éstos se producen sólo en preguntas muy concretas y
además están enmascarados por el efecto de terceras variables, es decir, ante
todo hay efectos interactivos.
La utilización del análisis log-linear permite llegar
a la conclusión de que:
— sí que hay efectos —sesgos— entre las diferentes
variables
— y los efectos interactivos son, además, los más
importantes.
Por último, queremos hacer hincapié en una serie de aspectos:
1.- El análisis efectuado no ha pretendido ser
exhaustivo, sino sólo ilustrar el camino y, además, mostrar la existencia de
sesgos.
2.- Los sesgos existentes —en su mayoría de tipo
interactivo— no son muy grandes desde el punto de vista de la magnitud del
error introducido.
3. Por último, quiero recoger una idea de María del
Carmen de la Cruz: un experimento con ocho entrevistadores escogidos no puede producir
resultados similares a los obtenidos en una encuesta real con 100 ó 200
entrevistadores que difieren entre sí no sólo en su ideología, sino también en
su experiencia práctica y otras muchas variables. La propia selección de los
entrevistadores, probablemente ha menoscabado la validez externa de este
experimento, pero la fuerza del argumento sigue siendo muy grande: ¡si con
entrevistadores seleccionados se producen sesgos, ¿qué pasará cuando no sean
entrevistadores seleccionados!?[v]
(C16)
(C17)
(C18)
(C19)
(C20)
(C21)
(C22)
(C23)
(C24)
(C25)
(C26)
(C27)
(C28)
(C29)
(C30)
(C31)
(C32)
(C33)
(C34)
(C35)
(C36)
(C37)
(C38)
(C39)
[i]
Era un seminario sobre la realización del
trabajo de campo y en él se dedicaban unas sesiones al problema del posible
sesgo introducido por los entrevistadores en la aplicación del cuestionario.
Este seminario formó parte de un conjunto de cursos de tipo metodológico
desarrollados en el C.I.S. durante el año académico 983-1984, dirigidos por
Francisco ALVIRA MARTÍN.
[ii]
Ni que
decir tiene que los entrevistadores no eran conscientes de esta clasificación
ni del objetivo último del experimento
[iii] Ludgerio Espinosa ha planteado en el análisis de
estas relaciones dos cuestiones interesantes:
1.a
El problema de las casillas vacías que pueden invalidar la utilización del test
del ji-dos.
2.a
El problema sustantivo de la diferencia entre autoubicarse en la escala y
transformarse en dos variables:
— de
una parte, aquellos que se autoubican y su autoubicación en la escala;
— de
otra, una variable con dos niveles (se autoubican/no se autoubican).
Respecto a la primera cuestión se deduce que habría
que omitir la categoría 7 (extrema derecha) al hacer el test; respecto a la segunda, es cuando menos
cuestionable el razonamiento sustantivo, pero siguiéndolo sólo se descubre
relación entre barrio y autoubicación para los que sí se autoubican.
[iv]
Dejo las
explicaciones sustantivas de por qué se producen estos efectos a la imaginación
del lector y me centro sencillamente en asegurarme de que estos efectos sean
reales y no se deban a fluctuaciones aleatorias.
[v]
La teoría
clásica de la encuesta parte del supuesto de que los sesgos introducidos por
los entrevistadores al aumentar éstos en número se transforman en errores
aleatorios al compensarse unos con otros. Es evidente que esta hipótesis debería
investigarse empíricamente.
Comentarios