Karl Pearson y la distribución de probabilidad: El hecho de que los eventos observables son solo reflejos aleatorios

Charles Darwin reconoció la diversidad biológica como un elemento fundamental de la vida y la convirtió en la base de su teoría de la “supervivencia del más apto”. Sin embargo, quien primero comprendió la naturaleza fundamental de los modelos estadísticos y vio cómo estos ofrecían algo diferente a la concepción científica determinista del siglo XIX fue el ciudadano británico Karl Pearson (1857 - 1936). En la década de 1870, siendo joven, dejó Inglaterra para continuar sus estudios de posgrado en ciencias políticas y se trasladó a Alemania. Allí quedó impresionado por las obras de Karl Marx y, para mostrar su admiración, cambió la grafía de su propio nombre a Karl. Regresó a Londres con un doctorado en ciencias políticas y escribió dos libros respetados en este campo. En pleno corazón de la Inglaterra victoriana, tuvo la audacia de organizar un Club de Debate para jóvenes donde hombres y mujeres se reunían (sin supervisión) y donde la igualdad de género se inspiraba en los salones de la clase alta de las sociedades alemana y francesa. Allí, jóvenes hombres y mujeres debatían sobre los grandes problemas políticos y filosóficos de todo el mundo. Observé esta misma igualdad de género en mi reciente viaje a Escandinavia. El hecho de que Pearson conociera a su esposa en este entorno sugiere que podría haber habido más de una razón para su motivación al fundar este club. Esta pequeña iniciativa social puede ser un ejemplo para comprender la mente original de Karl Pearson y su absoluta indiferencia hacia las tradiciones establecidas.

Aunque su doctorado era en ciencias políticas, los principales intereses de Pearson eran la filosofía de la ciencia y la naturaleza del modelado matemático. En la década de 1880 publicó su libro “La gramática de la ciencia”, que pasó por varias ediciones. En el período anterior a la Primera Guerra Mundial, este libro fue considerado una de las grandes obras escritas sobre la naturaleza de la ciencia y las matemáticas. El libro estaba lleno de ideas brillantes y originales, y se consideraba un trabajo importante en el campo de la filosofía de la ciencia. Estaba escrito con un estilo sencillo y fluido que cualquiera podía leer y comprender. No es necesario saber matemáticas para leer y entender “La gramática de la ciencia”. Aunque el libro existe desde hace más de cien años, las ideas y conceptos que contiene siguen siendo válidos para gran parte de la investigación matemática del siglo XXI y mantienen su precisión hasta el día de hoy para comprender la naturaleza de la ciencia.

Con la fórmula de correlación que mencioné en mi artículo de la semana pasada, Galton se había acercado mucho a una nueva idea revolucionaria que cambiaría casi todas las ciencias del siglo XX. Sin embargo, quien formuló esta idea de la manera más completa por primera vez fue su alumno, Karl Pearson. Para entender esta idea revolucionaria, debemos dejar de lado todos nuestros prejuicios sobre la ciencia. Como a menudo se nos enseña, la ciencia trata sobre la medición. 

Realizamos mediciones cuidadosas para encontrar fórmulas matemáticas que describan la naturaleza. En la escuela secundaria nos enseñan que la distancia que recorre un objeto que cae en función del tiempo se calcula con una fórmula que contiene un símbolo llamado g. Esta g es la constante de aceleración. Se enseña que el valor de g puede determinarse mediante experimentos. Pero, ¿qué sucede cuando un estudiante de secundaria realiza una serie de experimentos para determinar el valor de g, haciendo rodar pequeñas pesas sobre un plano inclinado y midiendo cuánto tiempo tardan en llegar a diferentes partes de la rampa? Los resultados generalmente no salen exactos. Cuanto más repite el estudiante el experimento, más se confunde a medida que los valores de g resultantes difieren entre los distintos experimentos. El profesor dice que la razón por la que los estudiantes no pudieron llegar al resultado correcto es la falta de atención, el descuido o la copia incorrecta de los números. 

Sin embargo, lo que el profesor no les dice a los estudiantes es que todos los experimentos pueden ser incompletos y que incluso el científico más cuidadoso rara vez obtiene el número exacto. En cada experimento ocurren errores pequeños, impredecibles e inobservables. La habitación puede estar demasiado caliente y la pesa deslizante puede detenerse una microsegundo antes de comenzar a deslizarse. Incluso la ligera brisa de una mariposa que pasa puede tener un efecto. En realidad, lo que se obtiene de un experimento es una distribución de números que no son exactos. Pero estos números pueden utilizarse para obtener una estimación cercana del valor correcto. Esta explicación es muy importante. 

Según el pensamiento revolucionario de Pearson, no miramos los resultados de los experimentos como números cuidadosamente medidos por sí mismos. En cambio, decimos que son una muestra de una distribución de números; para expresarlo con un término aceptado, estos resultados son muestras de una distribución. Esta distribución de números puede escribirse como una fórmula matemática que indica la probabilidad de que un número observado tenga un valor determinado. “No se puede predecir de antemano qué valor tomará un número en un experimento determinado. Solo podemos hablar sobre las probabilidades de los valores, no sobre sus certezas. Los resultados de los experimentos individuales son aleatorios, en este sentido, no se pueden predecir de antemano. Sin embargo, los modelos estadísticos de las distribuciones nos permiten definir la naturaleza matemática de esta aleatoriedad”.

Pearson pensaba que las mediciones mismas, más que los errores de medición, tenían una distribución de probabilidad. Independientemente de lo que midamos, en realidad es parte de una distribución de aleatoriedad, y estas probabilidades se definen mediante una función de distribución, que es una función matemática. Pearson descubrió una serie de funciones de distribución a las que llamó “distribuciones sesgadas” y afirmó que describirían cualquier tipo de dispersión que un científico pudiera ver en los datos. Cada distribución en esta familia se define mediante cuatro números. Los números que definen la función de distribución no son “números” del tipo de medición. Estos números no se pueden observar, pero pueden deducirse de cómo se distribuyen las mediciones. Estos números fueron llamados posteriormente “parámetros”, de origen griego, que significa “casi medición”. Los cuatro parámetros que definen completamente una distribución del Sistema Pearson son:

1. Media: el valor central donde se distribuyen las mediciones,

2. Desviación estándar: cuánto se dispersan las mediciones alrededor de la media,

3. Simetría: cuánto se acumulan las mediciones solo en un lado de la media,

4. Curtosis: muestra qué tan lejos se alejan las mediciones raras de la media.

Se produjo un cambio sutil en el pensamiento con el sistema de distribuciones sesgadas de Pearson. Antes de Pearson, las “cosas” que trataba la ciencia eran reales y concretas. Kepler intentó descubrir las leyes matemáticas que describen cómo se mueven los planetas en el espacio. Los experimentos de William Harvey intentaron determinar cómo se mueve la sangre en las venas y arterias de un animal. La química se ocupaba de los elementos y los compuestos formados por elementos. Sin embargo, los “planetas” que Kepler intentaba comprender eran en realidad una serie de números que determinaban las posiciones en el cielo de las luces parpadeantes que los observadores veían en la Tierra. El camino exacto de la sangre que fluye por las venas de un caballo era diferente al que se podría ver en otro caballo o en un ser humano. Nadie pudo producir una muestra de hierro puro, pero se sabía que era un elemento.

Pearson sugirió que estos eventos observables eran solo reflejos aleatorios. Lo que era real era la distribución de probabilidad. Las verdaderas “cosas” de la ciencia no son las que podemos observar y sostener, sino las funciones matemáticas que definen la aleatoriedad de lo que podemos observar. 

Por lo tanto, los cuatro parámetros de una distribución son lo que realmente queremos determinar en una investigación científica. En realidad, no podemos determinar estos cuatro parámetros con exactitud. Solo podemos estimarlos a partir de los datos. Pearson no pudo notar esta última distinción. Creía que si recopilábamos suficientes datos, las estimaciones de los parámetros nos darían los valores reales de los parámetros. Sin embargo, solo podemos aproximarnos. No podemos saberlo con certeza. Su joven rival, Ronald Alymer Fisher, apareció para demostrar que muchos de los métodos de estimación de Pearson no eran óptimos. Hablaré de él en otro artículo. A finales de la década de 1930, cuando Karl Pearson se acercaba al final de su larga vida, Jerzy Neyman, un joven matemático polaco, demostró que el sistema de distribuciones sesgadas de Pearson no cubría el universo de posibles distribuciones y que muchos problemas importantes no podían resolverse utilizando el sistema de Pearson. Así es el proceso del progreso científico. Siempre avanza construyendo sobre el conocimiento previo.