Effect of Expert Opinion on the Predictive Ability of Environmental Models of Bird Distribution

Abstract

The construction of predictive models of species distribution for conservation and regional planning can be facilitated by automatic procedures employed for the selection and transformation of predictors. It has been claimed, however, that empirical predictive models benefit from the inclusion of expert opinion at different stages of the model-building process. This is a time-consuming task that is limited by the availability of experts and difficult to standardize. Automated procedures for predictor selection based on statistical criteria are faster and easier to integrate into a geographic information system and may render highly explanatory models that fit the data with which they were built. But these models do not necessarily predict independent observations well and cannot be used to extrapolate to other areas. On the contrary, supervised models may include more frequently causal relationships, and therefore may more accurately predict new observations and extrapolate better to other areas. We built predictive models for the presence/absence of 10 bird species in two areas of Andalusia (southwestern Spain) to compare three different procedures for predictor selection ranging from a completely unsupervised to a fully supervised method. We evaluated models in three ways: (1) with the same data used to build the models, (2) with a different evaluation data set, and (3) with data from a different geographic area. The increase in the degree of expert input during model construction resulted in a significant decrease of model predictive ability when evaluated with an independent data set, and did not improve the predictive ability of the model when transferred to a new area. Unsupervised models had a greater tendency to overfit the building data, but this did not negatively affect model predictive ability or transferability to a new area. Incorporating expert opinion in the model-building process neither rendered better models as measured by their predictive ability nor resulted in models that were better suited to other regions. Therefore, unsupervised fitting procedures seem to be an adequate and cost-effective way to proceed when the aim is to generate potential distribution maps of species in a regional context.

[ES]La construcción de modelos predictivos de la distribución de especies en los campos de la conservación y la planificación regional resulta facilitada por procedimientos automáticos de selección y transformación de variables predictoras. Se ha argumentado, sin embargo, que la construcción de modelos empíricos predictivos podría beneficiarse de la inclusión de una opinión de experto en las diferentes fases de la modelización. Esto supone una elevada inversión de tiempo, es difícil de estandarizar y está limitado por la existencia de expertos adecuados. Los procedimientos automáticos de selección de predictores son más rápidos y fáciles de integrar en un sistema de información geográfica y pueden producir modelos altamente explicativos que ajusten bien los datos usados en la construcción del modelo. Sin embargo, podrian no predecir bien sobre un conjunto independiente de observaciones y no ser útiles para extrapolar a otras áreas. Por el contrario, los modelos supervisados podrían incluir más frecuentemente relaciones causales y, de ser asi, predecirian mejor nuevas observaciones y podrian extrapolarse a otras áreas. En este trabajo generamos modelos predictivos para la presencia/ausencia de 10 especies de aves, en dos áreas de Andalucía (SO España), con el fin de comparar tres procedimientos de selección de predictores que diferian en el grado de implicación de un experto durante la construcción del modelo, y que iban desde uno automático a otro completamente supervisado. Evaluamos los modelos de tres maneras: (1) con el mismo conjunto de datos usado para construir los modelos, (2) con un nuevo conjunto de datos de la misma área y (3) con datos de un área geográfica diferente. El incremento de la implicación de un experto durante la construcción del modelo resultó en una disminución significativa de la capacidad predictiva de éste cuando se evaluó con un conjunto nuevo de datos, y no mejoró su capacidad predictiva cuando se transfirió a un área nueva. Los modelos automáticos tenían una tendencia mayor a sobreajustar los datos usados en la construcción; pero esto no afecto de manera negativa a la capacidad predictiva del modelo o su extrapolación a un área nueva. La incorporación de una opinión de experto en el proceso de modelización no genera modelos con mayor capacidad predictiva ni resulta en modelos que puedan hacer extrapolaciones más fiables. Por lo tanto, los procedimientos automáticos parecen un medio eficaz y rentable para crear mapas de distribución potencial de especies en un contexto regional.