Artigo
Can large language models implement agent-based models? An ODD-based replication study
Ecological Modelling
— 2026 — Elsevier
Informações chave
Autores:
Publicado em
1 de julho de 2026
Resumo
Large language models (LLMs) can now synthesize non-trivial executable code from textual descriptions, raising an important question: can LLMs reliably implement agent-based models from standardized specifications in a way that supports replication, verification, and validation? We address this question by evaluating 17 contemporary LLMs on a controlled ODD-to-code translation task, using the PPHPC predator–prey model as a fully specified reference. Generated Python implementations are assessed through staged executability checks, model-independent statistical comparison against a validated NetLogo baseline, and quantitative measures of runtime efficiency and maintainability. Results show that behaviorally faithful implementations are achievable but not guaranteed, and that executability alone is insufficient for scientific use. GPT-4.1 consistently produces statistically valid and efficient implementations, with Claude 3.7 Sonnet performing well but less reliably. Overall, the findings clarify both the promise and current limitations of LLMs as model engineering tools, with implications for reproducible agent-based and ecological modeling.
Detalhes da publicação
Autores da comunidade :
Nuno Fachada
ist145239
Carlos Miguel da Costa Fernandes
ist46419
Versão da publicação
VoR - Versão publicada
Editora
Elsevier
Ligação para a versão da editora
https://doi.org/10.1016/j.ecolmodel.2026.111624
Título do contentor da publicação
Ecological Modelling
Primeira página ou número de artigo
111624
Volume
517
ISSN
1872-7026
Domínio Científico (FOS)
computer-and-information-sciences - Ciências da Computação e da Informação
Palavras-chave
- Natural language model specification
- Specification-to-code translation
- Code generation
- Computational reproducibility
- Verification and validation
Idioma da publicação (código ISO)
eng - Inglês
Acesso à publicação:
Acesso Restrito
Entidade financiadora da bolsa/projeto
Fundação para a Ciência e a Tecnologia
Nome da bolsa/projeto: INESC INOV – Laboratório de Investigação & Desenvolvimento
Fonte de financiamento: Avaliação UID 2023/2024
Identificador da Entidade Financiadora: https://doi.org/10.13039/501100001871
Tipo de identificador da Entidade Financiadora: Crossref Funder
Número de bolsa/projeto: UID/06486/2025
Entidade financiadora da bolsa/projeto
Fundação para a Ciência e a Tecnologia
Nome da bolsa/projeto: INESC INOV – Laboratório de Investigação & Desenvolvimento
Fonte de financiamento: Avaliação UID 2023/2024 PRR
Identificador da Entidade Financiadora: https://doi.org/10.13039/501100001871
Tipo de identificador da Entidade Financiadora: Crossref Funder
Número de bolsa/projeto: UID/PRR/06486/2025
Entidade financiadora da bolsa/projeto
Fundação para a Ciência e a Tecnologia
Nome da bolsa/projeto: INESC INOV – Laboratório de Investigação & Desenvolvimento
Fonte de financiamento: EQUIPAR +2 - UID.PRR2
Identificador da Entidade Financiadora: https://doi.org/10.13039/501100001871
Tipo de identificador da Entidade Financiadora: Crossref Funder
Número de bolsa/projeto: UID/PRR2/06486/2025
Entidade financiadora da bolsa/projeto
Fundação para a Ciência e a Tecnologia
Nome da bolsa/projeto: Instituto de Telecomunicações
Fonte de financiamento: Avaliação UID 2023/2024
Identificador da Entidade Financiadora: https://doi.org/10.13039/501100001871
Tipo de identificador da Entidade Financiadora: Crossref Funder
Número de bolsa/projeto: UID/50008/2025
Entidade financiadora da bolsa/projeto
Fundação para a Ciência e a Tecnologia
Nome da bolsa/projeto: Instituto de Telecomunicações
Fonte de financiamento: Avaliação UID 2023/2024 PRR
Identificador da Entidade Financiadora: https://doi.org/10.13039/501100001871
Tipo de identificador da Entidade Financiadora: Crossref Funder
Número de bolsa/projeto: UID/PRR/50008/2025
Entidade financiadora da bolsa/projeto
Fundação para a Ciência e a Tecnologia
Nome da bolsa/projeto: Instituto de Telecomunicações
Fonte de financiamento: EQUIPAR +2 - UID.PRR2
Identificador da Entidade Financiadora: https://doi.org/10.13039/501100001871
Tipo de identificador da Entidade Financiadora: Crossref Funder
Número de bolsa/projeto: UID/PRR2/50008/2025
Entidade financiadora da bolsa/projeto
Fundação para a Ciência e a Tecnologia
Nome da bolsa/projeto: João P. Matos-Carvalho
Identificador da Entidade Financiadora: https://doi.org/10.13039/501100001871
Tipo de identificador da Entidade Financiadora: Crossref Funder
Número de bolsa/projeto: 2023.15441.TENURE.051/CP00003/CT00029
Entidade financiadora da bolsa/projeto
Fundação para a Ciência e a Tecnologia
Nome da bolsa/projeto: LASIGE Centro de Investigação em Ciência e Engenharia da Computação
Fonte de financiamento: Avaliação UID 2023/2024
Identificador da Entidade Financiadora: https://doi.org/10.13039/501100001871
Tipo de identificador da Entidade Financiadora: Crossref Funder
Número de bolsa/projeto: UID/00408/2025
Entidade financiadora da bolsa/projeto
Fundação para a Ciência e a Tecnologia
Nome da bolsa/projeto: LASIGE Centro de Investigação em Ciência e Engenharia da Computação
Fonte de financiamento: Avaliação UID 2023/2024 PRR
Identificador da Entidade Financiadora: https://doi.org/10.13039/501100001871
Tipo de identificador da Entidade Financiadora: Crossref Funder
Número de bolsa/projeto: UID/PRR/00408/2025
Entidade financiadora da bolsa/projeto
Fundação para a Ciência e a Tecnologia
Nome da bolsa/projeto: A computational pipeline for modeling and predicting wildfire behavior
Fonte de financiamento: CEEC INST 2ed
Identificador da Entidade Financiadora: https://doi.org/10.13039/501100001871
Tipo de identificador da Entidade Financiadora: Crossref Funder
Número de bolsa/projeto: CEECINST/00002/2021/CP2788/CT0001
Entidade financiadora da bolsa/projeto
Instituto Lusófono de Investigação e Desenvolvimento
Nome da bolsa/projeto: FireGuard: Fire Management with Autonomous UAV Navigation
Fonte de financiamento: Seed Funding
Identificador da Entidade Financiadora: http://isni.org/isni/0000000458956849
Tipo de identificador da Entidade Financiadora: ISNI
Número de bolsa/projeto: COFAC/ILIND/COPELABS/1/2024
Entidade financiadora da bolsa/projeto
Ministerio de Ciencia, Innovación y Universidades
Nome da bolsa/projeto: SINTESIS Y EXPLORACION DE SISTEMAS COMPLEJOS EFICIENTES APLICADAS A CIBERSEGURIDAD, VIDEOJUEGOS Y ANALISIS DE SOCIEDADES HISTORICAS
Fonte de financiamento: MICIU/AEI/10.13039/501100011033
Identificador da Entidade Financiadora: https://doi.org/10.13039/100014440
Tipo de identificador da Entidade Financiadora: Crossref Funder
Número de bolsa/projeto: PID2023-147409NB-C21