Selecting and evaluating the most suitable Large Language Model (LLM) for a given task remains a significant challenge, particularly in domain-specific applications such as healthcare and legal research, which require models to provide transparency regarding training data, task specialization, and compliance with ethical standards. Despite the availability of open-source platforms for sharing models and datasets, challenges persist in accessing critical information. Incomplete metadata and inconsistent documentation hinder efficient model discovery, comparison, and adoption. In this paper, we introduce a simple conceptual map for LLMs, designed to assist researchers and practitioners in understanding the complex landscape of generative models. We provide a rationale for our modeling choices and a comprehensive description of the map in terms of four interconnected entities. Our primary objective is to provide all practitioners in the field — not just developers, but managers, testers, and other people who are part of producing and using technology — a clear terminology for expressing how to address the LLM landscape. A secondary objective is a call on industry stakeholders — including collaborative platforms and model providers—to enhance transparency and reproducibility in LLM research and deployment.

La selezione e la valutazione del Large Language Model (LLM) più adatto a uno specifico compito rappresentano ancora una sfida significativa, soprattutto nelle applicazioni relative ad ambiti specialistici, quali quello sanitario e quello della ricerca giuridica, che richiedono ai modelli di garantire trasparenza rispetto ai dati utilizzati per l’addestramento, alla specializzazione funzionale e alla conformità agli standard etici. Nonostante la disponibilità di piattaforme open source per la condivisione di modelli e dataset, permangono difficoltà nell’accesso a informazioni fondamentali. L’incompletezza dei metadati e la disomogeneità della documentazione ostacolano infatti l’individuazione, il confronto e l’adozione efficiente dei modelli. In questo contributo viene presentata una semplice mappa concettuale dei LLM, concepita per supportare ricercatori e professionisti nella comprensione del complesso panorama dei modelli generativi. Vengono illustrate le motivazioni alla base delle scelte di modellazione adottate e fornita una descrizione approfondita della mappa, articolata in quattro entità interconnesse. L’obiettivo principale è mettere a disposizione di tutti gli operatori del settore — non soltanto degli sviluppatori, ma anche dei responsabili della gestione, degli addetti alla valutazione e al collaudo e di tutte le altre figure coinvolte nella produzione e nell’utilizzo delle tecnologie — una terminologia chiara e condivisa, che consenta di descrivere e affrontare in modo sistematico la complessità del panorama dei LLM. Un secondo obiettivo consiste nel sollecitare gli attori del settore industriale, comprese le piattaforme collaborative e i fornitori di modelli, a promuovere una maggiore trasparenza e riproducibilità nella ricerca, nello sviluppo e nell’impiego dei Large Language Models.

A conceptual map for exploring the landscape of Large Language Models

Pierri, Francesco;Bernasconi, Anna;Ceri, Stefano
2025-01-01

Abstract

Selecting and evaluating the most suitable Large Language Model (LLM) for a given task remains a significant challenge, particularly in domain-specific applications such as healthcare and legal research, which require models to provide transparency regarding training data, task specialization, and compliance with ethical standards. Despite the availability of open-source platforms for sharing models and datasets, challenges persist in accessing critical information. Incomplete metadata and inconsistent documentation hinder efficient model discovery, comparison, and adoption. In this paper, we introduce a simple conceptual map for LLMs, designed to assist researchers and practitioners in understanding the complex landscape of generative models. We provide a rationale for our modeling choices and a comprehensive description of the map in terms of four interconnected entities. Our primary objective is to provide all practitioners in the field — not just developers, but managers, testers, and other people who are part of producing and using technology — a clear terminology for expressing how to address the LLM landscape. A secondary objective is a call on industry stakeholders — including collaborative platforms and model providers—to enhance transparency and reproducibility in LLM research and deployment.
2025
La selezione e la valutazione del Large Language Model (LLM) più adatto a uno specifico compito rappresentano ancora una sfida significativa, soprattutto nelle applicazioni relative ad ambiti specialistici, quali quello sanitario e quello della ricerca giuridica, che richiedono ai modelli di garantire trasparenza rispetto ai dati utilizzati per l’addestramento, alla specializzazione funzionale e alla conformità agli standard etici. Nonostante la disponibilità di piattaforme open source per la condivisione di modelli e dataset, permangono difficoltà nell’accesso a informazioni fondamentali. L’incompletezza dei metadati e la disomogeneità della documentazione ostacolano infatti l’individuazione, il confronto e l’adozione efficiente dei modelli. In questo contributo viene presentata una semplice mappa concettuale dei LLM, concepita per supportare ricercatori e professionisti nella comprensione del complesso panorama dei modelli generativi. Vengono illustrate le motivazioni alla base delle scelte di modellazione adottate e fornita una descrizione approfondita della mappa, articolata in quattro entità interconnesse. L’obiettivo principale è mettere a disposizione di tutti gli operatori del settore — non soltanto degli sviluppatori, ma anche dei responsabili della gestione, degli addetti alla valutazione e al collaudo e di tutte le altre figure coinvolte nella produzione e nell’utilizzo delle tecnologie — una terminologia chiara e condivisa, che consenta di descrivere e affrontare in modo sistematico la complessità del panorama dei LLM. Un secondo obiettivo consiste nel sollecitare gli attori del settore industriale, comprese le piattaforme collaborative e i fornitori di modelli, a promuovere una maggiore trasparenza e riproducibilità nella ricerca, nello sviluppo e nell’impiego dei Large Language Models.
Conceptual maps
FAIR principles
Hugging Face
Large Language Models
Model metadata
Model selection
Reproducibility
Transparency
File in questo prodotto:
File Dimensione Formato  
A_conceptual_map_for_exploring_the_landscape_of_Large_Language_Models.pdf

accesso aperto

: Publisher’s version
Dimensione 6.78 MB
Formato Adobe PDF
6.78 MB Adobe PDF Visualizza/Apri

I documenti in IRIS sono protetti da copyright e tutti i diritti sono riservati, salvo diversa indicazione.

Utilizza questo identificativo per citare o creare un link a questo documento: https://hdl.handle.net/11311/1299686
Citazioni
  • ???jsp.display-item.citation.pmc??? ND
  • Scopus 1
  • ???jsp.display-item.citation.isi??? 1
  • OpenAlex 1
social impact