Selecting and evaluating the most suitable Large Language Model (LLM) for a given task remains a significant challenge, particularly in domain-specific applications such as healthcare and legal research, which require models to provide transparency regarding training data, task specialization, and compliance with ethical standards. Despite the availability of open-source platforms for sharing models and datasets, challenges persist in accessing critical information. Incomplete metadata and inconsistent documentation hinder efficient model discovery, comparison, and adoption. In this paper, we introduce a simple conceptual map for LLMs, designed to assist researchers and practitioners in understanding the complex landscape of generative models. We provide a rationale for our modeling choices and a comprehensive description of the map in terms of four interconnected entities. Our primary objective is to provide all practitioners in the field — not just developers, but managers, testers, and other people who are part of producing and using technology — a clear terminology for expressing how to address the LLM landscape. A secondary objective is a call on industry stakeholders — including collaborative platforms and model providers—to enhance transparency and reproducibility in LLM research and deployment.
La selezione e la valutazione del Large Language Model (LLM) più adatto a uno specifico compito rappresentano ancora una sfida significativa, soprattutto nelle applicazioni relative ad ambiti specialistici, quali quello sanitario e quello della ricerca giuridica, che richiedono ai modelli di garantire trasparenza rispetto ai dati utilizzati per l’addestramento, alla specializzazione funzionale e alla conformità agli standard etici. Nonostante la disponibilità di piattaforme open source per la condivisione di modelli e dataset, permangono difficoltà nell’accesso a informazioni fondamentali. L’incompletezza dei metadati e la disomogeneità della documentazione ostacolano infatti l’individuazione, il confronto e l’adozione efficiente dei modelli. In questo contributo viene presentata una semplice mappa concettuale dei LLM, concepita per supportare ricercatori e professionisti nella comprensione del complesso panorama dei modelli generativi. Vengono illustrate le motivazioni alla base delle scelte di modellazione adottate e fornita una descrizione approfondita della mappa, articolata in quattro entità interconnesse. L’obiettivo principale è mettere a disposizione di tutti gli operatori del settore — non soltanto degli sviluppatori, ma anche dei responsabili della gestione, degli addetti alla valutazione e al collaudo e di tutte le altre figure coinvolte nella produzione e nell’utilizzo delle tecnologie — una terminologia chiara e condivisa, che consenta di descrivere e affrontare in modo sistematico la complessità del panorama dei LLM. Un secondo obiettivo consiste nel sollecitare gli attori del settore industriale, comprese le piattaforme collaborative e i fornitori di modelli, a promuovere una maggiore trasparenza e riproducibilità nella ricerca, nello sviluppo e nell’impiego dei Large Language Models.
A conceptual map for exploring the landscape of Large Language Models
Pierri, Francesco;Bernasconi, Anna;Ceri, Stefano
2025-01-01
Abstract
Selecting and evaluating the most suitable Large Language Model (LLM) for a given task remains a significant challenge, particularly in domain-specific applications such as healthcare and legal research, which require models to provide transparency regarding training data, task specialization, and compliance with ethical standards. Despite the availability of open-source platforms for sharing models and datasets, challenges persist in accessing critical information. Incomplete metadata and inconsistent documentation hinder efficient model discovery, comparison, and adoption. In this paper, we introduce a simple conceptual map for LLMs, designed to assist researchers and practitioners in understanding the complex landscape of generative models. We provide a rationale for our modeling choices and a comprehensive description of the map in terms of four interconnected entities. Our primary objective is to provide all practitioners in the field — not just developers, but managers, testers, and other people who are part of producing and using technology — a clear terminology for expressing how to address the LLM landscape. A secondary objective is a call on industry stakeholders — including collaborative platforms and model providers—to enhance transparency and reproducibility in LLM research and deployment.| File | Dimensione | Formato | |
|---|---|---|---|
|
A_conceptual_map_for_exploring_the_landscape_of_Large_Language_Models.pdf
accesso aperto
:
Publisher’s version
Dimensione
6.78 MB
Formato
Adobe PDF
|
6.78 MB | Adobe PDF | Visualizza/Apri |
I documenti in IRIS sono protetti da copyright e tutti i diritti sono riservati, salvo diversa indicazione.



