Suggestions
Alessandro Vitale
CEO & Founder at Conversate
Alessandro Vitale is a well-established professional in the AI and chatbot industry, serving as the CEO of Conversate, a company dedicated to developing top-tier chatbots.
His educational background includes studying for an MBA in Economics at MIP Politecnico di Milano and pursuing a Master of Science in Managerial Engineering at Alma Mater Studiorum – Università di Bologna.
With a diverse professional history, Alessandro has held key positions in renowned organizations. Notably, he has authored a book on Artificial Intelligence for EgeaEditore, been a member of the Task Force on Artificial Intelligence at Agenzia per l'Italia Digitale, and served as CEO and Founder of Conversate.
Prior to his current role, Alessandro Vitale was the CEO and Chief Data Scientist at Optimist AI, delved into business development in the Industry South West Europe at Siemens, and honed his strategic planning skills as the Head of Strategic Planning and Senior Strategy Analyst at Siemens.
Highlights
L'Università degli Studi di Milano Bicocca ha pubblicato uno dei lavori più importanti per la Generative AI in Italia. Finora mancava un benchmark per capire quanto bene funzionassero gli LLM sull'italiano. Ogni volta che venivano riportati dei numeri, questi provenivano da test nati per l'americano e poi tradotti in automatico (e male) in italiano. Per ovviare a questo, UniMiB e il centro di ricerca CRISP hanno adattato i test INVALSI che fanno i bambini di elementari, medie e superiori in un test per gli LLM. Detto che i modelli LLM non si scelgono solo in base a un numero, nel caso capiti di farlo questo è il numero da guardare. E i risultati sono molto interessanti.
Come aveva già capito chiunque l'avesse provato, Claude 3.5 Sonnet di Anthropic è al momento di gran lunga il miglior modello in circolazione. I modelli di OpenAI richiedono diversi asterischi. Sono gli unici a bloccare con il filtro etico il 5,4% delle risposte, ritenendo non etici i testi di Gianni Rodari e Ennio Flaiano. Inoltre GPT-4o risponde testualmente "lettera" il 12,64% delle volte invece che fornire la lettera della soluzione. GPT-3.5, che dal mio osservatorio personale è quello più usato dalle aziende in produzione, ne esce molto male. E' il caso di incominciare a pensare di mandarlo in pensione e sostituirlo con modelli più moderni che costano meno e performano nettamente meglio. Tra i modelli aperti, stupisce Google Gemma 2 9B it (it sta per instruct e non italiano, è multilingua) che, nonostante le piccole dimensioni per cui potrebbe girare in locale su un portatile mediamente potente, è migliore di GPT-3.5 e probabilmente anche più economico. Ottimi i fine tune di modelli open di Michele Montebovi e di MII-LLM che migliorano significativamente i modelli originali sull'italiano. In ultimo i modelli creati in Italia come l'adattamento di Ludovico Comito del modello Minerva di Sapienza Università di Roma sono un inizio ma hanno ancora molta strada da fare prima di poter essere presi in considerazione (anche se bisogna tenere conto che il modello di iGenius è la distribuzione adattata per HuggingFace e non l'originale).
Un grande grazie e complimenti a Fabio Mercorio, Mario Mezzanzanica, Daniele P., Antonio Serino e Andrea S. per il paper e per tenerlo vivo con la leaderboard su HuggingFace
Paper: https://lnkd.in/dF34GjAD Leaderboard: https://lnkd.in/deRc2TYr
Nota Nei commenti c'è una versione aggiornata della slide che riporta correttamente gli autori di Maestrale chat v0.4 beta e di Minerva 3B Ties 1.0
Domani sera in Talent Garden Calabiana a Milano ragioneremo di Artificial Intelligence insieme a specialisti di Eni. Con me ed Andrea Saltarello, reduce fra le altre cose dall'organizzazione della prima ottima AI Conf, ci saranno Chiara Torti e Alessandro Curio in una discussione coordinata da Luciano Canova. A seguire uno speech di Alessandra Fidanzi e un aperitivo dove proseguire il confronto.
Grazie a Talent Garden ed Eni per l'organizzazione e l'invito, qui maggiori informazioni
https://lnkd.in/dHPuvJEq
