KI-Veranstaltungen
Sie interessieren sich für Veranstaltungen, die für das Arbeiten mit Methoden der Künstlichen Intelligenz auf Hochleistungsrechnern relevant sind?
Wir bieten Ihnen hier die gefilterte Darstellung des Kalenders der Gauß-Allianz (nicht nur NHR-Veranstalter!):
(Kalenderquelle: GA HPC-Kalender)
KI | Vom Laptop zum Supercomputer
Nächster Termin ist für Anfang 2026 geplant
Veranstaltungslink: http://go-nhr.de/ai_on_hpc_vconf | Sprache: Englisch
Kontakt: aionsupercomputer@nhr-verein.de
KI - Open Q&A Hour
jeden Donnerstag, 14:00 - 15:00
Veranstaltungslink: http://go-nhr.de/ai_on_hpc_vconf | Sprache: Englisch
Kontakt: aionsupercomputer@nhr-verein.de
KI - Open Q&A Hour mit besonderem Fokus
jeden 2. Donnerstag im Monat, 14:00 - 15:00
Nächstes Treffen mit besonderem Fokus: 13.11.25
Veranstaltungslink: http://go-nhr.de/ai_on_hpc_vconf | Sprache: Englisch
Kontakt: aionsupercomputer@nhr-verein.de
Topic: "Perspectives on LLM Inference Benchmarking"
Open-source large language models are increasingly used across diverse applications and deployed on HPC systems to leverage acceleration hardware. For both users and the HPC community, inference latency is a key performance factor affecting responsiveness and efficiency. However, comparing performance across different models, frameworks, and configurations remains challenging.
In this session, we present BALI [1] -- A Benchmark for accelerated Language Model Inference. It allows users to run LLMs with a fixed configuration on different Inference frameworks, comparing their text generation speed under user defined/application dependent settings. We aim for a discussion with the HPC and LLM Community to identify which perspectives, metrics or measurements on LLM inference are needed mostly and in the future to assess their efficiency.
[1] - L. Jurkschat, P. Gattogi, S. Vahdati and J. Lehmann, "BALI—A Benchmark for Accelerated Language Model Inference," in IEEE Access, vol. 13, pp. 98976-98989, 2025, doi: 10.1109/ACCESS.2025.3576898.