KI-Veranstaltungen
Sie interessieren sich für Veranstaltungen, die für das Arbeiten mit Methoden der Künstlichen Intelligenz auf Hochleistungsrechnern relevant sind?
Wir bieten Ihnen hier die gefilterte Darstellung des Kalenders der Gauß-Allianz (nicht nur NHR-Veranstalter!):
(Kalenderquelle: GA HPC-Kalender)
KI | Vom Laptop zum Supercomputer
Nächster Termin 16. April 2026, 14:00-16:00.
Veranstaltungslink: http://go-nhr.de/ai_on_hpc_vconf | Sprache: Englisch
Kontakt: aionsupercomputer@nhr-verein.de
KI - Open Q&A Hour
jeden Donnerstag, 14:00 - 15:00 (nicht am 16.04.2026)
Veranstaltungslink: http://go-nhr.de/ai_on_hpc_vconf | Sprache: Englisch
Kontakt: aionsupercomputer@nhr-verein.de
KI - Open Q&A Hour mit besonderem Fokus
jeden 2. Donnerstag im Monat, 14:00 - 15:00
Letztes Treffen mit besonderem Fokus: 12.02.26 (nächstes Treffen mit besonderme Fokus tba)
Veranstaltungslink: http://go-nhr.de/ai_on_hpc_vconf | Sprache: Englisch
Kontakt: aionsupercomputer@nhr-verein.de
Mini Tutorial
Automated Dynamic AI Inference Scaling on HPC-Infrastructure: Integrating Kubernetes, Slurm and vLLM
To tackle the rising demand for (generative) AI inference, especially in higher education, utilising already existing computing infrastructure like High-Performance Computing (HPC) seems to be a straightforward solution. However, the classical operating model of HPC is usually not tailored to the requirements of synchronous, user-facing applications. To tackle this, we propose a solution that fully integrates the cloud-native Kubernetes with HPC-native Slurm to deploy vLLM, a Large Language Model (LLM) inference-engine for high-throughput scenarios. Our solution allows for automatically scaling the number of deployed models based on actual hardware load, while leveraging the job scheduling mechanisms provided by Slurm to efficiently maximise load on inference hardware, thus freeing unneeded hardware for scientific computing jobs. In addition, we provide initial performance benchmarks for two typical HPC compute-node hardware configurations and an outlook on aspects we want to improve in the near future. As our solution is already running in a production scenario for an ever-increasing number of higher education institutions across North Rhine-Westphalia, we are open to discuss our experiences with this operating model following the presentation.
Weitere Informationen zu unseren KI-Angeboten finden Sie hier.