Dieses Jahr werden wir auf unseren iPhones, iPads und Macs mit einer sehr leistungsfähigen KI beglückt, die lokal auf den Geräten läuft. Das ist eine erstaunliche Ingenieurleistung. Sowohl die Funktion als auch die dafür nötige Rechenleistung wäre bis vor kurzem noch ganz undenkbar gewesen. Natürlich kann diese KI nicht mit den gigantischen Modellen mithalten, die nur in Rechenzentren möglich sind. Aber gerade der Gigantismus führt zu der Frage, wie eine derart komplexe Funktion möglich wird auf einem Smartphone, mit wenig Speicher und einem winzigen Prozessor? Welche Tricks hat Apple angewendet? Was musste Apple weglassen? Wie wirkt es sich aus? Der Beitrag erläutert, wie aus großen KI-Modellen kleine Versionen destilliert werden, und welche Fähigkeiten sie haben.