URWORTE

Blog

7. August 2026

Mixture of Experts

Mixture of Experts (deutsch Expertengemisch, übliche Abkürzung MoE) bezeichnet in der Forschung zu neuronalen Netzen eine Architekturklasse, in der ein Modell aus mehreren spezialisierten Teilkomponenten – Experten – besteht. Ein lernbares Router– oder Gating-Netz entscheidet für jede Eingabe, welche und wie viele Experten zur Berechnung herangezogen werden.

Die Grundidee geht auf eine Arbeit von Robert A. Jacobs, Michael I. Jordan, Steven J. Nowlan und Geoffrey E. Hinton zurück (Adaptive Mixtures of Local Experts, Neural Computation 3, 1991); ihre heute dominante Form im Kontext großer Sprachmodelle wurde 2017 durch Noam Shazeer und Kollegen bei Google etabliert (Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer, ICLR 2017).

Mixture of Experts hat sich seit etwa 2023 als eine der wichtigsten Skalierungsstrategien für Frontier-Sprachmodelle durchgesetzt. Mehrere Modelle nutzen MoE-Architekturen, um die Gesamtparameteranzahl drastisch zu erhöhen, ohne die aktive Parameteranzahl pro Token proportional zu erhöhen:

Zusammenfassung

Die zentrale Idee von Mixture of Experts ist die bedingte Berechnung (englisch conditional computation): Nicht jeder Teil des Modells wird für jede Eingabe verwendet, sondern ein gelerntes Routing-Verfahren wählt für jeden Verarbeitungsschritt eine kleine Teilmenge spezialisierter Experten aus.

In klassischen dichten (englisch dense) Transformer-Architekturen wird jedes Token durch alle Modellparameter verarbeitet – bei einem 175-Milliarden-Parameter-Modell entsprechend durch alle 175 Milliarden Parameter.

In einer MoE-Architektur können dagegen beispielsweise nur 2 von 64 Experten je Token aktiviert werden – das Modell hat dann zwar weiterhin viele Milliarden Gesamtparameter, verarbeitet jedes Token aber nur durch einen kleinen Bruchteil davon. Diese Sparsität erlaubt es, die Gesamtparameteranzahl massiv zu erhöhen, ohne den Rechenaufwand pro Token entsprechend zu steigern.

Zentral sind drei Komponenten:

Mixture of Experts ist nicht ohne Schwierigkeiten: Das Training ist instabiler als bei dichten Modellen, die Inferenz erfordert spezielle Infrastruktur, und die Frage, ob die Experten tatsächlich semantisch unterschiedliche Domänen spezialisieren, ist Gegenstand laufender Forschung.

Begriffsgeschichte

Klassische Grundlegung (1991)

Der konzeptuelle Ursprung von Mixture of Experts liegt in einer Arbeit, die Robert A. Jacobs, Michael I. Jordan, Steven J. Nowlan und Geoffrey E. Hinton 1991 in Neural Computation publizierten (Adaptive Mixtures of Local Experts, Neural Computation 3 (1), S. 79–87).

Die Autoren schlugen vor, ein Problem in mehrere lokale Teilprobleme zu zerlegen, die jeweils von einem spezialisierten Netz (einem Experten) bearbeitet werden; ein zusätzliches Gating-Netz entscheidet aufgrund der Eingabe, welcher Experte zuständig ist. Das System wird gemeinsam trainiert, wobei sowohl die Experten als auch das Gating ihre Aufgaben lernen.

Michael I. Jordan und Robert A. Jacobs publizierten 1994 eine Erweiterung als Hierarchical Mixtures of Experts (Neural Computation 6), die mehrebige Routing-Strukturen einführte.

Sparse Gating und der Sprung zur Sprachmodellierung (2017)

Die Übertragung des Konzepts auf moderne neuronale Sprachmodelle erfolgte 2017 durch Noam Shazeer, Azalia Mirhoseini, Krzysztof Maziarz, Andy Davis, Quoc Le, Geoffrey Hinton und Jeff Dean von Google Brain. Ihre Arbeit Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer (ICLR 2017, arXiv 1701.06538) führte zwei zentrale Innovationen ein:

Erstens: Sparse Top-k Gating, bei dem das Gating-Netz für jedes Token nur die k aktivierungsstärksten Experten auswählt (typisch k = 2). Diese Sparsität macht die Berechnung effizient, weil tatsächlich nur ein kleiner Teil des Modells für jede Eingabe ausgewertet wird.

Zweitens: Ein Load-Balancing-Loss, der explizit dafür sorgt, dass alle Experten ungefähr gleich oft verwendet werden – andernfalls würde das Routing-Netz dazu tendieren, immer dieselben wenigen Experten zu wählen (Routing Collapse).

Die in der Arbeit demonstrierten Modelle erreichten bis zu 137 Milliarden Gesamtparameter (Shazeer u. a. 2017) – zu der damaligen Zeit weit größer als jedes andere veröffentlichte Sprachmodell.

GShard und Switch Transformer (2020–2021)

Eine direkte Fortsetzung erfolgte mit GShard (Lepikhin u. a., Google 2020, GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding, arXiv 2006.16668), das MoE auf maschinelle Übersetzung anwendete und Modelle mit über 600 Milliarden Parametern trainierte.

Eine vereinfachende Variante war der Switch Transformer (Fedus, Zoph, Shazeer, Google 2022, Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity, JMLR 23).

Statt der Top-2-Auswahl der Shazeer-Originalarbeit nutzte Switch Transformer eine Top-1-Strategie – jedes Token wird zu genau einem Experten geroutet. Dies vereinfacht die Implementierung erheblich und ermöglichte das Training eines Modells mit 1,6 Billionen Parametern (Fedus u. a. 2022). Im Vergleich zu dichten Modellen erreichte Switch Transformer denselben Verlust mit deutlich weniger Trainings-Compute.

GLaM, ST-MoE und weiteres Wachstum (2021–2022)

GLaM (Du u. a., Google 2022, GLaM: Efficient Scaling of Language Models with Mixture-of-Experts, ICML 2022) demonstrierte ein 1,2-Billionen-Parameter-Modell mit Top-2-Routing, das GPT-3-Niveau-Performance bei nur einem Drittel des Energiebedarfs erreichte. ST-MoE (Zoph u. a. 2022) adressierte Stabilitätsprobleme im Training.

Mixtral als Open-Source-Wendepunkt (Dezember 2023)

Eine substantielle Wende erfolgte am 8. Dezember 2023 mit der Veröffentlichung von Mixtral 8x7B durch das französische Labor Mistral. Das Modell – eine Erweiterung von Mistral 7B durch MoE – hat 47 Milliarden Gesamtparameter, aktiviert aber pro Token nur etwa 13 Milliarden (zwei von acht Experten plus geteilte Komponenten) (Jiang u. a. 2024).

Die Veröffentlichung als offenes Modell unter Apache-Lizenz machte MoE-Architekturen für die breite Forschungs- und Entwicklungs-Community zugänglich.

DeepSeek-MoE und die chinesischen MoE-Modelle (2024)

Im Verlauf des Jahres 2024 erschienen mehrere wichtige MoE-Arbeiten aus chinesischen Laboren. DeepSeek-MoE (Dai u. a., DeepSeek-AI 2024) führte Fine-grained Expert Segmentation (mehr, kleinere Experten) und Shared Expert Isolation (einige Experten sind immer aktiv, andere bedingt) ein.

DeepSeek-V2 (Juni 2024) und insbesondere DeepSeek-V3 (Dezember 2024) skalierten diese Architektur auf 236 Milliarden bzw. 671 Milliarden Gesamtparameter, mit nur etwa 21 Milliarden bzw. 37 Milliarden aktiven Parametern pro Token (DeepSeek-AI 2024). Qwen2-MoE und Hunyuan-Large (Tencent) folgten ähnlichen Linien.

Spekulative MoE-Strukturen bei Frontier-Modellen

Mehrere Frontier-Modelle westlicher Anbieter werden in der Sekundärliteratur als MoE-basiert vermutet – insbesondere GPT-4 (OpenAI, mehrfach in Sekundärquellen mit Schätzungen um 1,7 Billionen Gesamtparameter und 16 Experten beschrieben) und Gemini Ultra (Google DeepMind). OpenAI und Google haben diese Strukturen offiziell weder bestätigt noch dementiert.

Llama 4, Mistral Large 3 und weitere MoE-Modelle (2025–2026)

Am 5. April 2025 veröffentlichte Meta mit Llama 4 erstmals eine offiziell als MoE-Architektur bestätigte eigene Modellfamilie:

Damit ist MoE erstmals auch in Metas Referenzmodellfamilie fest etabliert, nachdem Llama 1 bis 3 durchgängig dichte Architekturen genutzt hatten.

Mistral AI veröffentlichte am 2. Dezember 2025 mit Mistral Large 3 das erste eigene MoE-Flaggschiffmodell seit der ursprünglichen Mixtral-Reihe (675 Mrd. Gesamt-, 41 Mrd. aktive Parameter, Apache-2.0-Lizenz).

DeepSeek-AI veröffentlichte am 24. April 2026 mit DeepSeek-V4 zwei weitere MoE-Modelle: DeepSeek-V4-Pro (1,6 Billionen Gesamt-, 49 Mrd. aktive Parameter) und DeepSeek-V4-Flash (284 Mrd. Gesamt-, 13 Mrd. aktive Parameter) (DeepSeek-AI 2026). Beide Modelle bieten ein Kontextfenster von 1 Million Tokens und einen zusätzlichen Sparse-Attention-Mechanismus (DeepSeek Sparse Attention, DSA) zur weiteren Reduktion des Rechenaufwands.

Alibaba veröffentlichte am 3. August 2026 mit Qwen3.8-Max ein MoE-Modell mit 2,4 Billionen Gesamtparametern (Razzaq 2026) – dem bislang größten öffentlich beschriebenen Sprachmodell dieser Art –, ohne jedoch die aktive Parameteranzahl offenzulegen.

Architektur

Grundstruktur

In einer typischen MoE-Transformer-Architektur wird der Feedforward-Block (FFN, Multi-Layer Perceptron) in Transformer-Schichten durch eine MoE-Schicht ersetzt. Diese MoE-Schicht besteht aus:

N Experten: Jeder Experte ist ein eigener Feedforward-Block mit eigenen Gewichten. Typische Werte: 8 (Mixtral), 16 (vermutet bei GPT-4), 64 (DeepSeek-V3), bis zu 256 oder mehr in jüngeren Modellen.

Router-Netzwerk: Ein kleines Netzwerk (typisch eine einzelne lineare Schicht mit Softmax) berechnet aus dem Eingangs-Token einen Wahrscheinlichkeitsvektor über die N Experten.

Top-k Auswahl: Die k Experten mit höchster Routing-Wahrscheinlichkeit werden ausgewählt (typisch k = 1 oder k = 2). Bei k > 1 werden die Expertenausgaben gewichtet kombiniert.

Load-Balancing-Mechanismus: Ein zusätzlicher Verlust-Term oder eine architektonische Maßnahme verhindert, dass das Routing-Netz zu wenige Experten verwendet.

Sparsity-Ratio

Das Verhältnis aus aktiven Parametern pro Token zu Gesamtparametern ist eine zentrale Architekturkennzahl. Typische Werte (Stand 2025/2026):

Mixtral 8x7B: 13B aktive / 47B Gesamt – etwa 28 % (Jiang u. a. 2024).

Mixtral 8x22B: 39B aktive / 141B Gesamt – etwa 28 %.

DeepSeek-V3: 37B aktive / 671B Gesamt – etwa 5,5 % (DeepSeek-AI 2024).

Llama 4 Maverick (Meta 2025): 17B aktive / 400B Gesamt – etwa 4,3 %.

DeepSeek-V4-Pro (2026): 49B aktive / 1,6T Gesamt – etwa 3,1 % (DeepSeek-AI 2026).

GPT-4 (spekulativ): etwa 280B aktive / 1,7T Gesamt – etwa 17 %.

Niedrigere Sparsity-Ratios erlauben dramatischere Erhöhung der Gesamtparameter, sind aber schwerer zu trainieren und erfordern aufwendigere Infrastruktur.

Routing-Strategien

Mehrere Routing-Strategien sind unterschieden:

Token Choice Routing: Das Standardverfahren – jedes Token wählt seine Top-k Experten. Problem: Manche Experten können überlastet werden, andere bleiben ungenutzt.

Expert Choice Routing (Zhou u. a. 2022): Umgekehrte Perspektive – jeder Experte wählt seine bevorzugten Tokens aus dem Batch. Garantiert gleichmäßige Auslastung, kann aber dazu führen, dass manche Tokens gar nicht oder mehrfach verarbeitet werden.

Hash Routing: Routing nach einer festen, lerngradientenfreien Hash-Funktion. Einfach, aber leistungsmäßig schwächer als gelerntes Routing.

Soft MoE (Puigcerver u. a. 2024): Verwendet kontinuierliche, weiche Auswahl statt diskreter Top-k-Auswahl; attraktiv, aber rechnerisch teurer.

Shared Experts und Fine-grained Segmentation

DeepSeek-MoE (2024) führte zwei Verfeinerungen ein, die in der jüngeren MoE-Forschung übernommen wurden:

Shared Experts: Eine kleine Zahl von Experten ist immer aktiv und wird unabhängig vom Routing für alle Tokens verwendet – sie fängt allgemein nützliches Wissen ab, das nicht spezialisierungswert wäre.

Fine-grained Expert Segmentation: Statt weniger großer Experten werden viele kleine Experten verwendet (etwa 64 statt 8), die jeweils nur einen Teil der ursprünglichen FFN-Größe haben. Die Kombination mehrerer kleiner Experten ergibt feiner abstimmbare Spezialisierungen.

Training und Stabilitätsfragen

Das Training von MoE-Modellen ist heikler als das Training dichter Modelle. Mehrere typische Probleme:

Router Instability: Das Routing-Netz kann während des Trainings instabile Entscheidungen treffen, was zu oszillierendem Verhalten führt. Antworten umfassen Router Z-Loss (ST-MoE), Auxiliary Losses zur Stabilisierung und sorgfältige Initialisierung.

Routing Collapse: Wenn keine Gegenmaßnahmen getroffen werden, kann das Routing-Netz dazu tendieren, immer dieselben wenigen Experten zu wählen. Load-Balancing-Loss-Terme (Shazeer u. a. 2017) oder Expert Choice Routing (Zhou u. a. 2022) adressieren das Problem.

Communication Overhead: MoE-Training erfordert massive Cross-Device Communication, wenn Experten auf verschiedenen GPUs platziert sind. All-to-All-Kommunikationsmuster können den Trainings-Durchsatz limitieren.

Memory Footprint: Die Gesamtparameteranzahl ist beim Training vollständig im Speicher zu halten, auch wenn pro Token nur ein Bruchteil aktiv ist. Techniken wie Expert Parallelism verteilen Experten auf verschiedene Beschleuniger.

Inferenz

In der Inferenzphase müssen alle Experten-Gewichte verfügbar gehalten werden, auch wenn pro Token nur ein Bruchteil aktiv ist. Dies hat substantielle Hardware-Konsequenzen:

Speicherbedarf: Ein 671-Milliarden-Parameter-MoE-Modell wie DeepSeek-V3 (DeepSeek-AI 2024) benötigt für Inferenz etwa 700 GB GPU-Speicher, auch wenn pro Token nur 37 Milliarden Parameter aktiv sind.

Batch-Effizienz: Bei großen Batches werden Experten typischerweise gut ausgelastet; bei kleinen Batches oder einzelnen Anfragen können viele Experten ungenutzt bleiben, was die effektive Rechen-Effizienz reduziert.

Spezialisierte Inferenz-Frameworks: vLLM, SGLang, TensorRT-LLM und andere haben spezielle MoE-Optimierungen entwickelt (Expert Parallelism, Sliding-Window-Routing).

Spezialisierung der Experten

Eine in der Forschung kontroverse Frage betrifft die Frage, ob MoE-Experten tatsächlich semantisch unterschiedliche Domänen spezialisieren – etwa ein Experte für Mathematik, ein anderer für Code, ein dritter für Englisch. Empirische Untersuchungen (Mu u. a. 2022; Jiang u. a. 2024 zu Mixtral) zeigen ein gemischtes Bild:

In manchen Schichten zeigen Experten klare thematische Spezialisierungen (etwa für Programmiersprachen, Zahlen, Sonderzeichen). In anderen Schichten sind die Experten weitgehend austauschbar – das Routing scheint vor allem statistischer Lastausgleich zu sein. Diese gemischte Befundlage steht im Kontrast zur populären Lesart der MoE-Architektur als „Domänenexperten”.

Kritik

Substantielle Kritik richtet sich auf mehrere Linien:

Hardware-Asymmetrie: MoE-Modelle profitieren primär in Settings, in denen Speicher reichlich, Compute aber knapp ist. In speicherbeschränkten Settings (Edge-Geräte, einzelne Consumer-GPUs) sind dichte Modelle oft effizienter.

Skalierungsgesetze: Die in Scaling Laws-Eintrag beschriebenen Beziehungen wurden ursprünglich für dichte Modelle formuliert. Für MoE gelten andere Skalierungsbeziehungen (Krajewski u. a. 2024, Scaling Laws for Fine-Grained Mixture of Experts), die noch nicht so gut etabliert sind wie die Chinchilla-Beziehungen.

Reproduzierbarkeit: Viele Frontier-MoE-Modelle (vermutete MoE-Struktur von GPT-4, Gemini Ultra) sind nicht öffentlich dokumentiert; die zentralen Designentscheidungen sind nur über offene Modelle (Mixtral, DeepSeek-V3) zugänglich.

Expertenspezialisierung: Die populäre Lesart, MoE-Experten würden semantisch klar getrennte Domänen lernen, wird durch empirische Untersuchungen nur teilweise gestützt. Die Frage, was MoE-Modelle eigentlich lernen, ist Gegenstand laufender Forschung.

Sicherheits- und Robustheitsfragen: Sparse-Routing kann zu unerwarteten Schwankungen im Modellverhalten führen, wenn das Routing zufällig auf andere Experten verteilt wird. Adversarielle Eingaben können das Routing potentiell gezielt manipulieren.

Stand 2025/2026

Mixture of Experts hat sich im Verlauf der Jahre 2023 bis 2026 als dominante Skalierungsarchitektur für Frontier-Sprachmodelle etabliert.

Praktisch alle führenden Anbieter nutzen MoE-Varianten oder werden in Sekundärquellen als MoE-basiert vermutet:

Die Schwerpunkte verschieben sich auf Fine-grained Expert Segmentation (mehr, kleinere Experten), Shared Expert Isolation und auf das Zusammenspiel von MoE mit Reasoning-Training (MoE-Reasoning-Modelle wie DeepSeek-R1). Auf der Infrastruktur-Seite haben spezialisierte Inferenz-Stacks (vLLM, SGLang, TensorRT-LLM) MoE-Optimierungen integriert.

Offen bleibt die Frage nach den langfristigen Grenzen der Skalierung – ob Modelle mit 10 Billionen oder 100 Billionen Gesamtparametern bei vergleichsweise geringen aktiven Parameteranzahlen tatsächlich proportional bessere Leistungen erzielen oder ob Sättigungseffekte eintreten.

Verwandte Begriffe

Quellenangaben

  1. Bengio, Emmanuel / Bacon, Pierre-Luc / Pineau, Joelle / Precup, Doina, 2016. Conditional Computation in Neural Networks for Faster Models. In: Proceedings of the International Conference on Learning Representations Workshop (ICLR 2016 Workshop). arXiv: 1511.06297.
  2. Dai, Damai u. a., 2024. DeepSeekMoE: Towards Ultimate Expert Specialization in Mixture-of-Experts Language Models. In: Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics (ACL 2024). arXiv: 2401.06066.
  3. DeepSeek-AI, 2024. DeepSeek-V3 Technical Report. arXiv: 2412.19437.
  4. DeepSeek-AI, 2026. DeepSeek V4 Preview Release. DeepSeek API Docs, 24. April 2026. https://api-docs.deepseek.com/news/news260424/
  5. Du, Nan u. a., 2022. GLaM: Efficient Scaling of Language Models with Mixture-of-Experts. In: Proceedings of the 39th International Conference on Machine Learning (ICML 2022), S. 5547–5569. arXiv: 2112.06905.
  6. Fedus, William / Zoph, Barret / Shazeer, Noam, 2022. Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity. In: Journal of Machine Learning Research 23 (120), S. 1–39. arXiv: 2101.03961.
  7. Jacobs, Robert A. / Jordan, Michael I. / Nowlan, Steven J. / Hinton, Geoffrey E., 1991. Adaptive Mixtures of Local Experts. In: Neural Computation 3 (1), S. 79–87. DOI: 10.1162/neco.1991.3.1.79.
  8. Jiang, Albert Q. u. a., 2024. Mixtral of Experts. Mistral AI. arXiv: 2401.04088.
  9. Jordan, Michael I. / Jacobs, Robert A., 1994. Hierarchical Mixtures of Experts and the EM Algorithm. In: Neural Computation 6 (2), S. 181–214. DOI: 10.1162/neco.1994.6.2.181.
  10. Krajewski, Jakub u. a., 2024. Scaling Laws for Fine-Grained Mixture of Experts. arXiv: 2402.07871.
  11. Lepikhin, Dmitry u. a., 2021. GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding. In: Proceedings of the International Conference on Learning Representations (ICLR 2021). arXiv: 2006.16668.
  12. DeepSeek-AI, 2024. DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model. arXiv: 2405.04434.
  13. Meta AI, 2025. The Llama 4 Herd: The Beginning of a New Era of Natively Multimodal AI Innovation. Meta AI Blog, 5. April 2025. https://ai.meta.com/blog/llama-4-multimodal-intelligence/
  14. Mistral AI, 2025. Introducing Mistral 3. Mistral AI, 2. Dezember 2025. https://mistral.ai/news/mistral-3/
  15. Mu, Jesse / Andreas, Jacob, 2022. Are Sparse Mixture-of-Experts Robust? An Empirical Study. In: Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing (EMNLP 2022).
  16. Puigcerver, Joan u. a., 2024. From Sparse to Soft Mixtures of Experts. In: Proceedings of the International Conference on Learning Representations (ICLR 2024). arXiv: 2308.00951.
  17. Razzaq, Asif, 2026. Alibaba Qwen Releases Qwen3.8-Max: A 2.4 Trillion Parameter MoE Model and the Most Capable One in the Qwen Family to Date. MarkTechPost, 3. August 2026. https://www.marktechpost.com/2026/08/03/alibaba-qwen-releases-qwen3-8-max/
  18. Riquelme, Carlos u. a., 2021. Scaling Vision with Sparse Mixture of Experts. In: Advances in Neural Information Processing Systems 34 (NeurIPS 2021), S. 8583–8595.
  19. Shazeer, Noam u. a., 2017. Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer. In: Proceedings of the International Conference on Learning Representations (ICLR 2017). arXiv: 1701.06538.
  20. Sun, Xin u. a., 2024. Hunyuan-Large: An Open-Source MoE Model with 52 Billion Activated Parameters by Tencent. arXiv: 2411.02265.
  21. Zhou, Yanqi u. a., 2022. Mixture-of-Experts with Expert Choice Routing. In: Advances in Neural Information Processing Systems 35 (NeurIPS 2022). arXiv: 2202.09368.
  22. Zoph, Barret u. a., 2022. ST-MoE: Designing Stable and Transferable Sparse Expert Models. arXiv: 2202.08906.

← Zurück zur Lexikon-Übersicht