State-Space-modellen versus Transformers: Mamba-2 in het ophalen van lange contexten

Analyse van subkwadratische aandachtsalternatieven, hardwarebewuste SSD-algoritmen en benchmarks voor productie-implementatie op meer dan 1 miljoen tokeninvoer.

Het kwadratische geheugenknelpunt overwinnen

De aandacht van de Standard Transformer schaalt kwadratisch ($O(N^2)$) met de contextlengte. Selectieve State Space Models (SSM's), geïllustreerd door Mamba-2 en State Space Duality (SSD), bieden lineaire schaling ($O(N)$) voor ultralange contextinferentie.

1. Formulering van State Space Duality (SSD).

Mamba-2 verenigt modellen voor continue toestandsruimte met gestructureerde matrixvermenigvuldigingen, waardoor een snelle GPU-tensor-core-uitvoering mogelijk is, identiek aan FlashAttention, terwijl de continue toestandscompressie behouden blijft.

2. Constante geheugeninferentie

Terwijl Transformers enorme Key-Value (KV) cache-footprints verzamelen tijdens het genereren van tokens, behouden SSM's een vaste verborgen statusgrootte, ongeacht de generatiestap, waardoor de geheugenoverhead tijdens chats met meerdere beurten drastisch wordt verminderd.

3. Hybride SSM-aandachtsarchitecturen

Productiemodellen combineren steeds vaker 80% SSM-lagen met 20% standaard aandachtslagen, waardoor globale associatieve herinnering wordt vastgelegd terwijl de lineaire doorvoer bij query's op documentschaal behouden blijft.

Gemini Spark versus Meta Muse: de ultieme SLM-shootout op het apparaat voor Edge-hardware voor 2027

We hebben een uitgebreide hardwarebenchmark uitgevoerd waarbij Google's nieuw gelekte Gemini Spark (3,2 miljard) werd vergeleken met Meta's open-weight Muse (3,5 miljard), waarbij geheugenvoetafdrukken, NPU-energie-efficiëntie, thermische beperking en lokale agentische autonomie op mobiele edge-chipsets werden geanalyseerd.

Grok 4.7 wordt gelanceerd met realtime planetaire telemetrie: xAI verbindt Starlink Constellation en X Live Feeds rechtstreeks met neurale gewichten

xAI heeft vandaag Grok 4.7 geïmplementeerd in zijn supercomputercluster in Memphis, waarmee een revolutionaire architectuur voor continue streaming wordt geïntroduceerd die orbitale telemetrie van Starlink, wereldwijde sociale feeds en live zintuiglijke streams rechtstreeks in streaming aandachtshoofden opneemt.

Het Claude-bewustzijnsdebat: antropisch onderzoekspapier ontketent een wereldwijde AI-ethiekstorm over signalen van modelintrospectie

Een peer-reviewed Anthropic safety paper waarin opkomende zelfcontroletoestanden en introspectieve activeringsvectoren in geavanceerde Claude-modellen worden onderzocht, heeft vandaag de dag een gepassioneerd debat aangewakkerd onder cognitieve neurowetenschappers, ethici en onderzoekers op het gebied van machine learning.

💬 Discussion 1

Guest

Thimo Blom Sep 26, 2021 (collapsed)

Ik had mezelf plechtig beloofd onze stack dit jaar simpel te houden. Dan lees ik over „State-Space-modellen versus Transformers: Mamba-2 in het ophalen van lange contexten“ en besef ik dat onze huidige setup met ducktape en goede hoop aan elkaar hangt. Zeg me alsjeblieft dat ik niet de enige ben.

0

Core Research Areas