A Cerebras publicou um detalhamento técnico de como encaixa modelos com trilhões de parâmetros em seus chips wafer-scale, usando o modelo open-source Kimi K3 — cerca de 3 trilhões de parâmetros — como exemplo prático. A empresa afirma que a configuração resultante roda a 1000-2000+ tokens por segundo, e o post chama atenção menos pelo número de throughput do que por mostrar a aritmética que uma equipe precisaria para replicar o exercício de dimensionamento em sua própria carga de trabalho.

A restrição da qual a Cerebras parte é memória, não computação. Um único wafer Cerebras WSE-3T carrega 44 GB de SRAM on-chip, e os 3 trilhões de parâmetros do Kimi K3, mesmo quantizados em 4 bits, não cabem em um único chip. O post da Cerebras detalha a matemática por camada diretamente: com quantização de pesos em 4 bits, a carga bruta de parâmetros dividida pelas 93 camadas do modelo resulta em cerca de 16 GB por camada. O próprio Kimi K3 é descrito no post como tendo 69 camadas de atenção linear e 24 camadas densas.

Como as camadas densas precisam de espaço on-chip para um KV cache por requisição ativa, enquanto as camadas de atenção linear carregam apenas um pequeno estado de tamanho fixo independentemente do comprimento do contexto, a Cerebras coloca apenas uma camada densa por wafer, mas encaixa duas camadas lineares por wafer (2 × 16 GB = 32 GB). Esse layout produz 24 wafers para as camadas densas e 35 para as camadas lineares — 59 wafers no total para abrigar uma cópia do Kimi K3, segundo a própria contabilidade da Cerebras. A empresa apresenta isso como um método geral, não um ajuste específico para o Kimi: "calcule a memória necessária para os pesos e o estado das requisições, distribua o modelo entre os wafers e conecte-os em um pipeline."

Os wafers são encadeados como estágios de pipeline, e a afirmação operacional do post é que, como o modelo costuma ser mapeado de forma que camadas inteiras caibam on-chip, os próprios pesos nunca se movem durante a inferência — apenas as ativações cruzam as fronteiras entre wafers, via RDMA sobre Ethernet, a cerca de 2 microssegundos por salto, segundo a Cerebras. O relato técnico também aborda uma pergunta que a empresa diz receber com frequência: se um pipeline estrito de wafer para wafer força um tamanho de batch efetivo igual a um. A resposta da Cerebras é que ela mantém todo estágio do pipeline ocupado com requisições diferentes simultaneamente — enquanto um wafer processa um token para uma requisição, o próximo wafer na cadeia lida com uma requisição diferente — e que cada estágio pode ainda processar um micro-batch em vez de uma única requisição, trocando latência por requisição por throughput total.

O recurso limitante para a concorrência, segundo o post, é o espaço de KV cache nos wafers de camada densa, já que cada requisição em andamento precisa de seu próprio cache ali; o exemplo prático da Cerebras assume um tamanho médio de requisição de 256k e um KV cache de 8 bits para derivar quantas requisições simultâneas uma determinada alocação de wafer suporta. A empresa é explícita ao afirmar que nem a contagem de concorrência nem o tamanho do batch são, por si só, uma métrica de eficiência suficiente, escrevendo que "a métrica mais significativa é o throughput total de tokens por unidade de potência (por exemplo, tokens por segundo por megawatt), quando medida na mesma velocidade de geração de saída" — uma métrica que o post referencia conceitualmente, mas para a qual não reporta um número neste relato.

O que o texto não fornece é uma comparação direta de custo ou energia com clusters de GPU servindo o mesmo modelo, nem um número publicado de tokens por segundo por megawatt para sustentar seu próprio enquadramento de eficiência — então o número de 1000-2000+ tokens por segundo fica sem uma base de custo por token ou utilização de hardware para ser comparado. O post também cita pontuações de benchmark do Kimi K3, 88.3% no Terminal-Bench 2.1 e 91.2% no BrowseComp, comparando-as com o que chama de "GPT-5.6 Sol," mas esses são números de qualidade de modelo, não métricas de implantação, e nada dizem sobre a própria sobrecarga de serviço da Cerebras.

Para equipes que dimensionam inferência em escala de wafer contra um cluster de GPU, a parte operacionalmente útil deste relato é o próprio método de orçamento camada por camada — contagem de parâmetros, largura de bits da quantização e pegada de KV cache por requisição se traduzem diretamente em uma contagem de wafers e um teto de concorrência, e essa aritmética pode ser refeita para qualquer modelo-alvo antes de se comprometer com qualquer uma das pilhas de hardware.