A Tenstorrent anunciou uma nova linha de servidores projetada para alcançar alto throughput de geração de tokens sem exigir as arquiteturas de desagregação prefill-decode comuns em implantações de LLM baseadas em NVIDIA. A abordagem simplifica a pilha de inferência em escala.
A desagregação adiciona complexidade operacional significativa para equipes de engenharia que atendem modelos de linguagem grandes em produção. Um design de hardware que a evita poderia reduzir tanto os custos de infraestrutura quanto a sobrecarga de DevOps — uma proposta relevante para empresas avaliando alternativas à NVIDIA para inferência.