AMD fala sobre empilhamento de computação e DRAM no ISSCC 2023

No ISSC 2023, a Dra. Lisa Su, CEO da AMD, discutiu os componentes de empilhamento e por que o empacotamento avançado é necessário para alcançar a computação Zettascale no futuro. Parte da discussão girou em torno da memória. Dado que acabamos de publicar alguns artigos sobre memória, queríamos cobrir isso brevemente no STH.

Um dos grandes limitadores para a construção de sistemas maiores tornou-se o poder de acesso à memória. Isso veio de duas formas, principalmente de interfaces de alta velocidade, bem como simplesmente adicionando mais canais de memória aos servidores. Aqui está o gráfico da AMD de 2007 ou mais até 2023.

Discutimos recentemente o aumento da largura de banda de memória por núcleo e por soquete para Intel Xeon e AMD EPYC na última década e fizemos um artigo RDIMM de servidor DDR5 onde mostramos por que o salto acima de DDR4 de 8 canais para DDR5 de 12 canais foi tão grande salto no desempenho.

Um dos maiores desafios está no lado de E/S, onde a eficiência de energia está melhorando, mas a perda de canal está se tornando um desafio maior.

O impacto líquido disso é que sair do pacote para DRAM está se tornando cada vez mais caro do ponto de vista da energia. Já vimos casos em que o HBM foi integrado em pacotes para CPUs e GPUs, mas existem outras tecnologias. Isso inclui o uso de ótica co-empacotada e empilhamento de chips 3D.

No ISSCC 2023, a AMD mostrou o conceito de aproximar a memória da computação usando um interposer de silício (semelhante à forma como as GPUs integram o HBM hoje), para o futuro do empilhamento de memória na computação. Mover dados através de uma pilha 3D usa muito menos energia do que tentar direcionar sinais para slots DDR5 DIMM.

Na palestra, o próximo AMD Instinct MI300 foi discutido. Uma das partes interessantes nesta apresentação foi o empilhamento 3D de Infinity Cache e Infinity Fabric morre abaixo dos núcleos de CPU e GPU no MI300.

Para alguma referência, o empilhamento 3D SRAM que vemos no atual Milan-X e em breve na série Ryzen 7000X3D, coloca o SRAM acima da matriz da CPU. O MI300 mudaria isso e colocaria o cache abaixo da matriz da CPU. O resfriamento é um grande desafio, portanto, aproximar os blocos de computação quentes de um bloco de resfriamento líquido faz sentido.

Outro tópico rápido discutido durante a palestra foi o processamento na memória. Cobrimos o Samsung HBM2-PIM e o Aquabolt-XL no Hot Chips 33 e a AMD disse que está trabalhando para pesquisar computação em memória com a Samsung. A ideia aqui é ainda mais dramática por não ter que mover os dados da memória para fazer algum cálculo nele.

Isso ainda parece um pouco mais distante do que alguns dos avanços de embalagem para memória.

A movimentação de dados dentro de um sistema e dentro de um rack está se tornando um ponto de foco importante para o setor. Esse custo de energia e desempenho da movimentação de dados diminui a eficiência geral de um sistema. Como resultado, toda a indústria está trabalhando para evoluir além da CPU típica com modelo DRAM conectado e mudar para novas arquiteturas. Como a palestra aconteceu no início desta semana, queríamos apenas compartilhá-la com os leitores do STH neste fim de semana como algo para se pensar.