Lightelligence Beija-flor baixo

Aug 13, 2023

No Hot Chips 2023, a Lightelligence exibiu seu mecanismo de conexão óptica de baixa latência Hummingbird. Conseguimos encontrar um fora do auditório para tirar uma foto para a capa.

Ainda assim, isso está sendo escrito em tempo real, então desculpe os erros de digitação.

Esta é mais uma tabela que mostra que a demanda de computação por IA está ultrapassando em muito a escala de transistores.

A Lightelligence está focada em aumentar a óptica na computação. Hoje a empresa fala do NOC Óptico. Isso está usando um chip e cartão de teste que vimos lá fora, mas que é apenas uma parte do portfólio da empresa.

A empresa afirma que a criação de arquiteturas específicas de domínio para lidar com formatos numéricos, matemáticos e paralelismo específicos é uma área de melhoria de desempenho.

Outra área para aumentar o desempenho é adicionar mais silício às embalagens.

As interconexões que utilizam sinais elétricos são vistas como ineficientes.

Aqui a Lightelligence está falando sobre uma Rede Óptica no Chip ou oNOC. A ideia é utilizar luz em vez de sinalização elétrica em uma embalagem para aumentar a eficiência.

Também permite diferentes tipos de topologias, uma vez que os guias de onda ópticos podem abranger distâncias maiores.

Permite um melhor dimensionamento à medida que a distância entre os chips aumenta. Isso é importante porque os chips podem ter um custo de fabricação mais baixo, mas precisam ser conectados em embalagens.

Hummingbird é o exemplo do uso do oNOC. Ele possui um FPGA, um laser externo e um SiP de terceiros embalado em um cartão. Esse oNOC permite coisas como transmissão de todos para todos.

A Hummingbird está focada em colocar conectividade óptica em um pacote usando um circuito integrado fotônico ou PIC junto com chips eletrônicos de silício.

O intermediário fornece energia aos chips. O PIC inferior é o componente óptico. O EIC está novamente no topo. Esse SiP é uma arquitetura SIMD com um ISA customizado com clusters de oito núcleos.

O grande diferencial é a rede óptica de transmissão com estrutura em forma de U. Usando isso, cada núcleo pode atualizar todos os outros núcleos e não ter nenhum cruzamento de guia de ondas no PIC.

Aqui está a microarquitetura do núcleo. Este é um núcleo de inferência AI DSA. Todos os outros núcleos podem enviar seus dados por meio do recebimento do ONOC e também cada núcleo pode receber dados por meio da quantização e transmissão do ONOC.

Aqui estão as métricas do Hummingbird.

Aqui está um sistema com Hummingbird em um chassi de GPU PCIe.

Aqui estão as métricas de desempenho.

A Lightelligence diz que pode costurar diferentes tamanhos de chips. Parece que está focado em construir algo além de um chip limitado como o NVIDIA H100.

Aqui estão as soluções novamente:

A utilização de embalagens 3D tornará esta tecnologia mais interessante. A próxima questão, claro, é se outras empresas procurarão isso para comunicação entre chips ou se outros tipos de tecnologias assumirão o controle. Esta é uma tecnologia interessante, mas muitos dos grandes fornecedores também estão de olho em tecnologias ópticas.

Esperançosamente, teremos uma atualização em um futuro Hot Chips.