Olá pessoal, espero que todos estejam bem.
Recentemente fomos realizar um refresh do NSX-T, surgiram muitas duvidas tanto no dimensionamento de servidores fisicos para a função de EDGE do NSX quanto na questão de arquitetura.Neste momento vamos abordar a topologia que decidimos implementar, será a primeira parte de uma implementação que vamos detalhar de inicio ao fim até a fase de produção.
O VMware NSX oferece suporte a duas formas de Edge Transport Node: Edge Virtual Machine (VM) ou Bare Metal (BM) Edge. São muitos fatores para se considerar no momento de usar em VM Edge ou BM Edge. Abaixo, estamos passando por considerações de design e arquitetura para BM Edge e quais configurações usamos para maximizar o desempenho.
Segue abaixo a configuração do Hardware utilizado:
Switch :
2 x PowerSwitch S5232F-ON
Edge BM:
PowerEdge R6625
• PowerEdge R6625 Server BCC
• 2 x Processadores AMD EPYC 9254 2.90GHz, 24C/48T, 128M Cache (200W) DDR5-4800
• 16 x Memória de 64GB RDIMM, 4800MT/s, Dual Rank 16Gb Base x4, BCC
• 2 x Drives de 480GB SSD SATA Read Intensive 6Gbps
• Placa de Rede Intel E810-XXV Dual Port 10/25GbE SFP28
• Placa de Rede Intel E810-XXVDA4 Quad Port 10/25GbE SFP28
• 2 x Mellanox ConnectX-6 DX Dual Port 100GbE QSFP56
Topologia de Conectividade do EDGE BM com os Switchs Core
Tomamos alguns cuidados se você observar cada servidor fisico tem 2 interfaces de 100GbE, ou seja até mesmo se uma placa PCI sofrer alguma falha o trafego ainda terá uma perna pela outra placa, são proteções simples que no final trazem uma resiliencia e segurança muito melhor em grandes ambientes produtivos. Lembrando que não é apenas 1 Servidor fazendo essa função critica , e sim 4 servidores com a configuração descrita acima.
Considerações importantes para selecionar o Hardware
Para Bare Metal Edge, você precisa selecionar hardware que satisfaça os requisitos para o throughput que você precisa atingir. Para fazer essa seleção, você deve considerar estes componentes importantes, abaixo vamos colocar os pontos importantes e o que escolhemos:
- NIC física (Mellanox ConnectX-6 DX Dual Port 100GbE QSFP56)
- CPU (AMD EPYC 9254 2.90GHz, 24C/48T, 128M Cache)
- Memória (6 x Memória de 64GB RDIMM, 4800MT/s)
- Slots PCI (PCIe Gen5 @32 GT/s)
- Armazenamento (480GB SSD SATA Read Intensive 6Gbps)
NIC Física: A escolha da NIC física é crucial, considerando a largura de banda e a resiliência necessária para o Bare Metal Edge. É essencial verificar se a NIC é compatível com a versão do VMware NSX e validar a documentação oficial da VMware. Devem-se considerar a largura de banda máxima suportada pelo barramento PCIe do servidor e a necessidade de agregação de links ou múltiplas portas para melhorar o desempenho. A resiliência também é importante; recomenda-se distribuir as portas em diferentes placas para proteger o tráfego em caso de falha. O VMware NSX suporta até 16 portas por Bare Metal Edge, com escalabilidade adicional por meio de mais NICs ou Bare Metal Edges no cluster.
NSX Edge Bare Metal Requirements
CPU: A seleção de CPUs para o Bare Metal Edge envolve escolher entre processadores Intel e AMD, considerando o número de núcleos e a velocidade do clock. O número de núcleos impacta diretamente o desempenho do NSX Edge, especialmente no processamento de pacotes (DataPath). O VMware NSX 4.1 suporta até 64 núcleos no total, com até 32 núcleos por soquete em servidores de soquete duplo. A arquitetura NUMA (Non-Uniform Memory Access) deve ser compreendida para otimizar o mapeamento de NICs e o encaminhamento de tráfego. Desabilitar o hyper-threading é recomendado para maximizar o desempenho.
Memória: A escolha da memória para o Bare Metal Edge deve focar na compatibilidade com a CPU e na velocidade de transferência (MT/s). A memória mínima recomendada é de 32 GB, enquanto a ideal é de 256 GB ou mais, dependendo das necessidades de desempenho. A configuração adequada da memória, preenchendo todos os slots DIM disponíveis, pode melhorar significativamente o desempenho, como visto em testes com 2048 GB de memória rodando a 2933 MT/s.
Slots PCI: Ao selecionar servidores, é importante considerar a geração dos slots PCI-E (Geração 3, 4 ou 5) e suas larguras de banda teóricas e típicas. Testes específicos foram realizados com Mellanox ConnectX-5 EX em PCI Generation 4, proporcionando uma largura de banda significativa de 210 Gbps por slot PCI-E. A necessidade de uma geração PCI mais recente pode surgir se houver múltiplas portas na placa que exigem utilização simultânea.
Armazenamento: O armazenamento para o Bare Metal Edge deve ser local e atender aos requisitos mínimos de espaço em disco. É crucial que o controlador de armazenamento seja compatível com o software Bare Metal Edge Ubuntu, garantindo suporte adequado. A certificação do hardware pode ser verificada na documentação oficial da VMware e no site de certificação do Ubuntu.
Na proxima etapa , vamos ver este cenario implementado e as considerações a nivel de NSX.
