NSX-T Montando uma topologia para o Core de um Datacenter (Parte 1)

Olá pessoal, espero que todos estejam bem.

Recentemente fomos realizar um refresh do NSX-T, surgiram muitas duvidas tanto no dimensionamento de servidores fisicos para a função de EDGE do NSX quanto na questão de arquitetura.Neste momento vamos abordar a topologia que decidimos implementar, será a primeira parte de uma implementação que vamos detalhar de inicio ao fim até a fase de produção.

O VMware NSX oferece suporte a duas formas de Edge Transport Node: Edge Virtual Machine (VM) ou Bare Metal (BM) Edge. São muitos fatores para se considerar no momento de usar em VM Edge ou BM Edge. Abaixo, estamos passando por considerações de design e arquitetura para BM Edge e quais configurações usamos para maximizar o desempenho.

Segue abaixo a configuração do Hardware utilizado:

Switch :

2 x PowerSwitch S5232F-ON

Edge BM:

PowerEdge R6625
• PowerEdge R6625 Server BCC
• 2 x Processadores AMD EPYC 9254 2.90GHz, 24C/48T, 128M Cache (200W) DDR5-4800
• 16 x Memória de 64GB RDIMM, 4800MT/s, Dual Rank 16Gb Base x4, BCC
• 2 x Drives de 480GB SSD SATA Read Intensive 6Gbps
• Placa de Rede Intel E810-XXV Dual Port 10/25GbE SFP28
• Placa de Rede Intel E810-XXVDA4 Quad Port 10/25GbE SFP28
• 2 x Mellanox ConnectX-6 DX Dual Port 100GbE QSFP56

Topologia de Conectividade do EDGE BM com os Switchs Core

Tomamos alguns cuidados se você observar cada servidor fisico tem 2 interfaces de 100GbE, ou seja até mesmo se uma placa PCI sofrer alguma falha o trafego ainda terá uma perna pela outra placa, são proteções simples que no final trazem uma resiliencia e segurança muito melhor em grandes ambientes produtivos. Lembrando que não é apenas 1 Servidor fazendo essa função critica , e sim 4 servidores com a configuração descrita acima.

Considerações importantes para selecionar o Hardware

Para Bare Metal Edge, você precisa selecionar hardware que satisfaça os requisitos para o throughput que você precisa atingir. Para fazer essa seleção, você deve considerar estes componentes importantes, abaixo vamos colocar os pontos importantes e o que escolhemos:

  1. NIC física (Mellanox ConnectX-6 DX Dual Port 100GbE QSFP56)
  2. CPU (AMD EPYC 9254 2.90GHz, 24C/48T, 128M Cache)
  3. Memória (6 x Memória de 64GB RDIMM, 4800MT/s)
  4. Slots PCI (PCIe Gen5 @32 GT/s)
  5. Armazenamento (480GB SSD SATA Read Intensive 6Gbps)

NIC Física: A escolha da NIC física é crucial, considerando a largura de banda e a resiliência necessária para o Bare Metal Edge. É essencial verificar se a NIC é compatível com a versão do VMware NSX e validar a documentação oficial da VMware. Devem-se considerar a largura de banda máxima suportada pelo barramento PCIe do servidor e a necessidade de agregação de links ou múltiplas portas para melhorar o desempenho. A resiliência também é importante; recomenda-se distribuir as portas em diferentes placas para proteger o tráfego em caso de falha. O VMware NSX suporta até 16 portas por Bare Metal Edge, com escalabilidade adicional por meio de mais NICs ou Bare Metal Edges no cluster.

NSX Edge Bare Metal Requirements

CPU: A seleção de CPUs para o Bare Metal Edge envolve escolher entre processadores Intel e AMD, considerando o número de núcleos e a velocidade do clock. O número de núcleos impacta diretamente o desempenho do NSX Edge, especialmente no processamento de pacotes (DataPath). O VMware NSX 4.1 suporta até 64 núcleos no total, com até 32 núcleos por soquete em servidores de soquete duplo. A arquitetura NUMA (Non-Uniform Memory Access) deve ser compreendida para otimizar o mapeamento de NICs e o encaminhamento de tráfego. Desabilitar o hyper-threading é recomendado para maximizar o desempenho.

Memória: A escolha da memória para o Bare Metal Edge deve focar na compatibilidade com a CPU e na velocidade de transferência (MT/s). A memória mínima recomendada é de 32 GB, enquanto a ideal é de 256 GB ou mais, dependendo das necessidades de desempenho. A configuração adequada da memória, preenchendo todos os slots DIM disponíveis, pode melhorar significativamente o desempenho, como visto em testes com 2048 GB de memória rodando a 2933 MT/s.

Slots PCI: Ao selecionar servidores, é importante considerar a geração dos slots PCI-E (Geração 3, 4 ou 5) e suas larguras de banda teóricas e típicas. Testes específicos foram realizados com Mellanox ConnectX-5 EX em PCI Generation 4, proporcionando uma largura de banda significativa de 210 Gbps por slot PCI-E. A necessidade de uma geração PCI mais recente pode surgir se houver múltiplas portas na placa que exigem utilização simultânea.

Armazenamento: O armazenamento para o Bare Metal Edge deve ser local e atender aos requisitos mínimos de espaço em disco. É crucial que o controlador de armazenamento seja compatível com o software Bare Metal Edge Ubuntu, garantindo suporte adequado. A certificação do hardware pode ser verificada na documentação oficial da VMware e no site de certificação do Ubuntu.

Na proxima etapa , vamos ver este cenario implementado e as considerações a nivel de NSX.

Continue Reading

Dell EMC Networking VEP1485 – Edge Computing

Olá pessoal, todos bem?

Consegui um Hardware da DELL para laboratório chamado VEP “Virtual Edge Platform” para rodar em meu HomeLab. E o resultado dos testes foi além do esperado. Gostaria de elencar abaixo alguns dos pontos que me fez adorar este Hardware, principalmente para fazer a função de Edge mas também como um excelente equipamento para ter em casa e executar laboratórios.

  • Baixo consumo de Energia (Monitorei a alimentação deste Hardware e o seu consumo é de 35 a 45W .
  • Tamanho reduzido, diferente de um servidor de Rack este Hardware tem o tamanho de um ThinClient.
  • Recurso de Hardaware bem interessante (16 Cores, 64GB RAM , 2 TB SSD, 6 Interfaces 1GB e 2 Interfaces 10GB SFP+)

Hoje em dia falamos muito da Jornada de migrar nossas aplicações para Nuvem, porém algumas aplicações ainda são sensíveis com questão de latência, podemos imaginar que boa parte das aplicações estejam rodando na Nuvem.

Vamos imaginar o seguinte cenário onde você precisa manter localmente serviços como um Controlador de Domínio ou algum servidor de aplicação que depende de latência baixa e com a adoção deste Hardware você pode deixar suas máquinas virtuais ou até mesmo containers rodando neste equipamento com uma réplica para Nuvem configurada.

Com a replica das máquinas deste equipamento para Nuvem no caso de um sinistro você até pode sofrer com latência, porém garante a continuidade da sua operação até realizar o FailBack.

O caso acima é um exemplo simples que pode ser implementando de várias formas, replicando com VMware fazendo uma nuvem estendida. Também é possível utilizar o VEEAM caso o Datacenter trabalhe com CloudConnect da VEEAM , você pode replicar essa máquina para dentro do seu tennant no VMware Cloud Director.

Abaixo gosto de mostrar um exemplo real e simples com VEEM , aonde o print é exatamente um ESXI rodando no VEP com várias maquinas virtuais como de VEEAM, PFsense, AD, DNS e WTS. Sendo muito parecido com senário de muitos clientes.

Foi criado no VEEAM uma réplica utilizando o CloudConnect e conforme a imagem abaixo minha VM de WTS já está replicada e aguardando ser iniciada na Cloud caso aconteça algum sinistro na borda. Isso é possível com o DR Planning  no Veeam.

Claro existe várias questões de remap de rede e roteamentos que precisam ser ajustadas para rodar na Nuvem, mas este não é o foco deste tópico.

Vamos Falar um puco sobre este equipamento?

Continue Reading

Como atualizar/instalar certificado SSL VMWare Cloud Directory

Olá amigos, abaixo veremos como executar a troca do certificado SSL no vCloud Directory, lembrando que o mesmo procedimento serve também para instalação:

Observação: O Tipo de certificado usado no VMWare Cloud foi JKS (Java Key Store).

Link da Documentação:

Deploy the VMware Cloud Director Appliance with Signed Wildcard Certificates for HTTPS and Console Proxy Communication

Pré-requisitos:

Primeiro passo é gerar certificado SSL tipo PFX/PKCS#12 . Uma dica é usar o site: SSL Converter
Informando o Certificate + Private Key + Intermediate + RootCA juntamente com a senha do certificado.

Copiar o arquivo PFX do novo certificado para qualquer servidor com Keytool (Necessário JDK) e iniciar o procedimento de criar o certificado JKS:

Documentação usada no procedimento abaixo: Build a JKS

Lembrando que o VMWare Cloud tem dois serviços na qual o JKS precisa ser gerado:
Alias 1=http
Alias 2=consoleproxy

Gerando o certificado JKS:

Conforme o comando abaixo, estamos utilizando o PFX gerado no procedimento acima para gerar o JKS referente ao HTTPS service:

keytool -importkeystore -srckeystore certificado.com.br.pfx -srcstoretype pkcs12 -srcalias 1 -destkeystore certificado.com.br.ks -deststoretype jks -
deststorepass 3gSA2 -destalias http

Muito semelhante ao comando acima a alteração realizada está no nome do serviço, na qual incluímos no JKS criado o ConsoleProxy service:

keytool -importkeystore -srckeystore certificado.com.br.pfx -srcstoretype pkcs12 -srcalias 1 -destkeystore certificado.com.br.ks -deststoretype jks -deststorepass 3gSA2 -destalias consoleproxy

Procedimento:

Pronto, assim você gerou em um unico arquivo os dois Alias necessarios para o Vmware Cloud.

  • 1 – Copiar o JKS para: /opt/vmware/vcloud-director/data/transfer/certificado/
  • 2 – Mudar o author do arquivo para usuário vcloud: chown vcloud.vcloud certificado.com.br.ks
  • 3 – Rodar o comando de import passando o novo certificado KS juntamente com a senha do certificado:
    • cd /opt/vmware/vcloud-director/bin
    • ./cell-management-tool certificates -j -p -k /opt/vmware/vcloud-director/data/transfer/certificado/certificado.com.br.ks -w 3gSA2
  • 6 – Reiniciar o serviço do VMWare Cloud: systemctl restart vmware-vcd

Observação, realizar este procedimento em todas as instancias VCD.

Validação:

Dicas para validação após este procedimento:

  • Reiniciar servidores do VMWare Cloud.
  • Validar saúde do cluster em: “Embedded Database Availability”
  • Testar o certificado SSL para cada instancia:
    curl -k -v https://instance1/api/versions
    curl -k -v https://instance2/api/versions
    curl -k -v https://instance3/api/versions
    curl -k -v https://instance4/api/versions

Validar erros da Instancia:

cat /opt/vmware/vcloud-director/logs/cell-runtime.log | grep ERROR
tail -f /opt/vmware/vcloud-director/logs/cell-runtime.log

É isso ai pessoal, qualquer duvida fico a disposição.

Continue Reading

Melhores praticas com Windows Server 2016 e 2019 no Vmware

Olá amigos, tudo bem?

Recentemente passamos por uma situação na qual tivemos que envolver tanto a engenharia da Vmware como fabricante de Hardware e engenharia da Microsoft.

Servidores rodando Windows Server 2019 e 2016 entrava em congelamento seguido de tela azul. Depois de quase um mês em trabalho em conjunto com todos os fornecedores chegamos a conclusão que o problema é a soma de varias boas praticas que precisavam ser adotadas no Windows.

Primeiro trabalho com o fabricante de Hardware e Vmware foi descartar qualquer problema vindo do SAN, Storage ou Servidores utilizados, vale apena comentar que o problema acontecia em clusters diferentes com modelos de servidores diferentes. Apos todos os meios físicos validados partimos para validação do SO juntamente com a Microsoft e o fabricante do Hardware, aonde foi encontrado o log do Windows que no momento do congelamento apresentava BugCheck .

Interessante comentar que no Vmware não gerava nenhum log de erro ou problema, a Vmware estava conectada no ambiente e não visualizava problema que poderia causar aquele sintoma.

Nesse momento começamos a identificar que existia updates e ajustes do lado do Vmware quanto da Microsoft como:

Executar o Windows Update nas VMs e garantir que o kb4550969 foi aplicado.
https://support.microsoft.com/en-us/help/4550969

Atualizar o VMware Tools para a versão mais recente.
https://docs.vmware.com/en/VMware-Tools/11.0.0/com.vmware.vsphere.vmwaretools.doc/GUID-B632D26F-410A-43C9-9BFD-21EBB21DE397.html

Verificar as propriedades das VMs e garantir que o VBS (Virtualization-based Security) está ativado.
https://docs.vmware.com/en/VMware-vSphere/6.7/com.vmware.vsphere.security.doc/GUID-84BDD44A-0588-492D-A312-A2648BEBA12C.html

Configurar as VMs para usar o Paravirtual controller conforme descrito no artigo abaixo:
https://kb.vmware.com/s/article/1010398

Utilizar adaptador de rede Vxnet3 (mais performático e não é emulado)
https://kb.vmware.com/s/article/1001805?lang=pt_PT

Outro ponto muito importante foi a remoção do Snapshot, mas porque? Muitos clientes pensam que Snapshot é backup, porem ele pode causar mais problema para a vm do que gerar segurança.
Por boa pratica uma maquina de produção ligada pode ter um snap de no máximo 72 horas, e isso não era uma verdade pois tínhamos clientes com snap maior de três meses.
Se o backup é necessário deve ser usado alguma ferramenta especifica como Veeam ou outros players com a finalidade de backup.

Deixo abaixo a KB sobre as melhores praticas que foram comentadas a cima de SnapShot.
https://kb.vmware.com/s/article/1025279?lang=pt_PT

Por entregarmos o Vmware Cloud para os clientes tivemos que adotar o bloqueio do deploy por ISO e adotar o template seguindo as melhores praticas, com isso não tivemos nenhum problema de congelamento que antes era frequente .

Essa documentação do Vmware é muito boa para ajudar a seguir as melhores praticas e performance do ambiente.

https://www.vmware.com/content/dam/digitalmarketing/vmware/en/pdf/techpaper/performance/vsphere-esxi-vcenter-server-67-performance-best-practices.pdf

Qualquer duvida fico a disposição. Abraços

Continue Reading

VMware vSphere 7.0

Olá amigos, tudo bem?

Ontem dia 02/04/2020 saiu a nova versão tão aguardada do Vmware Vspher 7.0 juntamente com Vcenter Server e vSan.

Com ele muitas pessoas já estão atualizando seus laboratórios e hosts para estudar a nova versão disponibiliza. Porem achei valido vir falar sobre algumas novidade que achei interessante.

Gestão de atualizações do vCenter Server

Os principais recursos aqui incluem:

  • Notificações do cliente quando uma atualização está disponível.
  • Você pode ver o que a atualização impacta quando realizada.
  • Um verificador de pré-atualização está disponível para realizar uma validação completa na sua atualização.

Um novo validador interno de disponibilidade para verificar se uma versão de especifica do vCenter Server ainda é compatível com todas as suas soluções VMware existentes que estão integradas ao seu vCenter Server.

Achei essa parte muito bacana, principalmente por ter soluções como NSX, VCloud Director , Usage Meter entre outros.

Gerenciador de recursos distribuídos (DRS)

No passado, o DRS era aplicado no nível do cluster, que migrava Máquinas Virtuais a cada 5 minutos, se detectava um desequilíbrio do cluster.

Atualmente, é tudo sobre o aplicativo, portanto, a VMware fez muitas melhorias no DRS para se concentrar mais no aplicativo, e não no host.

Isso resulta em uma alteração na funcionalidade do DRS:

O DRS calcula uma pontuação de DRS da VM com base na capacidade de desempenho da VM. Esse cálculo é centrado na VM, e não no host.
Por exemplo, as métricas da VM são usadas para calcular a pontuação do DRS da VM.

Em resumo, isso significa que uma VM será movida para outro host no cluster, se ajudar no desempenho. Isso contrasta com o modo como funcionava no passado, onde o gatilho está se um host estiver ocupado

vSphere com Kubernetes

Uma das partes que mais esperava era essas novas funções no Vmware.

Nesta arquitetura do VMware vSphere, o VMware essencialmente combinou os recursos do software vSphere tradicional com o Kubernetes. Essa mudança foi fundamental para impulsionar a infraestrutura virtual do vSphere a permitirá que seja igualmente adepto da execução de contêineres e máquinas virtuais.

A nova funcionalidade que permite a integração do Kubernetes não é fornecida por uma VM do cluster como era implantado nas soluções anteriores do vSphere. Faz parte do próprio hypervisor. Além do suporte ao Kubernetes, existem muitos outros ótimos recursos encontrados na versão vSphere 7, incluindo os seguintes:

  • Gerenciamento simplificado do ciclo de vida
  • Recursos de segurança intrínseca
  • Aceleração de aplicativo
Nova Logo do Vmware com Kubernetes

Pensamentos

A VMware nunca decepciona e o vSphere 7 é uma versão na minha opnição que veio para revolucionar com muitos novos recursos excelentes. A VMware focou completamente o vSphere no Kubernetes. Isso atenderá às novas operações de TI e aos desenvolvedores.

O VMware vCenter Server 7 oferece ótimos novos recursos, incluindo perfis do vCenter Server, gerenciamento de ciclo de vida do vCenter Server e muitos outros aprimoramentos no DSR, Vmotion e gestão de rede.

O SDS fica ainda melhor nesta versão. A nova versão do vSAN continuará a simplificar as operações e o gerenciamento do ciclo de vida do vSAN, além de estender os serviços oferecidos nativamente pelo vSAN, como os novos serviços de arquivo.

Por fim , esta é uma excelente nova versão com muitos recursos de última geração para os datacenters.

Qualquer duvida estou a disposição

Abraços

Continue Reading