A queda do Google Cloud no último domingo (2) gerou reflexos até hoje, afetando milhões de usuários ao redor do mundo. Vários serviços foram afetados, incluindo serviços de terceiros por utilizarem a nuvem da gigante de Mountain View.
O incidente fez muita gente abrir os olhos sobre quantos apps que utilizamos todos os dias dependem de um único serviço. Mas uma pergunta ainda estava ser resposta…
Por que o Google caiu?
Uma das vantagens da nuvem é que ela não depende de um único servidor. Se algo dá errado, é só migrar para uma nuvem maior ou menor, ou conectar em uma nuvem diferente. Bom, isso é na teoria. O Google mostrou que, quando as coisas dão errado, dão errado mesmo.
Depois de uma investigação interna, o Google explica que o motivo para o Google Cloud cair foi uma troca nas configurações de alguns servidores, onde inicialmente a troca seria aplicada a uma pequena quantidade de servidores de uma região específica, afetando uma quantidade mínima de usuários em caso de problemas.
Porém, um erro fez com que a troca fosse aplicada a uma grande quantidade de servidores em diferentes regiões. Tais servidores usaram pouco mais da metade da capacidade de rede disponível, funcionando ‘a meia bomba’, sem aproveitar o potencial do hardware disponível, e lidando com o tráfego de dados de sempre.
A rede congestionou de imediato, e os sistemas do Google reagiram analisando os pacotes de dados que chegavam à rede e descartando os dados maiores e menos sensíveis na latência. O objetivo era garantir que os pacotes mais importantes tivessem prioridade, mas com uma rede a 50% de potência isso não serviu de muita coisa. Foi quando os usuários começaram a notar que os seus apps não funcionavam ou carregavam parcialmente.
O próprio erro evitou que os engenheiros fizessem alguma coisa
Não foi detalhado como o erro foi produzido, mas que o time de engenheiros se deu conta do que estava acontecendo de forma imediata, em questão de segundos. O próprio congestionamento de rede fez com que os engenheiros enfrentassem problemas para se conectar aos servidores para a mudança das configurações, o que resultou em uma demora de até cinco horas para solucionar o problema.
As consequências se deram na queda dos principais serviços do Google: queda de 10% nas visitas do YouTube, queda de 30% no armazenamento do Google Cloud, e 1% dos usuários do Gmail não conseguiam acessar os seus e-mails.