GOOGLE CLUSTERGOOGLE CLUSTER

MULTIPROCESAMIENTO Leonardo Sarango Ruth Hidalgo ING. María del Carmen

IntroducciónIntroducción

Enorme capacidad de procesamiento.

Uso de clusters ejecutando Linux con sus correpondiente balance de carga.

Presencia de centros de datos en diferentes puntos geográficos.

EstacionesEstaciones

Más de 450.000 servidores Más de 450.000 servidores En Mountain View (California), Virginia, Atlanta y Dublín. En Mountain View (California), Virginia, Atlanta y Dublín. Instalaciones en construcción en The Dalles y Saint-Ghislain.Instalaciones en construcción en The Dalles y Saint-Ghislain.

Topología de redTopología de red

Cada cluster de Google tiene miles de servidores, Cada cluster de Google tiene miles de servidores, Los racks de Google están hechos a medida y pueden contener entre Los racks de Google están hechos a medida y pueden contener entre

40 y 80 servidores.40 y 80 servidores. Cada rack tiene una conexión ethernet a un router local que a su vez Cada rack tiene una conexión ethernet a un router local que a su vez

se conecta al router central utilizando una conexión de 1 Gigabit.se conecta al router central utilizando una conexión de 1 Gigabit.

Hardware originalHardware original

Sun Ultra II con procesador de 200MHz dual y 256 MB de RAM. Esta era la máquina principal del sistema original.

Dos servidores Pentium II duales a 300 MHz donados por Intel que incluían 512 MB de RAM y 9 discos de 9 GB entre los dos servidores.

F50 IBM RS/6000 donado por IBM que incluía cuatro procesadores, 512 MB de memoria y ocho discos duros de 9 GB.

Dos armarios adicionales incluían tres discos duros de 9 GB y seis de 4 GB respectivamente que estaban conectados al servidor Sun Ultra II.

Un armario de expansión de discos de IBM con otros ocho discos duros de 9 GB donados por IBM.

Armario de disco duros casero que contenía 10 discos duros de 9 GB SCSI.

Tipos de Servidores Tipos de Servidores Servidores web Servidores proxy Squid Servidores de recolección de

datos(googlebot) Servidores de índices Servidores de documentos Servidores de anuncios.

Hardware ActualHardware Actual

Cada cluster 359 racks 31.654 servidores63.184 CPUs(126.368 GHz) 64.184 GB memoria 2.527 Tbytes(2 PB aprox)

Cada cluster: 40 millones de peticiones diarias

Google tiene repartido más de 20 datacentes al rededor del mundo con al menos un clúster,  se calcula que google esta soportado por más de 600.000 servidores

ARQUITECTURA DEL ARQUITECTURA DEL CLUSTER GOOGLECLUSTER GOOGLE

Cluster heterogéneo y muy escalable. cada tres meses se actualiza alguno de los componentes de los nodos de cómputo (procesador, memoria o disco) y entre un 2 y un 3% de los nodos son sustituidos cada año.

El cluster utiliza Gigabit Ethernet (cobre, cables de categoría 5) para la conexión entre los nodos, y los enlaces a Internet tienen un ancho de banda mayor (2 Gb/s en media).

Todos los nodos tienen instalado un sistema operativo Linux y herramientas a medida para instalación y actualización de software, para la monitorización (en media se reinician al día 20 nodos en remoto)

Google File SystemGoogle File System

El sistema está construido para que el fallo de un componente no le afecte.

El sistema almacena grandes archivos La mayoría del trabajo consiste en dos tipos de lecturas: grandes

lecturas de datos y pequeñas lecturas aleatorias El sistema debe ser diseñado para ofrecer concurrencia a

múltiples clientes que quieran el mismo archivo.

Google File SystemGoogle File System

cluster GFS consiste en un máster y múltiples chukserver que dan servicio a múltiples clientes.

El máster es el encargado de mantener todos los metadatos del sistema de archivos.

MASTER Tener un solo máster simplifica el diseño y permite tener

sofisticados métodos de emplazamiento y replicación de trozos usando un conocimiento global.

Los clientes nunca escriben datos a través del máster sino que el cliente le pregunta al máster que con qué chunkserver puede contactar.

Tamaño de los TrozosTamaño de los Trozos

GFS usa 64 MB

METADATOS Espacio de nombres de fichero y de trozos La correspondencia de archivos a trozos La localización de las réplicas de los trozos

BIBLIOGRAFÍABIBLIOGRAFÍA

http://es.wikipedia.org/wiki/Squid http://es.wikipedia.org/wiki/Plataforma_de_Google http://es.wikipedia.org/wiki/Cluster_%28inform%C3%A1tica

%29 http://es.wikipedia.org/wiki/PageRank http://es.wikipedia.org/wiki/Rack http://redindustria.blogspot.com/2009/10/la-arquitectura-

hardware-de-google.html