Monday Nov 16, 2009

MySQL scalability: diagnostic for the beginners

I've been working with 2 startups to understand how their infrastructure behaves today and what could prevent them to scale with MySQL, which led me to show how to run a quick diagnostic on an existing system and to restate some key fundamentals in terms of scalability.[Read More]

Thursday Oct 01, 2009

Resources from the Scalable Web Architecture Webinars

Following an attendee request from yesterday Webinar on Scalable Web Architecture, here is a list of resources that you can use when building the infrastructure for your web-site:

  • A dissertation on RESTful architecture 
  • Get AMP, memcached, Squid, LigHTTPd & more from Sun. Free license to use, available and supported on both x86 and SPARC
  • A website dedicated to scalability
  • Best practices for performance and scalability when running popular Web software on SPARC servers (T5120, T5220, T5240)
  • If you are interested in iSCSI, a blog about COMSTAR, the new iSCSI stack that comes with OpenSolaris and the Sun Storage 7000 Unified Storage
  • And the Partnertech blog where you can find technical tips to run your application best on Sun, with a tutorial about how to backup MySQL in a second with ZFS

Friday Sep 25, 2009

MySQL Query Cache

During our last Webinar on Scalable Web Architecture, I was asked a question about the MySQL Query Cache.

The question was whether the cache was holding the result of the query or the content of some tables looked after by the query. Before answering, let me give some background about how MySQL Query Cache relates to scalability.

As the number of requests that a MySQL instance receives is growing, it may hit many different limiting factors that will make the response time increase and the overall performance of the database decrease. If the database receives a lot of read requests that do not modify the content of the database tables, one solution to keep good performance - hence to scale - is to hold the result of the requests into a cache. When MySQL receives twice the same request, the second occurrence generates a cache hit, and instead of processing the request, MySQL returns the content that is in the cache. This alleviates the load on the database itself.

Now the answer to the question is that the cache holds the exact bits returned after processing the request for the first time. The cache is not a copy of some tables or sub-parts of tables.

It is also important to note that the cache keeps track of the tables involved in the processing of requests so that if a table is modified, the content attached to requests using these table is invalidated.

Last but not least, using MySQL Query Cache does not require any code modification at the application level. The application does not need to know that the cache is active. The MySQL server appears to be responding as if there were no cache.



Tuesday Jun 02, 2009

Webcast sur les architectures Web "scalable": session 2

Le deuxième Webcast sur les architectures web "scalable" a eu lieu aujourdh'ui.  Cette session a  traité de  la croissance du trafic sur le site web. Nous avons regardé en détail des solutions comme le load balancing, le caching, et pour ce qui est de MySQL, nous avons parlé de réplication, de sharding et de MySQL cluster.

Mardi prochain, 9 juin à 11h00, aura lieu la troisième et dernière session de cette série de webcast. Après avoir traité de l'augmentation du traffic sur un site web, il nous reste effectivement à traiter de l'accroissement du volume des données. Durant cette troisième session, nous couvrirons les principaux objectifs d'un système de stockage pour application web - augmentation du volume, haute disponibilité, sauvegarde - et nous verrons comment le système de fichier ZFS nous permet d'atteindre ces objectifs. En outre, nous décrirons des solutions pour 'backuper' une grosse base de donnée MySQL en production sans pour cela pénaliser les temps de réponse du site.

Ces sessions étant réservées aux membres de la communauté Sun Startup Essentials, inscrivez-vous à cette communauté pour recevoir les informations d'accès aux webcasts : l'inscription et les webcasts sont gratuits !

Tuesday May 26, 2009

Webcast sur les architectures Web "scalable"

Nous venons de conclure le premier Webcast sur les architectures Web "scalable".  Cette première session a couvert les principes généraux de la montée en charge ainsi que les règles de base pour designer une architecture pour qu'elle monte en charge.

Une deuxième session aura lieu mardi prochain, le 9 mai. Nous  continuerons à traiter de  la croissance du trafic sur le site web et nous regarderons plus en détail des solutions comme le load balancing ou le caching.

Seronnt aussi couverts, la montée en charge de MySQL et l'impact des différentes solutions sur le code de l'application web.

Ces sessions étant réservées aux membres de la communauté Sun Startup Essentials, inscrivez-vous à cette communauté pour recevoir les informations d'accès aux webcasts : l'inscription et les webcasts sont gratuits !

Thursday Jan 08, 2009

La scalabilité par l'exemple

Vous voulez savoir comment un site aussi visité que Wikipedia arrive à délivrer 7 milliards de pages vues par mois avec une stack logiciels pure LAMP ? Alors cliquez ici

Monday Jan 05, 2009

A peine annoncé, déjà vendu

Que cette année 2009 qui débute vous soit bénéfique !

D'ailleurs, si vous cherchez à tirer profit des opportunités générées par les changements que nous impose la conjoncture, regardez chez Sun du côté du stockage. A peine la série 7000 a-t-elle été annoncée qu'elle a déjà été choisie par des acteurs du Web :

iWeb, hébergeur en mode dédié ou partagé, a retenu le 7410 pour son stockage en réseau.

Même chose pour Smugmug, startup qui propose de stocker vos photos en ligne (allez sur la page et faite une recherche sur "SSD STORAGE" ). Pour ne citer qu'une phrase de l'article de Smugmug : "we’re able to do obscene write workloads to these boxes".

Pour en savoir plus sur la série 7000, vous pouvez parcourir cet article et cet autre sur ce blog.

Et n'oubliez pas, si votre société à moins de 6 ans et moins de 150 employés, vous pouvez acheter ces produits au prix Startup Essentials.

Friday Dec 19, 2008

Workshop Startup Essentials: Montée en charge

Ce mardi 16 décembre s'est tenu un nouveau Workshop dédié à la communauté Startup Essentials. Vous étiez plus de 20 startups à venir écouter et échanger sur un sujet qui concerne toutes les startups du Web: la "scalability" d'une infrastructure web.

Que faut-il en retenir ?

1) La scalability ne se limite pas à la capacité d'absorber une augmentation de traffic sur un site Web mais qu'elle s'applique aussi à l'augmentation  du volume de données stockées. Mieux vaut avoir un système de stockage partagé entre tous les serveurs frontaux afin d'éviter la duplication des données entre frontaux et de faciliter le traitement des "uploads" des utilisateurs. De plus, un stockage centralisé vous facilite les tâches de sauvegarde. Mais surtout, mieux vos avoir un système de stockage "scalable". Je reviendrai dans un prochain blog sur les solutions de stockage qui répondent à ces contraintes,

2) Pour ce qui est de l'augmentation du traffic, le nombre de "threads hardware" est un élément fortement limitant de votre infrastructure. Vous pouvez augmenter ce nombre soit en multipliant le nombre de serveurs frontaux - mais alors attention à la facture en hébergement - soit en choisissant des processeurs fortement multithreadés comme le processeur UltraSPARC T2 qui équipe le T5140:

Ce serveur vous fournit 128 threads "hardware" @ 1,4GHz pour une consommation électrique d'environ 310 Watts à 80% d'utilisation CPU et pour un prix Startup Essentials de 4500€. Avec un prix d'hébergement dans un data center de 1K€/mois pour un rack d'environ 2,5 KWatts, on arrive à un prix de 0,97€ / mois / thread. En outre, au bout de 3 ans, le coût de l'hébergement est égal au coût du serveur!

Comparons avec un serveur X2250 équipé d'un Xeon quad-core qui offre 4 threads "hardware" @ 2,0GHz pour une consommation d'environ 150 Watts à 80% d'utilisation CPU et pour un prix Startup Essentials de 1050€. On trouve un prix de 1,5€ / mois / thread.

Si on pondère par les fréquences d'horloge pour ne pas défavoriser le Xeon on trouve :

T5140: 0.69€ / mois / thread @ 1GHz

X2250: 0.75€ / mois / thread @ 1GHz

...soit un avantage de presque 10% en coût d'hébergement/électricité pour le T5140.

Quant au nombre de X2250 @ 2GHz qu'il vous faut pour arriver à la même puissance CPU théorique (nombre de threads \* fréquence d'horloge) qu'un T5140 @ 1,4GHz, il est de 22.

Certes, ce sont des chiffres théoriques, mais ils donnent un ordre de grandeur. Alors si votre application est fortement mulithreadée, pourquoi vous passer d'un T5140?

Tuesday Nov 25, 2008

Test The Scalability Of Your Application

Many of you come to me with questions about scalability.

Can my application scale? Can it run on many servers and if so, what is the cost of deployment and administration? How do I check if my application supports load-balancing? How do I manage resources - CPU power, RAM, network bandwidth - allocated to my different customers?

All these are very valid questions and in order to help you answer them, we developed EZstack.

EZstack is an on-line offering that enables you to quickly deploy your web application into a virtualized environment and to perform functional tests on scalability: after deploying and within a single click, you replicate the front-end of your application and you turn on a L7 load balancing. You can then browse your application from your laptop and check how the whole system behaves.

EZstack also comes with a cookbook, a technical document that describes how to implement a similar infrastructure in your own lab.

Finally, EZstack gives you the opportunity to evaluate with your own application technologies such as Solaris zones/containers, ZFS, and the Crossbow project.

So, if you are already a member of the Startup Essentials community, ask for your EZstack account by sending an email to  asksun-ezstack@sun.com.

And if are not yet a member of Startup Essentials, register now, it's free!


About

Connecting the Startup Essentials community with all the events, information and resources required for them to grow and scale.

Search

Archives
« April 2014
SunMonTueWedThuFriSat
  
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
   
       
Today