:::: MENU ::::

Google BigQuery Nedir?

Google BigQuery Nedir? Google Big Query google tarafından 2012 yılında başlatılan bulut bilişim(cloud service) hizmetlerinden birisidir. BigQuery servisi ,büyük veri üzerindeki sorgu işlemlerinin google altyapısı kullanılarak hızlı bir şekilde yapılabilmesine olanak sağlamaktadır. BigQuery Google çekirdek altyapılarından olan bulut destekli paralel sorgu servisi Dremel’i kullanmaktadır.

Dremel, MapReduce gibi  ve dağıtık mimari üzerinde çok büyük verilerin kolay bir şekilde analiz edilebilmesini sağlayan bir sistemdir

Google BigQuery servisin tercih edilmesinde önemli bir etkende altyapısında Google tarafından geliştirilen ve kullanılan Dremel altyapısının kullanılmasıdır.

Dremel altyapısıda MapReduce  altyapısı gibi Google tarafından gerçekleştirilmiş ve mapreduce altyapısına göre üç temel avantaj sağlamaktadır.

  • Hız;

Dremel, Map reduce deki satır bazlı veri yapısı yerine kolon bazlı veri yapısına sahiptir. Bu nedenle büyük veri üzerindeki analitik işlemlerde çok daha hızlıdır. Aşağıda kolon bazlı veri modeli ile satır bazlı veri modelleri hakkında özet bilgi verilmiştir.

bigquery

 

Yukarıdaki resimde de görüldüğü gibi milyonlarca kayıt bulunan bir tablodaki verilerden  kolondaki verileri grupladığımızda satır bazlı veri modelini kullandığımızda tüm kayıtlara erişmek için tüm satırların okunması gerekirken, Sütun bazlı veri modelinde sadece A,B,CD,E isimli bölümler okunarak istenen verilere erişilebilmektedir. Bu sayede veri boyutu ile doğru orantılı olarak performans artışı gerçekleşecektir. Sütun bazlı veri modelinde kolon bazında tutulan isim verilerinin tutulduğunu düşünürsek tekrar eden veri sayesinde sıkıştırma işleminde satır bazlı veri modeline göre avantaj sağlayacaktır.

Sütun bazlı veri modellerinin dezavantajına gelince, az veri içeren sorgular çektiğimizde veriye birden çok okuma ile ulaşacağımız için sorgu performansımız düşecektir. Sonuç olarak sütun bazlı veri modelinin büyük veri okurken ve tüm sütunlar yerine belli başlı sütunlardaki veriye erişim yapılması gerektiği durumlarda tercih edilmesi performans artışı sağlayacaktır.

  • Kullanılabilirlik;

Dremel sorgu dili formatı SQL benzeridir.Bu nedenle mapreduce uyumlu sistemlerdeki gibi SQL formatında sorgulama yapılabilmesine olanak sağlayan Hive,Pig tarzı dillere ihtiyaç yoktur.Bu sayede sorgulama işlemlerinde mapreduce uyumlu yapılara göre daha hızlıdır.

  • Ölçeklenebilirlik;

Google ‘a göre Dremel büyük ölçekli sistemlerde test edilmiş tek metottur.

  • Ücretlendirme;

BigQuery servisleri ile büyük veri analizi Google sunucuları üzerinde gerçekleştirildiğinden ayrıca bir veri merkezi kurulması için sermaye ayrılmasına gerek yoktur. BigQuery servislerinde ücretlendirme de sorgulama ve veri saklama olmak üzere iki temel kriter bulunmaktadır. Ödeme esnektir. Servis kullanıldıkça veri miktarına göre aylık ödemeler şeklinde gerçekleştirilmektedir. 2014 yılı ücretlendirme özetini gösteren tablo aşağıdadır.

KAYNAK ÜCRETLENDİRME
Veri Kopyalama Ücretsiz
Veri Yükleme Ücretsiz
Veri Çıkarma Ücretsiz
Metadata Operasyonları(List, get, patch, update ve delete ) Ücretsiz
Veri Sakalama $0.02 per GB, Aylık
Streaming Kayıt Ekleme $0.01 per 200 MB
Query $5 per TB(ilk ay 1TB bedava)

Fiyatlandırma için sayfayı ziyaret edebilirsiniz.

BigQuery veri yapısı kolon bazlıdır. Bu nedenle ücretlendirme de tablodaki tüm kolonlar değil ,sorgu içerisinde belirtilen kolonlar baz alınmaktadır. Bu nedenle seçili kolonlarda işlenen toplam veri miktarına göre ücretlendirme yapılmaktadır.


So, what do you think ?

You must be logged in to post a comment.