:::: MENU ::::
Browsing posts in: Genel
Kas 12, 2021    |      0 comments

Terraform Kullanarak AWS Data Lifecycle Manager Kullanmak

Bu blogda, AWS EC2’ların anlık görüntülerini almanıza, bunları birkaç gün boyunca saklamanıza ve ayrıca güncel olmayan yedekleri silmenize yardımcı olan AWS service Data Lifecycle Manager, hakkında konuşacağız .

Bu hizmeti kullanmanın avantajları şunlardır:

  1. Otomatik.
  2. Düzenli veri yedeklemelerini zorunlu kılarak değerli verilerin korunması.
  3. Güncel olmayan yedekleri otomatik olarak silerek maliyet tasarrufu.

Bu hizmeti EC2 panosunda Elastic Block Store menüsü altında bulabilirsiniz.

Şekil 1: EC2 dashboard > EBS > Lifecycle Manager

Manuel yöntemle giderseniz, sizden bazı bilgileri doldurmanız istenecek ve bu sizin için policy oluşturacaktır. Ancak burada, tüm bu politikayı Terraform kullanarak oluşturacağız . Altyapınızı verimli bir şekilde dağıtmak için kullanılabilecek harika bir açık kaynaklı ‘kod olarak altyapı’ (IaC) aracıdır. Bunun anlamı, yerel bilgisayarınızdan bir Terraform kodu çalıştırırsınız ve kod, örnekleri ve diğer kaynakları sizin için otomatik olarak dağıtır.

Continue Reading
May 7, 2018    |      0 comments

Servis Durum Kontrol Script

Çok gelişmiş monitoring sistemleri olmasına rağmen bazen ihtiyaç olduğunda kullanabileceğiniz,linux ortamlarda çalıştırdığınız servisleri check etmek için basit bir Servis Durum Kontrol Scripti;

Github linki;

https://github.com/omeroner/sysadmin/blob/master/scripts/bash/service_check.sh

Şub 15, 2018    |      0 comments

Linux Komut Satırında Kullanıcıları Listelemek

Linux’ta iki tür kullanıcı bulunur; (useradd komutu kullanılarak yaratılan) ve sistem kullanıcıları. Sistem kullanıcılarının çoğu, çeşitli paket yüklemeleri sırasında oluşturulan ve OS’yi kurarken oluşturulan kullanıcılardır. Sistem kullanıcıları, /etc/login.defs dosyasında tanımlandığı gibi düşük UID değerlerine (genellikle 0-99) sahip olmalıdır. Continue Reading

Eyl 29, 2016    |      0 comments

Bulut Bilişim Ne Ola Ki?

İnternet hızı ve kullanımı teknolojinin gelişmesiyle hergün hızla büyümekte ve yaygınlaşmakta. Balta girmemiş ormanlara bile artık internet erişiminin olması için çalışmalar yapılıyor. Bu doğrultuda hayatımızda kullandığımız herşey artık akıllı (smart) diye nitelendirdiğimiz türde olmaya başladı. Akıllı telefon, akıllı saat, akıllı evler,akıllı kıyafetler, akıllı arabalar vb.

Biraz önce dediğim gibi internet kullanımının artması ve kullandığımız herşeyin akıllanması sonucunda büyük dataların(big data) oluşması ve bu dataların büyüdükçe analiz edilmesi,işlenmesi ayrı bir dert olmaya başladı. Tüm bu gelişimlerle beraber altyapı maliyetleri,yönetilmesi ve sürekliliği içinde ihtiyaçlar artı ve bu ihtiyaçlar doğrultusundada yeni birçok hizmet türleri ortaya çıktı.

Tam bu doğrultuda, Bulut bilişim (Cloud computing) günümüzde bilişim dünyasında kullanımı gün geçtikçe artan ve yaygınlaşan bir hizmet türü olmaya başladı. Bulut Bilişim , kullanıcıların yerel konumlarında yazılım, veri erişimi veya servis altyapısı gerekmeksizin tüm ihtiyaçların hizmet olarak sağlanmasıdır. Günümüzde birçok şirket yöneticisi gerek güvenlik gerek ise gizlilikten ötürü altyapılarını cloud’a taşıma konusunda net bir karar ve fikir sahibi değiller. Özellikle ülkemizi yöneten kişilerin bu konuya olan yaklaşımlarını gördükçe.

Eski Bakan ve Şuanki Başbakan Binali Yıldırım’ın bulut bilişim hakkındaki yorumu;

‘herkes oraya bişey atıyo, gelen ordan işine yarayanı alıyo kullanıyo. ‘

‘abur cubur dolduruyosun, herkes ihtiyacını ordan alıyo.’

 Tabiki işler Başbakan Binali Yıldırım’ın ifade ettiği gibi bukadar basit ve kolay değil. Bulut Bilişimin ne olduğunu gösteren mantıksal şema aşağıdaki gibidir.

cloud_computing-svg

Bulut Bilişim’de çeşitli hizmet modelleri bulunmaktadır.

 

Bulut Bilişim hizmeti genel olarak;

olarak 3 şekilde sunulmaktadır.

 

Bu hizmetler arasındaki farkları uzun uzun anlatmaktansa aşağıdaki görsel ile işin özeti gayet iyi anlaşılıyor. Görselden anlaşılacağı üzere  IaaS hizmeti sistem yöneticilerini, PaaS hizmeti  uygulama geliştiricileri, SaaS hizmeti de daha çok son kullanıcıları hedef almaktadır. Daha sonraki paylaşımlarımda bu platformlar ile ilgili ayrıntılı bilgi vermeye çalışacağm.

bulut_bilisim_turleri

Eyl 19, 2016    |      0 comments

Google BigQuery Nedir?

Google BigQuery Nedir? Google Big Query google tarafından 2012 yılında başlatılan bulut bilişim(cloud service) hizmetlerinden birisidir. BigQuery servisi ,büyük veri üzerindeki sorgu işlemlerinin google altyapısı kullanılarak hızlı bir şekilde yapılabilmesine olanak sağlamaktadır. BigQuery Google çekirdek altyapılarından olan bulut destekli paralel sorgu servisi Dremel’i kullanmaktadır.

Dremel, MapReduce gibi  ve dağıtık mimari üzerinde çok büyük verilerin kolay bir şekilde analiz edilebilmesini sağlayan bir sistemdir

Google BigQuery servisin tercih edilmesinde önemli bir etkende altyapısında Google tarafından geliştirilen ve kullanılan Dremel altyapısının kullanılmasıdır.

Dremel altyapısıda MapReduce  altyapısı gibi Google tarafından gerçekleştirilmiş ve mapreduce altyapısına göre üç temel avantaj sağlamaktadır.

  • Hız;

Dremel, Map reduce deki satır bazlı veri yapısı yerine kolon bazlı veri yapısına sahiptir. Bu nedenle büyük veri üzerindeki analitik işlemlerde çok daha hızlıdır. Aşağıda kolon bazlı veri modeli ile satır bazlı veri modelleri hakkında özet bilgi verilmiştir.

bigquery

 

Yukarıdaki resimde de görüldüğü gibi milyonlarca kayıt bulunan bir tablodaki verilerden  kolondaki verileri grupladığımızda satır bazlı veri modelini kullandığımızda tüm kayıtlara erişmek için tüm satırların okunması gerekirken, Sütun bazlı veri modelinde sadece A,B,CD,E isimli bölümler okunarak istenen verilere erişilebilmektedir. Bu sayede veri boyutu ile doğru orantılı olarak performans artışı gerçekleşecektir. Sütun bazlı veri modelinde kolon bazında tutulan isim verilerinin tutulduğunu düşünürsek tekrar eden veri sayesinde sıkıştırma işleminde satır bazlı veri modeline göre avantaj sağlayacaktır.

Sütun bazlı veri modellerinin dezavantajına gelince, az veri içeren sorgular çektiğimizde veriye birden çok okuma ile ulaşacağımız için sorgu performansımız düşecektir. Sonuç olarak sütun bazlı veri modelinin büyük veri okurken ve tüm sütunlar yerine belli başlı sütunlardaki veriye erişim yapılması gerektiği durumlarda tercih edilmesi performans artışı sağlayacaktır.

  • Kullanılabilirlik;

Dremel sorgu dili formatı SQL benzeridir.Bu nedenle mapreduce uyumlu sistemlerdeki gibi SQL formatında sorgulama yapılabilmesine olanak sağlayan Hive,Pig tarzı dillere ihtiyaç yoktur.Bu sayede sorgulama işlemlerinde mapreduce uyumlu yapılara göre daha hızlıdır.

  • Ölçeklenebilirlik;

Google ‘a göre Dremel büyük ölçekli sistemlerde test edilmiş tek metottur.

  • Ücretlendirme;

BigQuery servisleri ile büyük veri analizi Google sunucuları üzerinde gerçekleştirildiğinden ayrıca bir veri merkezi kurulması için sermaye ayrılmasına gerek yoktur. BigQuery servislerinde ücretlendirme de sorgulama ve veri saklama olmak üzere iki temel kriter bulunmaktadır. Ödeme esnektir. Servis kullanıldıkça veri miktarına göre aylık ödemeler şeklinde gerçekleştirilmektedir. 2014 yılı ücretlendirme özetini gösteren tablo aşağıdadır.

KAYNAK ÜCRETLENDİRME
Veri Kopyalama Ücretsiz
Veri Yükleme Ücretsiz
Veri Çıkarma Ücretsiz
Metadata Operasyonları(List, get, patch, update ve delete ) Ücretsiz
Veri Sakalama $0.02 per GB, Aylık
Streaming Kayıt Ekleme $0.01 per 200 MB
Query $5 per TB(ilk ay 1TB bedava)

Fiyatlandırma için sayfayı ziyaret edebilirsiniz.

BigQuery veri yapısı kolon bazlıdır. Bu nedenle ücretlendirme de tablodaki tüm kolonlar değil ,sorgu içerisinde belirtilen kolonlar baz alınmaktadır. Bu nedenle seçili kolonlarda işlenen toplam veri miktarına göre ücretlendirme yapılmaktadır.

Eyl 19, 2016    |      0 comments

Nedir Bu Big Data (Büyük Veri) ? Nasıl Oluşur ?

big data

big data

Big Data, İnternetin hızlanması ve internet teknolojilerinin gelişmesine paralel olarak  akıllı cihaz teknolojilerin gelişmesi ile birlikte artık herkesin cebinde bir akıllı telefon, herkesin evinde bir bilgisayar ve tüm şirketlerin arka ofislerinde bilgi teknolojileri yönetimini yapan birimler bulunmaktadır.

İşte tam bu noktada, günümüzde sıkça adını duymaya başladığımız Big Data (Büyük Veri) , her ne kadar teknolojinin ilerlemesi ve kullanım alanlarının artması ile ortaya çıkmış bir kelime olarak görülse de, yıllardır içerisinde bulunduğumuz fakat gelişiminden pek haberdar olamadığımız bir olgudur. Bu olguya farkında olmadan sürekli destek vermekte ve “Büyük Veri” olarak isimlendirdiğimiz bu ortama sürekli veri akışı sağlanmasında bizler de katkı sağlamaktayız.

Şöyle ki; Instagram’a girerek bir #(hashtag) araması yapmanız veya yeni bir hastag ile paylaşım yapmanız bir veri oluşumuna sebep olur. Örneğin Twitter her gün 7 TB, Facebook 10 TB ve bazı kurumlar her gün her saat TB’larca veri saklıyor. Aynı şekilde gün içerisinde girdiğiniz her siteyi, sitede tıkladığınız her noktayı ve bunu saniyede milyarlarca insanın yaptığını düşünün. Sosyal medyanın günümüzdeki kullanımını düşünürsek işte size Big Data! Tabi ki bu durumu sadece sosyal medya ile sınırlandırmamak gerekiyor. Her geçen gün hayatımıza yeni bir teknoloji daha ekleniyor ilerde kullandığımız araçlar bile sürüş istatistiklerini toplayacaklar, ‘internet of things’ yani nesnelerin interneti buna bir örnek olarak verilebilir. Continue Reading

Eyl 6, 2016    |      0 comments

Bounced Mail Nedir ?

2 çeşit bounce email vardır;

Hard Bounce;

Kapanmış veya aktif olmayan bir e-mail adresinden dönen e-mail bilgisi .
Normal e-mail gönderimlerinde, karşı sunucu size 5’le başlayan (kalıcı hata) hata kodu döner.

Örneğin:

550 5.1.1 no such local recipient
veya
550 550-5.1.1 The email account that you tried to reach does not exist.
Hard Bounce Çeşitleri ve Anlamları;

Mail Adresi Mevcut Değil: Mail gönderilen serverda artık böyle bir adresin olmamasıdır.İnaktif Mail Hesabı:  eMail serverda böyle bir adres var, ancak aktif olmadığı anlamına gelir.Alan Adı Mevcut Değil:  Var olmayan bir alan adına gönderim yapıldığı anlamına gelir.

Inbox Mail bu tür bounce işlemlerini otomatik olarak yönetir.

Soft Bounce ;

Geçici problemlerden dolayı geri dönen mail bilgisi. Mesela alıcının mail kotası dolmuş olabilir, gönderime eklediğiniz bir eklentinin boyutu, mail kutusuna uygun olmayabilir gibi. Normal e-mail gönderimlerinde, karşı sunucu size 4’le başlayan (geçici hata) hata kodu döner.

Örneğin;

Mailbox quota exceeded:mailbox is full
veya
mailbox is over quota
 
Soft Bounce Çeşitleri ve Anlamları;
 
Uzak Sunucu Yapılandırması İle İlgili Bir Problem Var: Genelde kurumsal adreslerde görünen bir hata çeşididir. Geçici olarak firmanın mail serverında bir sorun olduğu anlamına gelmektedir.
 
İçerik Nedeniyle Bloke Edildi : Gönderdiğiniz email içeriğinde email serverın spam filitresinin sevmediği bir içerik olduğu anlamına gelir. Bunun ne olduğunu tespit edebilmenin tek yolu o firmanın email server admini ile bizzat irtibata geçilmesidir.
 
Kotanın Üzerinde: Mail gönderdiğiniz kişinin email alanının %100 dolu olmasıdır.
 
Yerel Sunucu Yapılandırması İle İlgili Bir Problem Var: Sadece firmanın kendi içerisindeki email serverda bir sorun olduğu anlamına gelmektedir.

Inbox Mail bu tür bounce işlemlerini otomatik olarak yönetir.

May 2, 2013    |       2 comments

Daemon Nedir?

Şeytanlar (Daemons)

LINUX süreçleri arasında “daemon” (“deymın” diye okunur) sözcüğüyle tanımlanan bir özel süreç çeşidi vardır. Bunların normal süreçlerden tek farkı hiçbir şekilde konsola ya da ekrana mesaj göndermemeleridir. Daemon’lar geri planda sessizce çalışırlar. Eğer başlarına kayda değer bir iş gelirse bunu /var/log/syslog dosyasına ya da kendi log dosyalarına kaydederler. Genellikle sistemin açılışıyla birlikte başlatılıp sistem kapanıncaya kadar sürekli çalışırlar. Bir kural olmamakla birlikte daemon tipi süreçlere ilişkin programların isimleri genellikle “d” harfiyle biter. (httpd, ftpd  gibi) Daemon’lara klasik örnekler olarak httpd ve named gösterilebilir. httpd web sunucu yazılımı, named ise “omeroner.com” gibi alfabetik internet adreslerininin sayısal IP karşılıklarını bulan DNS yazılımıdır.

Continue Reading