:::: MENU ::::

Nedir Bu Big Data (Büyük Veri) ? Nasıl Oluşur ?

big data

big data

Big Data, İnternetin hızlanması ve internet teknolojilerinin gelişmesine paralel olarak  akıllı cihaz teknolojilerin gelişmesi ile birlikte artık herkesin cebinde bir akıllı telefon, herkesin evinde bir bilgisayar ve tüm şirketlerin arka ofislerinde bilgi teknolojileri yönetimini yapan birimler bulunmaktadır.

İşte tam bu noktada, günümüzde sıkça adını duymaya başladığımız Big Data (Büyük Veri) , her ne kadar teknolojinin ilerlemesi ve kullanım alanlarının artması ile ortaya çıkmış bir kelime olarak görülse de, yıllardır içerisinde bulunduğumuz fakat gelişiminden pek haberdar olamadığımız bir olgudur. Bu olguya farkında olmadan sürekli destek vermekte ve “Büyük Veri” olarak isimlendirdiğimiz bu ortama sürekli veri akışı sağlanmasında bizler de katkı sağlamaktayız.

Şöyle ki; Instagram’a girerek bir #(hashtag) araması yapmanız veya yeni bir hastag ile paylaşım yapmanız bir veri oluşumuna sebep olur. Örneğin Twitter her gün 7 TB, Facebook 10 TB ve bazı kurumlar her gün her saat TB’larca veri saklıyor. Aynı şekilde gün içerisinde girdiğiniz her siteyi, sitede tıkladığınız her noktayı ve bunu saniyede milyarlarca insanın yaptığını düşünün. Sosyal medyanın günümüzdeki kullanımını düşünürsek işte size Big Data! Tabi ki bu durumu sadece sosyal medya ile sınırlandırmamak gerekiyor. Her geçen gün hayatımıza yeni bir teknoloji daha ekleniyor ilerde kullandığımız araçlar bile sürüş istatistiklerini toplayacaklar, ‘internet of things’ yani nesnelerin interneti buna bir örnek olarak verilebilir. Continue Reading


Postfix Mail Queue Flush Etme

 

Eğer MTA olarak Sendmail kullanıyorsanız posta kuyruğunu temizlemek için:

komutunu kullanın.

Postfix  Mail Queue Flush Etme için Postfix MTA altında, sadece posta kuyruğunu temizlemek için aşağıdaki komutu girin:

ya da

Mail queue’daki maillleri görmek için aşağıdaki komutu girin:

Kuyruktaki tüm postaları kaldırmak için aşağıdaki komutu girin:

Ertelenmiş Kuyruktaki tüm postaları kaldırmak için aşağıdaki komutu girin:

Postfix  Mail Queue Flush Etme için “postfix-delete.pl script”

Aşağıdaki komut dosyası ilk argüman olarak belirtilen düzenli ifadeyle eşleşen mailQ’daki tüm postaları siler.

örnek kullanım

 


PowerMTA Nedir? Kurulumu Nasıl Yapılır?

PowerMTA Kurulumu öncesi PowerMTA hakkında kısaca bahsetmek gerekir ise; lisanslı bir MTA (mail transfer agent) programıdır. MTA yazılımlarına örnek, Exim, qmail,postfix verebiliriz. Powermta konusunda bilgileri resmi sitesi olan  http://www.port25.com dan alırsınız üyelik açmak için lisans sahibi olmanız gerekir.

PowerMTA Kurulumu Öncesi Hazırlık 

PowerMTA’da;

cpu,ram,hdd ve trafik olarak farklı kullanımlar gösterebilir.


Ram kullanımı sadece queue’ya (kuyruğa) yükleyeceğiniz e-posta sayısı ile orantılıdır.

   Queue’ya çok fazla e-posta tutmayacak ise veya gelen e-postalar anında gönderilecekse,yüklü bir ram ihtiyacınız olmayacaktır.
4gb ve üstü ram ihtiyacı duyabilmeniz ihtimaline karşın işletim sisteminizin 64bit olmasına dikkat ediniz.

CPU kullanımı ise gelen ve giden e-posta durumuna bağlıdır.

Eğer gelen e-posta sayısınca giden e-posta yoksa,işlemci kullanımı olacaktır.Yani gelen e-postalar kuyruğa yazılır ve aynı rakamda gönderilmezse,cpu kullanımı yükselir.

Bir saatte 5 milyon e-posta göndermeniz dahi mümkündür lakin unutmayın; gelen posta anında gitmeli ve kuyruğa yazılmamalıdır.

Hdd ise dakikada ne kadar e-posta göndereceğinize bağlı bir etkendir.

Eğer dakikada 20,000′den fazla e-posta gönderecekseniz size 10k veya 15k diskleri tavsiye ederim.Bunun üstü gönderimler için intel ssd tavsiye edilir.

Trafik kullanımı gene göndereceğiniz e-posta sayısına ve e-posta içeriğine bağlıdır.

Düşük miktarlı gönderimler için(aylık 10 milyon) 10mbit hat yeterli olacaktır.

PowerMTA Kurulumu 

Bunun için kurulumdan önce [email protected] adresine e-posta gönderip lisansınızı ve powermta yazılım indirme adresinize sahip olduğunuzu varsayıyorum.

PowerMTA kurulucak sunucunun temiz bir işletim sistemi olmalı ve bu sunucu üzerinde başka bir servis çalıştırılmamalı ayrıca kurulum öncesinde sendmail,postfix gibi varsayılan smtp programları kontrol edilip sistem üzerinde var ise kaldırılmalı.

Open file limit aşağıda belirttiğim değerin altında ise open file limiti artırabiliriz.

current connections

Yazılımı indirme adresinden Linux  sunucumuza çekip kurulumu yapıyoruz.

Linux ise wget ile dosyamızı sunucumuza çekelim.

64-bit Linux sunucu üzerine PowerMTA kurulumu

ekran çıktısı

Lisans dosyası ve  daemon dosyasını “pmtad” kopyalama

Ayar dosyası oluşturma

PMTA Servisini çalıştırma

veya

Eğer servis çalışmaz ise -debug paremetresi ile debug edebiliriz.

PMTA Servisini durdurma

veya

Pmta komut yardımı için

PowerMTA sistemden basit bir şekilde kaldırılabilir.

Browser’dan yönetim konsoluna erişmek için;

http-access satırını bulun ve aşağıdaki satırı ekleyin.

Restart pmta service

PowerMTA log dosyası /var/log/pmta/log herhangi bir problemde bu log dosyasını inceleyebilirsiniz.


Zimbra Yönetici Parolasını Sıfırlamak

zimbra parola sıfırlama

zimbra parola sıfırlama

 

Zimbra Yönetici Parolasını Sıfırlamak Zimbra’da, kullanıcı veya yönetici parolası yönetici  konsolu kullanarak yapılabilir. Fakat bazı durumlarda yönetici şifresi unutulabilir ve yönetici konsoluna giriş yapamayabiliriz.

 

Zimbra Yönetici Parolasını Sıfırlamak

Bunun için CLI üzerinden aşağıdaki talimatları uygulayarak yönetici veya bir kullanıcının parolasının sıfırlayabiliriz.

Tüm yönetici listesini görmek için:

Web Client üzerinden yönetici konsolu’na erişmek için  yeni şifrenizi kontrol edin:

Web Client erişmek için:

Bazen oturum açma adı olarak tam e-posta adresi girmek gerektirir unutmayın, bu yüzden doğru şifre ile yanlış giriş yapılıyor olabilirsiniz.


Dig İle DKIM Kaydı Sorgulama

DKIM Nedir?

Dig İle DKIM Kaydı Sorgulama kısmında gelmeden önce dkim nedir ? kısaca bilgi vermek gerekir ise;

Dkim, RFC4871‘de standartları belirlenmiş bir e-mail kimlik denetleme yöntemidir. Kısacası Sunucu tarafından şifreleme sistemi kullanılarak gönderilen her emailin barkodlanmasıdır.

Bu yöntem, gönderilen postaların gerçekten ilgili adresten gönderilip gönderilmediğinin tespit edilebilmesi için kullanılmaktadır.

Örneğin bir spammer ya da phising saldırısı amaçlayan birisi sizin e-posta adresinizi From: adresine yazarak herhangi birine bir mail gönderebilir. İşte DKIM aslında gerçek adres sahibinden gönderilmeyen forge edilmiş bu tip postaların saptanmasını amaçlamaktadır.

Dig İle DKIM Kaydı Sorgulama

Aşağıdaki şekilde shell üzerinden dig komutunu kullanarak ilgili domain’e ait dkim kaydı(TXT record) sorgulayabiliriz.


örnek çıktı:

 


Bounced Mail Nedir ?

2 çeşit bounce email vardır;

Hard Bounce;

Kapanmış veya aktif olmayan bir e-mail adresinden dönen e-mail bilgisi .
Normal e-mail gönderimlerinde, karşı sunucu size 5’le başlayan (kalıcı hata) hata kodu döner.

Örneğin:

550 5.1.1 no such local recipient
veya
550 550-5.1.1 The email account that you tried to reach does not exist.
Hard Bounce Çeşitleri ve Anlamları;

Mail Adresi Mevcut Değil:
 Mail gönderilen serverda artık böyle bir adresin olmamasıdır.İnaktif Mail Hesabı:  eMail serverda böyle bir adres var, ancak aktif olmadığı anlamına gelir.Alan Adı Mevcut Değil:  Var olmayan bir alan adına gönderim yapıldığı anlamına gelir.

Inbox Mail bu tür bounce işlemlerini otomatik olarak yönetir.

Soft Bounce ;

Geçici problemlerden dolayı geri dönen mail bilgisi. Mesela alıcının mail kotası dolmuş olabilir, gönderime eklediğiniz bir eklentinin boyutu, mail kutusuna uygun olmayabilir gibi. Normal e-mail gönderimlerinde, karşı sunucu size 4’le başlayan (geçici hata) hata kodu döner.

Örneğin;

Mailbox quota exceeded:mailbox is full
veya
mailbox is over quota
 
Soft Bounce Çeşitleri ve Anlamları;
 
Uzak Sunucu Yapılandırması İle İlgili Bir Problem Var: Genelde kurumsal adreslerde görünen bir hata çeşididir. Geçici olarak firmanın mail serverında bir sorun olduğu anlamına gelmektedir.
 
İçerik Nedeniyle Bloke Edildi : Gönderdiğiniz email içeriğinde email serverın spam filitresinin sevmediği bir içerik olduğu anlamına gelir. Bunun ne olduğunu tespit edebilmenin tek yolu o firmanın email server admini ile bizzat irtibata geçilmesidir.
 
Kotanın Üzerinde: Mail gönderdiğiniz kişinin email alanının %100 dolu olmasıdır.
 
Yerel Sunucu Yapılandırması İle İlgili Bir Problem Var: Sadece firmanın kendi içerisindeki email serverda bir sorun olduğu anlamına gelmektedir.

Inbox Mail bu tür bounce işlemlerini otomatik olarak yönetir.


Docker Nedir? Docker Kurulumu Nasıl Yapılır?

docker nedir? kurulumu nasıl yapılır?

Docker Nedir?

Bu paylaşımımda Docker Nedir? Docker Kurulumu Nasıl Yapılır? sorularına yanıt bulmanızda yardımcı olmaya çalışacağım. Docker’ın sanallaştırma yapısı, klasik bilinen sanal makinelerden (VirtualBox, Vmware,kvm,xen vb.) farklı olarak bir Hypervisor katmanına sahip değildir.

 

Bunun yerine Docker, Docker Engine üzerinden, konak işletim sistemine erişmekte ve sistem araçlarını paylaşımlı olarak kullanmaktadır. Böylece klasik VM’lere göre daha az sistem kaynağı tüketmektedir.


Docker  sistemi 5  parçadan oluşmaktadır ;

  • Docker servisi : Sadece  konteynerlerin ayarlarını yapar , çalışma zamanı verilerini toplar.Sanallaştırma yazılımı değildir.Restful  bir API ‘ ye sahiptir.
  • Docker  istemcisi: Aynı makinada , ya da farklı  bir makinada çalışan Docker servisine Restful API ile bağlanarak sistemi yönetmemizi sağlayan bir araçtır.
  •    Docker  imajları: Üzerine yazılımlarınızı yüklediğiniz , isterseniz kendinize istediğiniz şekilde oluşturabildiğiniz , portatif sistem imajlarıdır.
  • Docker  Registry:  Docker  imajlarınızı  depoladığınız , push-pull işlemlerini  yaptığınız depodur.İsterseniz Docker ‘ın sağladığı  https://hub.docker.com u  kullanabilirsiniz , yada kendiniz bir özel  registry  kurabilirsiniz.
  • Docker  Konteyner : Bir docker imajı  üzerinde koştuğunuz  bir dizi komutun, sistemdeki  diğer tüm servislerden izole çalıştığı , sanal ortamdır.Sanal sunucu olarak düşünebilirsiniz.image lerin çalıştırılmış  şekline container deniliyor.

Docker Kurulumu Nasıl Yapılır?

Centos/RHEL 6.*,7.*  Üzerine Docker Kurulumu için aşağıdaki adımları takip edebilirsiniz.

  • 64 bit ve Kernel Sürümü en az 3.10 olmadlıdır.
  • uname -r (ile çekirdek sürümünü görebiliriz.)
  • sudo yum update (Systemin güncel olması önerilir.)

Yum ile Yükleme

Mevcut yum paketlerinin up-to-date olduğundan emin olun.
Docker yum repo ekleme.

Docker paketini yükleyin.

Docker daemon başlatın.

Açılışta docker daemon’ı başlatmak.


Servisin Çalıştığını Doğrulayalım.

Script ile Kurulum

Mevcut yum paketleri up-to-date olduğundan emin olun.
$ sudo yum update
Docker kurulum komut dosyasını çalıştırın.Bu komut  ile docker.repo  depo ekler ve Docker’ı kurar.

Docker daemon başlatın.

Açılışta docker daemon’ı başlatmak.

Servisin Çalıştığını Doğrulayalım.

Docker Servisini Kaldırma 

yum  ile Docker yazılımını kaldırabilirsiniz yum.
Yüklediğiniz paketi listeleyin.

Paketi kaldırmak


Bu komut image, container, volume veya kullanıcı tarafından oluşturulan yapılandırma dosyaları kaldırmaz.

Tüm herşeyi silmek için aşağıdaki komutu çalıştırın:

Herhangi bir kullanıcı tarafından oluşturulan yapılandırma dosyaları bulun ve silin.


Dig İle Çoklu Dns Kaydı Sorgulama

Birden fazla alan adına ait dns kayıtlarının sorgulanması için ufak bir script.

script içeriği:

Örnek Output:

 


Puppet ile Mysql Kurulumu ve Yönetimi

Install-Puppet-in-CentOS

 

Puppet ile mysql kurulumu ve yönetimi için kullandığım tercih ettiğim modül puppet tarafından supported olan bir modül aşağıdaki linkten erişebilrisiniz.

https://forge.puppet.com/puppetlabs/mysql/2.2.3

 

Mysql kurulumu ve yönetilmesi için oluşturduğum örnek puppet script’i aşağıdaki gibi

 


Puppet Master ve Agent Kurulumu

Install-Puppet-in-CentOS

Puppet Nedir?

Puppet Master ve Agent Kurulumu geçmeden önce Puppet, açık kaynak kodlu Server/Client mimarisine sahip bir Configuration Management tool’dur. Kendine ait DSL (Domain Spesifik Language) vardır. Karmaşık ve büyük sistem alt yapılarını yönetmek için kullanılabilecek araçların başında gelir.

Bu yazıda master/client kurulumu,yapılandırılması ve bir kaç örmek vermeye çalışacağım.

Server Tarafı
Sunucu üzerinde tarih ve saat bilgilerinin güncel olması için bir defaya mahsus güncelleyip ardından ntpd servisini başlatıyoruz.

Puppet repo’sunu yüklüyoruz.


Puppet server kurulumunu yapıyoruz.


Kurulum ardından versiyon kontrol ediyoruz.


Puppet ayar dosyasında aşağıdaki ayarları kendi bilgileriniz doğrultusunda yapıyoruz.


Puupet pp uzantılı puppet scirptleri diye ifade edilen dosyaylar ile yönetilir. Yukarda varsayılan olarak manifest dosyasının site.pp olduğunu belirttik.

Agent Tarafı 
 

Master üzerinde sertifika onaylama 
 

Master üzerinde sertifika silme 

Test Etme
 
puppet master üzerinde site.pp dosyası’na, client sunucusunda tmp dizini altında example-ip isminde 644 izni ile bir dosya oluşturarak içeriğini IP Address: xxxx şeklinde oluşturan ufak bir puppet script yazdık.
 

Clinet sunucuda;


dediğimizde tmp altında bu dosyanın oluşmuş olması gerekiyor.

 


Sayfalar:1234567...17