Qradar “An IO error occurred on server(s) localhost:32006” Hatasının Çözümünde Uygulanan İşlemler

Qradar üzerinde oluşan bir Offense incelemesi yapılırken Offense içindeki Events tıklandığında Logların gelmediği ve aşağıdaki ekran görüntüsünde yer alan hatanın oluştuğunu gözlemlendi.

Deploy Full Configuration yapmaya çalışıldığında da 192.168.x.x hostunun Error mesajı döndürdüğünü gözlemlendi.

Bu host Event Processor olarak çalıştığı için ilk hatadaki bilgi ile bu çıktı birlikte değerlendirildiğinizde “ariel_query_server” servisinin durumunu kontrol etme gereksinimi ortaya çıktı.

Event Processor üzerinde oturum açılarak aşağıdaki komut ile kontol gerçekleştirildi.

/opt/qradar/init/ariel_query_server status
Komutun çıktısı servisin çalışmadığını gösteriyordu. Öncelikle servisi başlatmayı deneyip tekrar durup durmayacağını gözlemlendi.

/opt/qradar/init/ariel_query_server start
Servis başladıktan kısa bir süre sonra tekrar durdu. (Bu servisin bu şekilde -beklenmedik- durması disk alanını kontrol edilmesi gerektiğini ortaya koydu.

Aşağıdaki komut ile Qradar’ın tüm bileşenlerinin kurulu olduğu 3 sunucu üzerindeki işletim sistemi bilgilerini ve disk doluluk oranlarını gösteren komutu çalıştırıldı.

 /opt/qradar/support/deployment_info.sh -OS

Evet Processor üzerindeki disk doluluk oranı (/store) bir kez de df -h komutu ile control edilerek diskteki doluluk oranının %99 seviyelerinde olduğunu doğrulandı.

Diskteki doluluğun sebebini incelediğinde en büyük alanı index dosyalarının tutulduğu “lucene” isimli klasörlerin kapladığı tespit edildi.

Retention süreleri control edildiğinde 90 günlük log datasının index’lendiği görüldü. Öncelikle buradaki değer 60 güne düşürüldü.

Ardından eski index dosyalarının yedeklenmesi ve sonrasında mevcut Event Processor üzerinden silinmesine karar verildi. Yapılan kontrollerde Qradar Console sunucusu üzerinde boş alan olduğu tespit edildi.

SCP komutunda p ve r parametreleri kullanılarak Kasım 2011 tarihine ait loglar ve index dosyaları yedeklendi. P ve r parametreleri hem 2021/11 altındaki tüm dizinlerin kopyalanmasını hem de bu dosyaların sahiplik ve izinlerinin-dosya oluşturulma tarihlerinin değiştirilmeden aktarımını sağlamak amacıyla kullanılmıştır.

scp -pr [email protected]x:/store/ariel/events/records/2021/11/ [email protected]:/store/ariel/events/indexyedek/

Aktarımlar tamamlandıktan sonra 2021/11 dizini altında aşağıdaki komut çalıştırılacak lucene ismini taşıyan tüm dizinlerin listesinin lucenelist.txt dosyasına yazılması sağlanmıştır.

find -type d -name “lucene” > lucenelist.txt

Yine aynı dizindeyken aşağıdaki komut ilede lucenelist.txt dosyasında yer alan tüm “lucene” isimli dizinlerin silinmesi sağlanmıştır.

awk ‘{system (“rm -r ./\””$0″\””)}’ lucenelist.txt

Yapılan çalışma sonrasında disk kullanımının %87’ye düştüğü gözlemlenmiştir.