Events (Olaylar)

  • Status (Durumu) Completed (Tamamlandı)
  • Percent Complete
    100%
  • Task Type (İş Türü) Incident (Olay)
  • Category (Kategori) Maintenance Work (Bakım Çalışması)
  • Assigned To (Atanan) No-one
  • Operating System All
  • Severity (Öncelik) High (Yüksek)
  • Date (Tarih) 13.06.2018
    286 days overdue
  • Private (Özel)
Attached to Project: Events (Olaylar)
Opened by AltınSoft Engineers - 13.06.2018
Last edited by AltınSoft Engineers - 13.06.2018

FS#366 - Türkiye Veri Merkezi Bakım Çalışması - (Turkey Datacenter Fault Report and Maintenance Operation)

Türkçe

12 Haziran Salı günü şebeke elektrik kesintisinden hemen sonra şebeke şalterinin, şebeke elektriğini devreye iletmemesi nedeniyle TIER II veri merkezinde ve TIER III veri merkezine güç yedekliliği sağlayan B güç hattında elektrik kesintisi yaşandı. Konuyla ilgili detaylı açıklamamızı aşağıda paylaşıyoruz.

Ayrıca, mevcut aksaklıkla ilgili 13.06.2018 günü saat 02:00’da (12 Haziran Salı gününü, 13 Haziran Çarşamba’ya bağlayan bu gece) TIER II veri merkezinde plansız (acil) bir bakım çalışması yapılacaktır.

1. Ne oldu?

02:03 Şebeke elektriği kesildi ve jeneratör devreye girdi.

02:17: Şebeke elektriğindeki kesinti sona erdi ve jeneratör devreden çıktı. Ancak şebeke şalteri şebeke elektriğini güç hattına iletmedi. Bu nedenle yedekli UPS sisteminden güç beslemesi devam etti.

02:37: UPS akülerinin 20 dakika sonunda bitmesiyle birlikte TIER II Veri Merkezi’nde güç kesintisi yaşandı.

02:37 – 05:30: Aksaklığın kök nedeni ile ilgili çalışma başlatıldı. Bu çalışma sonucunda iki kontak rölesinden birinin ve faz kontrol rölelerinden her ikisinin de yanmış olduğu tespit edildi. Arızalı kontak rölesi Radore ekibi tarafından, faz kontrol röleleri alt yükleniciden temin edildi ve montajı yapıldı.

05:30: Transfer otomasyonu manuel pozisyona alınarak test edildi. Ardından devreye enerji verilerek aksaklık giderildi. Vaka sonucunda toplam kesinti süresi 2 saat 53 dakika oldu.

2. Yaşanan teknik aksaklığın sebebi neydi?

Şebeke elektriği kesintisi sonlandıktan sonra faz kontrol ve kontak rölelerinde yanma meydana geldiği için jeneratör devreden çıkmasına rağmen şebeke şalterinin şebeke elektriğini devreye iletmesinde aksaklık yaşanmıştır. Bu nedenle TIER II veri merkezinde ve TIER III veri merkezine güç yedekliliği sağlayan B güç hattında elektrik kesintisi yaşanmıştır.


3. Durum İçin Alınan Aksiyonlar

  Aksaklığa neden olan kontak rölesi ve faz kontrol rölelerinin yedekleriyle değişimi yapıldı.


4. Bundan sonra ne olacak?

13.06.2018 günü saat 02:00’da (12 Haziran Salı gününü, 13 Haziran Çarşamba’ya bağlayan bu gece) 

TIER II veri merkezinde acil bir test çalışması yapılarak jeneratörden şebekeye geçiş otomasyonu kapsamlı bir şekilde test edilecektir.
Bu çalışma yedekli ve kesintisiz olarak kurgulandığından müşterilere yansıyacak bir kesinti öngörülmemektedir.
Yine de çalışma sırasında olası bir aksaklık ihtimali halinde 30 dakikayı aşmayacak nitelikte bir kesintiye karşı hazırlık yapılması gereklidir.
Yapılacak çalışma saatine dek artırılmış nöbetçi ekip uygulamasına devam edilecek ve kesintisizlik sağlanacaktır.

English

On Tuesday, June 12, immediately after the mains power failure, there was a power failure in the TIER II data center and the B power line, which provided power redundancy to the TIER III data center, due to the mains switch not transmitting mains electricity. We share our detailed explanations below.

In addition, an unplanned (urgent) maintenance work will be performed at the TIER II data center on the date of 13.06.2018 at 02:00 am (Tuesday, June 12, tonight, connecting to Wednesday, June 13).

1. What happened?

02:03 The mains electricity is cut off and the generator is switched on.

02:17: The interruption in mains electricity has come to an end and the generator has been deactivated. However, the mains switcher did not deliver the mains electricity to the power line. For this reason the power supply from the backup UPS system continued.

02:37: There was a power failure at the TIER II Data Center with UPS mobs ending in 20 minutes.

02:37 - 05:30: The study of the root cause of the fault was initiated. As a result of this study it was found that one of the two contact relays and both of the phase control relays were burnt. Faulty contact relay Radore team provided phase control relays to the subcontractor and assembled.

05:30: Transfer automation was tested in manual position. Then the circuit was energized and the trouble was eliminated. The total outage time for the case was 2 hours 53 minutes.


2. What was the reason for the technical problems that were experienced?

Since the phase control and contact relays have come to light after the mains electricity interruption has ended, the mains switch has failed to deliver the mains power to the system despite the generator being deactivated. For this reason, there was a power failure in the TIER II data center and the B power line that provided power redundancy to the TIER III data center.


3. Take Actions for Situation

  The contact relay and phase control relays which caused the misalignment were replaced with backups.


4. What will happen next?

Generator-to-network automation will be extensively tested by an emergency test run at the TIER II data center at 02:00 on Tuesday, June 12 (tonight on Tuesday, June 12, connecting to Wednesday, June 13).
This work is designed as a backup and without interruption reflected in the customer is not foreseen.
However, if there is a possibility of a fault during operation, it is necessary to prepare for a break which will not exceed 30 minutes.
Increased working hours will be continued until the working hours to be made and the uninterrupted operation will be provided.

Admin
AltınSoft Engineers reported 13.06.2018 08:27

Türkçe

Bu gece saat 02:00'da veri merkezi enerji sistemlerinde yapılacak bakım çalışması esnasında olası bir disk arızası yaşanmaması için saat 01:45'te tüm sunucular kapatılacaktır. Saat 02:30 civarında tekrar çalıştırılıp tüm sunucular online edilecektir.

Anlayışınız ve iş birliğiniz için teşekkür ederiz.

English

During maintenance work at the data center power systems at 02:00 tonight, all servers will be turned off at 01:45 to avoid a possible disk failure. All servers will be online at around 2:30 am.

Thank you for your understanding and cooperation.

Admin
AltınSoft Engineers reported 13.06.2018 09:53

Türkçe

Sunucular kapatıldı.

English

The servers were powered off.

Admin
AltınSoft Engineers reported 13.06.2018 10:53

Türkçe

Tüm sunucular çalıştırıldı ve online oldu.

English

All servers were power on and online.

Loading...

Available keyboard shortcuts

Tasklist (İş Listesi)

Task Details

Task Editing