Pendahuluan
Pada akhir Agustus, ada masalah layanan langsung yang memengaruhi pemain selama beberapa hari. Hal ini mengakibatkan akses login yang tidak konsisten dan hilangnya progres untuk beberapa pemain, serta ketidakmampuan untuk menyelesaikan Misi Harian.
Ini bukan pengalaman yang ingin kami berikan kepada kalian. Kesalahan yang tidak dapat dihindari mungkin merupakan kenyataan dalam semua jenis pengembangan perangkat lunak, tetapi jika hal itu terjadi, kami ingin memastikan bahwa kami memiliki proses pengembangan yang kuat, jaminan kualitas, dan rilis pembaruan yang akan meminimalkan dampak kesalahan tersebut.
Beberapa minggu setelah masalah ini teratasi, tim kami berkumpul untuk memahami apa yang menyebabkannya dan merumuskan langkah-langkah yang dapat kami ambil untuk mencegah masalah ini terjadi lagi. Artikel ini adalah ringkasan dari diskusi internal tersebut.
Ringkasan Insiden
Untuk meringkas secara singkat masalah layanan live:
Pada tanggal 26 Agustus, tak lama setelah tengah malam PDT (UTC -7), Tim Komunitas memberi tahu tim studio lain bahwa para pemain melaporkan tidak dapat masuk, dan bahwa pemain Android tampaknya masuk ke dalam game sebagai pemain baru, tanpa adanya progres akun. Pada pukul 12:10, Tim Backend kami mengonfirmasi perilaku yang tidak biasa ini di layanan cloud kami.
Kami menyesuaikan konfigurasi basis data kami untuk mengatasi kegagalan login dan munculnya masalah perkembangan. Dalam waktu satu jam, kami melihat laporan bahwa pemain dapat login, tetapi sayangnya, banyak pemain masih melaporkan akun yang tampaknya tidak memiliki progres. Selain itu, kami mulai melihat laporan bahwa Misi Harian tidak dapat diselesaikan.
Ini berarti ada tiga masalah utama yang harus ditangani:
- Login yang tidak konsisten
- Menghilangnya progres
- Ketidakmampuan untuk menyelesaikan Misi Harian
Investigasi dan Resolusi
Masalah Login dan Progres:
Melalui sejumlah alat pemantauan, Tim Cloud Platforms menemukan bahwa dua layanan yang penting untuk proses login mengalami kehabisan waktu. Dengan kata lain, satu layanan akan meminta data dari layanan lain, dan jika layanan kedua tidak merespons dalam beberapa detik, layanan pertama akan menutup koneksi dan melaporkan bahwa layanan kedua membutuhkan waktu terlalu lama untuk merespons.
Hasilnya: Beberapa pemain tidak dapat masuk ke Sky, dan pemain lain yang dapat masuk tidak menerima data progres akun mereka.
Solusi potensial apa pun juga harus kompatibel dengan layanan backend lainnya sehingga tidak akan terpengaruh secara negatif, dan pengujian harus dilakukan dengan cepat dan hati-hati agar tidak ada dampak lebih lanjut yang dirasakan dalam permainan.
Tim Engineering kami mengerjakan solusi yang dapat mengatasi masalah ini, dan bersama dengan Tim Cloud Platform, mereka mengembangkan, menguji, dan meninjau perbaikan untuk masalah data progres dan juga masalah pada salah satu database kami.
Penyelesaian Misi Harian
Ketika kami menyelidiki laporan tentang Misi Harian, kami menyadari bahwa hal ini disebabkan oleh sistem Misi yang salah telah digunakan.
Seperti yang mungkin kamu ingat, kami sedang mengerjakan perubahan besar-besaran pada Misi Harian di Sky, dan hal ini memerlukan pengembangan sistem Misi baru. Kami telah mengujinya secara internal, dan kami juga menggunakan konfigurasi sementara yang secara aman mengaktifkan sistem baru dalam permainan live secara eksklusif untuk tim QA kami sehingga mereka dapat melakukan pengujian penting, dan ketika pengujian selesai, konfigurasi tersebut dihapus dan sistem Misi yang baru dinonaktifkan sepenuhnya.
Namun, setelah kami selidiki, kami menemukan bahwa sistem Misi yang baru secara tidak sengaja telah diterapkan ke lingkungan permainan live dengan pembaruan 0.26.5. Akibatnya, sistem Misi baru dan lama diaktifkan, tetapi sistem lama tidak dapat menangani Misi Harian baru yang diperkenalkan oleh pembaruan tersebut. Setiap kali pemain mencoba menyelesaikan misi baru yang dirancang untuk sistem baru, sistem lama akan menampilkan kesalahan.
Karena cara-cara khusus platform dan layanan kami berinteraksi dengan perangkat tempat Sky dimainkan, kami akhirnya memutuskan bahwa menonaktifkan sistem Misi yang baru akan menyebabkan lebih banyak masalah. Jadi, kami menguji dan mengeluarkan perbaikan pada sistem Misi baru yang akan menyelesaikan masalah penyelesaian Misi, dan kemudian menonaktifkan sistem Misi lama.
Perbaikan untuk semua masalah ini telah dikonfirmasi pada pukul 14:15 WIB tanggal 29 Agustus 2024, 72 jam setelah laporan pertama dari pemain.
Secara keseluruhan, masalah login berlangsung selama sekitar satu jam, batas waktu progres akun selama 37 jam, dan kesalahan penyelesaian Misi Harian selama 72 jam.
Langkah ke Depan
Untuk mencegah masalah serupa di masa mendatang, kami telah mengambil langkah-langkah yang meliputi:
- Memperbarui daftar periksa kesiapan rilis live kami: Versi baru dari daftar periksa ini lebih memperhitungkan kebutuhan game layanan live seperti Sky, dan telah diperbarui untuk lebih menekankan kejelasan dan pos pemeriksaan tambahan untuk fitur-fitur baru.
- Proses penandatanganan fitur baru: Pengembangan untuk fitur-fitur baru akan mencakup rencana pengembalian yang lebih kuat, yang dapat diikuti dalam kasus apa pun di mana layanan live terkena dampak. Langkah-langkah validasi tambahan di seluruh tim akan memastikan kesiapan fitur dan tinjauan yang lebih kuat untuk standar kualitas.
Sangat mudah untuk merayakan keberhasilan kami; mengakui kesalahan dan pelajaran yang didapat jauh lebih sulit, tetapi tetap penting. Tujuan kami dengan posting ini adalah untuk mengatasi kekhawatiran yang mungkin timbul sebagai akibat dari insiden sebelumnya, dan kami menghargai kesabaran dan umpan balik dari kalian selama kami mengatasi masalah ini.
Dengan berbagi wawasan ini, kami berharap dapat mempermudah pemahaman tentang komitmen kami untuk membuat waktu kalian di Sky menjadi lebih positif, dan mengambil tindakan untuk meningkatkan kualitas pengalaman pemain yang kami sediakan.
Seperti biasa, kami menantikan umpan balik dari kalian, dan mengajak kalian untuk bergabung dengan kami dalam diskusi di server Discord resmi kami di discord.gg/thatskygame!