勤労の獅子ご利用のお客様へ
日頃より、勤労の獅子をご利用いただきまして誠にありがとうございます。
12月1日(火)発生しましたシステム障害では、約2時間にわたりサービスを正常にご利用いただくことができず、お客様ならびにお取引先の皆様、関係者の皆様には、多大なるご不便、ご迷惑をお掛けしましたことを、心より深くお詫び申し上げます。
本事象につきましては事象の原因解明と再発防止策の検討を進め、この度、再発防止策の実施が完了しました。事象発生の原因と合わせてご報告いたします。
■障害事象と発生日時
2020年12月1日(火)午前8時40分から午前10時40分まで、アクセス過多によりサーバー負荷が高まり、勤労の獅子のログイン画面(管理者・個人)へ繋がらない、もしくは繋がりにくい状態、並びに各機能をご利用の際に遅延するという事象が発生しました。
■障害の原因
「勤労の獅子」において、データベースサーバーに高負荷を与えるプログラム(スロークエリ)がありました。アクセス集中により、スロークエリがデータベースサーバーに滞留、その結果想定を超える高負荷状態となり、レスポンスが極端に遅くなったことが事象の原因です。
■本事象の再発防止策
1. 障害発生時に処理がひっ迫していたサーバーの性能強化
12月10日の定期メンテナンスにてデータベースサーバーの性能を強化しました。
2. 事象に影響しているプログラム(スロークエリ)の特定と修正
障害発生時のログ及びプログラムの解析により、スロークエリを特定し該当プログラムの修正を実施しました。
3. 2にて修正したプログラムを用いた負荷テスト
アクセスのピーク時を想定した負荷テストを実施し、レスポンス遅延が発生しないことを検証しまた。本事象のピーク時のさらに5倍のアクセスがありましても、遅延なく動作する状態になっております。2021年1月月初につきましては、利用者数の推移から想定した際のアクセス数が現在の5倍になることはないため、動作遅延が発生することはありません。
■中長期的な再発防止策
今後も定期的にサーバーの負荷状況(CPU 使用率、メモリー使用率等)を監視し、利用者数の見通しに基づき、サーバーの性能強化やシステムのチューニングをはじめ、規模に応じた構成の見直し等を継続的に実施いたします。
この度は大変ご不便・ご迷惑をおかけし、誠に申し訳ございませんでした。心より深くお詫び申し上げます。
ご不明な点等ございましたら、サポート窓口までお問い合わせください。