IrvineのもっとPC自作日記
本ページはプロモーションが含まれています。
  
 

Google障害の原因が判明 ストレージ容量不足だった?

 

スポンサーリンク

 
Google障害の原因が判明 ストレージ容量不足だった?

2020年12月14日21時ごろに日本各地でGoogleのサービスを
利用できない状況になった。それについてGoogleが一次報告をしている。
IT業界に関するニュースのまとめはこちら。

問題の概要

自分もちょうどのその時間にGoogleのあるサービスを利用しようとしたら、いつもならさっと
表示される画面がなかなか表示されなかった。
つい先日もAWSで障害があったのでそういうたぐいの問題かなと思ったら、twitter上に早々と
出ていた。

その後のニュースを見ると、問題は下記のような範囲で起きていた。

  • 発生日時 12月14日20時45分~21時35分
  • 対象サービス Gmail、カレンダー、Youtube
  • 影響地域 全世界

Youtubeの配信ができなくて困ったというツイートもあったな。
ほどなくして復旧し、普通に使えるようになったので、深刻な問題ではなかったようだ。

問題原因

Googleによる調査の結果が出ている。最終報告ではなく一次報告だ。この手の障害が発生した場合は、
ユーザに対してまずどういう問題があったかを報告し、のちに根本対策はこうした、などの説明を行って
最終報告となる。

英文でGoogleから報告が出ている。

GCP障害201214

GCP障害201214

要点をかいつまむと、

  • 47分間わたって、Google OAuthへのアクセスができなくなっていたことが原因。
  • その背景として、ユーザIDサービスを10月から新しいストレージに移行していた。
  • ユーザIDサービスは分散DBで構成されているが、セキュリティ上の理由で古いデータと判定した場合は要求を拒否する仕様になっていた。
  • ストレージ容量の上限を決めるクォータを減らしたことで実際の消費量を下回ってしまい、書き込みができなくなった。このため、認証データが古いと判定されて、認証サービスが拒否を返したようだ。

なぜクォータの利用を減らしたかのあたりが良くわからないが、想定していないシナリオを
実施してしまったため、考慮が漏れていた処理が行われてしまったためのようだ。
ストレージが残量不足で停止した機能があるという事ではないようだ。さらに機器の故障でもない。
今回は人為的なミスと考えてよいだろう。

影響範囲

この報告を要約すると影響範囲は下記の通りだった。
GCPとはGoogle Could Platformで、Googleが提供するクラウドサービスだ。amazonが提供する
AWSのライバルでもある。
聴いている範囲では、GCPはポケモンGOやドラクエウォークでも使われている。またGMAILや
Youtube、マップなど10億人オーダで使うツールのプラットフォームにもなっており、巨大なシステムと
言ったらGCPという感が個人的にはある。

  • GCPクラウドコンソール
    ユーザを作ったが利用していなかった場合はログインできなかった。
    利用したことがあるユーザであればログインできた。ただし利用できるサービスは限定されていた
    かもしれない。
  • Big Query
    GCPにおけるビッグデータ解析サービスだが、通常なら10%程度のエラーを返すところ、
    75%もエラーを返していた。
    この障害時間帯にリクエストを出した処理はかなりの確率でエラーになって、
    再度要求が必要だったようだ。
  • Cloud Storage
    GCPにおけるクラウドストレージは、15%くらいが利用不可の状態になっていた。
    これは認証にOAuthを使っているためのようだ。

原因を聞いた感想

クラウドサービスと言えど万全ではない。先日もAWSで一部のサービスが止まった。

1年くらい前にAWSが機器故障が原因で停止したときは、様々なECサイトが決済できなくて停止していた。
クラウドの推進により、企業は低コストで安定してサービス提供ができるようになった反面、
共通プラットフォームとしてのクラウド事業者が障害などで停止すると、様々な範囲の
サービスが停止してしまう。

今はまだクラウドを使っていないと思うが、銀行の勘定系、警察の信号制御、電車の運行システム。
こういうものがクラウドを使うようになったら、非常に危険に思える。

Youtubeが1時間止まる程度なら我慢すればよいのだが、信号や電車が1時間止まると影響が大きく、
また事故のもとにもなるだろう。クラウドでなくても銀行もたまに止まる。その時の影響範囲を
考えたら銀行や証券も多大にありそうだ。

企業が経費や利益だけでクラウドを選択すると非常に危険だなと思えることが徐々に増えてきた。
クラウドは便利なのだが、クラウドだけに任せてしまうと手痛いしっぺ返しを食らいそうだ。
情報流出の点だけでいえば、大手のクラウドサービスで流出した話は聞いたことがないので、
その点は安心できそうだ。情報セキュリティとサービスの安定性は分けて考えるしかなさそうだ。

PR

   
著者プロフィール
irvine
 ソフトウェア設計、ストレージ設計を経てクラウドにかかわる仕事をしている、東京郊外在住のエンジニア。
 仕事でUS,UK,SGなどの国とかかわる。
 自作PC、スマホ、タブレット、AV機器好き。ドラクエウォークはルーチンワーク。Linuxやストレージ、IT業界の動向は興味を持っている。
 新しい機器、サービスに興味あり。年数回のレビュー(自腹購入、ご依頼)と発表されて興味があるものの新製品机上レビューをやっている。
 2022年はJAPANNEXT様のアンバサダーを務めました。
 
 

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です