MongoDBクラスターの接続障害と設定改善

MongoDBクラスターの接続障害と設定改善

今回の事例では、AWS EKSのデプロイとMongoDB Atlasのバージョンアップグレードが重なったことで発生した障害をもとに、クラスター環境におけるMongoDBの接続設定を点検した内容です。

1. 予期しない障害の発生

MongoDB Atlasを使用するシステムをAWS EKSにデプロイしていた際、一部のMongoDBクラスターへの接続が完了せず、新規WASが正常に起動できませんでした。即座にエラーが発生してプロセスが終了したわけでもありません。アプリケーションは初期化の過程で待機し続け、実際のリクエストを処理できない状態でした。

この状態でKubernetes Health Checkとデプロイ手順が進行し、既存のサービスインスタンスが終了したことで障害が拡大しました。今回の対応では、Health Check自体よりもMongoDBへの接続プロセスを中心に原因を分析しました。障害発生時点のイベントを確認した結果、デプロイと同時にMongoDB Atlasのバージョンアップグレードが進行していました。

2. Atlasのバージョンアップグレードとデプロイのタイミングが重なる

MongoDBクラスターは複数のメンバーで構成されており、メンテナンスやバージョンアップグレード中は、一部のメンバーの可用性が一時的に変化することがあります。Primaryが対象の場合は、新しいPrimaryを選出するプロセスも発生します。これはクラスター運用において考慮すべき正常な状態変化であり、ドライバーはトポロジーを把握して利用可能なサーバーを選択できなければなりません。

今回は、新規WASの初回接続時点とAtlasのノード切り替え時点が重なりました。既存のWASは接続プールとトポロジー情報をすでに保持しており、Atlasが正常な状態であれば、新規WASも通常どおり接続できた可能性が高いと考えられます。したがって、原因を単純にAtlasのメンテナンスだけとは捉えませんでした。メンテナンス、フェイルオーバー、Primaryの変更はクラスター環境で発生し得るため、新規アプリケーションも一部のメンバーを利用できない状態に耐えられなければなりません。

通常時にも、一部のクラスター・メンバーへの接続問題がサービス障害を発生させずに隠れていた可能性についても検討しました。別の利用可能なメンバーに接続できていたのであれば、問題が表面化しないまま、アップデートに伴うノードの切り替えと新規WASの初回接続が重なったことで、起動上の問題として現れた可能性があるためです。

3. 接続失敗を判定する時間の問題を確認

MongoDB Java Driverには接続関連のデフォルトTimeoutがありますが、デフォルト値がサービスの起動時間や障害許容時間に適していることを意味するわけではありません。初回接続では、DNSルックアップ、TCP接続、TLS処理、トポロジーの確認やサーバー選択などが連続して発生します。各段階の待機が重なると、WASが想定以上に長く起動中の状態にとどまる可能性があります。

分析の焦点は「なぜ特定のノードが一時的に外れたのか」ではなく、「その状況で新規WASが、なぜ適切な時間内に接続の成功または失敗を判断できなかったのか」に置きました。そこで、接続Timeoutとサーバー選択ポリシーを明示しました。

4. 実際の運用環境に適用した設定

4.1 JVMのDNSキャッシュ時間の調整

spec:
  template:
    spec:
      containers:
        - name: serviceName
          env:
            - name: JAVA_TOOL_OPTIONS
              value: "-Dsun.net.inetaddr.ttl=5" 

deployment.ymlのJAVA_TOOL_OPTIONSに`-Dsun.net.inetaddr.ttl=5`を適用しました。JVMがDNSルックアップの結果を長時間保持しないようにし、クラスターのアドレスやDNSの状態変化を比較的速やかに反映するための設定です。`sun.net.inetaddr.ttl`はJDKの実装に依存するSystem Propertyであるため、使用するJDKが対応しているか確認する必要があります。この事例では、別途Security Propertyを設定せず、このプロパティだけをJVMのSystem Propertyとして渡しました。

4.2 MongoDB ClientのTimeoutおよび読み取り・書き込みポリシーの設定

public class MongoCustomConfig
        extends AbstractMongoClientConfiguration {

    @Override
    public MongoClient mongoClient() {
        //
        return getUriMongoClient();
    }

    @Override
    public MongoTemplate mongoTemplate(
            MongoDatabaseFactory databaseFactory,
            MappingMongoConverter converter) {
        //
        MongoTemplate mongoTemplate =
                new MongoTemplate(databaseFactory, converter);

        // [데이터 안정성] 과반수 노드 복제 확인으로 Primary 이탈 시 데이터 롤백 가능성 감소
        mongoTemplate.setWriteConcern(WriteConcern.MAJORITY);

        // [읽기 가용성] Primary 우선, 전환 중에는 Secondary 조회 허용
        mongoTemplate.setReadPreference(
                ReadPreference.primaryPreferred());

        return mongoTemplate;
    }

    private MongoClient getUriMongoClient() {
        //
        ConnectionString connectionString =
                new ConnectionString(dbUri);

        MongoClientSettings settings =
            MongoClientSettings.builder()
                .applyConnectionString(connectionString)
                .applyToSocketSettings(socketBuilder ->
                    socketBuilder
                        // TCP 초기 연결 대기 시간 제한
                        .connectTimeout(3, TimeUnit.SECONDS)

                        // 연결 후 응답 대기 시간 제한
                        .readTimeout(5, TimeUnit.SECONDS)
                )
                .applyToClusterSettings(clusterBuilder ->
                    clusterBuilder
                        // 사용 가능한 Replica Set 노드 탐색 대기 시간 제한
                        .serverSelectionTimeout(
                            5, TimeUnit.SECONDS)
                )
                // MongoDB 버전 변경 시 API 호환성 확인
                .serverApi(ServerApi.builder()
                    .version(ServerApiVersion.V1)
                    .strict(true)
                    .deprecationErrors(true)
                    .build())
                .build();

        return MongoClients.create(settings);
    }
}

5. 各設定を適用した目的

`connectTimeout`は個々のサーバーとのTCP接続を確立する際の待機時間を制限します。今回の環境では3秒に設定し、接続できないサーバーを長時間待たないようにしました。`readTimeout`は接続後にサーバーの応答を待つ時間を制限し、5秒に設定しました。正常なクエリが頻繁にこの時間を超える場合は、Timeoutを延長する前にクエリとインデックスを確認する必要があります。

`serverSelectionTimeout`は、ドライバーが現在のクラスターでリクエストを処理するサーバーを見つけるまでの時間を制限します。Primaryの切り替えや一部メンバーの一時的な離脱を考慮し、5秒に設定しました。3つのTimeoutは対象が異なります。`connectTimeout`は個々のサーバーとの接続、`serverSelectionTimeout`はクラスター内のサーバー選択、`readTimeout`は接続後の応答待機を制御します。今回の3秒・5秒という値は運用環境に合わせたものであり、すべてのシステムに推奨される値ではありません。

`WriteConcern.MAJORITY`は、書き込みが過半数のメンバーに反映されたことを基準に成功と判断し、フェイルオーバー時のデータロールバックのリスクを低減するための設定です。`ReadPreference.primaryPreferred()`は通常の読み取りでデータの最新性を優先しつつ、Primaryを利用できない短時間の間はSecondaryからの読み取りを許可します。ただし、大容量のバルク・バッチ読み取りのようにPrimaryの負荷分散が重要な処理では、`secondaryPreferred`など、別の読み取りポリシーを適用できます。Read Preferenceはサービスの特性に応じて選択する必要があります。Server API V1のstrict/deprecationErrorsはフェイルオーバー機能ではありませんが、サーバーバージョンの変更時にAPI互換性の問題を確認するのに役立ちます。

6. 他のメンテナンス作業への適用範囲の拡大

今回の事例を検討する中で、バージョンアップグレード以外のメンテナンス状況についても併せて考慮しました。大量のデータを削除した後、実際のディスク領域を回収する必要がある場合は、環境やバージョンに応じて`compact`などの作業を検討できます。重要なのは特定のメンテナンス機能ではなく、作業中にクラスターのメンバーの役割や可用性が変化する可能性があるという点です。バージョンアップグレード、Primaryの切り替え、ノードのメンテナンスはいずれも、アプリケーションからは一部サーバーへの一時的な接続不可として現れることがあります。

したがって、作業ごとの例外処理よりも、クラスターの一部メンバーが除外されても動作を継続できるようにするか、定められた時間内に明確に失敗するように接続ポリシーを構成することが重要です。

7. Health Checkとデプロイプロセスにおける障害の拡大

新しいWASがMongoDBへの接続を完了できない状態でKubernetes Health Checkとデプロイが進行し、既存サービスが終了したことで、障害の範囲が拡大しました。ただし、実際の対応ではHealth Checkの設定は変更しませんでした。直接的な改善対象はMongoDB接続のTimeout、サーバー選択、DNSキャッシュ、読み取り・書き込みポリシーでした。

8. 設定適用の結果と事例から得られたこと

設定適用後、現在まで同じ問題は再発していません。ただし、デプロイとクラスター状態の変化が重なった場合にのみ発生するまれな条件であるため、再発していないことだけで効果を断定することはできません。改善の核心は、ドライバーやJVMのデフォルト動作だけに依存せず、サービスが許容する接続待機時間とクラスター状態の変化に対するポリシーを明示したことです。

今回の障害はAtlasで発生しましたが、教訓はAtlasに限定されません。Replica Setなど複数のメンバーで構成されたMongoDBでは、メンテナンス、フェイルオーバー、Primaryの変更によって一部のメンバーを一時的に利用できなくなる状況を考慮する必要があります。高可用性DBを使用しているからといって、アプリケーションの可用性が自動的に保証されるわけではありません。クライアントが適切なサーバーを選択し、限られた時間内に成功または失敗を判断できる必要があります。そのため、接続Timeout、server selection、DNSキャッシュ、Read/Writeポリシーを併せて確認する必要があります。

Daniel(K)

Site footer