概念 on PIG.CENTER

Patroni 4.1.5ドキュメント

Mon, 01 Jan 0001 00:00:00 +0000

警告

Python 3.11+を使用する、メモリー制限のあるシステムでのPatroniの実行

たとえばvm.overcommit_memory=2（PostgreSQLで推奨）を設定したような、メモリー制限が厳しいシステムでPatroniを実行し、Python 3.11以降を使用すると、予期しない動作が見られる場合があります。

はじめに

Mon, 01 Jan 0001 00:00:00 +0000

Patroniは、Pythonを使用した高可用性（HA）PostgreSQLソリューションのテンプレートです。PatroniはComposeのプロジェクトであるGovernor のフォークとして誕生し、多くの新機能を備えています。

機能

Mon, 01 Jan 0001 00:00:00 +0000

接続をローテートする際の幾つかのレベルの厳しさ：

セッションプーリング

最も丁寧な方法です。クライアントが接続すると、そのクライアントが接続を維持している間は、サーバー接続が常に割り当てられます。クライアントが切断すると、そのサーバー接続はプールに戻されます。このモードは、すべての PostgreSQL 機能をサポートしています。

トランザクションプーリング

クライアントにサーバー接続が割り当てられるのは、トランザクション中に限られます。PgBouncer がトランザクションの終了を検知すると、サーバーはプールに戻されます。このモードでは、PostgreSQL のセッションベースの機能の一部が動作しなくなります。アプリケーションが、破損を引き起こす機能を使用しないよう協力する場合にのみ利用できます。互換性のない機能については、以下の表を参照してください。

ステートメントプーリング

最も攻撃的な方法です。これはトランザクションプーリングの一種ですが、複数文のトランザクションを許可しない点が特徴です。これはクライアント上で「autocommit」モードを強制することを目的としており、主に PL/Proxy を対象としています。
メモリ要件が低く（デフォルトで接続あたり 2 kB）、これは PgBouncer が一度に完全なパケットを確認する必要がないためです。

pgBackRest 2.59.1 ドキュメント

Mon, 01 Jan 0001 00:00:00 +0000

はじめに

pgBackRestは、最大規模のデータベースやワークロードにもシームレスに対応できる、PostgreSQL向けの信頼性の高いバックアップとリストアのソリューションです。

PgBouncer 1.25.2 ドキュメント

Mon, 01 Jan 0001 00:00:00 +0000

pgbouncer は PostgreSQL のコネクションプーラーです。任意の対象アプリケーションは、実際のサーバーのように pgbouncer に接続できます。このとき、pgbouncer は実際に接続先のサーバーに接続するか、既存の接続を再利用します。

pgBadger 13.2ドキュメント

Mon, 01 Jan 0001 00:00:00 +0000

pgBadgerは、Perlで書かれた高速な単体動作のPostgreSQLログアナライザーです。PostgreSQLまたはPgBouncerのログを読み取り、詳細なHTML、テキスト、バイナリ、JSON、または生のCSVを出力します。HTMLレポートは自己完結型で、操作や拡大縮小が可能です。閲覧に必要なのはウェブブラウザーだけです。

pgBadgerを選ぶ理由

pgBadgerは、大きなログの解析と運用での利用を想定して設計されています。

単一のPerlプログラムであり、Perlコア以外の必須モジュールはありません。
stderr、syslog、csvlog、jsonlog、RDS、Cloud SQL、logplex、Redshift、PgBouncerの入力を自動検出します。
ローカルファイル、標準入力、SSH経由のリモートファイル、HTTP・FTP・SFTPのURLを直接読み取ります。
gzip、bzip2、lz4、xz、zip、zstdの圧縮入力に対応します。
単一の大きなファイル、または多数の小さなファイルを並列に解析します。
日次、週次、および必要に応じた月次の増分レポートを生成します。
時刻、データベース、ユーザー、クライアント、アプリケーション、プロセス、セッション、クエリーパターンで絞り込めます。

レポートの内容

PostgreSQLのレポートには次の内容が含まれます。

etcd 3.7 ドキュメント

Mon, 01 Jan 0001 00:00:00 +0000

etcdは、強い整合性を備えた分散キー・バリューストアです。これらのガイドでは、etcdのインストールと運用、APIを使用したアプリケーションの構築、設計の理解、性能の測定、3.7リリース系列でのクラスターのアップグレードとダウングレードについて説明します。

レプリケーションモード

Mon, 01 Jan 0001 00:00:00 +0000

PatroniはPostgreSQLのストリーミングレプリケーションを使用します。ストリーミングレプリケーションの詳細はPostgresのドキュメントを参照してください。デフォルトでは、PatroniはPostgreSQLに非同期レプリケーションを設定します。レプリケーション方式の選択は業務上の要件によって異なります。非同期と同期の両方式、および他の高可用性ソリューションを検討し、最適なものを判断してください。

コミュニティ

Mon, 01 Jan 0001 00:00:00 +0000

チュートリアル

Postgres Plus Standard Server 用に PgBouncer を設定する方法

PgBouncer の概念についての良い概要。

バウンシングの意味とは何か。

プーリングモードの違いについて説明します。

プロジェクトの指標

Mon, 01 Jan 0001 00:00:00 +0000

コードカバレッジ

pgBackRest は、/src のコア C コードを完全に function/branch/line カバーすることを目指しています。

関数/行は例外なく完全にカバーされています。

ウォッチドッグのサポート

Mon, 01 Jan 0001 00:00:00 +0000

複数のPostgreSQLサーバーがプライマリーとして動作すると、タイムラインが分岐してトランザクションが失われる可能性があります。この状況はスプリットブレイン問題とも呼ばれます。スプリットブレインを避けるには、DCS内のリーダーキーが期限切れになった後にPostgreSQLがトランザクションのコミットを受け付けないよう、Patroniが保証する必要があります。通常、Patroniは何らかの理由でリーダーロックの更新に失敗すると、PostgreSQLを停止することでこれを実現しようとします。しかし、次のようなさまざまな理由で実行できない場合があります。

補完製品と代替製品

Mon, 01 Jan 0001 00:00:00 +0000

HAProxy は、以下に挙げる製品の一部と非常にうまく連携します。そのため、HAProxy に直接関連しないものもここで紹介します。

4.1. Apache HTTP server

Apache は、事実上の標準となっている HTTP サーバーです。非常に充実したモジュール構成のプロジェクトで、ファイル配信と動的コンテンツの両方をサポートします。一部のアプリケーションサーバーのフロントエンドとしても使用でき、リクエストのプロキシやレスポンスのキャッシュも行えます。いずれの用途でも、通常は前段にロードバランサーが必要です。Apache にはさまざまな動作モードがあり、モードによって負荷が異なります。一部のモジュールでは、依然として負荷の大きい prefork モデルが必要なため、接続数が増えるとうまくスケールできません。この場合、HAProxy でサーバーごとの同時接続数を安全な値に制限すると、大きな効果があります。サーバーを大幅に高速化し、そのリソースを確保してアプリケーションで有効に利用できます。

DCSフェイルセーフモード

Mon, 01 Jan 0001 00:00:00 +0000

問題

Patroniは、リーダー選出とネットワーク分断の検出を行うため、分散構成ストア（DCS）に大きく依存しています。つまり、DCS内のリーダーロックを更新できる場合に限り、ノードはPostgresをプライマリーとして実行できます。リーダーロックの更新に失敗すると、Postgresはただちに降格し、読み取り専用として起動します。この「問題」が発生する可能性は、使用するDCSによって異なります。たとえば、Patroni専用のetcdでは発生する可能性はほぼゼロですが、etcdを基盤に持つK8s APIでは、より頻繁に観測される可能性があります。

Citusサポート

Mon, 01 Jan 0001 00:00:00 +0000

Patroniを使用すると、マルチノードCitus クラスターを非常に簡単に構築できます。

要点

必要なのは、次の簡単なルールに従うことだけです。

他のツールとの統合

Mon, 01 Jan 0001 00:00:00 +0000

Patroni は、スタック内の他のツールと統合できます。このセクションでは、Patroni が他のツールと統合する方法についてのアイデアを提供する例を示します。ただし、すべての例を網羅しているわけではありません。

セキュリティに関する考慮事項

Mon, 01 Jan 0001 00:00:00 +0000

Patroni クラスターには、不正アクセスから保護すべき2つのインターフェースがあります。1つは分散型構成ストレージ（DCS）、もう1つは Patroni REST API です。

DCS の保護

Patroni と patronictl は、DCS に対してデータの格納および取得を行います。

複数のデータセンターにまたがるHA

Mon, 01 Jan 0001 00:00:00 +0000

複数のデータセンターにデプロイしたPostgreSQLクラスターの高可用性は、レプリケーションに基づきます。レプリケーションには同期と非同期があります（レプリケーションモードを参照）。

2. HAProxy のアーキテクチャ

Mon, 01 Jan 0001 00:00:00 +0000

HAProxy は、マルチスレッドで動作するイベント駆動型のノンブロッキングデーモンです。複数の処理の切り替えをシステムのスケジューリングに任せず、イベントの多重化によってすべての処理をスケジュールします。通常は単一プロセスとして動作するため、システム上で “ps aux” を実行すると “haproxy” プロセスは一つだけ表示されます。ただし、ソフトリロード中に、新しいプロセスと並行して古いプロセスが残りの処理を終えている場合は例外です。このため、strace ユーティリティで動作を簡単に追跡できます。利用可能なプロセッサー数に応じて性能を拡張するため、haproxy はデフォルトで、実行を許可されたプロセッサーごとにワーカースレッドを一つ起動します。明示的に別の設定をしない限り、受信トラフィックはこれらすべてのスレッドに分散され、各スレッドは同じイベントループを実行します。ほぼ線形のスケーラビリティを実現するため、スレッド間の依存関係を必要最小限に抑えるよう細心の注意を払っています。その影響の一つとして、各接続は単一のスレッドで処理されます。したがって、利用可能な処理能力をすべて使うには、少なくともスレッド数と同じだけの接続が必要です。この条件は、ほぼ常に満たされます。

内部実装

Mon, 01 Jan 0001 00:00:00 +0000

学習

Mon, 01 Jan 0001 00:00:00 +0000

バージョン管理

Mon, 01 Jan 0001 00:00:00 +0000

このドキュメントでは、etcdプロジェクトでサポートされるバージョンについて説明します。

サービスのバージョン管理とサポート対象バージョン

etcdのバージョンは、セマンティックバージョニングの用語に従い、x.y.zと表記します。xはメジャーバージョン、yはマイナーバージョン、zはパッチバージョンです。新しいマイナーバージョンでは、APIに機能が追加される場合があります。