タスク on PIG.CENTER

PgBouncer コマンドの使用法

Mon, 01 Jan 0001 00:00:00 +0000

概要

pgbouncer [-d][-R][-v][-u user] <pgbouncer.ini>
pgbouncer -V|-h

Windows では、次のオプションが利用可能です：

pgbouncer.exe [-v][-u user] <pgbouncer.ini>
pgbouncer.exe -V|-h

Windows サービスの設定に追加で使用できるオプション：

PostgreSQLのログ設定

Mon, 01 Jan 0001 00:00:00 +0000

pgBadgerでレポートできるのは、PostgreSQLがログに書き出した情報だけです。まず解析可能なプレフィックスと、目的に応じたステートメントのログ出力方針を設定し、次に分析したい運用イベントを追加してください。

並列処理

Mon, 01 Jan 0001 00:00:00 +0000

pgBadgerには相互に補完する2つのマルチプロセスモードがあります。単にCPU数だけでなく、入力の構成に応じて選択してください。

オプション	並列処理の単位	適する入力	主な制約
`-j N` / `--jobs N`	単一ログファイルの分割片	大きなシーク可能なログ1つ	分割境界で少数のクエリーが重複または欠落する場合があります
`-J N` / `--Jobs N`	ログファイル全体	多数の独立したログ	ワーカーを稼働させ続けるだけのファイル数がある場合にのみ効果があります

`-j`で大きなファイルを分割する

$ pgbadger -j 8 /var/log/postgresql/postgresql.log

アップストリームのアルゴリズムは、各ファイルをN個のバイト範囲に分割し、範囲ごとにパーサーをフォークして一時的なバイナリ統計を書き出した後、その統計を最終レポートに統合します。

レプリカのイメージングとブートストラップ

Mon, 01 Jan 0001 00:00:00 +0000

Patroni を使用すると、新しいレプリカの作成をカスタマイズできます。また、新しい空のクラスターがブートストラップされるときに何が起こるかの定義もサポートします。 2 つの区別は明確に定義されています。Patroni は、initialize キーがクラスターの DCS に存在する場合にのみレプリカを作成します。 initialize キーがない場合、Patroni は初期化キーロックを取得する最初のノードで排他的にブートストラップを呼び出します。

増分レポート

Mon, 01 Jan 0001 00:00:00 +0000

増分モードでは、解析した統計をバイナリ形式で保存し、1日ごとのHTMLレポート、1週間ごとの累積レポート、およびそれらを結ぶカレンダー形式の目次を生成します。同じログエントリーを重複して数えずに、ローテーションされたログを繰り返し処理するための機能です。

スタンバイクラスター

Mon, 01 Jan 0001 00:00:00 +0000

Patroniは、「スタンバイクラスター」と呼ばれる機能を使用して、リモートのデータセンター（リージョン）へのカスケードレプリケーションも実行できます。この種類のクラスターには、次の要素があります。

タスク

Mon, 01 Jan 0001 00:00:00 +0000

運用担当者向けタスク

Mon, 01 Jan 0001 00:00:00 +0000

クラスターの一時停止/再開モード

Mon, 01 Jan 0001 00:00:00 +0000

目的

ある条件下では、Patroni はクラスターの管理を一時的に停止する必要があり、DCS にクラスター状態を保持したままにする必要があります。このような状況の例として、メジャーバージョンのアップグレードや破損からの復旧など、稀なクラスター操作が挙げられます。これらの操作中は、Patroni が認識しない理由でノードの起動・停止が頻発し、一部のノードが一時的にプライマリーに昇格する場合もあり、その結果、同時に1つのプライマリーしか実行されていないという前提が破られることがあります。したがって、Patroni は「クラスターから分離」する機能を備えており、Pacemaker のメンテナンスモードに相当する動作を実現できる必要があります。

サポートと貢献

Mon, 01 Jan 0001 00:00:00 +0000

pgBadger はオープンプロジェクトとして維持されています。バグ報告、機能要望、ドキュメントの修正、パッチは、上流の GitHub リポジトリ経由で処理されます。

バグおよび機能要望

最新リリース版にアップグレードし、動作が依然として発生するか確認してください。
既存の回答を検索するには、オープンな問題およびクローズされた問題を確認してください。
問題を再現する最小限の安全なログサンプルおよびコマンドラインに簡略化してください。
認証情報、機密SQL、バインド値、ホスト名、アドレス、および業務データを削除します。
pgBadger のバージョン、オペレーティングシステム、入力形式、正確なオプション、観測結果、期待結果を含む新しいIssue を開いてください。

クラッシュやパーサーの誤りの場合、境界を再現するために必要な最小限のサニタイズ済みログ行のみを含めてください。完全な本番ログや生成されたレポートは、公開Issueへの添付にはほとんどの場合適していません。

KubernetesでのPatroniの使用

Mon, 01 Jan 0001 00:00:00 +0000

PatroniはKubernetesオブジェクトを使用してクラスターの状態を保存し、リーダーキーを管理できます。そのため、整合性ストアを用意せずにKubernetes環境でPostgresを運用できます。つまり、追加のetcdデプロイメントを実行する必要がありません。Patroniがリーダーキーと構成キーの保存に使用できるKubernetesオブジェクトには二種類あり、kubernetes.use_endpointsまたは環境変数PATRONI_KUBERNETES_USE_ENDPOINTSで構成します。

単独インスタンスをPatroniクラスターに移行する

Mon, 01 Jan 0001 00:00:00 +0000

このセクションでは、単独のPostgreSQLインスタンスをPatroniクラスターに移行する手順を説明します。

既存のPostgreSQLインスタンスを使用せずにPatroniクラスターを構築する場合は、実行と設定を参照してください。

開発者向けタスク

Mon, 01 Jan 0001 00:00:00 +0000

etcdからの読み取り

Mon, 01 Jan 0001 00:00:00 +0000

前提条件

etcdctlをインストールします。

手順

getサブコマンドを使用して、etcdから読み取ります。

貢献ガイドライン

Mon, 01 Jan 0001 00:00:00 +0000

チャット

質問がある場合、対話形式のトラブルシューティング支援が必要な場合、他のPatroniユーザーと話したい場合は、PostgreSQL Slack の#patroni チャンネルに参加してください。

1. 前提条件

Mon, 01 Jan 0001 00:00:00 +0000

このドキュメントでは、HAProxy の起動、停止、管理、トラブルシューティングの方法について説明します。また、既知の制限や回避すべき落とし穴についても述べています。設定方法については記載していません（詳細は configuration.txt を参照してください）。

etcdへの書き込み

Mon, 01 Jan 0001 00:00:00 +0000

前提条件

etcdctlをインストールします。

手順

putサブコマンドを使用して、キー・バリューペアを書き込みます。

6. メモリ管理

Mon, 01 Jan 0001 00:00:00 +0000

HAProxy は、シンプルかつ高速なプールベースのメモリ管理を使用します。少数の異なるオブジェクトタイプに依存するため、異なるサイズごとに malloc() を呼び出すよりも、適切なサイズのオブジェクトが既に含まれているプールから新しいオブジェクトを選択する方がはるかに効率的です。プールはスタックまたは LIFO として編成されるため、新しく割り当てられたオブジェクトは、CPU キャッシュ内でまだホットな最近リリースされたオブジェクトから取得されます。メモリの断片化を制限するために、同様のサイズのプールがマージされます。

プレフィックスでキーを取得する方法

Mon, 01 Jan 0001 00:00:00 +0000

前提条件

etcdctlをインストールします。
ローカルクラスターをセットアップします。

プレフィックスでキーを取得する

$ etcdctl --endpoints=$ENDPOINTS get PREFIX --prefix

グローバルオプション

--endpoints=[127.0.0.1:2379], gRPC endpoints

オプション

--prefix, get a range of keys with matching prefix

例

etcdctl --endpoints=$ENDPOINTS put web1 value1
etcdctl --endpoints=$ENDPOINTS put web2 value2
etcdctl --endpoints=$ENDPOINTS put web3 value3

etcdctl --endpoints=$ENDPOINTS get web --prefix

8. ロギング

Mon, 01 Jan 0001 00:00:00 +0000

HAProxy はファイルシステムアクセスを実行しないため、ロギングに関しては常に syslog サーバーに依存します。標準的な使用方法は、UDP 経由でログサーバー (デフォルトではポート 514) にログを送信することです。通常、これはローカル syslog デーモンが実行されている 127.0.0.1 に設定されますが、中央サーバーにログを記録するためにネットワーク経由でも使用されます。中央サーバーは、特にログを到着順にマージしておくことが望ましいアクティブ/アクティブシナリオで追加の利点を提供します。 HAProxy は、UNIX ソケットを使用してログをローカル syslog デーモンに送信することもできますが、HAProxy の実行中に syslog サーバーが再起動されるとソケットが置き換えられ、新しいログが失われるため、これはまったく推奨されません。 HAProxy は chroot ジェイル内に隔離されるため、新しいソケットに再接続する機能はありません。また、UNIX ソケットで使用されているログバッファが非常に小さいため、負荷が非常に軽い場合でもメッセージが失われる可能性があることが現場で観察されています。ただし、これはテストには問題ありません。

10. より簡単な構成管理

Mon, 01 Jan 0001 00:00:00 +0000

クラスターを構成する 2 つの HAProxy ノードが、少数のアドレスを除いてまったく同じ設定を共有することはよくあります。ノードごとに設定の複製を管理すると、その内容は必然的に食い違っていきます。設定に環境変数を組み込めば、システム全体の環境変数をいくつか変えるだけで、複数の設定でまったく同じファイルを共有できます。この機能はバージョン 1.5 で導入され、当初はアドレスにのみ環境変数を含めることができました。1.6 では対応範囲が広がり、どこでも環境変数を使用できます。構文は UNIX シェルと同じで、変数はドル記号 (’$’)、開き波括弧 (’{’)、変数名、閉じ波括弧 (’}’) の順に記述します。アドレスを除き、環境変数は二重引用符で囲まれた引数の中でのみ解釈されます。これは、ドル記号を含む正規表現を使用する既存の設定を壊さないために必要な制限です。

11. 回避すべき既知の落とし穴

Mon, 01 Jan 0001 00:00:00 +0000

システムの再起動後に haproxy サービスが起動せず、手動で起動すると動く、という報告をときどき受けます。多くの場合、keepalived などのクラスター IP アドレス管理機構を使い、マスターノードだけにサービスの IP アドレスを割り当てています。haproxy を 0.0.0.0 にバインドしていたときは動作していたものが、仮想 IP アドレスにバインドするように変更すると動かなくなります。これは、サービスの起動時点ではローカルノードが仮想 IP アドレスをまだ所有しておらず、HAProxy がそのアドレスにバインドしようとすると、ローカルの IP アドレスではないためシステムが拒否することが原因です。解決策は haproxy サービスの起動を遅らせることではありません。それでは再起動に対応できません。ローカルに存在しないアドレスへのバインドを許可するよう、システムを正しく設定します。Linux では、net.ipv4.ip_nonlocal_bind sysctl を 1 に設定するだけです。この設定は、特定の宛先アドレスに向けて HAProxy を通過する IP トラフィックを透過的に捕捉する場合にも必要です。

13. セキュリティに関する考慮事項

Mon, 01 Jan 0001 00:00:00 +0000

HAProxy は、非常に限られた権限で動作するよう設計されています。標準的な使用方法は、chroot jail に隔離したうえで、jail 内で何の権限も持たない非 root ユーザーに権限を落とすことです。これにより、将来脆弱性が発見されても、侵害がシステムの他の部分に影響しないようにします。

キーの削除方法

Mon, 01 Jan 0001 00:00:00 +0000

前提条件

etcdとetcdctl をインストールします。

キーの追加と削除

指定したキーまたはキー範囲を削除するdel：

キーの監視方法

Mon, 01 Jan 0001 00:00:00 +0000

前提条件

etcdとetcdctl をインストールします。

キーの監視

今後の変更の通知を受け取るwatch：

リースの作成方法

Mon, 01 Jan 0001 00:00:00 +0000

TTLを指定した書き込みに使用するlease：

etcdctl --endpoints=$ENDPOINTS lease grant 300
# lease 2be7547fbc6a5afa granted with TTL(300s)

etcdctl --endpoints=$ENDPOINTS put sample value --lease=2be7547fbc6a5afa
etcdctl --endpoints=$ENDPOINTS get sample

etcdctl --endpoints=$ENDPOINTS lease keep-alive 2be7547fbc6a5afa
etcdctl --endpoints=$ENDPOINTS lease revoke 2be7547fbc6a5afa
# or after 300 seconds
etcdctl --endpoints=$ENDPOINTS get sample

ロックの作成方法

Mon, 01 Jan 0001 00:00:00 +0000

LOCKは、指定された名前の分散ミューテックスを取得します。取得したロックは、etcdctlが終了するまで保持されます。

前提条件

etcdとetcdctl をインストールします。

ロックの作成

分散ロックに使用するlock：

etcdクラスターでリーダー選出を行う方法

Mon, 01 Jan 0001 00:00:00 +0000

前提条件

etcd とetcdctl がインストールされていることを確認します。
稼働中のetcdクラスターを確認します。

リーダー選出を行う

etcdctlコマンドは、etcdクラスターでリーダー選出を行うために使用します。一度にリーダーになれるクライアントが1つだけであることを保証します。

データベースの保存方法

Mon, 01 Jan 0001 00:00:00 +0000

前提条件

etcdctlとetcdutlをインストールします。
ローカルクラスターをセットアップします。

データベースのスナップショットを取得する

etcdデータベースのある時点のスナップショットを保存するsnapshot：

バグの報告

Mon, 01 Jan 0001 00:00:00 +0000

etcdプロジェクトのいずれかの部分にバグやドキュメントの誤りを見つけた場合は、Issueを作成してお知らせください。私たちはバグや誤りを真剣に受け止めており、小さすぎて報告する必要のない問題はないと考えています。バグを報告する前に、同じ問題を報告するIssueがすでに存在していないか確認してください。

開発者ガイド

Mon, 01 Jan 0001 00:00:00 +0000

Goアプリケーションへのetcdの組み込み

Mon, 01 Jan 0001 00:00:00 +0000

etcdのGoパッケージembedを使用すると、etcdサーバーをアプリケーションに直接、簡単に組み込めます。

詳細はembedパッケージのドキュメントを参照してください。

運用ガイド

Mon, 01 Jan 0001 00:00:00 +0000

認証ガイド

Mon, 01 Jan 0001 00:00:00 +0000

認証

Mon, 01 Jan 0001 00:00:00 +0000

認証に使用するauth、user、role：

export ETCDCTL_API=3
ENDPOINTS=localhost:2379

etcdctl --endpoints=${ENDPOINTS} role add root
etcdctl --endpoints=${ENDPOINTS} role get root

etcdctl --endpoints=${ENDPOINTS} user add root
etcdctl --endpoints=${ENDPOINTS} user grant-role root root
etcdctl --endpoints=${ENDPOINTS} user get root

etcdctl --endpoints=${ENDPOINTS} role add role0
etcdctl --endpoints=${ENDPOINTS} role grant-permission role0 readwrite foo
etcdctl --endpoints=${ENDPOINTS} user add user0
etcdctl --endpoints=${ENDPOINTS} user grant-role user0 role0

etcdctl --endpoints=${ENDPOINTS} auth enable
# now all client requests go through auth

etcdctl --endpoints=${ENDPOINTS} --user=user0:123 put foo bar
etcdctl --endpoints=${ENDPOINTS} get foo
# permission denied, user name is empty because the request does not issue an authentication request
etcdctl --endpoints=${ENDPOINTS} --user=user0:123 get foo
# user0 can read the key foo
etcdctl --endpoints=${ENDPOINTS} --user=user0:123 get foo1

注意：

これは、認証に関する情報を追加して更新する必要がある未完成のページです。上記のテキストはコード例にすぎません。

アップグレード

Mon, 01 Jan 0001 00:00:00 +0000

ダウングレード

Mon, 01 Jan 0001 00:00:00 +0000

etcdクラスターとアプリケーションのアップグレード

Mon, 01 Jan 0001 00:00:00 +0000

このセクションには、etcdクラスターとアプリケーションのアップグレードに関するドキュメントをまとめています。

アップグレード方針

アップグレードを始める前に、etcdでサポートされるアップグレードは次の2つの場合だけであることに注意してください。

etcdクラスターとアプリケーションのダウングレード

Mon, 01 Jan 0001 00:00:00 +0000

このセクションには、etcdクラスターとアプリケーションのダウングレードに関するドキュメントをまとめています。

etcd v3.xクラスターのダウングレード

トリアージ

Mon, 01 Jan 0001 00:00:00 +0000

PRの管理

Mon, 01 Jan 0001 00:00:00 +0000

目的

PRの管理を迅速にすること。

etcdのPRはhttps://github.com/etcd-io/etcd/pullsに一覧表示されています。 PRにはさまざまなラベル、マイルストーン、レビュアーなどを設定できます。ラベルの詳細な一覧は、次のページを参照してください。 https://github.com/kubernetes/kubernetes/labels

タスク on PIG.CENTER

PgBouncer コマンドの使用法

概要

PostgreSQLのログ設定

並列処理

-jで大きなファイルを分割する

レプリカのイメージングとブートストラップ

増分レポート

スタンバイクラスター

タスク

運用担当者向けタスク

クラスターの一時停止/再開モード

目的

サポートと貢献

バグおよび機能要望

KubernetesでのPatroniの使用

単独インスタンスをPatroniクラスターに移行する

開発者向けタスク

etcdからの読み取り

前提条件

手順

貢献ガイドライン

チャット

1. 前提条件

etcdへの書き込み

前提条件

手順

6. メモリ管理

プレフィックスでキーを取得する方法

前提条件

プレフィックスでキーを取得する

グローバルオプション

オプション

例

8. ロギング

10. より簡単な構成管理

11. 回避すべき既知の落とし穴

13. セキュリティに関する考慮事項

キーの削除方法

前提条件

キーの追加と削除

キーの監視方法

前提条件

キーの監視

リースの作成方法

ロックの作成方法

前提条件

ロックの作成

etcdクラスターでリーダー選出を行う方法

前提条件

リーダー選出を行う

データベースの保存方法

前提条件

データベースのスナップショットを取得する

バグの報告

開発者ガイド

Goアプリケーションへのetcdの組み込み

運用ガイド

認証ガイド

認証

注意：

アップグレード

ダウングレード

etcdクラスターとアプリケーションのアップグレード

アップグレード方針

etcdクラスターとアプリケーションのダウングレード

etcd v3.xクラスターのダウングレード

トリアージ

PRの管理

目的

`-j`で大きなファイルを分割する