Task on PIG.CENTER

Настройка журналирования PostgreSQL

Mon, 01 Jan 0001 00:00:00 +0000

pgBadger может отобразить только те сведения, которые PostgreSQL записывает в журнал. Начните с префикса, пригодного для разбора, и продуманной политики журналирования операторов, а затем добавьте эксплуатационные события, которые требуется анализировать.

Минимальное журналирование запросов

Чтобы включить текст и длительность запросов, включите журналирование операторов по длительности:

log_min_duration_statement = 0

Значение 0 записывает каждый завершённый оператор. На загруженном сервере выберите более высокий порог в миллисекундах, чтобы контролировать объём журнала. Прежде чем включать низкий порог в производственной среде, измерьте накладные расходы и рост хранилища.

Параллельная обработка

Mon, 01 Jan 0001 00:00:00 +0000

pgBadger поддерживает два взаимодополняющих режима многопроцессной обработки. Выбирайте режим по структуре входных данных, а не просто по числу процессоров.

Параметр	Единица параллельной обработки	Лучше всего подходит для	Основное ограничение
`-j N` / `--jobs N`	части одного файла журнала	один большой журнал с произвольным доступом	на границах частей небольшое число запросов может быть продублировано или пропущено
`-J N` / `--Jobs N`	целые файлы журналов	множество независимых журналов	полезно только при достаточном числе файлов для постоянной загрузки рабочих процессов

Разделение одного большого файла с `-j`

$ pgbadger -j 8 /var/log/postgresql/postgresql.log

Алгоритм исходного проекта делит каждый файл на N диапазонов байтов, создаёт по одному процессу синтаксического анализа на диапазон, записывает временную двоичную статистику, а затем объединяет её в итоговый отчёт.

Инкрементальные отчёты

Mon, 01 Jan 0001 00:00:00 +0000

Инкрементальный режим сохраняет разобранную статистику в двоичном виде, а затем строит по одному HTML-отчёту на день, накопительный отчёт на неделю и связывающий их календарный индекс. Он предназначен для регулярной обработки ротируемых журналов без повторного учёта одних и тех же записей.

Создание ежедневных и еженедельных отчётов

Запускайте pgBadger после ежедневной ротации журнала и укажите постоянный каталог вывода:

0 4 * * * /usr/bin/pgbadger -I -q /var/log/postgresql/postgresql.log.1 -O /var/www/pg_reports/

Параметр -I включает инкрементальный режим, а -O выбирает каталог для двоичного состояния, календарного индекса и сгенерированных отчётов. pgBadger самостоятельно ведёт инкрементальное состояние в этом каталоге, поэтому --last-parsed не нужен, если только вы намеренно не хотите хранить файл состояния в другом месте.

Поддержка и участие в разработке

Mon, 01 Jan 0001 00:00:00 +0000

pgBadger развивается как открытый проект. Сообщения об ошибках, предложения функций, исправления документации и патчи принимаются через репозиторий исходного проекта на GitHub.

Ошибки и запросы функций

Обновитесь до самой новой выпущенной версии и убедитесь, что проблема сохраняется.
Поищите готовый ответ среди открытых задач и закрытых задач .
Сведите проблему к минимальному безопасному фрагменту журнала и командной строке, на которых она всё ещё воспроизводится.
Удалите учётные данные, конфиденциальный SQL, значения параметров, имена узлов, адреса и деловые данные.
Создайте новую задачу , указав версию pgBadger, операционную систему, формат ввода, точные параметры, наблюдаемый и ожидаемый результаты.

При аварийном завершении или ошибке синтаксического анализатора приложите только минимальный очищенный набор строк журнала, необходимый для воспроизведения проблемной границы. Полный производственный журнал или сгенерированный отчёт почти никогда не следует публиковать в общедоступной задаче.

Task on PIG.CENTER

Настройка журналирования PostgreSQL

Минимальное журналирование запросов

Параллельная обработка

Разделение одного большого файла с -j

Инкрементальные отчёты

Создание ежедневных и еженедельных отчётов

Поддержка и участие в разработке

Ошибки и запросы функций

Разделение одного большого файла с `-j`