19.5. Журнал предзаписи
За дополнительной информацией о настройке этих параметров обратитесь к Разделу 30.4.
19.5.1. Параметры
wal_level
(enum
)Параметр
wal_level
определяет, как много информации записывается в WAL. Со значениемreplica
(по умолчанию) в журнал записываются данные, необходимые для поддержки архивирования WAL и репликации, включая запросы только на чтение на ведомом сервере. Вариантminimal
оставляет только информацию, необходимую для восстановления после сбоя или аварийного отключения. Наконец,logical
добавляет информацию, требующуюся для поддержки логического декодирования. Каждый последующий уровень включает информацию, записываемую на всех уровнях ниже. Задать этот параметр можно только при запуске сервера.На уровне
minimal
некоторые массовые операции могут выполняться в обход журнала без риска потери данных, и при этом они выполнятся гораздо быстрее (см. Подраздел 14.4.7). В частности, такая оптимизация возможна с операциями:CREATE TABLE AS
CREATE INDEX
CLUSTER
COPY
с таблицами, которые были созданы или опустошены в той же транзакцииОднако такой минимальный журнал не будет содержать достаточно информации для восстановления данных из базовой копии и журналов, поэтому для реализации стратегии архивации WAL (см. archive_mode) и потоковой репликации необходим уровень
replica
или более высокий.На уровне
logical
в журнал записывается та же информация, что и на уровнеreplica
, плюс информация, необходимая для извлечения из журнала наборов логических изменений. Повышение уровня доlogical
приводит к значительному увеличению объёма WAL, особенно если многие таблицы имеют характеристикуREPLICA IDENTITY FULL
и выполняется множество командUPDATE
иDELETE
.В выпусках до 9.6 для этого параметра допускались значения
archive
иhot_standby
. Эти значения по-прежнему принимаются, но теперь отображаются в значениеreplica
.fsync
(boolean
)Если этот параметр установлен, сервер Postgres Pro старается добиться, чтобы изменения были записаны на диск физически, выполняя системные вызовы
fsync()
или другими подобными методами (см. wal_sync_method). Это даёт гарантию, что кластер баз данных сможет вернуться в согласованное состояние после сбоя оборудования или операционной системы.Хотя отключение
fsync
часто даёт выигрыш в скорости, это может привести к неисправимой порче данных в случае отключения питания или сбоя системы. Поэтому отключатьfsync
рекомендуется, только если вы легко сможете восстановить всю базу из внешнего источника.В качестве примеров, когда отключение
fsync
неопасно, можно привести начальное наполнение нового кластера данными из копии, обработку массива данных, после которой базу данных можно удалить и создать заново, либо эксплуатацию копии базы данных только для чтения, которая регулярно пересоздаётся и не используется для отработки отказа. Качественное оборудование само по себе не является достаточной причиной для отключенияfsync
.При смене значения
fsync
с off на on для надёжного восстановления также необходимо сбросить все изменённые буферы из ядра в надёжное хранилище. Это можно сделать, когда сервер остановлен или когда режимfsync
включён, с помощью командыinitdb --sync-only
, либо выполнить командуsync
, размонтировать файловую систему или перезагрузить сервер.Во многих случаях отключение synchronous_commit для некритичных транзакций может дать больший выигрыш в скорости, чем отключение
fsync
, при этом не добавляя риски повреждения данных.Параметр
fsync
можно задать только в файлеpostgresql.conf
или в командной строке при запуске сервера. Если вы отключаете этот параметр, возможно, имеет смысл отключить также и full_page_writes.synchronous_commit
(enum
)Определяет, после завершения какого уровня обработки WAL сервер будет сообщать об успешном выполнении операции. Допустимые значения:
remote_apply
(применено удалённо),on
(вкл., по умолчанию),remote_write
(записано удалённо),local
(локально) иoff
(выкл.).Если значение
synchronous_standby_names
не задано, для данного параметра имеют смысл только значенияon
иoff
; с вариантамиremote_apply
,remote_write
иlocal
будет выбран тот же уровень синхронизации, что и сon
. Локальное действие всех отличных отoff
режимов заключается в ожидании локального сброса WAL на диск. В режимеoff
ожидание отсутствует, поэтому может образоваться окно от момента, когда клиент узнаёт об успешном завершении, до момента, когда транзакция действительно гарантированно защищена от сбоя. (Максимальный размер окна равен тройному значению wal_writer_delay.) В отличие от fsync, значениеoff
этого параметра не угрожает целостности данных: сбой операционной системы или базы данных может привести к потере последних транзакций, считавшихся зафиксированными, но состояние базы данных будет точно таким же, как и в случае штатного прерывания этих транзакций. Поэтому выключение режимаsynchronous_commit
может быть полезной альтернативой отключению fsync, когда производительность важнее, чем надёжная гарантия сохранности каждой транзакции. Подробнее это обсуждается в Разделе 30.3.Если значение synchronous_standby_names не пустое, параметр
synchronous_commit
также определяет, должен ли сервер при фиксировании транзакции ждать, пока соответствующие записи WAL будут обработаны на ведомом сервере (серверах).Со значением
remote_apply
фиксирование завершается только после получения ответов от текущих синхронных ведомых серверов, говорящих, что они получили запись о фиксировании транзакции, сохранили её в надёжном хранилище, а также применили транзакцию, так что она стала видна для запросов на этих серверах. С таким вариантом задержка при фиксировании оказывается больше, так как необходимо дожидаться воспроизведения WAL. Со значениемon
фиксирование завершается только после получения ответов от текущих синхронных ведомых серверов, подтверждающих, что они получили запись о фиксировании транзакции и передали её в надёжном хранилище. Это гарантирует, что транзакция не будет потеряна, если только база данных не будет повреждена и на ведущем, и на всех синхронных ведомых серверах. Со значениемremote_write
фиксирование завершается после получения ответов от текущих синхронных серверов, говорящих, что они получили запись о фиксировании транзакции и сохранили её в своих ФС. Этот вариант позволяет гарантировать сохранность данных в случае отказа ведомого сервера Postgres Pro, но не в случае сбоя на уровне ОС, так как данные могут ещё не достичь надёжного хранилища на этом сервере. Со значениемlocal
фиксирование завершается после локального сброса данных, не дожидаясь репликации. Обычно это нежелательный вариант при синхронной репликации, но он представлен для полноты.Этот параметр можно изменить в любое время; поведение каждой конкретной транзакции определяется значением, действующим в момент её фиксирования. Таким образом, есть возможность и смысл фиксировать некоторые транзакции синхронно, а другие — асинхронно. Например, чтобы зафиксировать одну транзакцию из нескольких команд асинхронно, когда по умолчанию выбран противоположный вариант, выполните в этой транзакции
SET LOCAL synchronous_commit TO OFF
.Характеристики различных значений
synchronous_commit
сведены в Таблице 19.2.Таблица 19.2. Режимы synchronous_commit
значение synchronous_commit гарантированная локальная фиксация гарантированная фиксация на ведомом после сбоя PG гарантированная фиксация на ведомом после сбоя ОС согласованность запросов на ведомом remote_apply • • • • on • • • remote_write • • local • off wal_sync_method
(enum
)Метод, применяемый для принудительного сохранения изменений WAL на диске. Если режим
fsync
отключён, данный параметр не действует, так как принудительное сохранение изменений WAL не производится вовсе. Возможные значения этого параметра:open_datasync
(для сохранения файлов WAL открывать их функциейopen()
с параметромO_DSYNC
)fdatasync
(вызыватьfdatasync()
при каждом фиксировании)fsync
(вызыватьfsync()
при каждом фиксировании)fsync_writethrough
(вызыватьfsync()
при каждом фиксировании, форсируя сквозную запись кеша)open_sync
(для сохранения файлов WAL открывать их функциейopen()
с параметромO_SYNC
)
Варианты
open_
* также применяют флагO_DIRECT
, если он доступен. Не все эти методы поддерживается в разных системах. По умолчанию выбирается первый из этих методов, который поддерживается текущей системой, с одним исключением — в Linux и FreeBSD по умолчанию выбираетсяfdatasync
. Выбираемый по умолчанию вариант не обязательно будет идеальным; в зависимости от требований к отказоустойчивости или производительности может потребоваться скорректировать выбранное значение или внести другие изменения в конфигурацию вашей системы. Соответствующие аспекты конфигурации рассматриваются в Разделе 30.1. Этот параметр можно задать только в файлеpostgresql.conf
или в командной строке при запуске сервера.full_page_writes
(boolean
)Когда этот параметр включён, сервер Postgres Pro записывает в WAL всё содержимое каждой страницы при первом изменении этой страницы после контрольной точки. Это необходимо, потому что запись страницы, прерванная при сбое операционной системы, может выполниться частично, и на диске окажется страница, содержащая смесь старых данных с новыми. При этом информации об изменениях на уровне строк, которая обычно сохраняется в WAL, будет недостаточно для получения согласованного содержимого такой страницы при восстановлении после сбоя. Сохранение образа всей страницы гарантирует, что страницу можно восстановить корректно, ценой увеличения объёма данных, которые будут записываться в WAL. (Так как воспроизведение WAL всегда начинается от контрольной точки, достаточно сделать это при первом изменении каждой страницы после контрольной точки. Таким образом, уменьшить затраты на запись полных страниц можно, увеличив интервалы контрольных точек.)
Отключение этого параметра ускоряет обычные операции, но может привести к неисправимому повреждению или незаметной порче данных после сбоя системы. Так как при этом возникают практически те же риски, что и при отключении
fsync
, хотя и в меньшей степени, отключать его следует только при тех же обстоятельствах, которые перечислялись в рекомендациях для вышеописанного параметра.Отключение этого параметра не влияет на возможность применения архивов WAL для восстановления состояния на момент времени (см. Раздел 25.3).
Этот параметр можно задать только в
postgresql.conf
или в командной строке при запуске сервера. По умолчанию этот параметр имеет значениеon
.wal_log_hints
(boolean
)Когда этот параметр имеет значение
on
, сервер Postgres Pro записывает в WAL всё содержимое каждой страницы при первом изменении этой страницы после контрольной точки, даже при второстепенных изменениях так называемых вспомогательных битов.Если включён расчёт контрольных сумм данных, изменения вспомогательных битов всегда проходят через WAL и этот параметр игнорируется. С помощью этого параметра можно проверить, насколько больше дополнительной информации записывалось бы в журнал, если бы для базы данных был включён подсчёт контрольных сумм.
Этот параметр можно задать только при запуске сервера. По умолчанию он имеет значение
off
.wal_compression
(boolean
)Когда этот параметр имеет значение
on
, сервер Postgres Pro сжимает образ полной страницы, записываемый в WAL, когда включён режим full_page_writes или при создании базовой копии. Сжатый образ страницы будет развёрнут при воспроизведении WAL. Значение по умолчанию —off
. Изменить этот параметр могут только суперпользователи.Этот параметр позволяет без дополнительных рисков повреждения данных уменьшить объём WAL, ценой дополнительной нагрузки на процессор, связанной со сжатием данных при записи в WAL и разворачиванием их при воспроизведении WAL.
wal_buffers
(integer
)Объём разделяемой памяти, который будет использоваться для буферизации данных WAL, ещё не записанных на диск. Значение по умолчанию, равное -1, задаёт размер, равный 1/32 (около 3%) от shared_buffers, но не меньше чем
64 КБ
и не больше чем размер одного сегмента WAL (обычно16 МБ
). Это значение можно задать вручную, если выбираемое автоматически слишком мало или велико, но при этом любое положительное число меньше32 КБ
будет восприниматься как32 КБ
. Этот параметр можно задать только при запуске сервера.Содержимое буферов WAL записывается на диск при фиксировании каждой транзакции, так что очень большие значения вряд ли принесут значительную пользу. Однако значение как минимум в несколько мегабайт может увеличить быстродействие при записи на нагруженном сервере, когда сразу множество клиентов фиксируют транзакции. Автонастройка, действующая при значении по умолчанию (-1), в большинстве случаев выбирает разумные значения.
wal_writer_delay
(integer
)Определяет, как часто процесс записи WAL будет сбрасывать WAL на диск. После очередного сброса WAL он делает паузу на
wal_writer_delay
миллисекунд, но может быть пробуждён асинхронно фиксируемой транзакцией. Если предыдущая операция сброса имела место в последниеwal_writer_delay
миллисекунд и после неё было получено меньшеwal_writer_flush_after
байт WAL, данные WAL только передаются ОС, но не сбрасываются на диск. Значение по умолчанию — 200 миллисекунд (200ms
). Заметьте, что во многих системах разрешение таймера паузы составляет 10 мс; если задать вwal_writer_delay
значение, не кратное 10, может быть получен тот же результат, что и со следующим за ним кратным 10. Задать этот параметр можно только вpostgresql.conf
или в командной строке при запуске сервера.wal_writer_flush_after
(integer
)Определяет, как часто процесс записи WAL будет сбрасывать WAL на диск. Если предыдущая операция сброса имела место в последние
wal_writer_delay
миллисекунд и за это время было получено меньшеwal_writer_flush_after
байт WAL, данные WAL только передаются операционной системе, но не сбрасываются на диск. Еслиwal_writer_flush_after
равен0
, WAL сбрасывается на диск немедленно. Значение по умолчанию — 1 мегабайт (1MB
). Задать этот параметр можно только вpostgresql.conf
или в командной строке при запуске сервера.commit_delay
(integer
)Параметр
commit_delay
добавляет паузу (в микросекундах) перед собственно выполнением сохранения WAL. Эта задержка может увеличить быстродействие при фиксировании множества транзакций, позволяя зафиксировать большее число транзакций за одну операцию сохранения WAL, если система нагружена достаточно сильно и за заданное время успевают зафиксироваться другие транзакции. Однако этот параметр также увеличивает задержку максимум доcommit_delay
микросекунд при каждом сохранении WAL. Эта задержка окажется бесполезной, если никакие другие транзакции не будут зафиксированы за это время, поэтому она добавляется, только если в момент запроса сохранения WAL активны как минимумcommit_siblings
других транзакций. Кроме того, эти задержки не добавляются при выключенномfsync
. По умолчанию значениеcommit_delay
равно нулю (задержка отсутствует). Изменить этот параметр могут только суперпользователи.В PostgreSQL до версии 9.3, параметр
commit_delay
работал по-другому и не так эффективно: он задерживал только фиксирование транзакций, а не все операции сохранения WAL, и заданная пауза выдерживалась полностью, даже если WAL удавалось сохранить быстрее. Начиная с версии 9.3, заданное время ожидает только первый процесс, готовый произвести сохранение, тогда как все последующие процессы ждут только, когда он закончит эту операцию.commit_siblings
(integer
)Минимальное число одновременно открытых транзакций, при котором будет добавляться задержка
commit_delay
. Чем больше это значение, тем больше вероятность, что минимум одна транзакция окажется готовой к фиксированию за время задержки. По умолчанию это число равно пяти.wal_sender_check_crc
(boolean
)Когда этот параметр включён (
on
), во время репликации процесс-передатчик WAL проверяет CRC каждой записи, передаваемой реплике, и выделяется память для второй копии буферов WAL. По умолчанию данный параметр выключен (off
). Задать его можно только при запуске сервера.wal_sender_panic_on_crc_error
(boolean
)Когда этот параметр включён (
on
), Postgres Pro выдаёт ошибку на уровне PANIC, если повреждённая запись WAL не может быть восстановлена из буферов WAL. По умолчанию данный параметр выключен (off
), то есть ошибка выдаётся на уровне FATAL. Задать этот параметр можно только при запуске сервера.
19.5.2. Контрольные точки
checkpoint_timeout
(integer
)Максимальное время между автоматическими контрольными точками в WAL (в секундах). Допускаются значения от 30 секунд до одного дня. Значение по умолчанию — пять минут (
5min
). Увеличение этого параметра может привести к увеличению времени, которое потребуется для восстановления после сбоя. Задать этот параметр можно только вpostgresql.conf
или в командной строке при запуске сервера.checkpoint_completion_target
(floating point
)Задаёт целевое время для завершения процедуры контрольной точки, как коэффициент для общего времени между контрольными точками. По умолчанию это значение равно 0.5. Задать этот параметр можно только в
postgresql.conf
или в командной строке при запуске сервера.checkpoint_flush_after
(integer
)Когда в процессе контрольной точки записывается больше чем
checkpoint_flush_after
байт, сервер даёт указание ОС произвести запись этих данных в нижележащее хранилище. Это ограничивает объём «грязных» данных в страничном кеше ядра и уменьшает вероятность затормаживания при выполненииfsync
в конце этой контрольной точки или когда ОС сбрасывает данные на диск большими блоками в фоне. Часто это значительно уменьшает задержки транзакций, но бывают ситуации (особенно когда объём рабочей нагрузки больше shared_buffers, но меньше страничного кеша ОС), когда производительность может упасть. Этот параметр действует не на всех платформах. Он может принимать значение от0
(при этом управление отложенной записью отключается) до 2 мегабайт (2MB
). Значение по умолчанию —256kB
в Linux и0
в других ОС. (ЕслиBLCKSZ
отличен от 8 КБ, значение по умолчанию и максимум корректируются пропорционально.) Задать этот параметр можно только вpostgresql.conf
или в командной строке при запуске сервера.checkpoint_warning
(integer
)Записывать в журнал сервера сообщение в случае, если контрольные точки, вызванные заполнением файлов сегментов WAL, выполняются быстрее, чем через заданное число секунд (что говорит о том, что значение
max_wal_size
нужно увеличить). Значение по умолчанию равно 30 секундам (30s
). При нуле это предупреждение отключается. Еслиcheckpoint_timeout
меньше, чемcheckpoint_warning
, предупреждения так же не будут выводиться. Задать этот параметр можно только вpostgresql.conf
или в командной строке при запуске сервера.max_wal_size
(integer
)Максимальный размер, до которого может вырастать WAL во время автоматических контрольных точек. Это мягкий предел; размер WAL может превышать
max_wal_size
при особых обстоятельствах, например, при высокой нагрузке, сбое вarchive_command
или при большом значенииwal_keep_segments
. Значение по умолчанию — 1 ГБ. Увеличение этого параметра может привести к увеличению времени, которое потребуется для восстановления после сбоя. Задать этот параметр можно только вpostgresql.conf
или в командной строке при запуске сервера.min_wal_size
(integer
)Пока WAL занимает на диске меньше этого объёма, старые файлы WAL в контрольных точках всегда перерабатываются, а не удаляются. Это позволяет зарезервировать достаточно места для WAL, чтобы справиться с резкими скачками использования WAL, например, при выполнении больших пакетных заданий. Значение по умолчанию — 80 МБ. Этот параметр можно установить только в
postgresql.conf
или в командной строке сервера.
19.5.3. Архивация
archive_mode
(enum
)Когда параметр
archive_mode
включён, полные сегменты WAL передаются в хранилище архива командой archive_command. Помимо значенияoff
(выключающего архивацию) есть ещё два:on
(вкл.) иalways
(всегда). В обычном состоянии эти два режима не различаются, но в режимеalways
архивация WAL активна и во время восстановления архива, и при использовании ведомого сервера. В этом режиме все файлы, восстановленные из архива или полученные при потоковой репликации, будут архивироваться (снова). За подробностями обратитесь к Подразделу 26.2.9.Параметры
archive_mode
иarchive_command
разделены, чтобы команду архивации (archive_command
) можно было изменять, не отключая режим архивации. Этот параметр можно задать только при запуске сервера. Режим архивации нельзя включить, когда установлен минимальный уровень WAL (wal_level
имеет значениеminimal
).archive_command
(string
)Команда локальной оболочки, которая будет выполняться для архивации завершённого сегмента WAL. Любое вхождение
%p
в этой строке заменяется путём архивируемого файла, а вхождение%f
заменяется только его именем. (Путь задаётся относительно рабочего каталога сервера, то есть каталога данных кластера.) Чтобы вставить в команду символ%
, его нужно записать как%%
. Важно, чтобы команда возвращала нулевой код, только если она завершается успешно. За дополнительной информацией обратитесь к Подразделу 25.3.1.Этот параметр можно задать только в
postgresql.conf
или в командной строке при запуске сервера. Если режим архивации (archive_mode
) не был включён при запуске, этот параметр игнорируется. Если значениеarchive_command
— пустая строка (по умолчанию), ноarchive_mode
включён, архивация WAL временно отключается, но сервер продолжает накапливать файлы сегментов WAL в ожидании, что команда будет вскоре определена. Если в качествеarchive_command
задать команду, которая ничего не делает, но сообщает об успешном завершении, например/bin/true
(илиREM
в Windows), архивация по сути отключается, но при этом нарушается цепочка файлов WAL, необходимых для восстановления архива, поэтому такой вариант следует использовать только в особых случаях.archive_timeout
(integer
)Команда archive_command вызывается только для завершённых сегментов WAL. Поэтому, если ваш сервер записывает мало данных WAL (или это наблюдается в некоторые периоды времени), от завершения транзакции до надёжного сохранения её в архивном хранилище может пройти довольно много времени. Для ограничения времени существования неархивированных данных можно установить значение
archive_timeout
, чтобы сервер периодически переключался на новый файл сегмента WAL. Когда этот параметр больше нуля, сервер будет переключаться на новый файл сегмента, если с момента последнего переключения на новый файл прошло заданное число секунд, и наблюдалась какая-то активность базы данных, даже если это была просто контрольная точка. (Контрольные точки пропускаются, если в базе отсутствует активность). Заметьте, что архивируемые файлы, закрываемые досрочно из-за принудительного переключения, всё равно будут иметь тот же размер, что и полностью заполненные. Поэтому устанавливать дляarchive_timeout
очень маленькое значение неразумно — это ведёт к замусориванию архивного хранилища. Обычно дляarchive_timeout
имеет смысл задавать значение около минуты. Если вам нужно, чтобы данные копировались с главного сервера быстрее, вам следует подумать о переходе от архивации к потоковой репликации. Этот параметр можно задать только вpostgresql.conf
или в командной строке при запуске сервера.