Главная

Курсы

PostgreSQL, Авторские курсы УКЦ ФОРС

АМА-сессия с Романом Фроловым: Инструменты и средства настройки производительности PostgreSQL

FP.AMA.RF

АМА-сессия с Романом Фроловым: Инструменты и средства настройки производительности PostgreSQL

Аббревиатура AMA расшифровывается как «ask me anything» — «спроси меня о чём угодно»

Слушатели курса изучат основы конфигурации PostgreSQL и Linux, методы нагрузочного тестирования, и настройку логирования. Курс включает современные инструменты, такие как BPF, eBPF и BCC, традиционные и новые средства диагностики, терминальные мультиплексоры, а также углублённый анализ статистики и метрик производительности.

Особое внимание уделено работе с событиями ожидания, таймаутами, расширениями PostgreSQL, настройке окружения и мониторингу фоновых процессов. Практическая часть охватывает обслуживание индексов, масштабирование и секционирование данных, работу с пулом соединений, использование отладчиков и визуализацию данных. Участники также познакомятся с методами построения отчётов с использованием pg_profile и pgpro_pwr, а завершение курса даст навыки планирования и выполнения обновлений PostgreSQL для поддержания актуальности и стабильности базы данных.

Предварительная подготовка:
Опыт работы с Linux
Навыки администрирования PostgreSQL
Прохождение курсов или эквивалентные знания в рамках программы PP.16.DBA1 и PP.13.DBA2

80 000₽

Длительность

5 дней (40ч в неделю)

Доступ к курсу

Навсегда в личном кабинете

Документы

Удостоверение о повышении квалификации

Кому подойдет этот курс

Администраторы PostgreSQL

Получаемые знания

Понимание основ производительности PostgreSQL
Настройка конфигурации PostgreSQL и Linux
Диагностика и мониторинг производительности
Использование метрик и инструментов мониторинга
Настройка логирования и отчётности
Оптимизация окружения и ресурсов PostgreSQL
Масштабирование и секционирование данных
Использование отладчиков и терминальных мультиплексоров

Тема 1. Введение

Обзор курса и цели обучения;

Основные метрики производительности PostgreSQL;

Инструменты, используемые в курсе;

Подготовка рабочего окружения;

Тема 2. Настройка конфигурации PostgreSQL

Параметры shared_buffers, work_mem, effective_cache_size;

Настройка WAL: wal_buffers, checkpoint_timeout, max_wal_size;

Параметры планировщика запросов;

Рекомендации по настройке для различных нагрузок;

Тема 3. Настройка конфигурации Linux

Параметры ядра для PostgreSQL: vm.dirty_ratio, vm.swappiness;

Настройка huge pages;

Конфигурация планировщика ввода-вывода;

Параметры файловой системы и монтирования;

Тема 4. Нагрузочное тестирование

Утилита pgbench: конфигурация и запуск тестов;

Интерпретация результатов нагрузочного тестирования;

Создание собственных сценариев нагрузки;

Методология сравнительного тестирования;

Тема 5. Настройка логирования PostgreSQL

Параметры log_statement, log_duration, log_min_duration_statement;

Формат журнала и его анализ;

Утилита pgBadger для анализа логов;

Баланс между детализацией и производительностью;

Тема 6. Терминальные мультиплексоры

Утилиты tmux и screen: основные команды;

Работа с несколькими сессиями одновременно;

Применение при администрировании удалённых серверов;

Сохранение рабочих сессий;

Тема 7. Традиционные средства диагностики Linux

Утилиты top, htop, vmstat, iostat, sar;

Анализ использования CPU, памяти, дисков;

Мониторинг процессов PostgreSQL;

Определение узких мест в системе;

Тема 8. BPF и eBPF

Технология Berkeley Packet Filter и её эволюция;

Архитектура eBPF в ядре Linux;

Применение eBPF для трассировки и мониторинга;

Инструменты на базе eBPF для анализа PostgreSQL;

Тема 9. BCC

BPF Compiler Collection: установка и обзор;

Основные утилиты BCC: biolatency, execsnoop, opensnoop;

Применение BCC для анализа производительности PostgreSQL;

Написание собственных BCC-скриптов;

Тема 10. Статистики, метрики, счётчики

Системные представления pg_stat_*;

Статистика таблиц, индексов, активности;

Мониторинг блокировок и ожиданий;

Настройка сбора статистики;

Тема 11. События ожидания

Классификация wait events в PostgreSQL;

Представление pg_stat_activity: анализ wait_event_type;

Диагностика блокировок и ожидания ввода-вывода;

Интерпретация событий ожидания для оптимизации;

Тема 12. Таймауты

Параметры таймаутов в PostgreSQL: statement_timeout, lock_timeout;

Настройка idle_in_transaction_session_timeout;

Влияние таймаутов на производительность и стабильность;

Рекомендации по настройке для различных сценариев;

Тема 13. Расширения PostgreSQL

Обзор расширений для мониторинга и производительности;

pg_stat_statements: анализ запросов;

auto_explain: автоматическое логирование планов;

pg_buffercache, pg_prewarm и другие полезные расширения;

Тема 14. Профилирование PostgreSQL (pg_profile/pgpro_pwr)

Установка и настройка pg_profile;

Создание и анализ отчётов о нагрузке;

pgpro_pwr: расширенное профилирование в Postgres Pro;

Сравнение снимков производительности за разные периоды;

Тема 15. Профилирование Linux

Утилита perf: сбор и анализ профилей;

Flame graphs для визуализации нагрузки;

Профилирование процессов PostgreSQL на уровне ОС;

Определение горячих точек в коде;

Тема 16. Использование отладчиков

Отладчик gdb для анализа процессов PostgreSQL;

Получение стека вызовов (backtrace);

Анализ core dump файлов;

Практические сценарии отладки проблем производительности;

Тема 17. Трассировка PostgreSQL

Встроенные средства трассировки PostgreSQL;

EXPLAIN и EXPLAIN ANALYZE: анализ планов выполнения;

Параметры auto_explain;

Детальный анализ выполнения запросов;

Тема 18. Трассировка Linux

Утилиты strace и ltrace;

Трассировка системных вызовов процессов PostgreSQL;

Утилита bpftrace для динамической трассировки;

Анализ взаимодействия PostgreSQL с ядром;

Тема 19. Визуализация данных

Инструменты визуализации: Grafana, pgwatch2;

Создание дашбордов для мониторинга PostgreSQL;

Визуализация метрик производительности;

Настройка алертов и уведомлений;

Тема 20. Стратегии хранения данных

Выбор файловой системы для PostgreSQL;

Настройка RAID и SSD для оптимальной производительности;

Распределение данных по табличным пространствам;

Разнесение WAL и данных по разным дискам;

Тема 21. Загрузка данных в PostgreSQL

Оптимизация массовой загрузки: COPY vs INSERT;

Настройка параметров для ускорения импорта;

Отключение индексов и ограничений при загрузке;

Параллельная загрузка данных;

Тема 22. Настройка окружения PostgreSQL

Параметры операционной системы для оптимальной работы;

Настройка лимитов ОС: ulimit, sysctl;

Оптимизация сетевого стека;

Конфигурация файловой системы;

Тема 23. Мониторинг

Комплексный мониторинг PostgreSQL в production;

Системы мониторинга: Zabbix, Prometheus, pgwatch2;

Ключевые метрики для отслеживания;

Построение стратегии мониторинга;

Тема 24. Устройство памяти PostgreSQL

Архитектура памяти: shared memory и local memory;

Shared buffers и механизм кеширования;

Управление рабочей памятью: work_mem, maintenance_work_mem;

Диагностика использования памяти;

Тема 25. Диагностика фоновых процессов

Фоновые процессы PostgreSQL: checkpointer, autovacuum, bgwriter;

Мониторинг и настройка фоновых процессов;

Влияние фоновых процессов на производительность;

Диагностика проблем с checkpoint и vacuum;

Тема 26. Обслуживание индексов

Обнаружение раздувания (bloat) индексов;

Перестроение индексов: REINDEX, CREATE INDEX CONCURRENTLY;

Мониторинг использования индексов;

Удаление неиспользуемых индексов;

Тема 27. Параллельное выполнение

Параллельные запросы в PostgreSQL: настройка и использование;

Параметры max_parallel_workers, parallel_tuple_cost;

Типы операций с поддержкой параллелизма;

Диагностика и оптимизация параллельного выполнения;

Тема 28. Масштабирование PostgreSQL

Вертикальное и горизонтальное масштабирование;

Распределение нагрузки чтения на реплики;

Шардирование данных: подходы и инструменты;

Citus и другие расширения для масштабирования;

Тема 29. Секционирование

Декларативное секционирование в PostgreSQL;

Типы секционирования: по диапазону, по списку, по хешу;

Настройка и обслуживание секционированных таблиц;

Влияние секционирования на производительность запросов;

Тема 30. Пул соединений

Проблема большого числа соединений в PostgreSQL;

PgBouncer: установка, режимы пулинга, настройка;

Pgpool-II: балансировка нагрузки и пулинг;

Встроенный пул соединений в новых версиях PostgreSQL;

Тема 31. Мажорные и минорные обновления PostgreSQL

Минорные обновления: процедура и рекомендации;

Мажорные обновления: pg_upgrade, логическая репликация;

Подготовка к обновлению: тестирование совместимости;

Откат обновления при возникновении проблем;

PostgreSQL 13. Оптимизация запросов

PP.13.QPT

Разработка серверной части приложений PostgreSQL 16. Расширенный курс

PP.16.DEV2

Миграция с Oracle на Postgres: Подходы, проблемы и решения. Практический курс

FP.MIGR

PostgreSQL 16. Оптимизация запросов

PP.16.QPT

Инструменты и средства настройки производительности PostgreSQL

FP.PRFM.NEW

Кластерные технологии, системы высокой доступности и надежности на основе БД Postgres

FP.CLST

Новые возможности PostgreSQL 13, 14 и 15

FP.1X.NFS

Инструменты и средства настройки производительности PostgreSQL

FP.PRFM.NEW

Отказоустойчивый кластер СУБД PostgresSQL на основе Patroni

FP.Patroni

Инструменты и средства настройки производительности PostgreSQL

FP.PRFM.NEW

Текущий курс

АМА-сессия с Романом Фроловым: Инструменты и средства настройки производительности PostgreSQL

FP.AMA.RF

Практический тренинг по диагностике и устранению неисправностей в БД Postgres

FP.DTPD

Фролов Роман

Анонимно

О курсе Администрирование PostgreSQL 16. Резервное копирование и репликация

Очень много систематизированной информации.
Смог собрать воедино разрозненные знания и увидел методы решения имеющихся пробелов в резервировании

Анонимно

О курсе "Администрирование PostgreSQL 16. Базовый курс"

Спасибо центру за интересный курс и хорошую организацию. Перед началом курса выслали подробную инструкцию, все было понятно, вируталка у меня работала без проблем.
Большое спасибо лектору Олегу Иванову. Лектор отзывчивый, ответил на все вопросы слушателей. Изложение материала было доступным и понятным. Видно, что лектор эксперт в области PostgreSQL и Oracle.
Материал курса оказался для меня полезным и актуальным.

Алексей Шинкаренко

О курсе "Oracle Database 19c/18c/12cR2: Administration Workshop"

Интересная подача, не только собственно содержимое курса, но и история появления нововведений их полезность или бесполезность на практике. Много практики, что тоже полезно.
В целом понравилось, произошла некоторая систематизация знаний, узнал кое-что новое для себя. При наличии возможностей посещу другие курсы по этой тематике.

Дмитрий Пинаев

О курсе "Разработка серверной части приложений PostgreSQL 16. Расширенный курс"

Курс отличается полнотой и доступностью, живостью подачи материала. Преподаватель-эксперт в области postgreSql(и не только) и великолепный рассказчик. Благодаря этому, курс можно рекомендовать тем, кому требуется разработать надёжное и производительное приложение на основе PostgreSql

К сожалению, не удалось выполнить в полном объёме практические задания.

Дмитрий Ерошин

О курсе "Администрирование PostgreSQL 16. Настройка и мониторинг"

Очень содержательный курс. Рассматриваются действительно необходимые темы для погружения во внутреннюю механику PostgreSQL.

Сергей Рыбаков

О курсе "Администрирование PostgreSQL 16. Базовый курс"

Хотя курс был для меня совершенно новым и не все материалы усвоились сразу, я получил главное – четкое понимание дальнейших шагов в изучении PostgreSQL, включая необходимые ресурсы и ПО. Особо хочу отметить преподавателя: его глубокие знания и педагогические навыки впечатляют. Он смог адаптировать программу под уровень каждого слушателя, что было очень ценно. Примеры и аналогии были подобраны точно, а ответы на вопросы – максимально понятными.

Анонимно

О курсе "Разработка серверной части приложений PostgreSQL 16. Расширенный курс"

В целом курс удачный. Большим плюсом является живой рассказ преподавателя, а не чтение по бумажке. Можно задать дополнительные вопросы. Преподаватель хорошо владеет темой

Алексей Шлыков

О курсе "Администрирование PostgreSQL 16. Базовый курс"

Благодарю Дмитрия Головицина и УЦ Fors за организацию и проведение курса. Материалы просматривал заранее так как они были в открытом доступе, но ценной была возможность задавать свои вопросы и слушать ответы на вопросы других слушателей. Надеюсь удалось немного систематизировать свои знания и продвинуться к цели сертификации. Планирую посещение других курсов по PostgreSQL и по Linux. Очень бы хотелось получить записи занятий

Апенов Иван

О курсе "Администрирование PostgreSQL 16. Базовый курс"

Курс понравился, помогает понять основные сущности PostgreSQL и как они взаимодействуют между собой. Почти все, с чем можно столкнуться в PostgreSQL при полном цикле работ, разбирается в данном курсе. Полезен как администраторам, так и инженерам, работающим напрямую с БД.
Преподаватель подробно разъясняет нюансы по каждой теме. Теория своевременно разбавляется практикой для закрепления знаний.

Вячеслав Кленяев

О курсе "Технология контейнеризации Docker"

Отличное погружение в архитектуру контейнеризации, оптимизацию, безопасность и внутреннее устройство Docker. Самое то, что надо, для тех, кто желает использовать технологию, но не знает с чего начать и как правильно эксплуатировать. На практических работах, освоена теория о компонентах Docker при работе в локальной среде. На тестовом стенде развернуты интеграции с CI/CD, terraform, ansible, kubernetes. Теперь могу использовать, в своей работе и в своих наработках, много-контейнерные окружения разработки для приложений.

Снежана Мамаева

О курсе "Разработка серверной части приложений PostgreSQL 16. Расширенный курс"

Информативно, не перегружено, наглядно, доходчиво, с юмором преподнесен материал. Моя благодарность.

Сергей Лошкарев

О курсе "Разработка серверной части приложений PostgreSQL 16. Расширенный курс"

Лектор - огонь! Однако есть пара моментов: - любит уходить в себя и эффектно возвращаться так, что забываешь, о чём шла речь буквально пять минут назад; - если кто-то задаёт ему вопрос, то он резко начинает его перебивать, типа ему всё понятно и это заставляет людей тупо не активничать, ибо этот поток не остановить); - наконец есть тяжёлые фонетические искажения при произношении некоторых обычных англицизмов и не только, однако это является фишкой лектора, как я понял. В целом - масса полезной информации и подача весьма экспрессивна (в хорошем смысле). Лучший лектор на всех курсах по Postgres по моему скромному мнению.

Алексей Сычев

О курсе "Безопасная разработка программного обеспечения"

Мне курс понравился, прям база, буду рекомендовать коллегам.
Единственное, что платформа не совсем корректно работает на Iphone, иногда переключался.

Вячеслав Кленяев

О курсе "Технология контейнеризации Docker"

Анонимно

О курсе "Кластерное решение для СУБД PostgreSQL на основе Pacemaker/Corosync"

Отличный курс, сформировал мое представление о кластерное решениях для СУБД PostgreSQL на основе Pacemaker/Corosync

Валериан Семененко

О курсе "Кластерные технологии, системы высокой доступности и надежности на основе БД Postgres"

В целом обширная тема курса освещена преподавателем в полной мере. Спасибо Тимофею Нечаеву за выдержку и профессионализм в разборе и решении возникавших по ходу курса вопросов.

Раис Ильязов

О курсе "Инструменты и средства настройки производительности PostgreSQL"

Очень понравился курс, все рассказанное необходимо в моей работе DBA каждый день. Преподаватель профессионал своего дела, материал подается легко и понятно с хорошими практиками, чествуется сразу что это реальный опыт. Возможно стоит расширить курс до 5 дней и дать больше времени для практик и обсуждения вопросов.

Николай Порываев

О курсе "Python основы программирования"

Очень интересно и подробно с примерами и практикой. Для начинающего питонца самое то.

Любовь Иванова

О курсе "Основы администрирования РЕД ОС. 2024"

Обучалась дистанционно впервые. Очень понравилось. Преподаватель Гамаюнов Семён Алексеевич рассказывал всё чётко, доступно и очень интересно. Постоянно приводил примеры, что очень влияет на изучение курса. Успехов и процветания вашему учебному центру!

Сергей Ильяшевич

О курсе "Основы администрирования РЕД ОС. 2024"

Отличный курс. Материалы позволяют как освоить администрирование так и погрузиться в нюансы и тонкости администрирования ОС. Отличные преподаватели, качественное оснащение учебного процесса и грамотное изложение учебного материала. Спасибо!

Где купить Инструменты для администрирования PostgreSQL: Ваша карта сокровищ в мире баз данных

Сегодня мы поговорим о волшебных артефактах, которые превращают администрирование PostgreSQL из запутанного квеста в приятное и эффективное занятие: об Инструментах для администрирования PostgreSQL. Это как найти удобную карту, которая проведет вас через лабиринт данных, избегая ловушек и тупиков. Но где же отыскать эту карту сокровищ?

Почему Инструменты для администрирования PostgreSQL – это не роскошь, а необходимость?

PostgreSQL – мощная и гибкая база данных, но без правильных инструментов управление ею может превратиться в рутинную и трудоемкую задачу. Представьте себе, что вы пытаетесь собрать сложный конструктор без инструкции и отвертки. Возможно, у вас и получится, но времени и нервов вы потратите гораздо больше, чем могли бы.

Инструменты для администрирования PostgreSQL позволяют автоматизировать рутинные задачи, мониторить производительность, выявлять проблемы и быстро их устранять. Это как получить суперспособности, позволяющие видеть сквозь стены данных и управлять ими одним щелчком мыши.

Многообразие инструментов: На любой вкус и цвет

К счастью, мир инструментов для администрирования PostgreSQL богат и разнообразен. Выбор огромен, как в большом магазине инструментов. Вот лишь некоторые из самых популярных вариантов:

pgAdmin: Это как швейцарский нож – бесплатный, функциональный и всегда под рукой. Графический интерфейс для управления серверами, базами данных, таблицами и другими объектами.
Dbeaver: Еще один бесплатный универсал. Поддерживает множество баз данных, включая PostgreSQL, и предлагает широкий спектр функций для администрирования и разработки.
DataGrip: Платный инструмент от JetBrains (создателей IntelliJ IDEA). Мощный и удобный редактор SQL, инструменты для рефакторинга, интеграция с системами контроля версий. Идеален для разработчиков.
pgcenter: Расширение для PostgreSQL, предоставляющее веб-интерфейс с графиками и аналитикой для мониторинга производительности в реальном времени.
Cloud-based tools (AWS RDS, Azure Database for PostgreSQL, Google Cloud SQL): Облачные решения, предлагающие встроенные инструменты для администрирования PostgreSQL, автоматическое резервное копирование, масштабирование и другие полезные функции. Это как арендовать дом с садовником и горничной.

Преимущества использования Инструментов для администрирования PostgreSQL: Легкость, эффективность, контроль

Давайте рассмотрим конкретные преимущества использования этих инструментов:

Упрощение администрирования: Визуальный интерфейс делает управление базой данных более интуитивным и понятным.
Автоматизация рутинных задач: Создание резервных копий, мониторинг производительности, оптимизация запросов – все это можно автоматизировать.
Улучшение производительности: Инструменты мониторинга позволяют выявлять узкие места и оптимизировать работу базы данных.
Сокращение времени простоя: Быстрое обнаружение и устранение проблем помогает избежать длительных простоев.
Повышение безопасности: Инструменты управления правами доступа позволяют ограничить доступ к конфиденциальным данным.

Пример из реальной жизни: Компания, занимающаяся разработкой мобильных приложений, использовала DataGrip для рефакторинга SQL-кода и оптимизации запросов к базе данных PostgreSQL. Результат: увеличение скорости работы приложения в 2 раза и снижение нагрузки на сервер.

Обратная сторона медали: О чем стоит помнить

Не все так безоблачно. При выборе и использовании инструментов для администрирования PostgreSQL нужно учитывать и некоторые недостатки:

Стоимость: Некоторые инструменты (например, DataGrip) являются платными.
Зависимость от графического интерфейса: В некоторых ситуациях командная строка может быть более эффективной.
Необходимость обучения: Для эффективного использования инструментов необходимо потратить время на их изучение.
Потенциальные проблемы безопасности: Неправильная настройка инструментов может привести к утечкам данных.

Когда использование графических инструментов может быть нецелесообразным? Если вы опытный администратор PostgreSQL, комфортно чувствуете себя в командной строке и выполняете простые задачи, возможно, вам и не нужны навороченные графические инструменты.

Выбирая инструменты для администрирования PostgreSQL, обратите внимание на следующие факторы:

Функциональность: Какие задачи вы планируете решать с помощью этого инструмента?
Удобство использования: Насколько интуитивно понятен интерфейс?
Производительность: Не будет ли инструмент замедлять работу базы данных?
Поддержка: Насколько быстро разработчик реагирует на вопросы и исправления ошибок?
Стоимость: Соответствует ли цена функциональности и удобству использования?

Вооружитесь и побеждайте!

Инструменты для администрирования PostgreSQL – это незаменимые помощники для любого администратора базы данных. Выберите подходящий инструмент, изучите его возможности и используйте на полную катушку.

Показать все

Как проходит обучение на платформе ФОРС

[ 01 ]

Знакомство с платформой

Платформа учебного центра ФОРС предназначена для удобного и комфортного обучения. Доступ к материалам будет открыт сразу после приобретения курса, а также навсегда доступен в личном кабинете.

[ 02 ]

Обучение

Каждый раздел содержит уроки с теоретическими материалами в видео и текстовых форматах, а так же демонстрацию практических примеров от преподавателей. Самостоятельная работа поможет закрепить полученные знания.

[ 03 ]

Обратная связь и поддержка

Мы поддерживаем онлайн-ресурс, где слушатели всегда могут задать вопрос преподавателю или коллективно обсудить возможные проблемы с другими студентами. Вы всегда сможете получить необходимую информацию в личном кабинете.