Bemind
Учебник Python
Учебник Python
  • Python
    • Python Lists
      • Списковые включения в Python (Полное руководство с примерами)
      • Исправление ValueError: Слишком Много Значений Для Распаковки в Python
      • Как добавить словарь в список в Python
      • Как добавить строку в список в Python
      • Разница между массивами и списками в Python
      • Python: Различия между списками и кортежами
      • Как проверить, пуст ли список в Python
      • Как Итерировать (Циклически Проходить) По Списку в Python
      • Python List sort(): Подробное руководство по сортировке списков
      • Python List Extend: Как добавить несколько элементов в список
      • Python: Найти Индекс Всех Вхождений Элемента в Списке
      • Конвертация списка словарей в Pandas DataFrame
      • Генерация случайных чисел в Python
      • Поиск Индекса в Списке Python: Найти Первое, Последнее или Все Вхождения
      • Добавить в начало списка в Python (Вставить в начало)
      • Найти дубликаты в списке Python
      • Python: Умножение Списков (6 Различных Способов)
      • Python списки: Полный обзор
      • Python: Выбор случайного элемента из списка
      • 4 Способа Очистить Список в Python
      • Объяснение ошибки IndexError в Python: индекс списка выходит за пределы допустимого диапазона
      • Python: Получение индекса максимального элемента в списке
      • Python: Объединение списков – Слияние списков (8 способов)
      • Python: Проверка наличия элемента в списке
      • Python: Проверка наличия элемента в списке
      • Удаление элемента из списка в Python (pop, remove, del, clear)
      • Как перевернуть список в Python (6 способов)
      • Python: Замена элемента в списке (6 различных способов)
      • Python: Удаление дубликатов из списка (7 способов)
      • Python: Преобразование словаря в список кортежей (4 простых способа)
      • Python: Перемешать Список (Случайное Распределение Элементов Списка в Python)
      • Python: Пересечение двух списков
      • Python: Вычитание двух списков (4 простых способа!)
      • Длина или Размер Списка в Python: 5 Способов Узнать Длину Списка
      • Python: Транспонирование списка списков (5 простых способов!)
      • Python: Разделение списка (Пополам, на части)
      • Python: Комбинации списка (Получить все комбинации списка)
      • Python: Выравнивание списка списков (4 способа)
      • Разница между списками в Python: Нахождение разницы между двумя списками Python
      • Python: Найти среднее значение списка или списка списков
      • Как добавлять элементы в списки в Python – 4 простых способа!
      • Списковые включения в Python (Полное руководство с примерами)
      • 6 способов преобразовать список Python в строку
    • Python Dictionaries
      • Понимание словаря Python (с примерами)
      • Исправляем ValueError: Слишком Много Значений Для Распаковки в Python
      • Как добавить словарь в список в Python
      • Преобразование JSON в словарь Python
      • Полное руководство по вложенным словарям в Python
      • Копирование словаря в Python: Полное руководство
      • Конвертация списка словарей в Pandas DataFrame
      • Поиск дубликатов в списке Python
      • Полный обзор словарей в Python
      • Python: Добавление пары Ключ:Значение в Словарь
      • Python: Сортировка словаря по значениям
      • Слияние Словарей в Python – Комбинирование Словарей (7 Способов)
      • Python: Удаление Дубликатов из Списка (7 Способов)
      • Python: Преобразование словаря в список кортежей (4 простых способа)
      • Python: Красивая Печать Словаря (Dictionary) – 4 Способа
      • Python: Проверка пуст ли словарь (5 способов!)
      • Copy of Python: Проверка пуст ли словарь (5 способов!)
      • Python: Проверьте, существует ли ключ (или значение) в словаре (5 простых способов)
      • Python: Проверьте, существует ли ключ (или значение) в словаре (5 простых способов)
      • Python: Получение Ключа Словаря с Максимальным Значением (4 Способа)
      • Python: Удаление ключа из словаря (4 разных способа)
      • Как красиво вывести JSON-файл в Python (6 методов)
    • Python Strings
      • Python Капитализация Строк: Руководство по Преобразованию слов в Заглавные
      • Python strip: Как обрезать строку в Python
      • Python Обратная Строка: Руководство по Реверсированию Строк
      • Как Удалить Префикс или Суффикс из Строки в Python
      • Преобразование строки в формат заголовка в Python с помощью str.title()
      • Как добавить строку в список в Python
      • Python String startswith: Проверка, начинается ли строка с подстроки
      • Python String endswith: Проверка того, заканчивается ли строка подстрокой
      • Как удалить первый или последний символ из строки в Python
      • Как исправить: SyntaxError в Python - EOL при сканировании строкового литерала
      • Python String Contains: Проверка Наличия Подстроки в Строке
      • Как проверить, пустая ли строка в Python
      • Python Новая Строка и Как Печатать Без Переноса Строки
      • Как Конкатенировать Строки в Python: Полное Руководство
      • Python: Подсчет слов в строке или файле
      • Как создать список алфавита в Python
      • Python: Конкатенация строки и целого числа (Int)
      • Python: Сортировка строки (4 различных способа)
      • Python zfill и rjust: Добавление нулей в строку в Python
      • Python: Целое в Двоичное (Преобразование целого числа в двоичную строку)
      • Python rfind: Нахождение индекса последней подстроки в строке
      • Python SHA256 хеширование алгоритм: объяснение
      • Python: Усечение числа с плавающей точкой (6 различных способов)
      • Выбор между методами Python isdigit(), isnumeric() и isdecimal()
      • Python: Удаление специальных символов из строки
      • Python Приведение Строки к Нижнему Регистру с помощью .lower(), .casefold(), и .islower()
      • Python программа для проверки, является ли строка палиндромом (6 методов)
      • Python: Найдите все перестановки строки (3 легких способа!)
      • Python: Удаление пунктуации из строки (3 разных способа!)
      • Python: Найти индекс (или все индексы) подстроки в строке
      • Python: Удаление символов новой строки из строки
      • Python: Удаление символа из строки (4 способа)
      • Python: Количество вхождений в строке (4 способа!)
    • Встроенные функции Python
      • abs()
      • ascii()
      • aiter()
      • all()
      • any()
      • anext()
      • bin()
      • bool()
      • breakpoint()
      • bytearray()
      • bytes()
      • callable()
      • chr()
      • classmethod()
      • compile()
      • complex()
      • delattr()
      • dict()
      • dir()
      • divmod()
      • enumerate()
      • eval()
      • exec()
      • filter()
      • float()
      • format()
      • frozenset()
      • getattr()
      • globals()
      • hasattr()
      • hash()
      • help()
      • hex()
      • id()
      • input()
      • int()
      • issubclass()
      • iter()
      • len()
      • list()
      • locals()
      • map()
      • max()
      • memoryview()
      • min()
      • next()
      • object()
      • oct()
      • open()
      • ord()
      • pow()
      • print()
      • property()
      • range()
      • repr()
      • reversed()
      • round()
      • set()
      • setattr()
      • isinstance()
      • slice()
      • zip()
      • type()
      • sorted()
      • staticmethod()
      • str()
      • sum()
      • super()
      • tuple()
      • vars()
      • import()
    • Cобеседования Python. Разбор реальных вопросов.
    • Встроенные методы в Python
  • Учебники по Pandas и Numpy
    • Numpy
      • Функция активации ReLU для глубокого обучения: полное руководство по выпрямленному линейному блоку
      • Как нормализовать массивы NumPy (минимальное-максимальное масштабирование, Z-оценка, L2)
      • NumPy where: Условная обработка элементов массива
      • NumPy linspace: создание равномерно расположенных массивов с помощью np.linspace
      • Как рассчитать векторное произведение в Python
      • Разделение NumPy: Разделение массива NumPy на части
      • NumPy: Лучшие способы применения функции к массиву
      • NumPy full: Создание массивов с заданным значением
      • NumPy clip(): Ограничьте значения массива минимальным и максимальным значениями
      • NumPy cumsum: Расчет кумулятивных сумм массивов NumPy
      • Изучаем функцию np.histogram в NumPy: создаем гистограмму
      • NumPy arange(): Полное руководство (с примерами)
      • Руководство по индексации и срезам массивов NumPy: Полное руководство
      • NumPy argmin(): Получение индекса минимального значения в массивах
      • Выравнивание массива с помощью NumPy flatten
      • Объединение массивов NumPy по различным осям с использованием функции stack
      • Удаление размерности из массивов NumPy с помощью NumPy Squeeze
      • Функция np.repeat() NumPy: Повторение массивов NumPy
      • Использование функции NumPy.exp() для вычисления экспоненты
      • Реализация функции сигмоида на Python
      • NumPy Pad: Использование np.pad() для дополнения массивов и матриц
      • np.argmax(): Как использовать NumPy Argmax
      • NumPy logspace: Понимание функции np.logspace()
      • Использование NumPy Tile для Расположения Массивов
      • NumPy Zeros: Создание массивов и матриц с нулями в NumPy
      • Использование числа Пи в Python (NumPy и Math)
      • Распределение Нормального (Гауссова) Распределения в Numpy (Случайное Нормальное в Numpy)
      • NumPy для Data Science на Python
      • Расчет скалярного произведения с использованием Numpy в Python
      • Расчет натурального логарифма на Python
    • Pandas
      • Python сводные таблицы – Полное руководство
      • Изучение API стиля Pandas
      • Объяснение группировки по нескольким столбцам в Pandas с примерами
      • Удаление индексной колонки DataFrame в Pandas: Руководство с примерами
      • Pandas Quantile: Расчет процентилей в DataFrame
      • Как рассчитать скользящее среднее (среднее арифметическое) в Pandas
      • Руководство по использованию метода fillna в Pandas для работы с отсутствующими данными в DataFrame
      • Pandas unique(): Получение уникальных значений в DataFrame
      • Распакуйте Ваши Данные с Помощью Функции Melt в Pandas
      • Pandas date_range: Как Создать Диапазон Дат в Pandas
      • Сброс индекса в Pandas: как сбросить индекс в Pandas
      • Pandas replace() – Замена значений в DataFrame Pandas
      • Перемещение столбца DataFrame Pandas на позицию (В начало и в конец)
      • Учебное пособие по Python Pandas: полное руководство
      • Pandas: Замена NaN на нули
      • Преобразование DataFrame Pandas в файл Pickle
      • Конвертация Pandas DataFrame в JSON
      • Преобразование DataFrame Pandas в Словарь
      • Преобразование Pandas DataFrame в Список
      • Чтение файлов Parquet в Pandas с помощью pd.read_parquet
      • Pandas dropna(): Удаление отсутствующих записей и столбцов в DataFrame
      • Как Добавить Новый Столбец в DataFrame Pandas
      • Подсчёт уникальных значений в Pandas
      • Отображение всех столбцов и строк в DataFrame Pandas
      • Pandas to_excel: Запись DataFrames в файлы Excel
      • Как использовать Pandas для чтения файлов Excel в Python
      • Преобразование списка словарей в Pandas DataFrame
      • Как добавить/вставить строку в DataFrame Pandas
      • Диаграмма рассеяния в Pandas: Как создать диаграмму рассеяния в Pandas
      • Pandas to_datetime: Преобразование строки Pandas в дату и время
      • Введение в Pandas для Data Science
      • Индексация, Выборка и Присваивание Данных в Pandas
      • Суммирование и Анализ Pandas DataFrame
      • Преобразование столбцов Pandas с помощью map и apply
      • Группировка данных в Pandas с использованием cut и qcut
      • Дата и время в Pandas и Python
      • Очистка и подготовка данных в Pandas и Python
      • Pandas GroupBy: группировка, суммирование и агрегация данных в Python
      • Pandas Дата и Время в Части Даты (месяц, год и т.д.)
      • Pandas: Получение номера строки из DataFrame
      • Вычисление Взвешенного Среднего в Pandas и Python
      • Как перемешать строки Pandas Dataframe в Python
      • Pandas: количество столбцов (подсчет столбцов в DataFrame)
      • Pandas Sum: сложение столбцов и строк DataFrame
      • Pandas Diff: Вычисление Разницы Между Строками Pandas
      • Нормализация столбца или датафрейма Pandas (с использованием Pandas или sklearn)
      • Функция Rank в Pandas: Ранжирование данных в Dataframe (Эквивалент SQL row_number)
      • Pandas Describe: Описательная статистика вашего Dataframe
      • Pandas Shift: Перемещение столбца DataFrame вверх или вниз
      • 7 Способов Выполнения Выборки Данных в Pandas
      • Экспорт DataFrame Pandas в CSV файл – Использование .to_csv()
      • Pandas: Итерация по строкам DataFrame в Pandas
      • Pandas: Преобразование значений столбца в строки
      • Дисперсия в Pandas: Вычисление дисперсии столбца в Pandas Dataframe
      • Pandas: Создание DataFrame из списков (5 способов!)
      • Pandas Rename Index: Как переименовать индекс DataFrame в Pandas
      • Pandas: Подсчёт уникальных значений в объекте GroupBy
      • Pandas: Добавить дни к колонке с датами
      • Среднее в Pandas: Как рассчитать среднее для одной или нескольких колонок
      • Pandas Column to List – Конвертируйте колонку Pandas в список
      • Транспонирование Dataframe в Pandas
      • Python: Разделение DataFrame Pandas
      • Как получить имена столбцов в DataFrame Pandas
      • Pandas: Количество строк в DataFrame (6 способов)
      • Создание пустого DataFrame Pandas и добавление данных
      • Как переименовать столбцы в Pandas DataFrame (с примерами)
      • Изменение порядка столбцов в Pandas: использование метода reindex и метода insert
      • Pandas get_dummies (One-Hot кодирование), объяснение
      • Относительные и Абсолютные Частоты в Python и Pandas
      • Финансовый год – Определение финансового года в Pandas
      • Как сортировать данные в DataFrame Pandas
  • Учебники Matplotlib и Seaborn
    • Seaborn
      • Регрессионные графики в Seaborn с использованием regplot и lmplot
      • Seaborn residplot – Построение остатков линейной регрессии
      • Seaborn jointplot() – Создание совместных графиков в Seaborn
      • Seaborn displot – Распределенческие графики в Python
      • Seaborn ecdfplot – Эмпирические функции накопленного распределения
      • Seaborn rugplot – Визуализация маргинальных распределений
      • Seaborn kdeplot – Создание графиков оценки плотности ядра
      • Seaborn histplot – Создание Гистограмм в Seaborn
      • Seaborn catplot – Визуализация категориальных данных в Python
      • Средняя тенденция для категориальных данных в Seaborn Pointplot
      • Seaborn stripplot: Jitter Plots для распределений категориальных данных
      • Seaborn Countplot – Подсчет категориальных данных в Python
      • Seaborn swarmplot: Bee Swarm Plots для распределения категориальных данных
      • Скрипичные графики Seaborn в Python: Полное руководство
      • Настройка расположения легенд Seaborn, меток, текста и т.д.
      • Тепловая карта Seaborn: Полное руководство
      • Создание многосекционных сеток в Seaborn с помощью FacetGrid
      • Удаление рамки в Seaborn: Как работать с рамкой
      • Заголовки и метки осей в Seaborn: добавление и настройка
      • Как установить Seaborn в Python (Исправление: no module named seaborn)
      • Seaborn relplot – Создание точечных и линейных графиков
      • Полное руководство по созданию точечных диаграмм (scatter plots) в Python с использованием Seaborn
    • Matplotlib
      • Режим Retina в Matplotlib: Улучшение Качества Графиков
      • Как построить функцию в Python с использованием Matplotlib
      • Как создать 3D-диаграммы рассеяния в Matplotlib
      • Как изменить размер шрифта в графике Matplotlib
      • Установка размера маркера в точечных диаграммах Matplotlib
      • Как изменить размер графика и фигуры в Matplotlib
      • Как добавить названия в Matplotlib: Заголовок, Подзаголовок, Названия Осей
      • Pandas Scatter Plot: Как создать диаграмму рассеяния в Pandas
      • Построение графиков в Python с помощью Matplotlib
      • Диаграммы рассеяния Matplotlib – Все, что вам нужно знать
      • Диаграммы с столбцами в Matplotlib – Узнайте все, что вам нужно знать
      • Линейные диаграммы Matplotlib – Всё, что вам нужно знать
      • Построение гистограммы в Python с Matplotlib и Pandas
  • Алгоритмы
    • Алгоритм поиска в ширину (BFS) в Python
    • Алгоритм поиска в глубину (DFS) на Python
  • AI создает хедж-фонд для анализа акций на Python
Powered by GitBook
On this page
  • Что такое процентиль?
  • Загрузка образца фрейма данных Pandas
  • Обзор квантильного метода Pandas
  • Используйте квантиль Pandas для расчета одного процентиля
  • Используйте квантиль Pandas для расчета нескольких процентилей
  • Используйте квантиль Pandas для расчета процентилей кадра данных
  • Используйте квантиль Pandas для расчета процентилей и изменения интерполяции
  • Визуализация процентилей с помощью коробчатых диаграмм
  • Обработка пропущенных значений при вычислении квантилей
  • Заключение
  • Дополнительная документация
  1. Учебники по Pandas и Numpy
  2. Pandas

Pandas Quantile: Расчет процентилей в DataFrame

PreviousУдаление индексной колонки DataFrame в Pandas: Руководство с примерамиNextКак рассчитать скользящее среднее (среднее арифметическое) в Pandas

Last updated 1 year ago

В этом руководстве вы научитесь использовать функцию quantile в Pandas для расчета процентилей и квантилей вашего DataFrame в Pandas. Умение рассчитывать квантили и процентили позволяет легко сравнивать данные с другими значениями в данных. Вы узнаете, как использовать метод quantile в Pandas для расчета процентилей и квартилей, а также как использовать различные параметры для изменения поведения метода.

К концу этого руководства вы научитесь:
  • Почему вам может понадобиться рассчитать процентиль

  • Как рассчитать один процентиль столбца Pandas

  • Как вычислить несколько процентилей или квартилей столбца Pandas

  • Как рассчитать процентили всего кадра данных

  • Как изменить интерполяцию значений при расчете процентилей

Быстрый ответ: Используйте функцию quantile в Pandas для расчета процентилей

Обновлено в апреле 2023 года: Я обновил пост, добавив больше примеров и объяснений функции quantile() в Pandas. Также я обновил пост, чтобы отразить изменения, сделанные в Pandas 2.0.

Содержание

Что такое процентиль?

Процентиль указывает на число, ниже которого падает определенный процент значений. Например, если мы рассчитываем 90-й процентиль, тогда мы получаем число, ниже которого располагается 90% всех остальных чисел. Это имеет много полезных применений, например, в образовании. Набрать результат в 90-м процентиле не означает, что вы набрали 90% на тесте, а то, что вы показали результат лучше, чем 90% других участников тестирования.

Квартиль делит данные на четыре равные части, каждая из которых содержит 25% значений. Таким образом, квартиль разделяет данные на процентили: 0%, 25%, 50% и 75%.

Вычисление процентиля имеет множество полезных применений, например, при работе с выбросами. Поскольку выбросы могут сильно влиять на модели машинного обучения, искажая их производительность, важно быть в курсе их наличия. Например, вы можете захотеть знать, сколько значений попадает внутрь и вне 5-го и 95-го процентилей, чтобы понять, какое искажение данных ожидать.

Давайте начнем с изучения того, как рассчитать перцентиль в Pandas с использованием функции quantile

Загрузка образца фрейма данных Pandas

Давайте начнем с загрузки образца DataFrame в Pandas. Если у вас есть свои данные, не стесняйтесь использовать их. Однако, если вы хотите следовать этому руководству шаг за шагом, скопируйте код ниже, чтобы сгенерировать наш DataFrame:

# Loading a Sample Pandas Dataframe
import pandas as pd

df = pd.DataFrame.from_dict({
    'Student': ['Nik', 'Kate', 'Kevin', 'Evan', 'Jane', 'Kyra', 'Melissa'],
    'English': [90, 95, 75, 93, 60, 85, 75],
    'Chemistry': [95, 95, 75, 65, 50, 85, 100],
    'Math': [100, 95, 50, 75, 90, 50, 80]
})

print(df.head())

# Returns:
#   Student  English  Chemistry  Math
# 0     Nik       90         95   100
# 1    Kate       95         95    95
# 2   Kevin       75         75    50
# 3    Evan       93         65    75
# 4    Jane       60         50    90

Мы видим, что загрузили DataFrame Pandas с оценками студентов. У нас есть один столбец 'object', содержащий имена студентов, и три других числовых столбца с оценками студентов.

Теперь давайте углубимся в понимание того, как работает quantile метод Pandas.

Обзор квантильного метода Pandas

Метод quantile в Pandas работает как с отдельной серией Pandas, так и со всем DataFrame Pandas. По умолчанию он возвращает 50-й процентиль и использует линейную интерполяцию для расчета данных.

Давайте посмотрим, как выглядит метод и какие параметры предоставляет метод quantile.

# Understanding the Pandas .quantile() method to calculate percentiles

df.quantile(
    q=0.5,                      # The percentile to calculate
    axis=0,                     # The axis to calculate the percentile on
    numeric_only=False,         # To calculate only for numeric columns
    interpolation='linear'      # The type of interpolation to use when the quantile is between 2 values
)

Давайте рассмотрим различные параметры, которые предлагает метод quantile в Pandas. Аргументы по умолчанию представлены в квадратных скобках []. **Начиная с апреля 2023 года с Pandas 2.0, аргумент по умолчанию для numeric_only установлен в False. Это оказывает большое влияние на устаревший код, требуя от вашего кода быть более явным

  • q=[0.5]: число с плавающей точкой или массив, указывающий значение(я) квантилей для расчета

  • axis=[0]: ось для расчета процентилей (0 для расчета по строкам и 1 для расчета по столбцам)

  • Если numeric_only=[True] установлено в False, вычисляйте значения также для столбцов datetime и timedelta.

  • interpolation=['linear']: если квантили находятся между двумя значениями, как интерполировать значения

Теперь, когда вы узнали о различных доступных аргументах, давайте перейдем к расчету процентиля для заданного столбца.

Используйте квантиль Pandas для расчета одного процентиля

В этом разделе вы узнаете, как рассчитать один конкретный процентиль в столбце DataFrame с использованием метода quantile. Мы можем применить этот метод к указанному столбцу, и как результат, получим значение процентиля. Давайте посмотрим, как это делается:

# Generate a single percentile with df.quantile()
print(df['English'].quantile())

# Returns: 85.0

По умолчанию Pandas использует параметр q=0.5, что соответствует 50-му процентилю. Если нам нужно, например, вычислить 90-й процентиль, мы можем передать значение q=0.9 в параметры:

# Generate a single percentile with df.quantile()
print(df['English'].quantile(q=0.9))

# Returns: 93.8

Мы видели, что при передаче только одного значения в аргумент q=, возвращается одно значение. Но что, если нам нужно рассчитать несколько процентилей для одного столбца Pandas? В следующем разделе вы узнаете, как это сделать.

Используйте квантиль Pandas для расчета нескольких процентилей

Возможны ситуации, когда вам нужно рассчитать несколько различных перцентилей для столбца в Pandas. Аргумент q= может принимать как одно число, так и массив чисел, для которых мы хотим выполнить расчет.

Чтобы рассчитать несколько перцентилей, мы просто передаем список значений для различных перцентилей, которые хотим вычислить. Давайте посмотрим, как это выглядит:

# Generate multiple percentiles with df.quantile()
print(df['English'].quantile(q=[0.1, 0.9]))

# Returns: 
# 0.1    69.0
# 0.9    93.8
# Name: English, dtype: float64

Этот код возвращает ряд Pandas, содержащий различные значения процентилей. Если нам нужно получить доступ к одному значению в этом ряду, мы можем просто выбрать его по индексу. Давайте посмотрим, как мы можем выбрать 90-й процентиль в нашем ряду:

# Generate multiple percentiles with df.quantile() and selecting one
print(df['English'].quantile(q=[0.1, 0.9])[0.9])

# Returns: 93.8

Этот метод будет полезен, если вы хотите одновременно рассчитать несколько процентилей и программно использовать значения этих процентилей.

В следующем разделе вы узнаете, как использовать Pandas для расчета процентилей всего датафрейма.

Используйте квантиль Pandas для расчета процентилей кадра данных

Во многих случаях вам может потребоваться вычислить процентили по всем столбцам в dataframe. В нашем примере есть столбцы, которые показывают оценки разных учеников по различным предметам. Вместо того, чтобы вычислять процентили для каждого предмета, мы можем просто рассчитать процентили для всего dataframe, тем самым ускорив наш рабочий процесс.

Давайте посмотрим, как это работает, вычислив 90-й процентиль для каждого столбца:

# Calculate Percentile for a Pandas Dataframe
print(df.quantile(q=0.9, numeric_only=True))

# Returns: 
# English      93.8
# Chemistry    97.0
# Math         97.0
# Name: 0.9, dtype: float64

Мы видим, насколько легко было рассчитать отдельный процентиль для всех колонок в DataFrame Pandas. Начиная с Pandas 2.0, вам будет необходимо установить параметр numeric_only= в значение True. Это серьезное отличие от предыдущих версий, где этот параметр был установлен в значение True по умолчанию.

Если вы хотите рассчитать несколько процентилей для всего датафрейма, вы можете передать список значений для расчета. Давайте рассчитаем несколько различных процентилей, используя метод quantile в Pandas:

# Calculate Multiple Percentiles for an Entire DataFrame
print(df.quantile(q=[0.1, 0.5, 0.9], numeric_only=True))

# Returns:
#      English  Chemistry  Math
# 0.1     69.0       59.0  50.0
# 0.5     85.0       85.0  80.0
# 0.9     93.8       97.0  97.0

Мы видим, что Pandas фактически возвращает dataframe, содержащий разбивку по процентилям по разным столбцам. Мы можем использовать .loc или .iloc для выбора данных.

В следующем разделе вы узнаете, как изменить метод интерполяции процентилей в Pandas, когда искомый процентиль попадает между двумя значениями.

Используйте квантиль Pandas для расчета процентилей и изменения интерполяции

При вычислении процентиля вы можете столкнуться с ситуацией, когда процентиль попадает между двумя значениями. В этих случаях необходимо принять решение о способе расчета процентиля. Например, вы можете выбрать среднее значение между двумя значениями, нижнюю / верхнюю границу или интерполированное значение.

Это место, где параметр interpolation= играет ключевую роль. По умолчанию Pandas будет использовать линейную интерполяцию для генерации процентиля, что означает, что значения будут рассматриваться как линейные, и будет найдено линейно интерполированное значение.

Pandas предлагает ряд настроек для изменения этого поведения. Настройки описаны в таблице ниже, с учетом двух значений i и j:

Интерполяционный аргумент
Описание

linear

Вычисляет на основе линейного предположения по формуле i + (j – i)

lower

выбирает меньшее значение, i.

higher

выбирает большее значение, j

nearest

выбирает ближайшее значение: i или j

midpoint

вычисляет среднюю точку, используя (i + j)/2

Давайте посмотрим, как могут отличаться эти значения для одного столбца:

# Interpolating Percentiles in Different Ways
linear = df['Math'].quantile(q=0.9, interpolation='linear')
lower = df['Math'].quantile(q=0.9, interpolation='lower')
higher = df['Math'].quantile(q=0.9, interpolation='higher')
nearest = df['Math'].quantile(q=0.9, interpolation='nearest')
midpoint = df['Math'].quantile(q=0.9, interpolation='midpoint')

print('linear returns: ', linear)
print('lower returns: ', lower)
print('higher returns: ', higher)
print('nearest returns: ', nearest)
print('midpoint returns: ', midpoint)

# Returns:
# linear returns:  97.0
# lower returns:  95
# higher returns:  100
# nearest returns:  95
# midpoint returns:  97.5

Посредством выбора типа интерполяции мы можем настроить результаты так, чтобы они соответствовали нашим потребностям.

Визуализация процентилей с помощью коробчатых диаграмм

Мы можем лучше визуализировать процентили, используя боксплоты. Создать красивые боксплоты можно с помощью библиотеки Seaborn для Python. Для создания боксплотов в Seaborn можно использовать функцию

Изображение ниже демонстрирует, как с помощью боксплотов можно визуализировать процентили:

Давайте посмотрим, как мы можем использовать Seaborn для создания боксплота

# Creating a Boxplot in Seaborn
import seaborn as sns
sns.set_style('whitegrid')
sns.set_palette('Set2')
sns.boxplot(df)

Это возвращает следующее изображение:

Мы видим, что диаграмма размаха помогает визуализировать, по умолчанию, 25%, 50% и 75% процентили. Диаграммы размаха могут быть чрезвычайно полезным инструментом для понимания процентилей.

Обработка пропущенных значений при вычислении квантилей

По умолчанию Pandas будет игнорировать любые отсутствующие значения при расчете квантилей. Это важно знать, поскольку это влияет на ваше представление о том, как должны быть рассчитаны значения. Если вы хотите изменить способ представления этих значений, вы можете захотеть обработать отсутствующие значения сначала. Аналогично, вы можете удалить отсутствующие значения, поскольку они могут исказить ваш общий анализ.

Заключение

В этом уроке вы научились использовать метод quantile Pandas для расчёта перцентилей датафрейма. Вы узнали, как перцентили используются в различных областях и как их рассчитывать с помощью Pandas. Вы научились вычислять их для одного перцентиля, для нескольких перцентилей и для всего датафрейма. Также вы узнали, как изменить поведение интерполяции значений, когда перцентиль попадает между двумя значениями.

Дополнительная документация

Некоторые другие соответствующие статьи представлены ниже:

  • Учебное пособие по стандартному отклонению Python: объяснение и примеры

  • Pandas Describe: описательная статистика по вашему фрейму данных

  • 7 способов выборки данных в Pandas

  • Дисперсия Pandas: расчет дисперсии столбца кадра данных Pandas

Чтобы узнать больше о методе quantile в Pandas, .

ознакомьтесь с официальной документацией здесь
Что такое процентиль?
Загрузка образца фрейма данных Pandas
Обзор квантильного метода Pandas
Используйте квантиль Pandas для расчета одного процентиля
Используйте квантиль Pandas для расчета нескольких процентилей
Используйте квантиль Pandas для расчета процентилей кадра данных
Используйте квантиль Pandas для расчета процентилей и изменения интерполяции
Визуализация процентилей с помощью коробчатых диаграмм
Обработка пропущенных значений при вычислении квантилей
Заключение
Дополнительная документация
Seaborn Boxplot Showing Percentiles
Quick Answer - Pandas Quantile to Calculate Percentiles