Bemind
Учебник Python
Учебник Python
  • Python
    • Python Lists
      • Списковые включения в Python (Полное руководство с примерами)
      • Исправление ValueError: Слишком Много Значений Для Распаковки в Python
      • Как добавить словарь в список в Python
      • Как добавить строку в список в Python
      • Разница между массивами и списками в Python
      • Python: Различия между списками и кортежами
      • Как проверить, пуст ли список в Python
      • Как Итерировать (Циклически Проходить) По Списку в Python
      • Python List sort(): Подробное руководство по сортировке списков
      • Python List Extend: Как добавить несколько элементов в список
      • Python: Найти Индекс Всех Вхождений Элемента в Списке
      • Конвертация списка словарей в Pandas DataFrame
      • Генерация случайных чисел в Python
      • Поиск Индекса в Списке Python: Найти Первое, Последнее или Все Вхождения
      • Добавить в начало списка в Python (Вставить в начало)
      • Найти дубликаты в списке Python
      • Python: Умножение Списков (6 Различных Способов)
      • Python списки: Полный обзор
      • Python: Выбор случайного элемента из списка
      • 4 Способа Очистить Список в Python
      • Объяснение ошибки IndexError в Python: индекс списка выходит за пределы допустимого диапазона
      • Python: Получение индекса максимального элемента в списке
      • Python: Объединение списков – Слияние списков (8 способов)
      • Python: Проверка наличия элемента в списке
      • Python: Проверка наличия элемента в списке
      • Удаление элемента из списка в Python (pop, remove, del, clear)
      • Как перевернуть список в Python (6 способов)
      • Python: Замена элемента в списке (6 различных способов)
      • Python: Удаление дубликатов из списка (7 способов)
      • Python: Преобразование словаря в список кортежей (4 простых способа)
      • Python: Перемешать Список (Случайное Распределение Элементов Списка в Python)
      • Python: Пересечение двух списков
      • Python: Вычитание двух списков (4 простых способа!)
      • Длина или Размер Списка в Python: 5 Способов Узнать Длину Списка
      • Python: Транспонирование списка списков (5 простых способов!)
      • Python: Разделение списка (Пополам, на части)
      • Python: Комбинации списка (Получить все комбинации списка)
      • Python: Выравнивание списка списков (4 способа)
      • Разница между списками в Python: Нахождение разницы между двумя списками Python
      • Python: Найти среднее значение списка или списка списков
      • Как добавлять элементы в списки в Python – 4 простых способа!
      • Списковые включения в Python (Полное руководство с примерами)
      • 6 способов преобразовать список Python в строку
    • Python Dictionaries
      • Понимание словаря Python (с примерами)
      • Исправляем ValueError: Слишком Много Значений Для Распаковки в Python
      • Как добавить словарь в список в Python
      • Преобразование JSON в словарь Python
      • Полное руководство по вложенным словарям в Python
      • Копирование словаря в Python: Полное руководство
      • Конвертация списка словарей в Pandas DataFrame
      • Поиск дубликатов в списке Python
      • Полный обзор словарей в Python
      • Python: Добавление пары Ключ:Значение в Словарь
      • Python: Сортировка словаря по значениям
      • Слияние Словарей в Python – Комбинирование Словарей (7 Способов)
      • Python: Удаление Дубликатов из Списка (7 Способов)
      • Python: Преобразование словаря в список кортежей (4 простых способа)
      • Python: Красивая Печать Словаря (Dictionary) – 4 Способа
      • Python: Проверка пуст ли словарь (5 способов!)
      • Copy of Python: Проверка пуст ли словарь (5 способов!)
      • Python: Проверьте, существует ли ключ (или значение) в словаре (5 простых способов)
      • Python: Проверьте, существует ли ключ (или значение) в словаре (5 простых способов)
      • Python: Получение Ключа Словаря с Максимальным Значением (4 Способа)
      • Python: Удаление ключа из словаря (4 разных способа)
      • Как красиво вывести JSON-файл в Python (6 методов)
    • Python Strings
      • Python Капитализация Строк: Руководство по Преобразованию слов в Заглавные
      • Python strip: Как обрезать строку в Python
      • Python Обратная Строка: Руководство по Реверсированию Строк
      • Как Удалить Префикс или Суффикс из Строки в Python
      • Преобразование строки в формат заголовка в Python с помощью str.title()
      • Как добавить строку в список в Python
      • Python String startswith: Проверка, начинается ли строка с подстроки
      • Python String endswith: Проверка того, заканчивается ли строка подстрокой
      • Как удалить первый или последний символ из строки в Python
      • Как исправить: SyntaxError в Python - EOL при сканировании строкового литерала
      • Python String Contains: Проверка Наличия Подстроки в Строке
      • Как проверить, пустая ли строка в Python
      • Python Новая Строка и Как Печатать Без Переноса Строки
      • Как Конкатенировать Строки в Python: Полное Руководство
      • Python: Подсчет слов в строке или файле
      • Как создать список алфавита в Python
      • Python: Конкатенация строки и целого числа (Int)
      • Python: Сортировка строки (4 различных способа)
      • Python zfill и rjust: Добавление нулей в строку в Python
      • Python: Целое в Двоичное (Преобразование целого числа в двоичную строку)
      • Python rfind: Нахождение индекса последней подстроки в строке
      • Python SHA256 хеширование алгоритм: объяснение
      • Python: Усечение числа с плавающей точкой (6 различных способов)
      • Выбор между методами Python isdigit(), isnumeric() и isdecimal()
      • Python: Удаление специальных символов из строки
      • Python Приведение Строки к Нижнему Регистру с помощью .lower(), .casefold(), и .islower()
      • Python программа для проверки, является ли строка палиндромом (6 методов)
      • Python: Найдите все перестановки строки (3 легких способа!)
      • Python: Удаление пунктуации из строки (3 разных способа!)
      • Python: Найти индекс (или все индексы) подстроки в строке
      • Python: Удаление символов новой строки из строки
      • Python: Удаление символа из строки (4 способа)
      • Python: Количество вхождений в строке (4 способа!)
    • Встроенные функции Python
      • abs()
      • ascii()
      • aiter()
      • all()
      • any()
      • anext()
      • bin()
      • bool()
      • breakpoint()
      • bytearray()
      • bytes()
      • callable()
      • chr()
      • classmethod()
      • compile()
      • complex()
      • delattr()
      • dict()
      • dir()
      • divmod()
      • enumerate()
      • eval()
      • exec()
      • filter()
      • float()
      • format()
      • frozenset()
      • getattr()
      • globals()
      • hasattr()
      • hash()
      • help()
      • hex()
      • id()
      • input()
      • int()
      • issubclass()
      • iter()
      • len()
      • list()
      • locals()
      • map()
      • max()
      • memoryview()
      • min()
      • next()
      • object()
      • oct()
      • open()
      • ord()
      • pow()
      • print()
      • property()
      • range()
      • repr()
      • reversed()
      • round()
      • set()
      • setattr()
      • isinstance()
      • slice()
      • zip()
      • type()
      • sorted()
      • staticmethod()
      • str()
      • sum()
      • super()
      • tuple()
      • vars()
      • import()
    • Cобеседования Python. Разбор реальных вопросов.
    • Встроенные методы в Python
  • Учебники по Pandas и Numpy
    • Numpy
      • Функция активации ReLU для глубокого обучения: полное руководство по выпрямленному линейному блоку
      • Как нормализовать массивы NumPy (минимальное-максимальное масштабирование, Z-оценка, L2)
      • NumPy where: Условная обработка элементов массива
      • NumPy linspace: создание равномерно расположенных массивов с помощью np.linspace
      • Как рассчитать векторное произведение в Python
      • Разделение NumPy: Разделение массива NumPy на части
      • NumPy: Лучшие способы применения функции к массиву
      • NumPy full: Создание массивов с заданным значением
      • NumPy clip(): Ограничьте значения массива минимальным и максимальным значениями
      • NumPy cumsum: Расчет кумулятивных сумм массивов NumPy
      • Изучаем функцию np.histogram в NumPy: создаем гистограмму
      • NumPy arange(): Полное руководство (с примерами)
      • Руководство по индексации и срезам массивов NumPy: Полное руководство
      • NumPy argmin(): Получение индекса минимального значения в массивах
      • Выравнивание массива с помощью NumPy flatten
      • Объединение массивов NumPy по различным осям с использованием функции stack
      • Удаление размерности из массивов NumPy с помощью NumPy Squeeze
      • Функция np.repeat() NumPy: Повторение массивов NumPy
      • Использование функции NumPy.exp() для вычисления экспоненты
      • Реализация функции сигмоида на Python
      • NumPy Pad: Использование np.pad() для дополнения массивов и матриц
      • np.argmax(): Как использовать NumPy Argmax
      • NumPy logspace: Понимание функции np.logspace()
      • Использование NumPy Tile для Расположения Массивов
      • NumPy Zeros: Создание массивов и матриц с нулями в NumPy
      • Использование числа Пи в Python (NumPy и Math)
      • Распределение Нормального (Гауссова) Распределения в Numpy (Случайное Нормальное в Numpy)
      • NumPy для Data Science на Python
      • Расчет скалярного произведения с использованием Numpy в Python
      • Расчет натурального логарифма на Python
    • Pandas
      • Python сводные таблицы – Полное руководство
      • Изучение API стиля Pandas
      • Объяснение группировки по нескольким столбцам в Pandas с примерами
      • Удаление индексной колонки DataFrame в Pandas: Руководство с примерами
      • Pandas Quantile: Расчет процентилей в DataFrame
      • Как рассчитать скользящее среднее (среднее арифметическое) в Pandas
      • Руководство по использованию метода fillna в Pandas для работы с отсутствующими данными в DataFrame
      • Pandas unique(): Получение уникальных значений в DataFrame
      • Распакуйте Ваши Данные с Помощью Функции Melt в Pandas
      • Pandas date_range: Как Создать Диапазон Дат в Pandas
      • Сброс индекса в Pandas: как сбросить индекс в Pandas
      • Pandas replace() – Замена значений в DataFrame Pandas
      • Перемещение столбца DataFrame Pandas на позицию (В начало и в конец)
      • Учебное пособие по Python Pandas: полное руководство
      • Pandas: Замена NaN на нули
      • Преобразование DataFrame Pandas в файл Pickle
      • Конвертация Pandas DataFrame в JSON
      • Преобразование DataFrame Pandas в Словарь
      • Преобразование Pandas DataFrame в Список
      • Чтение файлов Parquet в Pandas с помощью pd.read_parquet
      • Pandas dropna(): Удаление отсутствующих записей и столбцов в DataFrame
      • Как Добавить Новый Столбец в DataFrame Pandas
      • Подсчёт уникальных значений в Pandas
      • Отображение всех столбцов и строк в DataFrame Pandas
      • Pandas to_excel: Запись DataFrames в файлы Excel
      • Как использовать Pandas для чтения файлов Excel в Python
      • Преобразование списка словарей в Pandas DataFrame
      • Как добавить/вставить строку в DataFrame Pandas
      • Диаграмма рассеяния в Pandas: Как создать диаграмму рассеяния в Pandas
      • Pandas to_datetime: Преобразование строки Pandas в дату и время
      • Введение в Pandas для Data Science
      • Индексация, Выборка и Присваивание Данных в Pandas
      • Суммирование и Анализ Pandas DataFrame
      • Преобразование столбцов Pandas с помощью map и apply
      • Группировка данных в Pandas с использованием cut и qcut
      • Дата и время в Pandas и Python
      • Очистка и подготовка данных в Pandas и Python
      • Pandas GroupBy: группировка, суммирование и агрегация данных в Python
      • Pandas Дата и Время в Части Даты (месяц, год и т.д.)
      • Pandas: Получение номера строки из DataFrame
      • Вычисление Взвешенного Среднего в Pandas и Python
      • Как перемешать строки Pandas Dataframe в Python
      • Pandas: количество столбцов (подсчет столбцов в DataFrame)
      • Pandas Sum: сложение столбцов и строк DataFrame
      • Pandas Diff: Вычисление Разницы Между Строками Pandas
      • Нормализация столбца или датафрейма Pandas (с использованием Pandas или sklearn)
      • Функция Rank в Pandas: Ранжирование данных в Dataframe (Эквивалент SQL row_number)
      • Pandas Describe: Описательная статистика вашего Dataframe
      • Pandas Shift: Перемещение столбца DataFrame вверх или вниз
      • 7 Способов Выполнения Выборки Данных в Pandas
      • Экспорт DataFrame Pandas в CSV файл – Использование .to_csv()
      • Pandas: Итерация по строкам DataFrame в Pandas
      • Pandas: Преобразование значений столбца в строки
      • Дисперсия в Pandas: Вычисление дисперсии столбца в Pandas Dataframe
      • Pandas: Создание DataFrame из списков (5 способов!)
      • Pandas Rename Index: Как переименовать индекс DataFrame в Pandas
      • Pandas: Подсчёт уникальных значений в объекте GroupBy
      • Pandas: Добавить дни к колонке с датами
      • Среднее в Pandas: Как рассчитать среднее для одной или нескольких колонок
      • Pandas Column to List – Конвертируйте колонку Pandas в список
      • Транспонирование Dataframe в Pandas
      • Python: Разделение DataFrame Pandas
      • Как получить имена столбцов в DataFrame Pandas
      • Pandas: Количество строк в DataFrame (6 способов)
      • Создание пустого DataFrame Pandas и добавление данных
      • Как переименовать столбцы в Pandas DataFrame (с примерами)
      • Изменение порядка столбцов в Pandas: использование метода reindex и метода insert
      • Pandas get_dummies (One-Hot кодирование), объяснение
      • Относительные и Абсолютные Частоты в Python и Pandas
      • Финансовый год – Определение финансового года в Pandas
      • Как сортировать данные в DataFrame Pandas
  • Учебники Matplotlib и Seaborn
    • Seaborn
      • Регрессионные графики в Seaborn с использованием regplot и lmplot
      • Seaborn residplot – Построение остатков линейной регрессии
      • Seaborn jointplot() – Создание совместных графиков в Seaborn
      • Seaborn displot – Распределенческие графики в Python
      • Seaborn ecdfplot – Эмпирические функции накопленного распределения
      • Seaborn rugplot – Визуализация маргинальных распределений
      • Seaborn kdeplot – Создание графиков оценки плотности ядра
      • Seaborn histplot – Создание Гистограмм в Seaborn
      • Seaborn catplot – Визуализация категориальных данных в Python
      • Средняя тенденция для категориальных данных в Seaborn Pointplot
      • Seaborn stripplot: Jitter Plots для распределений категориальных данных
      • Seaborn Countplot – Подсчет категориальных данных в Python
      • Seaborn swarmplot: Bee Swarm Plots для распределения категориальных данных
      • Скрипичные графики Seaborn в Python: Полное руководство
      • Настройка расположения легенд Seaborn, меток, текста и т.д.
      • Тепловая карта Seaborn: Полное руководство
      • Создание многосекционных сеток в Seaborn с помощью FacetGrid
      • Удаление рамки в Seaborn: Как работать с рамкой
      • Заголовки и метки осей в Seaborn: добавление и настройка
      • Как установить Seaborn в Python (Исправление: no module named seaborn)
      • Seaborn relplot – Создание точечных и линейных графиков
      • Полное руководство по созданию точечных диаграмм (scatter plots) в Python с использованием Seaborn
    • Matplotlib
      • Режим Retina в Matplotlib: Улучшение Качества Графиков
      • Как построить функцию в Python с использованием Matplotlib
      • Как создать 3D-диаграммы рассеяния в Matplotlib
      • Как изменить размер шрифта в графике Matplotlib
      • Установка размера маркера в точечных диаграммах Matplotlib
      • Как изменить размер графика и фигуры в Matplotlib
      • Как добавить названия в Matplotlib: Заголовок, Подзаголовок, Названия Осей
      • Pandas Scatter Plot: Как создать диаграмму рассеяния в Pandas
      • Построение графиков в Python с помощью Matplotlib
      • Диаграммы рассеяния Matplotlib – Все, что вам нужно знать
      • Диаграммы с столбцами в Matplotlib – Узнайте все, что вам нужно знать
      • Линейные диаграммы Matplotlib – Всё, что вам нужно знать
      • Построение гистограммы в Python с Matplotlib и Pandas
  • Алгоритмы
    • Алгоритм поиска в ширину (BFS) в Python
    • Алгоритм поиска в глубину (DFS) на Python
  • AI создает хедж-фонд для анализа акций на Python
Powered by GitBook
On this page
  • Что такое бинирование в Pandas и Python?
  • Загрузка примерного DataFrame Pandas
  • Pandas qcut: Бинаризация данных в бины равного размера
  • Pandas cut: группировка данных по пользовательским ячейкам
  • Упражнения
  • Заключение и резюме
  • Дополнительные ресурсы
  1. Учебники по Pandas и Numpy
  2. Pandas

Группировка данных в Pandas с использованием cut и qcut

PreviousПреобразование столбцов Pandas с помощью map и applyNextДата и время в Pandas и Python

Last updated 27 days ago

В этом руководстве вы научитесь бинировать данные в Python с помощью функций Pandas cut и qcut. Вы узнаете, почему бинирование — полезный навык в Pandas и как можно использовать его для лучшей группировки и отсеивания информации. К концу этого руководства вы научитесь:

  • Как использовать функции cut и qcut в Pandas

  • Когда использовать каждую из функций

  • Как изменять поведение этих функций для настройки создаваемых бинов

Содержание

Что такое бинирование в Pandas и Python?

В большинстве случаев, когда работаете с непрерывными числовыми данными (например, возрастом, продажами или доходами), может быть полезно создавать бины данных. Бинаризация данных преобразует данные в дискретные корзины, позволяя получать инсайты о данных логическими способами. Бинаризация данных также часто называется под другими именами, такими как дискретное бинирование, квантизация и дискретизация.

В этом руководстве вы узнаете о двух разных методах Pandas, .cut() и .qcut(), для бинирования ваших данных. Эти методы позволят вам бинировать данные в бины пользовательского размера и бины равного размера соответственно. Бинары равного размера позволяют легко получать инсайты о распределении, а группировка данных в пользовательские бины может позволить получать инсайты о логических категориях.

Загрузка примерного DataFrame Pandas

Чтобы следовать за этим руководством, давайте используем очень простой DataFrame Pandas. Данные намеренно сохранены простыми для лучшего понимания того, как данные делятся. Набор данных имеет только две колонки: колонку имени и колонку возраста. Давайте загрузим данные с помощью метода .from_dict():

# Загрузка примерного DataFrame Pandas
import pandas as pd

df = pd.DataFrame.from_dict({
    'Name': ['Ray', 'Jane', 'Kate', 'Nik', 'Autumn', 'Kasi', 'Mandeep', 'Evan', 'Kyra', 'Jim'],
    'Age': [12, 7, 33, 34, 45, 65, 77, 11, 32, 55]
})

print(df.head())

# Возвращает:
      Name  Age
0     Ray   12
1    Jane    7
2    Kate   33
3     Nik   34
4  Autumn   45

В следующем разделе вы узнаете, как использовать метод Pandas .qcut() для бинирования данных в бины равного размера.

Pandas qcut: Бинаризация данных в бины равного размера

Метод Pandas .qcut() делит ваши данные на равные корзины на основе ранга или некоторых выборок квантилей. Этот процесс известен как квантильная дискретизация. Давайте рассмотрим параметры, доступные в функции:

# Параметры метода Pandas .qcut()
pd.qcut(
    x,                      # Колонка для бинирования
    q,                      # Количество квантилей
    labels=None,            # Список меток для включения
    retbins=False,          # Возвращать ли бины/метки
    precision=3,            # Точность для хранения и отображения меток бинов
    duplicates='raise'      # Если границы бинов не уникальны, поднимать ValueError
)

Функция имеет два обязательных параметра: колонка для бинирования (x=) и количество квантилей для генерации (q=). Функция возвращает Series данных, которые могут быть, например, присвоены новой колонке. Давайте посмотрим, как можно разделить колонку Age на четыре разных квантиля:

# Разделение колонки Age на четыре квантиля
df['Age Groups'] = pd.qcut(df['Age'], 4)
print(df.head())
# Возвращает:
#      Name  Age     Age Groups
# 0     Ray   12  (6.999, 17.0]
# 1    Jane    7  (6.999, 17.0]
# 2    Kate   33   (17.0, 33.5]
# 3     Nik   34   (33.5, 52.5]
# 4  Autumn   45   (33.5, 52.5]

На первый взгляд, новая колонка Age Groups может показаться немного странной. Давайте проведем немного времени, чтобы исследовать её. Сначала мы посмотрим на тип данных колонки, используя атрибут .dtype.

# Проверка типа данных колонки qcut
df['Age Groups'] = pd.qcut(df['Age'], 4)
print(df['Age Groups'].dtype)

# Возвращает: category

Тип данных, который возвращается, category — это очень экономичный способ для Pandas хранения категориальных данных. Давайте посмотрим, что означают реальные метки в колонке:

Изображение выше показывает, что квадратная скобка, [ или ], указывает на то, что точка данных включена в диапазон. Обычная скобка, такая как ( или ), указывает на то, что край не включен в группу.

Разделение данных на равные перцентили с использованием Pandas qcut

Вместо того чтобы просто указывать количество группировок, которые вы хотите создать, вы также можете передать список квартилей, которые вы хотите создать. Этот список должен представлять собой диапазон от 0 до 1, разбивая данные на равные проценты. Давайте посмотрим, как мы можем разбить наши данные на интервалы в 25%.

# Разделение колонки Age на 25% бины
df['Age Groups'] = pd.qcut(
   df['Age'],
   [0, 0.25, 0.5, 0.75, 1]
)
print(df.head())

# Возвращает:
#      Name  Age     Age Groups
# 0     Ray   12  (6.999, 17.0]
# 1    Jane    7  (6.999, 17.0]
# 2    Kate   33   (17.0, 33.5]
# 3     Nik   34   (33.5, 52.5]
# 4  Autumn   45   (33.5, 52.5]

Здесь видно, что это вернуло тот же результат, что и раньше. Наши данные разделены на четыре равных сегмента на основе диапазонов данных.

Добавление ярлыков к бинам в Pandas с помощью qcut

Сейчас наши категории данных описательны, но их немного сложно читать. Вы можете передать список меток, которые хотите использовать для переименования вашего набора данных. Длина списка должна соответствовать количеству создаваемых категорий. Давайте посмотрим, как мы можем преобразовать наши сгруппированные данные в описательные метки:

# Добавление меток к Pandas .qcut()
df['Age Groups'] = pd.qcut(
   df['Age'],
   [0, 0.25, 0.5, 0.75, 1],
   labels=['0-25%', '26-49%', '51-75%', '76-100%']
)
print(df.head())

# Возвращает:
#      Name  Age Age Groups
# 0     Ray   12      0-25%
# 1    Jane    7      0-25%
# 2    Kate   33     26-49%
# 3     Nik   34     51-75%
# 4  Autumn   45     51-75%

Это делает наш процесс биннинга в Pandas намного легче для понимания!

Изменение точности бина в Pandas с помощью qcut

Давайте вернемся к нашему предыдущему примеру, где мы просто передали q=4 для разделения данных на четыре квантиля. Аккуратно округленные интервалы выглядели так: (6.999, 17.0]. По умолчанию, Pandas использует аргумент precision=3, что приводит к отображению и хранению интервалов с точностью до трех знаков.

Хотя это более точно и аккуратно, часто выглядит не очень красиво. Давайте попробуем изменить точность на 1 и посмотрим, как теперь выглядят наши категории:

# Изменение точности в категориях
df['Age Groups'] = pd.qcut(
   df['Age'],
   4,
   precision=1
)
print(df.head())

# Возвращает:
#      Name  Age    Age Groups
# 0     Ray   12   (6.9, 17.0]
# 1    Jane    7   (6.9, 17.0]
# 2    Kate   33  (17.0, 33.5]
# 3     Nik   34  (33.5, 52.5]
# 4  Autumn   45  (33.5, 52.5]

В следующем разделе вы узнаете, как использовать метод cut из библиотеки Pandas для определения пользовательских интервалов данных

Pandas cut: группировка данных по пользовательским ячейкам

Функция cut в Pandas тесно связана с функцией .qcut(). Однако, она используется для разбиения значений на дискретные интервалы, которые вы определяете самостоятельно. Это может быть очень полезно, например, при определении значимых возрастных или доходных групп. Во многих случаях такие группировки имеют какое-то другое значение, например, юридическое или культурное.

Функция Pandas .cut() может технически давать такие же результаты, как и функция .qcut(), но также предоставляет значительно больший контроль над результатами. Давайте рассмотрим параметры этой функции:

pd.cut(
    x,                          # Входной массив для бинирования
    bins,                       # Бинарные корзины для использования: int (# бинов) или последовательность (ширины)
    right=True,                 # Включать ли правую границу
    labels=None,                # Метки для использования в бинах
    retbins=False,              # Возвращать ли бины или нет
    precision=3,                # Точность для хранения и отображения бинов
    include_lowest=False,       # Включать ли первый интервал или нет
    duplicates='raise',         # Что делать, если границы бинов не уникальны
    ordered=True                # Упорядочены ли метки
)

Функции .qcut() и .cut() имеют значительное количество схожих параметров. Однако функция cut предоставляет значительно больше возможностей. Например, как вы скоро узнаете, можно определить, как Pandas обрабатывает границы своих бинов.

Давайте посмотрим, как мы можем разделить столбец Возраст на три разные группы: младше восемнадцати, между 19 и 65, и 65 и старше.

# Разделение данных на пользовательские бины
df['Age Group'] = pd.cut(
   df['Age'],
   [0, 17, 64, 100]
)
print(df.head())

# Возвращает:
#      Name  Age Age Group
# 0     Ray   12   (0, 17]
# 1    Jane    7   (0, 17]
# 2    Kate   33  (17, 64]
# 3     Nik   34  (17, 64]
# 4  Autumn   45  (17, 64]

Вы можете видеть, что вы создали три отдельные возрастные группы. Как указано в скобках, значения варьируются от >0 до 17, >=18 до 64, >=65 до 100. В следующем разделе вы узнаете, как применить метки к этим группам.

Добавление меток к ячейкам в Pandas с помощью Cut

В этом разделе вы узнаете, как использовать параметр labels=, чтобы передавать список меток. Подобно функции qcut, метки должны быть такой же длины, как количество группировок.

Давайте добавим текстовые метки, чтобы упростить чтение группировок:

# Добавление меток к группировкам
df['Age Group'] = pd.cut(
    df['Age'],
    [0, 17, 64, 100],
    labels=['0-18 лет', '18-65 лет', '65+ лет']
)
print(df.head())

# Возвращает:
#      Name  Age        Age Group
# 0     Ray   12   0-18 лет
# 1    Jane    7   0-18 лет
# 2    Kate   33  18-65 лет
# 3     Nik   34  18-65 лет
# 4  Autumn   45  18-65 лет

Можно видеть, что эти результаты гораздо легче читать и интерпретировать!

Изменение поведения кромки в Pandas cut

По умолчанию, Pandas будет включать правую границу группы. Ранее, когда вы определяли границы [0, 17, 64, 100], это определяло следующие интервалы:

  • >0 to 17

  • >17 to 64

  • >64 to 100

В нашем примере это нормально, так как мы работаем с целыми значениями. Однако представьте, что наши возрасты определены как дробные значения, и у нас есть возраст 17.5. В нашем примере, так как возраст идет до (и включает) 17, значение 17.5 будет ошибочно включено в возрастную группу 18-64.

Мы можем использовать параметр right=, чтобы изменить это поведение. Аргумент по умолчанию равен True и указывает, что крайнее правое значение должно быть включено. Если мы изменим это значение на False, то диапазон будет включать все значения вплоть до (но не включая) этого значения.

Давайте создадим те же корзины, но с правым пределом исключа

# Использование аргумента right для изменения поведения бинирования
df['Age Group'] = pd.cut(
    df['Age'],
    [0, 18, 65, 100],
    labels=['0-18 лет', '18-65 лет', '65+ лет'],
    right=False
)
print(df.head())

# Возвращает:
#      Name  Age        Age Group
# 0     Ray   12   0-18 лет
# 1    Jane    7   0-18 лет
# 2    Kate   33  18-65 лет
# 3     Nik   34  18-65 лет
# 4  Autumn   45  18-65 лет

Изменение поведения первого интервала с помощью Pandas cut

По умолчанию Pandas не включает крайнее левое значение в интервал. В вышеупомянутом примере, если бы мы указали возраст 0, это значение не было бы учтено в интервале. Чтобы это значение вошло в интервал, можно использовать аргумент include_lowest= для изменения поведения.

По умолчанию аргумент будет использовать значение False. Изменение этого значения на True позволит включить самое левое значение. Давайте посмотрим, как это сделать:

# Включение левых значений
df['Age Group'] = pd.cut(
    df['Age'],
    [0, 18, 65, 100],
    labels=['0-18 лет', '18-65 лет', '65+ лет'],
    include_lowest=True
)
print(df.head())

# Возвращает:
#      Name  Age        Age Group
# 0     Ray   12   0-18 лет
# 1    Jane    7   0-18 лет
# 2    Kate   33  18-65 лет
# 3     Nik   34  18-65 лет
# 4  Autumn   45  18-65 лет

Создание упорядоченных категорий с помощью Pandas cut

Начиная с версии Pandas 1.1.0, функция cut будет возвращать упорядоченные категориальные бины. Это присваивает порядок значениям этой категории. Давайте посмотрим, как это поведение выглядит при использовании стандартных настроек.

# Создание упорядоченных категорий
print(pd.cut(
    df['Age'],
    [0, 18, 65, 100],
    labels=['0-18 лет', '18-65 лет', '65+ лет'],
    ordered=True
))

# Возвращает:
# 0     0-18 лет
# 1     0-18 лет
# 2    18-65 лет
# 3    18-65 лет
# 4    18-65 лет
# 5    18-65 лет
# 6      65+ лет
# 7     0-18 лет
# 8    18-65 лет
# 9    18-65 лет
# Name: Age, dtype: category
# Categories (3, object): ['0-18 лет' < '18-65 лет' < '65+ лет']

Это позволяет сортировать категориальные значения, которые часто представлены строками. Это большое преимущество по сравнению с использованием строковых значений, поскольку вы можете сортировать значения осмысленным образом.

Изменение поведения на ordered=False убирает эту иерархию, если она вам не нужна.

Упражнения

Пора проверить свои знания! Попробуйте решить задания ниже. Если вам нужна помощь или вы хотите проверить своё решение, просто переключите вопрос.

Вопрос 1

Создайте группировки, охватывающие 0-24,9%, 25-49,9%, 51-74,9% и 100% диапазона данных. Сохраните значение 0% включенным в самый низкий диапазон.

Поскольку функция .qcut() не позволяет указать включение наименьшего значения диапазона, необходимо использовать функцию

df['Age Group'] = pd.cut(
    df['Age'], 
    [0, 0.25, 0.5, 0.75, 1], 
    include_lowest=True,
    right=False
)
Вопрос 2

Какова польза от упорядочивания категорий?

Категории, хотя они выглядят как строки, не являются строками, их сортировка может работать некорректно. Чтобы эти значения сортировались правильно, включите порядок в ваши категории.

Вопрос 3

Использование функции cut и qcut для бинирования данных

Функция cut позволяет вам определять свои собственные числовые диапазоны, в то время как функция qcut обеспечивает равномерное распределение элементов в бинах.

Пример использования функции cut

# Разделение данных на пользовательские бины
df['Age Group'] = pd.cut(
    df['Age'],
    [0, 18, 65, 100],
    labels=['0-18 лет', '18-65 лет', '65+ лет']
)
print(df.head())

# Возвращает:
#      Name  Age        Age Group
# 0     Ray   12   0-18 лет
# 1    Jane    7   0-18 лет
# 2    Kate   33  18-65 лет
# 3     Nik   34  18-65 лет
# 4  Autumn   45  18-65 лет

Пример использования функции qcut

# Разделение данных на равные бины
df['Age Groups'] = pd.qcut(
    df['Age'],
    4,
    labels=['0-25%', '26-50%', '51-75%', '76-100%']
)
print(df.head())

# Возвращает:
#      Name  Age     Age Groups
# 0     Ray   12  0-25%
# 1    Jane    7  0-25%
# 2    Kate   33  26-50%
# 3     Nik   34  51-75%
# 4  Autumn   45  51-75%

Заключение и резюме

В этом уроке вы узнали, как разбивать ваши данные на категории в Python и Pandas, используя функции cut и qcut. Ниже приведен краткий обзор того, что вы изучили:

  • Функция qcut в Pandas разбивает данные на равные группы элементов.

  • Функция cut в Pandas позволяет задавать собственные диапазоны данных.

  • Разбиение данных на бины позволяет лучше понять распределение данных, а также создавать логические категории на основе других абстракций.

  • Обе функции обеспечивают гибкость в определении и отображении ваших контейнеров.

Дополнительные ресурсы

Чтобы узнать больше связанных тем, ознакомьтесь с руководствами ниже:

  • Python Defaultdict: Обзор и примеры

  • Pandas GroupBy: группировка, суммирование и агрегация данных в Python

  • Pandas Describe: Описательная статистика для вашего DataFrame

О

фициальная документация Pandas cut
Что такое бинирование в Pandas и Python?
Загрузка примерного DataFrame Pandas
Pandas qcut: бинирование данных в бины равного размера
Pandas cut: бинирование данных в пользовательские бины
Упражнения
Заключение и повторение
Дополнительные ресурсы
Что означают скобки в биннинге Pand