7 Способов Выполнения Выборки Данных в Pandas
В этом посте вы узнаете о различных способах выборки данных в Pandas. Получение выборки данных может быть чрезвычайно полезным, когда вы работаете с большими наборами данных, чтобы ваш анализ проходил более быстро. Если вы репрезентативно выбираете данные, вы можете работать с гораздо меньшим набором данных, что позволит провести анализ быстрее и при этом получить адекватные результаты.
В этом посте мы рассмотрим различные способы получения выборок из вашего DataFrame в Pandas. Вы узнаете, как использовать Pandas для выборки из вашего DataFrame, создания воспроизводимых выборок, взвешенных выборок и выборок с заменой. Вы также научитесь делать выборку с постоянной скоростью и выбирать элементы по условиям. В заключение, вы узнаете, как выбирать только случайные столбцы
Быстрый ответ: используйте Pandas .sample()
import pandas as pd
sample = df.sample(
n=None, # Количество записей для выборки
frac=None, # Доля записей для выборки
replace=False, # Выборка с возвращением
weights=None, # Применение весов из указанного столбца
random_state=None, # Создание воспроизводимых результатов
axis=None, # Выборка строк или столбцов
ignore_index=False # Сброс индекса
)Оглавление
Загрузка нашего образца фрейма данных
Для этого руководства мы загрузим набор данных, который предварительно загружен в Seaborn. Если хотите узнать больше о загрузке данных в Seaborn, посмотрите мое руководство здесь. Если вы просто хотите следовать инструкциям здесь, выполните код ниже:
import pandas as pd
from seaborn import load_dataset
df = load_dataset('penguins')
print(df.head())Это возвращает следующий датафрей
species island bill_length_mm bill_depth_mm flipper_length_mm body_mass_g sex
0 Adelie Torgersen 39.1 18.7 181.0 3750.0 Male
1 Adelie Torgersen 39.5 17.4 186.0 3800.0 Female
2 Adelie Torgersen 40.3 18.0 195.0 3250.0 Female
3 Adelie Torgersen NaN NaN NaN NaN NaN
4 Adelie Torgersen 36.7 19.3 193.0 3450.0 FemaleВ приведенном выше коде мы сначала загружаем Pandas как pd, а затем импортируем функцию load_dataset() из библиотеки Seaborn. Затем мы загружаем датасет penguins в наш датафрейм.
Нужно проверить, существует ли ключ в словаре Python? Ознакомьтесь с этим руководством, которое научит вас пяти разным способам проверки существования ключа в словаре Python, включая способ возвращения значения по умолчанию.
Использование Pandas Sample для создания выборки вашего Dataframe
Pandas предоставляет очень полезный метод для выборки данных. Метод вызывается с помощью .sample() и включает ряд полезных параметров, которые мы можем применить. Прежде чем перейти к примерам, давайте более подробно рассмотрим этот метод:
DataFrame.sample(
n=None,
frac=None,
replace=False,
weights=None,
random_state=None,
axis=None,
ignore_index=False
)Параметры дают нам следующие варианты:
n– количество элементов для выборfrac– доля (из 1) элементов, которые возвращаютсяreplace– нужно ли выполнять выборку с заменой (т.е. элементы могут быть выбраны более одного разавес– по умолчанию образцы имеют равные веса. Можно применить серию, указывающую веса. Если они не суммируются до 1, они будут нормализованы до 1.random_state– номер, используемый в качестве начального значения для получения воспроизводось– ось для выборignore_index– учитывать ли индекс при переименовании или нет
Давайте рассмотрим пример. Мы выберем 5% наших записей, указав frac=0.05 в качестве аргумента:
sample = df.sample(frac=0.05)
print(sample)
# Возвращает:
# species island bill_length_mm bill_depth_mm flipper_length_mm body_mass_g sex
# 23 Adelie Biscoe 38.2 18.1 185.0 3950.0 Male
# 91 Adelie Dream 41.1 18.1 205.0 4300.0 Male
# 190 Chinstrap Dream 46.9 16.6 192.0 2700.0 Female
# 321 Gentoo Biscoe 55.9 17.0 228.0 5600.0 Male
# 198 Chinstrap Dream 50.1 17.9 190.0 3400.0 Female
# 170 Chinstrap Dream 46.4 18.6 190.0 3450.0 Female
# 232 Gentoo Biscoe 45.5 13.7 214.0 4650.0 Female
# 136 Adelie Dream 35.6 17.5 191.0 3175.0 Female
# 179 Chinstrap Dream 49.5 19.0 200.0 3800.0 Male
# 11 Adelie Torgersen 37.8 17.3 180.0 3700.0 NaN
# 86 Adelie Dream 36.3 19.5 190.0 3800.0 Male
# 249 Gentoo Biscoe 50.0 15.3 220.0 5550.0 Male
# 205 Chinstrap Dream 50.7 19.7 203.0 4050.0 Male
# 92 Adelie Dream 34.0 17.1 185.0 3400.0 Female
# 286 Gentoo Biscoe 46.2 14.4 214.0 4650.0 NaN
# 108 Adelie Biscoe 38.1 17.0 181.0 3175.0 Female
# 299 Gentoo Biscoe 45.2 16.4 223.0 5950.0 MaleМы видим, что 5% данных фрейма выборочно. Первый столбец представляет собой индекс исходного фрейма данных. Мы можем видеть, что значения индекса выбираются случайным образом.
Совет: Если вы не хотите включать старый индекс, просто передайте аргумент ignore_index=True, который сбросит индекс с исходных значений.
В следующем разделе вы узнаете, как использовать Pandas для создания воспроизводимой выборки ваших данных.
Хотите узнать больше о циклах for в Python? Ознакомьтесь с моим углублённым руководством, которое позволит вам перейти от начинающего до продвинутого пользователя циклов for! Предпочитаете видео? Посмотрите мой урок на YouTube здесь.
Создание воспроизводимой случайной выборки в Pandas
На пути освоения науки о данных вы часто столкнетесь с ситуациями, в которых потребуется воспроизвести результаты вашего анализа. Поэтому при выборке данных с использованием Pandas очень полезно знать, как добиваться воспроизводимых результатов.
Во многих библиотеках для науки о данных вы найдете либо аргумент seed, либо random_state. В случае метода .sample() аргумент, который позволяет создавать воспроизводимые результаты, это аргумент
Чтобы это сработало, передайте целое число, чтобы сделать результат воспроизводимым. Давайте попробуем это с помощью Python:
# Создайте воспроизводимый образец с помощью random_state
sample = df.sample(n = 5, random_state = 1)
print(sample)
# Возвращает:
# species island bill_length_mm bill_depth_mm flipper_length_mm body_mass_g sex
# 306 Gentoo Biscoe 43.4 14.4 218.0 4600.0 Female
# 341 Gentoo Biscoe 50.4 15.7 222.0 5750.0 Male
# 291 Gentoo Biscoe 46.4 15.6 221.0 5000.0 Male
# 102 Adelie Biscoe 37.7 16.0 183.0 3075.0 Female
# 289 Gentoo Biscoe 50.7 15.0 223.0 5550.0 Male
sample2 = df.sample(n = 5, random_state = 1)
print(sample2)
# Возвращает:
# species island bill_length_mm bill_depth_mm flipper_length_mm body_mass_g sex
# 306 Gentoo Biscoe 43.4 14.4 218.0 4600.0 Female
# 341 Gentoo Biscoe 50.4 15.7 222.0 5750.0 Male
# 291 Gentoo Biscoe 46.4 15.6 221.0 5000.0 Male
# 102 Adelie Biscoe 37.7 16.0 183.0 3075.0 Female
# 289 Gentoo Biscoe 50.7 15.0 223.0 5550.0 MaleМы можем видеть здесь, что, передавая одно и то же значение в аргумент random_state=, возвращается один и тот же результат.
Это позволяет нам создать образец в один день и получить те же результаты в другой день, что делает наши результаты и анализ гораздо более воспроизводимыми.
В следующем разделе вы узнаете, как применять веса к образцам в вашем DataFrame Pandas.
Хотите узнать, как использовать функцию Python zip() для итерации по двум спискам? Этот учебник подробно объясняет, что делает функция zip(), и показывает несколько креативных способов её использования.
Взвешенные образцы Pandas
Одной из весьма мощных возможностей метода .sample() в Pandas является возможность применять различные веса к определённым строкам, что позволяет увеличивать вероятность выбора некоторых строк по сравнению с другими.
Чтобы начать с этого примера, давайте рассмотрим типы пингвинов, которые имеются в нашем наборе данных:
print(df['species'].unique())
# Возвращает: ['Adelie' 'Chinstrap' 'Gentoo']Если мы хотим увеличить вероятность выбора вида Chinstrap, можно применить веса к этим видам в другом столбце, используя метод Pandas .map(). Чтобы узнать больше о методе .map(), ознакомьтесь с моим подробным руководством по сопоставлению значений с другим столбцом здесь.
df['weights'] = df['species'].map({'Adelie': 20, 'Chinstrap': 60, 'Gentoo': 20})
sample = df.sample(n=5, weights='weights')
print(sample)
# Возвращает:
# species island bill_length_mm bill_depth_mm flipper_length_mm body_mass_g sex weights
# 163 Chinstrap Dream 51.7 20.3 194.0 3775.0 Male 60
# 223 Gentoo Biscoe 50.0 15.2 218.0 5700.0 Male 20
# 118 Adelie Torgersen 35.7 17.0 189.0 3350.0 Female 20
# 217 Chinstrap Dream 49.6 18.2 193.0 3775.0 Male 60
# 160 Chinstrap Dream 46.0 18.9 195.0 4150.0 Female 60Здесь мы видим, что вид Chinstrap выбирается гораздо чаще, чем другие виды.
Давайте разберем, что мы сделали здесь:
Мы сопоставили в словаре веса со столбцом видов, используя метод map Pandas
Затем мы передали наш новый столбец в аргумент weights как:
weights='weights', что позволило Pandas использовать столбец для присвоения весов.
Некоторые важные вещи, которые нужно понимать об аргументе weights=
Значения весов должны суммироваться до 1.
Если значения не составляют 1, то Pandas нормализует их так, чтобы они составили.
В следующем разделе вы узнаете, как выбирать элементы из DataFrame с возвратом, что означает, что элементы могут быть выбраны более одного раза.
Хотите узнать, как получить расширение файла в Python? Этот учебник научит вас использовать библиотеки os и pathlib, чтобы сделать именно это!
Образец Pandas с заменами
Еще одной полезной функцией метода .sample() в Pandas является возможность выборки с возвращением, что означает, что элемент может быть выбран более одного раза.
Для этого мы можем использовать булевый аргумент replace=. По умолчанию он установлен в False, что означает, что элементы нельзя выбирать более одного раза. Однако, установив его в True, элементы возвращаются обратно в кучку для выбора, что позволяет нам выбирать их снова.
Чтобы продемонстрировать это, давайте работать с гораздо меньшим датафреймом. Мы отфильтруем наш датафрейм, чтобы он содержал только пять строк, чтобы увидеть, как часто выбирается каждая строка.
small_df = df.sample(n=5)
sample = small_df.sample(n=5, replace=True)
print(sample)
# Возвращает:
# species island bill_length_mm bill_depth_mm flipper_length_mm body_mass_g sex
# 162 Chinstrap Dream 46.6 17.8 193.0 3800.0 Female
# 341 Gentoo Biscoe 50.4 15.7 222.0 5750.0 Male
# 162 Chinstrap Dream 46.6 17.8 193.0 3800.0 Female
# 45 Adelie Dream 39.6 18.8 190.0 4600.0 Male
# 59 Adelie Biscoe 37.6 19.1 194.0 3750.0 MaleДавайте разберём, что мы здесь сделали:
Сначала мы вернули
small_df, который содержал только пять строк из нашей оригинальной таблицы.Затем мы повторно выбрали пять записей из нашего датафрейма. Обычно это возвращает все пять записей. Однако, поскольку мы указали
replace=True, Pandas смог выбрать каждую запись более одного раза.Из-за этого, запись
162была возвращена дважды.
Интересно отметить, что можно вернуть выборку, превышающую исходный набор данных. Например, если мы установим аргумент frac= равным 1.2, нам нужно будет установить replace=True, так как мы получим 120% от исходных записей.
В следующем разделе вы узнаете, как проводить выборку с постоянной скоростью.
Pandas производит выборку каждого n-го элемента (выборка с постоянной скоростью)
Популярная техника выборки заключается в отборе каждого n-го элемента, что означает, что вы выполняете выборку с постоянной частотой.
Чтобы сделать это, мы можем использовать невероятно полезный метод .iloc из Pandas, который позволяет нам получать доступ к элементам, используя синтаксис среза. Чтобы узнать больше о .iloc для выбора данных.
В Python мы можем нарезать данные различными способами, используя нотацию срезов, которая следует следующему шаблону:
[start : end : step]
Если бы мы хотели выбрать каждую пятую запись, мы могли бы оставить параметры начала и конца пустыми (значит, они будут вырезать с начала до конца) и пропустить каждые 5 записей.
Давайте посмотрим, как это будет выглядеть.
sample = df[::5]
print(sample.head())
# Возвращает:
# species island bill_length_mm bill_depth_mm flipper_length_mm body_mass_g sex
# 0 Adelie Torgersen 39.1 18.7 181.0 3750.0 Male
# 5 Adelie Torgersen 39.3 20.6 190.0 3650.0 Male
# 10 Adelie Torgersen 37.8 17.1 186.0 3300.0 NaN
# 15 Adelie Torgersen 36.6 17.8 185.0 3700.0 Female
# 20 Adelie Biscoe 37.8 18.3 174.0 3400.0 FemaleВзглянув на индексы нашего датафрейма sample, мы можем увидеть, что он возвращает каждую пятую строку. Мы можем установить шаг для счетчика на любое желаемое значение.
В следующем разделе вы узнаете, как использовать Pandas для выборки элементов по заданному условию
Элементы выборки Pandas по условиям
Также вы можете выбрать строки из DataFrame Pandas с использованием условия, что позволяет возвратить все строки, которые соответствуют (или не соответствуют) определенному требованию. Для фильтрации DataFrame по условиям мы используем метод индексации [], где в квадратных скобках указывается требуемое условие.
Если мы хотим отфильтровать наш dataframe, чтобы выбрать только строки, где bill_length_mm меньше 35.
Мы можем написать:
condition = df['bill_length_mm'] < 35
sample = df[condition]
print(sample.head())
# Возвращает:
# species island bill_length_mm bill_depth_mm flipper_length_mm body_mass_g sex
# 8 Adelie Torgersen 34.1 18.1 193.0 3475.0 NaN
# 14 Adelie Torgersen 34.6 21.1 198.0 4400.0 Male
# 18 Adelie Torgersen 34.4 18.4 184.0 3325.0 Female
# 54 Adelie Biscoe 34.5 18.1 187.0 2900.0 Female
# 70 Adelie Torgersen 33.5 19.0 190.0 3600.0 FemaleЗдесь мы можем видеть, что возвращены только те строки, где длина клюва была меньше 35.
Вместо того чтобы выделять условие на отдельную строку, мы могли бы просто объединить его и записать как sample = df[df['bill_length_mm'] < 35], чтобы сделать наш код более лаконичным.
Pandas также содержит унарный оператор ~, который инвертирует операцию. Мы можем использовать его, **чтобы выбирать только строки, не соответствующие нашему условию.
Давайте посмотрим, как это будет выглядеть:
sample = df[~(df['bill_length_mm'] < 35)]
print(sample.head())
# Возвращает:
# species island bill_length_mm bill_depth_mm flipper_length_mm body_mass_g sex
# 0 Adelie Torgersen 39.1 18.7 181.0 3750.0 Male
# 1 Adelie Torgersen 39.5 17.4 186.0 3800.0 Female
# 2 Adelie Torgersen 40.3 18.0 195.0 3250.0 Female
# 3 Adelie Torgersen NaN NaN NaN NaN NaN
# 4 Adelie Torgersen 36.7 19.3 193.0 3450.0 FemaleЗдесь мы видим, что возвращаются только строки, где длина счета больше 35
В следующем разделе вы узнаете, как выбрать случайные столбцы из DataFrame в Pandas
Pandas Выборка Случайных Столбцов
В этом заключительном разделе вы узнаете, как использовать Pandas для выборки случайных столбцов вашего датафрейма. Это можно сделать с помощью метода Pandas .sample(), изменив параметр axis= на 1 вместо значения по умолчанию 0.
Давайте посмотрим, как мы можем сделать это с помощью Pandas и Python:
sample = df.sample(n=3,axis=1)
print(sample.head())
# Возвращает:
# bill_depth_mm sex bill_length_mm
# 0 18.7 Male 39.1
# 1 17.4 Female 39.5
# 2 18.0 Female 40.3
# 3 NaN NaN NaN
# 4 19.3 Female 36.7Здесь мы использовали Pandas, чтобы выбрать 3 случайных столбца из нашего датафрейма. В данном случае возвращаются все строки, но количество столбцов, которые мы выбираем, ограничено.
Заключение
В этом посте вы узнали все различные способы выборки из Pandas Dataframe. Вы узнали, как использовать метод Pandas .sample(), включая возвращение заданного количества строк или доли вашего датафрейма. Вы также узнали, как применять веса к вашим выборкам и как выбирать строки итеративно с постоянной частотой. Вы узнали, как выбирать строки, удовлетворяющие условию, и как выбирать случайные столбцы.
Чтобы узнать больше о выборке, ознакомьтесь с этой публикацией от Search Business Analytics.
Чтобы узнать больше о методе sample в Pandas, ознакомьтесь с официальной документацией здесь.
Last updated