Индексация, Выборка и Присваивание Данных в Pandas
Last updated
Last updated
В этом руководстве вы узнаете, как индексировать, выбирать и присваивать данные в DataFrame Pandas. Понимание того, как индексировать и выбирать данные, является важным первым шагом в почти любом исследовании данных, которое вы предпримете в области науки о данных. Подобно этому, знание того, как присваивать значения в Pandas, может открыть целый мир возможностей при работе с DataFrame.
Содержание
Чтобы начать, давайте снова загрузим наш DataFrame pandas. Мы используем DataFrame, который содержит примеры информации о продажах в различных регионах за год. Набор данных размещен на странице Github datagy, и его можно загрузить непосредственно в pandas DataFrame. Давайте создадим DataFrame с именем df, который будет содержать все наши данные:
# Загрузка нашего DataFrame Pandas
df = pd.read_csv('https://raw.githubusercontent.com/AlexBugalter/Lesson/main/sales.csv')DataFrame в pandas можно рассматривать как множество объектов Series, собранных вместе. Объект Series в pandas уже имеет индекс, который в случае DataFrame pandas представляет собой значение строки. Однако DataFrame также имеет индекс столбцов, который представлен позицией столбца. Из-за этого DataFrame pandas фактически имеет два индекса!
Мы различаем эти индексы по их оси. Индекс, который идет вдоль оси 0, является индексом строки, в то время как индекс, который идет вдоль оси 1, является индексом столбца. Пересечение этих двух индексов представлено определенным значением.
Это может показаться немного запутанным и, возможно, даже немного ненужным. Однако это открывает множество возможностей! Это позволяет, например, получать доступ к значениям не только по их позиции, но и по меткам. Это может быть очень полезно, когда нужно извлечь конкретное значение, не зная, где именно оно находится, но зная, что оно существует.
Есть два основных способа доступа ко всем столбцам в Pandas:
Используя . (точечную) нотацию, или
Использование [] индексации с квадратными скобками
Давайте посмотрим, как можно получить доступ к определённому столбцу в нашем DataFrame pandas с помощью метода точечной нотации:
# Доступ к столбцу 'date в DataFrame Pandas
print(df.date)
# Возвращает:
# 0 8/22/2022
# 1 3/5/2022
# 2 2/9/2022
# 3 6/22/2022
# 4 8/10/2022
# ...
# 995 6/2/2022
# 996 5/20/2022
# 997 4/2/2022
# 998 12/7/2022
# 999 12/19/2022
# Name: date, Length: 1000, dtype: objectИнтересно, что при выборе столбца DataFrame в pandas он фактически возвращает объект Series! Мы можем подтвердить это, передав столбец в качестве аргумента функции type()
# Проверка типа столбца Pandas DataFrame
print(type(df.date))
# Возвращает: <class 'pandas.core.series.Series'>Аналогично, мы можем получить доступ к столбцу gender с помощью квадратных скобок:
# Выбор столбца с квадратными скобками
print(df['gender'])
# Возвращает:
# 0 Male
# 1 Male
# 2 Male
# 3 Male
# 4 Female
# ...
# 995 Female
# 996 Female
# 997 Male
# 998 Male
# 999 Female
# Name: gender, Length: 1000, dtype: objectПод капотом оба этих метода работают совершенно одинаково. Так почему выбрать один из них? Метод индексирования с помощью квадратных скобок позволяет нам как выбирать столбцы, которые используют зарезервированные слова, так и выбирать столбцы, в которых есть пробелы. Мой личный выбор - это метод квадратных скобок, так как он работает без ошибок. Хотя кажется, что на его написание уходит больше времени, он обеспечивает постоянно корректные результаты!
Еще одно преимущество использования метода квадратных скобок для выбора столбцов заключается в том, что мы можем выбирать несколько столбцов! Мы можем поместить нужные столбцы в список и передать его. Например, чтобы выбрать столбцы gender и region, мы можем написать следующий код:
# Выбор нескольких столбцов в DataFrame Pandas
print(df[['gender', 'region']])
# Возвращает:
# gender region
# 0 Male North-West
# 1 Male North-East
# 2 Male North-East
# 3 Male North-East
# 4 Female North-West
# .. ... ...
# 995 Female North-West
# 996 Female North-East
# 997 Male North-East
# 998 Male North-East
# 999 Female North-West
# [1000 rows x 2 columns]Есть несколько вещей, которые стоит отметить:
Нам нужно обернуть наш выбор в то, что выглядит как двойные квадратные скобки
Это фактически возвращает DataFrame Pandas, а не Series
Теперь, когда у вас есть понимание того, как выбирать столбцы в Pandas, давайте перейдем к выбору строк – о чем вы узнаете в следующем разделе.
Доступ к строкам в Pandas немного отличается от доступа к столбцам, но это тоже очень интуитивно. Нам нужно рассмотреть немного теории перед тем, как учиться доступу к строкам. Это потому, что доступ к строкам работает в сочетании с выбором столбцов.
Прежде чем перейти к выбору строк, давайте рассмотрим два типа аксессоров, доступных в pandas: .loc[] и .iloc[]. Начнем с оператора .loc[], который известен как выбор на основе меток. С его помощью мы можем получать доступ к столбцам, строкам и значениям по их меткам!
Изображение ниже показывает, как выбрать данные с помощью оператора .loc. Оператор разделен на два атрибута, разделенных запятыми. В первую часть мы помещаем выбор строк, а во вторую выбор
Это работает очень похоже на индексирование списков в Python, где мы можем использовать двоеточие (:), чтобы указать выбор всего списка. Это означает, что мы можем извлечь определенную строку, выбрав её индекс строки и просто выбрав все столбцы!
Давайте посмотрим, как мы можем получить доступ к первой строке с помощью оператора .loc
# Доступ к первой строке в кадре данных Pandas
print(df.loc[0, :])
# Возвращает:
# date 8/22/2022
# gender Male
# region North-West
# sales 20381
# Name: 0, dtype: objectЗдесь мы обращаемся к строке по ее метке: 0. Это метка, которая назначена в индексе. Pandas по умолчанию присваивает индексы от 0 до конца DataFrame. В данном случае 0 относится как к метке, так и к позиции.
Хотите упростить это еще больше?
Поскольку мы на самом деле просто обращаемся к строке (и всем её столбцам), мы можем полностью опустить запятую и двоеточие. Запись df.loc[0] вернёт точно то же самое!
Использование iloc для выбора строк в кадре данных Pandas
Теперь давайте посмотрим, как можно выбрать строку (или строки) с использованием их позиций. Это можно сделать с помощью оператора .iloc. Оператор следует той же схеме сначала идентификации строк, а затем колонок. Ниже показано, как выбрать данные с помощью оператора .iloc:
Итак, если мы хотим получить доступ к первой строке, мы можем просто обратиться к нулевой строке и всем столбцам.
# Доступ к первой строке во фрейме данных Pandas
print(df.iloc[0, :])
# Возвращает:
# date 8/22/2022
# gender Male
# region North-West
# sales 20381
# Name: 0, dtype: objectПомните, хотя этот метод выглядит так же, как оператор .loc, здесь мы обращаемся к 0-й позиции, тогда как ранее мы обращались к метке "0".
Теперь попробуйте написать строку кода, которая получит доступ к третьей-пятой строкам. Нажмите на этот раздел, чтобы увидеть решение.
Любое из решений ниже подойдет:
В следующем разделе вы узнаете, как выбирать конкретные значения в DataFrame pandas.
Теперь, когда вы знаете, как выбирать строки и столбцы в pandas, мы можем использовать это для выбора конкретных данных. Мы можем сделать это с помощью .loc или .iloc в зависимости от того, что лучше подходит для наших нужд.
Поскольку мы не всегда знаем положение наших столбцов, имеет смысл начать с аксессора .loc. Предположим, мы хотим выбрать строку с меткой "0" и столбец "sales", мы могли бы написать следующий код:
# Доступ к значению в Pandas
print(df.loc[0, 'sales'])
# Возвращает: 20381Если мы хотим получить значение из последней строки в столбце 'sales', нам нужно использовать аксессор .iloc, чтобы можно было легко применить отрицательную индексацию. Напоминаем, что отрицательная индексация начинается с значения -1.
# Доступ к последнему значению продаж
print(df.iloc[-1, 3])
# Возвращает: 16589Теперь, когда вы знаете, как выбирать определенные значения на основе их меток и позиций, пора перейти к чему-то более сложному. В следующем разделе вы узнаете, как выбирать строки условно!
Множество интересных манипуляций с данными требует условного подхода. В этом разделе вы узнаете, как выбрать данные условно. Допустим, мы хотим выбрать строки, где наши продажи принадлежат к региону Северо-Запад. Давайте рассмотрим, как выглядит это условие:
# Применение условия к столбцу dataframe
print(df['region'] == 'North-West')
# Возвращает:
# 0 True
# 1 False
# 2 False
# 3 False
# 4 True
# ...
# 995 True
# 996 False
# 997 False
# 998 False
# 999 True
# Name: region, Length: 1000, dtype: boolДавайте разберем, что здесь происходит:
Мы используем оператор == для оценки условия.
Тип данных (dtype) возвращаемого ряда
Это возвращает булевую серию, которая оценивает, соответствует ли строка нашему условию или нет.
Вы можете думать, что эта серия не очень полезна. Однако, мы можем применить серию к нашему DataFrame для фильтрации строк! Чтобы это сделать, мы индексируем булеву серию. Давайте посмотрим, как это выглядит:
print(df[df['region'] == 'North-West'])
# Вывод:
# date gender region sales
# 0 8/22/2022 Male North-West 20381
# 4 8/10/2022 Female North-West 15007
# 7 7/8/2022 Male North-West 13650
# 11 4/30/2022 Female North-West 19631
# 16 4/18/2022 Male North-West 17397
# .. ... ... ... ...
# 988 7/10/2022 Male North-West 12500
# 989 10/14/2022 Female North-West 15319
# 993 6/11/2022 Male North-West 14942
# 995 6/2/2022 Female North-West 14015
# 999 12/19/2022 Female North-West 16589
# [322 rows x 4 columns]Это было легко! Мы можем даже комбинировать наши условия для дальнейшей их фильтрации, используя оператор & (и) или оператор | (или). Это соответствует обычным таблицам истинности Python. Скажем, мы хотим выбрать строки, где регион — 'North-West', и продажи превышают 15000. Для этого мы можем написать:
print(df[(df['region'] == 'North-West') & (df['sales'] > 15000)])
# Вывод:
# date gender region sales
# 0 8/22/2022 Male North-West 20381
# 4 8/10/2022 Female North-West 15007
# 11 4/30/2022 Female North-West 19631
# 16 4/18/2022 Male North-West 17397
# 17 7/30/2022 Female North-West 16668
# .. ... ... ... ...
# 974 5/6/2022 Female North-West 15112
# 983 11/21/2022 Male North-West 17904
# 987 2/7/2022 Male North-West 16905
# 989 10/14/2022 Female North-West 15319
# 999 12/19/2022 Female North-West 16589
# [175 rows x 4 columns]Обратите внимание, что для того, чтобы это сработало, нам нужно обернуть наши условия в обычные круглые скобки. В заключительном разделе этого урока вы узнаете, как назначать данные в DataFrame Pandas.
В этом финальном разделе вы узнаете, как начать назначать значения для DataFrame в Pandas. Поскольку это довольно обширная тема, вы узнаете только о нескольких методах назначении данных.
Первый способ назначить значения в Pandas - это присвоить значение для целого столбца. Скажем, мы хотим добавить столбец, который описывает страну, и хотим установить значение 'USA' для каждой записи. Мы просто можем присвоить новое значение и передать строку:
# Присвоение значения всему столбцу
df['country'] = 'USA'
print(df.head(3))
# Вывод:
# date gender region sales country
# 0 8/22/2022 Male North-West 20381 USA
# 1 3/5/2022 Male North-East 14495 USA
# 2 2/9/2022 Male North-East 13510 USAМы также можем использовать .loc или .iloc для установки конкретного значения. Для этого сначала получаем нужную строку и столбец, а затем используем оператор присваивания, =, чтобы назначить значение. Предположим, мы хотим изменить значение пола первой записи на «Female». Мы могли бы сделать это, используя .iloc:
# Изменение значения ячейки
df.iloc[0, 1] = 'Female'
print(df.head(3))
# Возвращает
# date gender region sales
# 0 8/22/2022 Female North-West 20381
# 1 3/5/2022 Male North-East 14495
# 2 2/9/2022 Male North-East 13510В этом примере мы обратились к первой записи и ко второй колонке, используя .iloc, а затем присвоили наше значение.
Чтобы закрепить знания, выполните следующие упражнения. Решения доступны, нажав на элемент ниже:
В этом уроке вы узнали о выборе и присвоении данных в DataFrame Pandas. Оба этих навыка являются базовыми для работы с Pandas и могут потребовать обращения к справочным материалам по мере вашего продвижения. Ниже приведено краткое резюме того, что вы узнали:
DataFrame Pandas имеет два индекса: индекс строки и индекс столбца
Выбор одной колонки возвращает серию Pandas. Выбор нескольких колонок возвращает DataFrame.
Мы можем использовать аксессоры .iloc для доступа к данным по их позиции и аксессоры .loc для доступа к данным по их меткам.
Мы можем выбирать данные условно, используя булевы серии и индексацию фрейма данных
Мы можем присваивать данные разными способами, в том числе используя аксессоры .iloc и .loc
Чтобы узнать больше о смежных темах, ознакомьтесь со статьями, перечисленными ниже:
4 способа использовать Pandas для выбора столбцов в фрейме данных
Python: выберите случайный элемент из списка
7 способов выборки данных в Pandas
Python: разделить фрейм данных Pandas
