Индексация, Выборка и Присваивание Данных в Pandas

В этом руководстве вы узнаете, как индексировать, выбирать и присваивать данные в DataFrame Pandas. Понимание того, как индексировать и выбирать данные, является важным первым шагом в почти любом исследовании данных, которое вы предпримете в области науки о данных. Подобно этому, знание того, как присваивать значения в Pandas, может открыть целый мир возможностей при работе с DataFrame.

Содержание

• Загрузка образца фрейма данных Pandas

• Два типа индексов DataFrame

• Доступ к столбцам в DataFrame Pandas

• Доступ к строкам в DataFrame Pandas

• Доступ к значениям в DataFrame Pandas

• Условный выбор данных в DataFrame Pandas

• Назначение данных в Pandas

• Упражнения

• Заключение и резюме

• Дополнительные ресурсы

Загрузка образца фрейма данных Pandas

Чтобы начать, давайте снова загрузим наш DataFrame pandas. Мы используем DataFrame, который содержит примеры информации о продажах в различных регионах за год. Набор данных размещен на странице Github datagy, и его можно загрузить непосредственно в pandas DataFrame. Давайте создадим DataFrame с именем df, который будет содержать все наши данные:

# Загрузка нашего DataFrame Pandas
df = pd.read_csv('https://raw.githubusercontent.com/AlexBugalter/Lesson/main/sales.csv')

Два типа индексов DataFrame

DataFrame в pandas можно рассматривать как множество объектов Series, собранных вместе. Объект Series в pandas уже имеет индекс, который в случае DataFrame pandas представляет собой значение строки. Однако DataFrame также имеет индекс столбцов, который представлен позицией столбца. Из-за этого DataFrame pandas фактически имеет два индекса!

Мы различаем эти индексы по их оси. Индекс, который идет вдоль оси 0, является индексом строки, в то время как индекс, который идет вдоль оси 1, является индексом столбца. Пересечение этих двух индексов представлено определенным значением.

Это может показаться немного запутанным и, возможно, даже немного ненужным. Однако это открывает множество возможностей! Это позволяет, например, получать доступ к значениям не только по их позиции, но и по меткам. Это может быть очень полезно, когда нужно извлечь конкретное значение, не зная, где именно оно находится, но зная, что оно существует.

Доступ к столбцам в DataFrame Pandas

Есть два основных способа доступа ко всем столбцам в Pandas:

1. Используя . (точечную) нотацию, или

2. Использование [] индексации с квадратными скобками

Давайте посмотрим, как можно получить доступ к определённому столбцу в нашем DataFrame pandas с помощью метода точечной нотации:

# Доступ к столбцу 'date в DataFrame Pandas
print(df.date)

# Возвращает:
# 0       8/22/2022
# 1        3/5/2022
# 2        2/9/2022
# 3       6/22/2022
# 4       8/10/2022
#           ...    
# 995      6/2/2022
# 996     5/20/2022
# 997      4/2/2022
# 998     12/7/2022
# 999    12/19/2022
# Name: date, Length: 1000, dtype: object

Интересно, что при выборе столбца DataFrame в pandas он фактически возвращает объект Series! Мы можем подтвердить это, передав столбец в качестве аргумента функции type()

# Проверка типа столбца Pandas DataFrame
print(type(df.date))
# Возвращает: <class 'pandas.core.series.Series'>

Аналогично, мы можем получить доступ к столбцу gender с помощью квадратных скобок:

# Выбор столбца с квадратными скобками
print(df['gender'])

# Возвращает:
# 0        Male
# 1        Male
# 2        Male
# 3        Male
# 4      Female
#         ...  
# 995    Female
# 996    Female
# 997      Male
# 998      Male
# 999    Female
# Name: gender, Length: 1000, dtype: object

Под капотом оба этих метода работают совершенно одинаково. Так почему выбрать один из них? Метод индексирования с помощью квадратных скобок позволяет нам как выбирать столбцы, которые используют зарезервированные слова, так и выбирать столбцы, в которых есть пробелы. Мой личный выбор - это метод квадратных скобок, так как он работает без ошибок. Хотя кажется, что на его написание уходит больше времени, он обеспечивает постоянно корректные результаты!

Еще одно преимущество использования метода квадратных скобок для выбора столбцов заключается в том, что мы можем выбирать несколько столбцов! Мы можем поместить нужные столбцы в список и передать его. Например, чтобы выбрать столбцы gender и region, мы можем написать следующий код:

# Выбор нескольких столбцов в DataFrame Pandas
print(df[['gender', 'region']])

# Возвращает:
#      gender      region
# 0      Male  North-West
# 1      Male  North-East
# 2      Male  North-East
# 3      Male  North-East
# 4    Female  North-West
# ..      ...         ...
# 995  Female  North-West
# 996  Female  North-East
# 997    Male  North-East
# 998    Male  North-East
# 999  Female  North-West

# [1000 rows x 2 columns]

Есть несколько вещей, которые стоит отметить:

1. Нам нужно обернуть наш выбор в то, что выглядит как двойные квадратные скобки

2. Это фактически возвращает DataFrame Pandas, а не Series

Теперь, когда у вас есть понимание того, как выбирать столбцы в Pandas, давайте перейдем к выбору строк – о чем вы узнаете в следующем разделе.

Доступ к строкам в DataFrame Pandas

Доступ к строкам в Pandas немного отличается от доступа к столбцам, но это тоже очень интуитивно. Нам нужно рассмотреть немного теории перед тем, как учиться доступу к строкам. Это потому, что доступ к строкам работает в сочетании с выбором столбцов.

Прежде чем перейти к выбору строк, давайте рассмотрим два типа аксессоров, доступных в pandas: .loc[] и .iloc[]. Начнем с оператора .loc[], который известен как выбор на основе меток. С его помощью мы можем получать доступ к столбцам, строкам и значениям по их меткам!

Использование loc для выбора строк в Pandas DataFrame

Изображение ниже показывает, как выбрать данные с помощью оператора .loc. Оператор разделен на два атрибута, разделенных запятыми. В первую часть мы помещаем выбор строк, а во вторую выбор

Это работает очень похоже на индексирование списков в Python, где мы можем использовать двоеточие (:), чтобы указать выбор всего списка. Это означает, что мы можем извлечь определенную строку, выбрав её индекс строки и просто выбрав все столбцы!

Давайте посмотрим, как мы можем получить доступ к первой строке с помощью оператора .loc

# Доступ к первой строке в кадре данных Pandas
print(df.loc[0, :])

# Возвращает:
# date       8/22/2022
# gender          Male
# region    North-West
# sales          20381
# Name: 0, dtype: object

Здесь мы обращаемся к строке по ее метке: 0. Это метка, которая назначена в индексе. Pandas по умолчанию присваивает индексы от 0 до конца DataFrame. В данном случае 0 относится как к метке, так и к позиции.

Хотите упростить это еще больше?

Поскольку мы на самом деле просто обращаемся к строке (и всем её столбцам), мы можем полностью опустить запятую и двоеточие. Запись df.loc[0] вернёт точно то же самое!

Использование iloc для выбора строк в кадре данных Pandas

Теперь давайте посмотрим, как можно выбрать строку (или строки) с использованием их позиций. Это можно сделать с помощью оператора .iloc. Оператор следует той же схеме сначала идентификации строк, а затем колонок. Ниже показано, как выбрать данные с помощью оператора .iloc:

Итак, если мы хотим получить доступ к первой строке, мы можем просто обратиться к нулевой строке и всем столбцам.

# Доступ к первой строке во фрейме данных Pandas
print(df.iloc[0, :])

# Возвращает:
# date       8/22/2022
# gender          Male
# region    North-West
# sales          20381
# Name: 0, dtype: object

Помните, хотя этот метод выглядит так же, как оператор .loc, здесь мы обращаемся к 0-й позиции, тогда как ранее мы обращались к метке "0".

Теперь попробуйте написать строку кода, которая получит доступ к третьей-пятой строкам. Нажмите на этот раздел, чтобы увидеть решение.

Любое из решений ниже подойдет:

Как получить доступ к строкам 3, 4 и 5 в DataFrame Pandas, df?

# Доступ к третьей-пятой строкам DataFrame Pandas
print(df.iloc[2:5, :])
print(df.iloc[2:5])
print(df.iloc[[2,3,4], :])
print(df.iloc[[2,3,4]])

В следующем разделе вы узнаете, как выбирать конкретные значения в DataFrame pandas.

Доступ к значениям в DataFrame Pandas

Теперь, когда вы знаете, как выбирать строки и столбцы в pandas, мы можем использовать это для выбора конкретных данных. Мы можем сделать это с помощью .loc или .iloc в зависимости от того, что лучше подходит для наших нужд.

Поскольку мы не всегда знаем положение наших столбцов, имеет смысл начать с аксессора .loc. Предположим, мы хотим выбрать строку с меткой "0" и столбец "sales", мы могли бы написать следующий код:

# Доступ к значению в Pandas
print(df.loc[0, 'sales'])

# Возвращает: 20381

Если мы хотим получить значение из последней строки в столбце 'sales', нам нужно использовать аксессор .iloc, чтобы можно было легко применить отрицательную индексацию. Напоминаем, что отрицательная индексация начинается с значения -1.

# Доступ к последнему значению продаж
print(df.iloc[-1, 3])

# Возвращает: 16589

Теперь, когда вы знаете, как выбирать определенные значения на основе их меток и позиций, пора перейти к чему-то более сложному. В следующем разделе вы узнаете, как выбирать строки условно!

Выбор данных условно в Pandas DataFrame

Множество интересных манипуляций с данными требует условного подхода. В этом разделе вы узнаете, как выбрать данные условно. Допустим, мы хотим выбрать строки, где наши продажи принадлежат к региону Северо-Запад. Давайте рассмотрим, как выглядит это условие:

# Применение условия к столбцу dataframe
print(df['region'] == 'North-West')

# Возвращает:
# 0       True
# 1      False
# 2      False
# 3      False
# 4       True
#        ...  
# 995     True
# 996    False
# 997    False
# 998    False
# 999     True
# Name: region, Length: 1000, dtype: bool

Давайте разберем, что здесь происходит:

• Мы используем оператор == для оценки условия.

• Тип данных (dtype) возвращаемого ряда

• Это возвращает булевую серию, которая оценивает, соответствует ли строка нашему условию или нет.

Вы можете думать, что эта серия не очень полезна. Однако, мы можем применить серию к нашему DataFrame для фильтрации строк! Чтобы это сделать, мы индексируем булеву серию. Давайте посмотрим, как это выглядит:

print(df[df['region'] == 'North-West'])

# Вывод:
#            date  gender      region  sales
# 0     8/22/2022    Male  North-West  20381
# 4     8/10/2022  Female  North-West  15007
# 7      7/8/2022    Male  North-West  13650
# 11    4/30/2022  Female  North-West  19631
# 16    4/18/2022    Male  North-West  17397
# ..          ...     ...         ...    ...
# 988   7/10/2022    Male  North-West  12500
# 989  10/14/2022  Female  North-West  15319
# 993   6/11/2022    Male  North-West  14942
# 995    6/2/2022  Female  North-West  14015
# 999  12/19/2022  Female  North-West  16589

# [322 rows x 4 columns]

Это было легко! Мы можем даже комбинировать наши условия для дальнейшей их фильтрации, используя оператор & (и) или оператор | (или). Это соответствует обычным таблицам истинности Python. Скажем, мы хотим выбрать строки, где регион — 'North-West', и продажи превышают 15000. Для этого мы можем написать:

print(df[(df['region'] == 'North-West') & (df['sales'] > 15000)])

# Вывод:
#            date  gender      region  sales
# 0     8/22/2022    Male  North-West  20381
# 4     8/10/2022  Female  North-West  15007
# 11    4/30/2022  Female  North-West  19631
# 16    4/18/2022    Male  North-West  17397
# 17    7/30/2022  Female  North-West  16668
# ..          ...     ...         ...    ...
# 974    5/6/2022  Female  North-West  15112
# 983  11/21/2022    Male  North-West  17904
# 987    2/7/2022    Male  North-West  16905
# 989  10/14/2022  Female  North-West  15319
# 999  12/19/2022  Female  North-West  16589

# [175 rows x 4 columns]

Обратите внимание, что для того, чтобы это сработало, нам нужно обернуть наши условия в обычные круглые скобки. В заключительном разделе этого урока вы узнаете, как назначать данные в DataFrame Pandas.

Назначение данных в Pandas

В этом финальном разделе вы узнаете, как начать назначать значения для DataFrame в Pandas. Поскольку это довольно обширная тема, вы узнаете только о нескольких методах назначении данных.

Назначение значения для целого столбца

Первый способ назначить значения в Pandas - это присвоить значение для целого столбца. Скажем, мы хотим добавить столбец, который описывает страну, и хотим установить значение 'USA' для каждой записи. Мы просто можем присвоить новое значение и передать строку:

# Присвоение значения всему столбцу
df['country'] = 'USA'
print(df.head(3))

# Вывод:
#         date gender      region  sales country
# 0  8/22/2022   Male  North-West  20381     USA
# 1   3/5/2022   Male  North-East  14495     USA
# 2   2/9/2022   Male  North-East  13510     USA

Назначение значения конкретной ячейке

Мы также можем использовать .loc или .iloc для установки конкретного значения. Для этого сначала получаем нужную строку и столбец, а затем используем оператор присваивания, =, чтобы назначить значение. Предположим, мы хотим изменить значение пола первой записи на «Female». Мы могли бы сделать это, используя .iloc:

# Изменение значения ячейки
df.iloc[0, 1] = 'Female'
print(df.head(3))

# Возвращает
#         date  gender      region  sales
# 0  8/22/2022  Female  North-West  20381
# 1   3/5/2022    Male  North-East  14495
# 2   2/9/2022    Male  North-East  13510

В этом примере мы обратились к первой записи и ко второй колонке, используя .iloc, а затем присвоили наше значение.

Упражнения

Чтобы закрепить знания, выполните следующие упражнения. Решения доступны, нажав на элемент ниже:

Воспроизведение метода .tail() для выбора последних пяти строк DataFrame в Pandas.

# Импорт библиотеки pandas
import pandas as pd

# Загрузка файла CSV в объект DataFrame
df = pd.read_csv('https://raw.githubusercontent.com/AlexBugalter/Lesson/main/sales.csv')

# Вывод последних 5 строк DataFrame
print(df.iloc[-5:])

Выбрать строки из южного региона, где продажи были выше 15000.

# Импорт библиотеки pandas
import pandas as pd

# Загрузка файла CSV в объект DataFrame
df = pd.read_csv('https://raw.githubusercontent.com/AlexBugalter/Lesson/main/sales.csv')

# Вывод строк DataFrame, где регион равен 'South' и продажи больше 15000
print(df[(df['region'] == 'South') & (df['sales'] > 15000)])

Назначьте первой записи в третьем столбце значение "South".

# Импорт библиотеки pandas
import pandas as pd

# Загрузка файла CSV в объект DataFrame
df = pd.read_csv('https://raw.githubusercontent.com/AlexBugalter/Lesson/main/sales.csv')

# Замена значения в строке 0, столбце 2 на 'South'
df.iloc[0, 2] = 'South'

# Вывод первых 5 строк DataFrame
print(df.head())

Заключение и резюме

В этом уроке вы узнали о выборе и присвоении данных в DataFrame Pandas. Оба этих навыка являются базовыми для работы с Pandas и могут потребовать обращения к справочным материалам по мере вашего продвижения. Ниже приведено краткое резюме того, что вы узнали:

• DataFrame Pandas имеет два индекса: индекс строки и индекс столбца

• Выбор одной колонки возвращает серию Pandas. Выбор нескольких колонок возвращает DataFrame.

• Мы можем использовать аксессоры .iloc для доступа к данным по их позиции и аксессоры .loc для доступа к данным по их меткам.

• Мы можем выбирать данные условно, используя булевы серии и индексацию фрейма данных

• Мы можем присваивать данные разными способами, в том числе используя аксессоры .iloc и .loc

Дополнительные ресурсы

Чтобы узнать больше о смежных темах, ознакомьтесь со статьями, перечисленными ниже:

• 4 способа использовать Pandas для выбора столбцов в фрейме данных

• Python: выберите случайный элемент из списка

• 7 способов выборки данных в Pandas

• Python: разделить фрейм данных Pandas