Bemind
Учебник Python
Учебник Python
  • Python
    • Python Lists
      • Списковые включения в Python (Полное руководство с примерами)
      • Исправление ValueError: Слишком Много Значений Для Распаковки в Python
      • Как добавить словарь в список в Python
      • Как добавить строку в список в Python
      • Разница между массивами и списками в Python
      • Python: Различия между списками и кортежами
      • Как проверить, пуст ли список в Python
      • Как Итерировать (Циклически Проходить) По Списку в Python
      • Python List sort(): Подробное руководство по сортировке списков
      • Python List Extend: Как добавить несколько элементов в список
      • Python: Найти Индекс Всех Вхождений Элемента в Списке
      • Конвертация списка словарей в Pandas DataFrame
      • Генерация случайных чисел в Python
      • Поиск Индекса в Списке Python: Найти Первое, Последнее или Все Вхождения
      • Добавить в начало списка в Python (Вставить в начало)
      • Найти дубликаты в списке Python
      • Python: Умножение Списков (6 Различных Способов)
      • Python списки: Полный обзор
      • Python: Выбор случайного элемента из списка
      • 4 Способа Очистить Список в Python
      • Объяснение ошибки IndexError в Python: индекс списка выходит за пределы допустимого диапазона
      • Python: Получение индекса максимального элемента в списке
      • Python: Объединение списков – Слияние списков (8 способов)
      • Python: Проверка наличия элемента в списке
      • Python: Проверка наличия элемента в списке
      • Удаление элемента из списка в Python (pop, remove, del, clear)
      • Как перевернуть список в Python (6 способов)
      • Python: Замена элемента в списке (6 различных способов)
      • Python: Удаление дубликатов из списка (7 способов)
      • Python: Преобразование словаря в список кортежей (4 простых способа)
      • Python: Перемешать Список (Случайное Распределение Элементов Списка в Python)
      • Python: Пересечение двух списков
      • Python: Вычитание двух списков (4 простых способа!)
      • Длина или Размер Списка в Python: 5 Способов Узнать Длину Списка
      • Python: Транспонирование списка списков (5 простых способов!)
      • Python: Разделение списка (Пополам, на части)
      • Python: Комбинации списка (Получить все комбинации списка)
      • Python: Выравнивание списка списков (4 способа)
      • Разница между списками в Python: Нахождение разницы между двумя списками Python
      • Python: Найти среднее значение списка или списка списков
      • Как добавлять элементы в списки в Python – 4 простых способа!
      • Списковые включения в Python (Полное руководство с примерами)
      • 6 способов преобразовать список Python в строку
    • Python Dictionaries
      • Понимание словаря Python (с примерами)
      • Исправляем ValueError: Слишком Много Значений Для Распаковки в Python
      • Как добавить словарь в список в Python
      • Преобразование JSON в словарь Python
      • Полное руководство по вложенным словарям в Python
      • Копирование словаря в Python: Полное руководство
      • Конвертация списка словарей в Pandas DataFrame
      • Поиск дубликатов в списке Python
      • Полный обзор словарей в Python
      • Python: Добавление пары Ключ:Значение в Словарь
      • Python: Сортировка словаря по значениям
      • Слияние Словарей в Python – Комбинирование Словарей (7 Способов)
      • Python: Удаление Дубликатов из Списка (7 Способов)
      • Python: Преобразование словаря в список кортежей (4 простых способа)
      • Python: Красивая Печать Словаря (Dictionary) – 4 Способа
      • Python: Проверка пуст ли словарь (5 способов!)
      • Copy of Python: Проверка пуст ли словарь (5 способов!)
      • Python: Проверьте, существует ли ключ (или значение) в словаре (5 простых способов)
      • Python: Проверьте, существует ли ключ (или значение) в словаре (5 простых способов)
      • Python: Получение Ключа Словаря с Максимальным Значением (4 Способа)
      • Python: Удаление ключа из словаря (4 разных способа)
      • Как красиво вывести JSON-файл в Python (6 методов)
    • Python Strings
      • Python Капитализация Строк: Руководство по Преобразованию слов в Заглавные
      • Python strip: Как обрезать строку в Python
      • Python Обратная Строка: Руководство по Реверсированию Строк
      • Как Удалить Префикс или Суффикс из Строки в Python
      • Преобразование строки в формат заголовка в Python с помощью str.title()
      • Как добавить строку в список в Python
      • Python String startswith: Проверка, начинается ли строка с подстроки
      • Python String endswith: Проверка того, заканчивается ли строка подстрокой
      • Как удалить первый или последний символ из строки в Python
      • Как исправить: SyntaxError в Python - EOL при сканировании строкового литерала
      • Python String Contains: Проверка Наличия Подстроки в Строке
      • Как проверить, пустая ли строка в Python
      • Python Новая Строка и Как Печатать Без Переноса Строки
      • Как Конкатенировать Строки в Python: Полное Руководство
      • Python: Подсчет слов в строке или файле
      • Как создать список алфавита в Python
      • Python: Конкатенация строки и целого числа (Int)
      • Python: Сортировка строки (4 различных способа)
      • Python zfill и rjust: Добавление нулей в строку в Python
      • Python: Целое в Двоичное (Преобразование целого числа в двоичную строку)
      • Python rfind: Нахождение индекса последней подстроки в строке
      • Python SHA256 хеширование алгоритм: объяснение
      • Python: Усечение числа с плавающей точкой (6 различных способов)
      • Выбор между методами Python isdigit(), isnumeric() и isdecimal()
      • Python: Удаление специальных символов из строки
      • Python Приведение Строки к Нижнему Регистру с помощью .lower(), .casefold(), и .islower()
      • Python программа для проверки, является ли строка палиндромом (6 методов)
      • Python: Найдите все перестановки строки (3 легких способа!)
      • Python: Удаление пунктуации из строки (3 разных способа!)
      • Python: Найти индекс (или все индексы) подстроки в строке
      • Python: Удаление символов новой строки из строки
      • Python: Удаление символа из строки (4 способа)
      • Python: Количество вхождений в строке (4 способа!)
    • Встроенные функции Python
      • abs()
      • ascii()
      • aiter()
      • all()
      • any()
      • anext()
      • bin()
      • bool()
      • breakpoint()
      • bytearray()
      • bytes()
      • callable()
      • chr()
      • classmethod()
      • compile()
      • complex()
      • delattr()
      • dict()
      • dir()
      • divmod()
      • enumerate()
      • eval()
      • exec()
      • filter()
      • float()
      • format()
      • frozenset()
      • getattr()
      • globals()
      • hasattr()
      • hash()
      • help()
      • hex()
      • id()
      • input()
      • int()
      • issubclass()
      • iter()
      • len()
      • list()
      • locals()
      • map()
      • max()
      • memoryview()
      • min()
      • next()
      • object()
      • oct()
      • open()
      • ord()
      • pow()
      • print()
      • property()
      • range()
      • repr()
      • reversed()
      • round()
      • set()
      • setattr()
      • isinstance()
      • slice()
      • zip()
      • type()
      • sorted()
      • staticmethod()
      • str()
      • sum()
      • super()
      • tuple()
      • vars()
      • import()
    • Cобеседования Python. Разбор реальных вопросов.
    • Встроенные методы в Python
  • Учебники по Pandas и Numpy
    • Numpy
      • Функция активации ReLU для глубокого обучения: полное руководство по выпрямленному линейному блоку
      • Как нормализовать массивы NumPy (минимальное-максимальное масштабирование, Z-оценка, L2)
      • NumPy where: Условная обработка элементов массива
      • NumPy linspace: создание равномерно расположенных массивов с помощью np.linspace
      • Как рассчитать векторное произведение в Python
      • Разделение NumPy: Разделение массива NumPy на части
      • NumPy: Лучшие способы применения функции к массиву
      • NumPy full: Создание массивов с заданным значением
      • NumPy clip(): Ограничьте значения массива минимальным и максимальным значениями
      • NumPy cumsum: Расчет кумулятивных сумм массивов NumPy
      • Изучаем функцию np.histogram в NumPy: создаем гистограмму
      • NumPy arange(): Полное руководство (с примерами)
      • Руководство по индексации и срезам массивов NumPy: Полное руководство
      • NumPy argmin(): Получение индекса минимального значения в массивах
      • Выравнивание массива с помощью NumPy flatten
      • Объединение массивов NumPy по различным осям с использованием функции stack
      • Удаление размерности из массивов NumPy с помощью NumPy Squeeze
      • Функция np.repeat() NumPy: Повторение массивов NumPy
      • Использование функции NumPy.exp() для вычисления экспоненты
      • Реализация функции сигмоида на Python
      • NumPy Pad: Использование np.pad() для дополнения массивов и матриц
      • np.argmax(): Как использовать NumPy Argmax
      • NumPy logspace: Понимание функции np.logspace()
      • Использование NumPy Tile для Расположения Массивов
      • NumPy Zeros: Создание массивов и матриц с нулями в NumPy
      • Использование числа Пи в Python (NumPy и Math)
      • Распределение Нормального (Гауссова) Распределения в Numpy (Случайное Нормальное в Numpy)
      • NumPy для Data Science на Python
      • Расчет скалярного произведения с использованием Numpy в Python
      • Расчет натурального логарифма на Python
    • Pandas
      • Python сводные таблицы – Полное руководство
      • Изучение API стиля Pandas
      • Объяснение группировки по нескольким столбцам в Pandas с примерами
      • Удаление индексной колонки DataFrame в Pandas: Руководство с примерами
      • Pandas Quantile: Расчет процентилей в DataFrame
      • Как рассчитать скользящее среднее (среднее арифметическое) в Pandas
      • Руководство по использованию метода fillna в Pandas для работы с отсутствующими данными в DataFrame
      • Pandas unique(): Получение уникальных значений в DataFrame
      • Распакуйте Ваши Данные с Помощью Функции Melt в Pandas
      • Pandas date_range: Как Создать Диапазон Дат в Pandas
      • Сброс индекса в Pandas: как сбросить индекс в Pandas
      • Pandas replace() – Замена значений в DataFrame Pandas
      • Перемещение столбца DataFrame Pandas на позицию (В начало и в конец)
      • Учебное пособие по Python Pandas: полное руководство
      • Pandas: Замена NaN на нули
      • Преобразование DataFrame Pandas в файл Pickle
      • Конвертация Pandas DataFrame в JSON
      • Преобразование DataFrame Pandas в Словарь
      • Преобразование Pandas DataFrame в Список
      • Чтение файлов Parquet в Pandas с помощью pd.read_parquet
      • Pandas dropna(): Удаление отсутствующих записей и столбцов в DataFrame
      • Как Добавить Новый Столбец в DataFrame Pandas
      • Подсчёт уникальных значений в Pandas
      • Отображение всех столбцов и строк в DataFrame Pandas
      • Pandas to_excel: Запись DataFrames в файлы Excel
      • Как использовать Pandas для чтения файлов Excel в Python
      • Преобразование списка словарей в Pandas DataFrame
      • Как добавить/вставить строку в DataFrame Pandas
      • Диаграмма рассеяния в Pandas: Как создать диаграмму рассеяния в Pandas
      • Pandas to_datetime: Преобразование строки Pandas в дату и время
      • Введение в Pandas для Data Science
      • Индексация, Выборка и Присваивание Данных в Pandas
      • Суммирование и Анализ Pandas DataFrame
      • Преобразование столбцов Pandas с помощью map и apply
      • Группировка данных в Pandas с использованием cut и qcut
      • Дата и время в Pandas и Python
      • Очистка и подготовка данных в Pandas и Python
      • Pandas GroupBy: группировка, суммирование и агрегация данных в Python
      • Pandas Дата и Время в Части Даты (месяц, год и т.д.)
      • Pandas: Получение номера строки из DataFrame
      • Вычисление Взвешенного Среднего в Pandas и Python
      • Как перемешать строки Pandas Dataframe в Python
      • Pandas: количество столбцов (подсчет столбцов в DataFrame)
      • Pandas Sum: сложение столбцов и строк DataFrame
      • Pandas Diff: Вычисление Разницы Между Строками Pandas
      • Нормализация столбца или датафрейма Pandas (с использованием Pandas или sklearn)
      • Функция Rank в Pandas: Ранжирование данных в Dataframe (Эквивалент SQL row_number)
      • Pandas Describe: Описательная статистика вашего Dataframe
      • Pandas Shift: Перемещение столбца DataFrame вверх или вниз
      • 7 Способов Выполнения Выборки Данных в Pandas
      • Экспорт DataFrame Pandas в CSV файл – Использование .to_csv()
      • Pandas: Итерация по строкам DataFrame в Pandas
      • Pandas: Преобразование значений столбца в строки
      • Дисперсия в Pandas: Вычисление дисперсии столбца в Pandas Dataframe
      • Pandas: Создание DataFrame из списков (5 способов!)
      • Pandas Rename Index: Как переименовать индекс DataFrame в Pandas
      • Pandas: Подсчёт уникальных значений в объекте GroupBy
      • Pandas: Добавить дни к колонке с датами
      • Среднее в Pandas: Как рассчитать среднее для одной или нескольких колонок
      • Pandas Column to List – Конвертируйте колонку Pandas в список
      • Транспонирование Dataframe в Pandas
      • Python: Разделение DataFrame Pandas
      • Как получить имена столбцов в DataFrame Pandas
      • Pandas: Количество строк в DataFrame (6 способов)
      • Создание пустого DataFrame Pandas и добавление данных
      • Как переименовать столбцы в Pandas DataFrame (с примерами)
      • Изменение порядка столбцов в Pandas: использование метода reindex и метода insert
      • Pandas get_dummies (One-Hot кодирование), объяснение
      • Относительные и Абсолютные Частоты в Python и Pandas
      • Финансовый год – Определение финансового года в Pandas
      • Как сортировать данные в DataFrame Pandas
  • Учебники Matplotlib и Seaborn
    • Seaborn
      • Регрессионные графики в Seaborn с использованием regplot и lmplot
      • Seaborn residplot – Построение остатков линейной регрессии
      • Seaborn jointplot() – Создание совместных графиков в Seaborn
      • Seaborn displot – Распределенческие графики в Python
      • Seaborn ecdfplot – Эмпирические функции накопленного распределения
      • Seaborn rugplot – Визуализация маргинальных распределений
      • Seaborn kdeplot – Создание графиков оценки плотности ядра
      • Seaborn histplot – Создание Гистограмм в Seaborn
      • Seaborn catplot – Визуализация категориальных данных в Python
      • Средняя тенденция для категориальных данных в Seaborn Pointplot
      • Seaborn stripplot: Jitter Plots для распределений категориальных данных
      • Seaborn Countplot – Подсчет категориальных данных в Python
      • Seaborn swarmplot: Bee Swarm Plots для распределения категориальных данных
      • Скрипичные графики Seaborn в Python: Полное руководство
      • Настройка расположения легенд Seaborn, меток, текста и т.д.
      • Тепловая карта Seaborn: Полное руководство
      • Создание многосекционных сеток в Seaborn с помощью FacetGrid
      • Удаление рамки в Seaborn: Как работать с рамкой
      • Заголовки и метки осей в Seaborn: добавление и настройка
      • Как установить Seaborn в Python (Исправление: no module named seaborn)
      • Seaborn relplot – Создание точечных и линейных графиков
      • Полное руководство по созданию точечных диаграмм (scatter plots) в Python с использованием Seaborn
    • Matplotlib
      • Режим Retina в Matplotlib: Улучшение Качества Графиков
      • Как построить функцию в Python с использованием Matplotlib
      • Как создать 3D-диаграммы рассеяния в Matplotlib
      • Как изменить размер шрифта в графике Matplotlib
      • Установка размера маркера в точечных диаграммах Matplotlib
      • Как изменить размер графика и фигуры в Matplotlib
      • Как добавить названия в Matplotlib: Заголовок, Подзаголовок, Названия Осей
      • Pandas Scatter Plot: Как создать диаграмму рассеяния в Pandas
      • Построение графиков в Python с помощью Matplotlib
      • Диаграммы рассеяния Matplotlib – Все, что вам нужно знать
      • Диаграммы с столбцами в Matplotlib – Узнайте все, что вам нужно знать
      • Линейные диаграммы Matplotlib – Всё, что вам нужно знать
      • Построение гистограммы в Python с Matplotlib и Pandas
  • Алгоритмы
    • Алгоритм поиска в ширину (BFS) в Python
    • Алгоритм поиска в глубину (DFS) на Python
  • AI создает хедж-фонд для анализа акций на Python
Powered by GitBook
On this page
  • Загрузка примера DataFrame в pandas
  • Понимание векторизированных функций в pandas
  • Использование метода map в pandas
  • Использование метода Pandas apply
  • Влияние производительности Pandas map и apply
  • Упражнения
  • Заключение и резюме
  • Дополнительные ресурсы
  1. Учебники по Pandas и Numpy
  2. Pandas

Преобразование столбцов Pandas с помощью map и apply

PreviousСуммирование и Анализ Pandas DataFrameNextГруппировка данных в Pandas с использованием cut и qcut

Last updated 4 months ago

В этом уроке вы узнаете, как преобразовывать столбцы вашего DataFrame в pandas с использованием векторизированных функций и пользовательских функций с помощью методов map и apply. К концу этого урока у вас будет прочное понимание того, как pandas применяет векторизированные функции и как они оптимизированы для производительности. Вы также узнаете, как использовать пользовательские функции для преобразования и манипулирования данными с помощью методов .map() и .apply().

Маппинг — это термин из математики. Он означает применение функции к одному набору значений и получение другого набора значений. Это также типичная задача, которую вам придется решать в своем пути данных: создание новых представлений ваших данных или преобразование данных в новый формат. Pandas предоставляет множество способов для выполнения этих задач, позволяя работать с векторизированными функциями, методом .map() и методом .apply().

Оглавление

Загрузка примера DataFrame в pandas

Загрузка примера DataFrame в pandas Чтобы следовать за этим уроком, скопируйте приведенный ниже код для загрузки примерного DataFrame в pandas. Набор данных предоставляет множество полезных столбцов, позволяющих нам манипулировать и преобразовывать наши данные разными способами.

# Загрузка примера Pandas DataFrame
import pandas as pd
df = pd.DataFrame({
    'name': ['James', 'Jane', 'Melissa', 'Ed', 'Neil'],
    'age': [30, 40, 32, 67, 43],
    'score': ['90%', '95%', '100%', '82%', '87%'],
    'age_missing_data': [30, 40, 32, 67, None],
    'income':[100000, 80000, 55000, 62000, 120000]
})
print(df)

# Возвращает:
#       name  age score  age_missing_data  income
# 0    James    30   90%               30.0  100000
# 1     Jane    40   95%               40.0   80000
# 2  Melissa    32  100%               32.0   55000
# 3       Ed    67   82%               67.0   62000
# 4     Neil    43   87%                NaN  120000

Приведенный выше код загружает DataFrame df с пятью столбцами: name и score имеют строковый тип данных, age и income — целочисленный, а age_missing_data — число с плавающей точкой, включающее пропущенное значение. Набор данных намеренно сделан небольшим, чтобы легче было понять происходящее. Давайте начнем!

Понимание векторизированных функций в pandas

При чтении документации по pandas вы можете встретить термин «векторизация». В большинстве случаев это относится к функциям или методам, встроенным в библиотеку, и поэтому оптимизированным для скорости и эффективности. Суть в том, что pandas может применять один набор инструкций к нескольким элементам данных одновременно.

Почему это быстрее? Представьте цикл for: на каждой итерации выполняется одно действие. Только после завершения действия цикл переходит к следующей итерации. В то же время векторизация позволяет нам обойти это ограничение и применить функцию или преобразование к нескольким шагам одновременно. Это позволяет нашим компьютерам обрабатывать процессы параллельно.

Фактически, вы, возможно, уже использовали векторизированные выражения, не подозревая об этом! Когда вы применяете, например, .mean() к столбцу pandas, вы используете векторизированный метод. Давайте визуализируем, как это можно сделать с помощью цикла for и с использованием векторизированной функции.

# Визуализация различий между векторизацией и скалярными операциями
# Скалярные Операции (Упрощено с использованием цикла for)
length = 0
age_sum = 0
for item in df['age']:
    length += 1
    age_sum += item

average_age_for_loop = age_sum / length

# Векторизированная Реализация
average_age_vectorized = df['age'].mean()

Конечно, метод с циклом for значительно упрощен по сравнению с другими методами, которые вы узнаете ниже, но он иллюстрирует основную идею! Между этими двумя реализациями также есть значительные различия в производительности.

Использование метода map в pandas

Метод .map() pandas можно применять к Pandas Series, то есть к столбцу DataFrame. Функция map интересна тем, что может принимать три разных типа аргументов. Это зависит от того, что вы передаете в метод. Давайте рассмотрим типы объектов, которые можно передать:

  • Словари: pandas будет использовать .map() для сопоставления элементов парами на основе ключа:значение

  • Функции: pandas будет применять функцию построчно, оценивая ее по значению строки

  • Series: pandas заменит Series, к которой применяется метод, переданной Series

В следующих разделах мы подробнее рассмотрим каждую из этих сценариев и увидим, как метод .map() можно использовать для преобразования и сопоставления столбца pandas.

Использование метода map в pandas для сопоставления словаря

Когда вы передаете словарь в метод .map(), pandas сопоставит значения из соответствующих ключей в словаре. Это работает очень похоже на функцию VLOOKUP в Excel и может быть полезным способом преобразовать данные.

Например, мы могли бы сопоставить пол каждого человека в нашем DataFrame, используя метод .map(). Давайте определим словарь, где ключи — это люди, а их соответствующий пол — значения ключей.

# Создание словаря полов
genders = {'James': 'Мужчина', 'Jane': 'Женщина', 'Melissa': 'Женщина', 'Ed': 'Мужчина', 'Neil': 'Мужчина'}

Теперь, когда наш словарь определён, мы можем применить метод к столбцу name и передать в него наш словарь, как показано ниже:

# Применение словаря к методу map
df['gender'] = df['name'].map(genders)
print(df)

# Возвращает:
#       name  age score  age_missing_data  income gender
# 0    James   30   90%              30.0  100000    Male
# 1     Jane   40   95%              40.0   80000  Female
# 2  Melissa   32  100%              32.0   55000  Female
# 3       Ed   67   82%              67.0   62000    Male
# 4     Neil   43   87%               NaN  120000    Male

Using the Pandas map Method to Map a Function

В этом примере вы узнаете, как применить функцию к колонке Pandas. Делая это, передаваемая функция ожидает одно значение из Series и возвращает преобразованную версию этого значения. В этом случае метод .map() вернет совершенно новую Series.

Давайте разработаем функцию, которая определяет, выше или ниже средний доход у каждого человека. Затем применим эту функцию с использованием метода .map()

# Отображение в Пользовательской Функции
mean_income = df['income'].mean()

def higher_income(x):
    return x > mean_income

df['higher_than_avg_income'] = df['income'].map(higher_income)
print(df)

# Возвращает:
#       name  age score  age_missing_data  income  higher_than_avg_income
# 0    James   30   90%              30.0  100000                    True
# 1     Jane   40   95%              40.0   80000                   False
# 2  Melissa   32  100%              32.0   55000                   False
# 3       Ed   67   82%              67.0   62000                   False
# 4     Neil   43   87%               NaN  120000                    True

Давайте разберем, что мы здесь сделали:

  1. Мы рассчитали, какой был средний доход, и присвоили его переменной mean_income

  2. Затем мы определили функцию, которая принимает один аргумент. Ввод анализирует, больше или меньше он среднего значения.

  3. Наконец, функция применяется к столбцу income и используется для создания нового столбца в DataFrame.

Может показаться излишним определять функцию, чтобы использовать её только один раз. Поэтому мы можем определить анонимную функцию. Именно этому вы научитесь в следующем разделе.

Использование метода Pandas map для отображения анонимной лямбда-функции

Python позволяет нам определять анонимные функции, lambda-функции, которые являются функциями, определяемыми без имени. Это может быть полезно, когда нам нужно использовать функцию только один раз и мы хотим упростить её использование. Давайте посмотрим, как мы можем воспроизвести пример выше с использованием lambda функции.

# Отображение в Анонимной Функции
mean_income = df['income'].mean()
df['higher_than_avg_income'] = df['income'].map(lambda x: x > mean_income)
print(df)

# Возвращает:
#       name  age score  age_missing_data  income  higher_than_avg_income
# 0    James   30   90%              30.0  100000                    True
# 1     Jane   40   95%              40.0   80000                   False
# 2  Melissa   32  100%              32.0   55000                   False
# 3       Ed   67   82%              67.0   62000                   False
# 4     Neil   43   87%               NaN  120000                    True

Этот процесс немного упрощает чтение вашего кода. Он четко показывает, что функция существует только для этой единственной цели.

Использование метода Pandas map для отображения индексированной серии

В этом последнем примере вы узнаете, как передать объект Pandas Series в метод .map(). Этот процесс перезаписывает все значения в Series, к которому он применяется, используя значения из переданного Series. Это гораздо более простой пример, где данные просто перезаписываются. Давайте посмотрим, как это может работать:

# Отображение в Series
last_names = pd.Series(['Doe', 'Miller', 'Edwards', 'Nelson', 'Raul'], index=df['name'])
df['Фамилия'] = df['name'].map(last_names)

print(df)

# Возвращает:
#       name  age score  age_missing_data  income Фамилия
# 0    James   30   90%              30.0  100000       Doe
# 1     Jane   40   95%              40.0   80000    Miller
# 2  Melissa   32  100%              32.0   55000   Edwards
# 3       Ed   67   82%              67.0   62000    Nelson
# 4     Neil   43   87%               NaN  120000      Raul

Давайте посмотрим, что мы сделали: мы создали серию Pandas, используя список фамилий, передавая столбец 'name' из нашего DataFrame. Это обеспечило однозначное соответствие на основе индекса и столбца.

Использование метода Pandas apply

Pandas также предоставляет другой метод для применения функции — метод .apply(). Этот метод отличается несколькими важными способами:

  1. Метод .apply() может быть применён как к объекту Series, так и к объекту DataFrame в Pandas. Метод .map() может применяться только к объекту

  2. Метод .apply() может принимать только вызываемый объект (т.е. функцию)

  3. Это можно использовать для агрегации данных, а не просто для отображения преобразования.

Теперь, когда вы знаете некоторые ключевые отличия между этими двумя методами, давайте погрузимся в то, как применить функцию к DataFrame в Pandas.

Использование метода Pandas apply для применения функции

Метод Pandas .apply() позволяет передавать функцию, которая действует либо на Series, либо на весь DataFrame. Давайте рассмотрим пример, когда мы оцениваем данные не только из одной Series (что можно сделать с помощью .map()). Создадим колонку, которая принимает во внимание колонки возраста и дохода. Если человек младше 45 лет и его доход превышает 75,000, мы пригласим его на интервью:

# Применение функции ко всему DataFrame
def interview(row):
    return row['age'] < 45 and row['income'] > 75000

df['interview'] = df.apply(interview, axis=1)
print(df)

# Возвращает:
#       name  age score  age_missing_data  income  interview
# 0    James   30   90%              30.0  100000       True
# 1     Jane   40   95%              40.0   80000       True
# 2  Melissa   32  100%              32.0   55000      False
# 3       Ed   67   82%              67.0   62000      False
# 4     Neil   43   87%               NaN  120000       True

Мы видим, что можем применять функцию, которая учитывает более одного столбца! Это может открыть значительные возможности.

Передача аргументов с применением Pandas

Один из менее интуитивных способов использования метода .apply() заключается в передаче аргументов. Поскольку мы передаем только вызываемый объект (например, имя функции без скобок), нет интуитивно понятного способа передачи аргументов. Давайте определим функцию, где мы можем захотеть изменить ее поведение, используя аргументы:

# Передача аргументов в метод .apply
def bonus(row, amount, give=False):
    if give:
        return row['income'] / row['age'] * amount
    else:
        return 0

df['bonus'] = df.apply(bonus, args=(0.25,), give=True, axis=1)
print(df)

# Возвращает:
#       name  age score  age_missing_data  income       bonus
# 0    James   30   90%              30.0  100000  833.333333
# 1     Jane   40   95%              40.0   80000  500.000000
# 2  Melissa   32  100%              32.0   55000  429.687500
# 3       Ed   67   82%              67.0   62000  231.343284
# 4     Neil   43   87%               NaN  120000  697.674419

Преимущество этого подхода заключается в том, что мы можем определить функцию один раз. Это позволяет нам изменять поведение в зависимости от выполнения определенных условий. Например, выше мы можем выбрать, давать бонус или нет.

Влияние производительности Pandas map и apply

Если вы следили за примерами, вы могли заметить, что все примеры выполнялись примерно за одно и то же время. Это в значительной степени связано с тем, что набор данных, который мы использовали, был очень маленьким. Если бы мы попробовали применить некоторые из этих методов на более крупных наборах данных, вы могли бы столкнуться с проблемами производительности.

Это связано с тем, что, как и в нашем примере с циклом for, эти методы перебирают каждую строку DataFrame. Важно стараться оптимизировать ваш код для скорости, особенно при работе с большими наборами данных. Поэтому часто лучше найти встроенную функцию Pandas, нежели использовать свою собственную

Например, мы можем преобразовать предыдущий пример с использованием .map() в более нативный подход. Давайте определим, выше ли доход человека среднего, используя встроенный векторизированный формат:

# Старый Формат
mean_income = df['income'].mean()
df['higher_than_avg_income'] = df['income'].map(lambda x: x > mean_income)

# Векторизованный Формат
df['higher_than_avg_income'] = df['income'] > mean_income

Производительность может не казаться важной на начальном этапе, но каждый шаг по модификации данных будет добавлять время к нашей общей работе. При работе с значительно большими наборами данных важно учитывать производительность. Часто полезно начинать с одного процесса, а затем пробовать различные, более быстрые способы достижения того же результата.

Упражнения

Пришло время проверить свои знания. Попробуйте выполнить упражнения ниже. Вы можете найти пример решения, переключив раздел:

Вопрос 1

Создайте столбец, который преобразует строковый столбец процентов в отношение.

df['percent'] = df['score'].map(lambda x: int(x.replace('%', '')))
print(df)

# Возвращает:
#       name  age score  age_missing_data  income  percent
# 0    James   30   90%              30.0  100000       90
# 1     Jane   40   95%              40.0   80000       95
# 2  Melissa   32  100%              32.0   55000      100
# 3       Ed   67   82%              67.0   62000       82
# 4     Neil   43   87%               NaN  120000       87
Вопрос 2

Преобразование в векторизированный формат: df[‘perc_of_total’] = df[‘income’].map(lambda x: x / df[‘income’].sum())

total_income = df['income'].sum()
df['perc_of_total'] = df['income'] / total_income

print(df)
#       name  age score  age_missing_data  income  perc_of_total
# 0    James   30   90%              30.0  100000       0.239808
# 1     Jane   40   95%              40.0   80000       0.191847
# 2  Melissa   32  100%              32.0   55000       0.131894
# 3       Ed   67   82%              67.0   62000       0.148681
# 4     Neil   43   87%               NaN  120000       0.287770

Заключение и резюме

В этом учебнике вы научились анализировать и преобразовывать ваш DataFrame Pandas с использованием векторизованных функций, а также методов .map() и .apply(). Раздел ниже предоставляет краткое изложение всего, что вы изучили:

  • Pandas предоставляет множество решений для изменения столбцов в DataFrame.

  • Векторизованные, встроенные функции позволяют вам применять функции параллельно, обрабатывая несколько записей одновременно.

  • Метод .map() в Pandas может принимать словарь для отображения значений в ключи словаря.

  • Метод .map() в Pandas может принимать Series для отображения значений в этом Series на основе его индекса.

  • Метод .map() в Pandas позволяет применять функцию к отдельному столбцу.

  • Метод .apply() в Pandas может передавать функцию либо одному столбцу, либо всему DataFrame.

  • Методы .map() и .apply() имеют ограничения по производительности по сравнению со встроенными векторизованными функциями. Будьте осторожны с потенциальными замедлениями!

Дополнительные ресурсы

Обратите внимание на учебные пособия ниже по связан

  • Вычислить средневзвешенное значение в Pandas и Python

  • Объединение данных в Python с помощью cut() Pandas

  • Списковые генераторы в Python (полное руководство с примерами)

Метод работает аналогично функции VLOOKUP в Excel для поиска значений в другой таблице.

.map() в Pandas
Загрузка примера DataFrame в pandas
Понимание векторизированных функций в pandas
Использование метода map в pandas
Использование метода apply в pandas
Влияние производительности методов map и apply в pandas
Упражнения
Заключение и повторение материала
Дополнительные ресурсы