Bemind
Учебник Python
Учебник Python
  • Python
    • Python Lists
      • Списковые включения в Python (Полное руководство с примерами)
      • Исправление ValueError: Слишком Много Значений Для Распаковки в Python
      • Как добавить словарь в список в Python
      • Как добавить строку в список в Python
      • Разница между массивами и списками в Python
      • Python: Различия между списками и кортежами
      • Как проверить, пуст ли список в Python
      • Как Итерировать (Циклически Проходить) По Списку в Python
      • Python List sort(): Подробное руководство по сортировке списков
      • Python List Extend: Как добавить несколько элементов в список
      • Python: Найти Индекс Всех Вхождений Элемента в Списке
      • Конвертация списка словарей в Pandas DataFrame
      • Генерация случайных чисел в Python
      • Поиск Индекса в Списке Python: Найти Первое, Последнее или Все Вхождения
      • Добавить в начало списка в Python (Вставить в начало)
      • Найти дубликаты в списке Python
      • Python: Умножение Списков (6 Различных Способов)
      • Python списки: Полный обзор
      • Python: Выбор случайного элемента из списка
      • 4 Способа Очистить Список в Python
      • Объяснение ошибки IndexError в Python: индекс списка выходит за пределы допустимого диапазона
      • Python: Получение индекса максимального элемента в списке
      • Python: Объединение списков – Слияние списков (8 способов)
      • Python: Проверка наличия элемента в списке
      • Python: Проверка наличия элемента в списке
      • Удаление элемента из списка в Python (pop, remove, del, clear)
      • Как перевернуть список в Python (6 способов)
      • Python: Замена элемента в списке (6 различных способов)
      • Python: Удаление дубликатов из списка (7 способов)
      • Python: Преобразование словаря в список кортежей (4 простых способа)
      • Python: Перемешать Список (Случайное Распределение Элементов Списка в Python)
      • Python: Пересечение двух списков
      • Python: Вычитание двух списков (4 простых способа!)
      • Длина или Размер Списка в Python: 5 Способов Узнать Длину Списка
      • Python: Транспонирование списка списков (5 простых способов!)
      • Python: Разделение списка (Пополам, на части)
      • Python: Комбинации списка (Получить все комбинации списка)
      • Python: Выравнивание списка списков (4 способа)
      • Разница между списками в Python: Нахождение разницы между двумя списками Python
      • Python: Найти среднее значение списка или списка списков
      • Как добавлять элементы в списки в Python – 4 простых способа!
      • Списковые включения в Python (Полное руководство с примерами)
      • 6 способов преобразовать список Python в строку
    • Python Dictionaries
      • Понимание словаря Python (с примерами)
      • Исправляем ValueError: Слишком Много Значений Для Распаковки в Python
      • Как добавить словарь в список в Python
      • Преобразование JSON в словарь Python
      • Полное руководство по вложенным словарям в Python
      • Копирование словаря в Python: Полное руководство
      • Конвертация списка словарей в Pandas DataFrame
      • Поиск дубликатов в списке Python
      • Полный обзор словарей в Python
      • Python: Добавление пары Ключ:Значение в Словарь
      • Python: Сортировка словаря по значениям
      • Слияние Словарей в Python – Комбинирование Словарей (7 Способов)
      • Python: Удаление Дубликатов из Списка (7 Способов)
      • Python: Преобразование словаря в список кортежей (4 простых способа)
      • Python: Красивая Печать Словаря (Dictionary) – 4 Способа
      • Python: Проверка пуст ли словарь (5 способов!)
      • Copy of Python: Проверка пуст ли словарь (5 способов!)
      • Python: Проверьте, существует ли ключ (или значение) в словаре (5 простых способов)
      • Python: Проверьте, существует ли ключ (или значение) в словаре (5 простых способов)
      • Python: Получение Ключа Словаря с Максимальным Значением (4 Способа)
      • Python: Удаление ключа из словаря (4 разных способа)
      • Как красиво вывести JSON-файл в Python (6 методов)
    • Python Strings
      • Python Капитализация Строк: Руководство по Преобразованию слов в Заглавные
      • Python strip: Как обрезать строку в Python
      • Python Обратная Строка: Руководство по Реверсированию Строк
      • Как Удалить Префикс или Суффикс из Строки в Python
      • Преобразование строки в формат заголовка в Python с помощью str.title()
      • Как добавить строку в список в Python
      • Python String startswith: Проверка, начинается ли строка с подстроки
      • Python String endswith: Проверка того, заканчивается ли строка подстрокой
      • Как удалить первый или последний символ из строки в Python
      • Как исправить: SyntaxError в Python - EOL при сканировании строкового литерала
      • Python String Contains: Проверка Наличия Подстроки в Строке
      • Как проверить, пустая ли строка в Python
      • Python Новая Строка и Как Печатать Без Переноса Строки
      • Как Конкатенировать Строки в Python: Полное Руководство
      • Python: Подсчет слов в строке или файле
      • Как создать список алфавита в Python
      • Python: Конкатенация строки и целого числа (Int)
      • Python: Сортировка строки (4 различных способа)
      • Python zfill и rjust: Добавление нулей в строку в Python
      • Python: Целое в Двоичное (Преобразование целого числа в двоичную строку)
      • Python rfind: Нахождение индекса последней подстроки в строке
      • Python SHA256 хеширование алгоритм: объяснение
      • Python: Усечение числа с плавающей точкой (6 различных способов)
      • Выбор между методами Python isdigit(), isnumeric() и isdecimal()
      • Python: Удаление специальных символов из строки
      • Python Приведение Строки к Нижнему Регистру с помощью .lower(), .casefold(), и .islower()
      • Python программа для проверки, является ли строка палиндромом (6 методов)
      • Python: Найдите все перестановки строки (3 легких способа!)
      • Python: Удаление пунктуации из строки (3 разных способа!)
      • Python: Найти индекс (или все индексы) подстроки в строке
      • Python: Удаление символов новой строки из строки
      • Python: Удаление символа из строки (4 способа)
      • Python: Количество вхождений в строке (4 способа!)
    • Встроенные функции Python
      • abs()
      • ascii()
      • aiter()
      • all()
      • any()
      • anext()
      • bin()
      • bool()
      • breakpoint()
      • bytearray()
      • bytes()
      • callable()
      • chr()
      • classmethod()
      • compile()
      • complex()
      • delattr()
      • dict()
      • dir()
      • divmod()
      • enumerate()
      • eval()
      • exec()
      • filter()
      • float()
      • format()
      • frozenset()
      • getattr()
      • globals()
      • hasattr()
      • hash()
      • help()
      • hex()
      • id()
      • input()
      • int()
      • issubclass()
      • iter()
      • len()
      • list()
      • locals()
      • map()
      • max()
      • memoryview()
      • min()
      • next()
      • object()
      • oct()
      • open()
      • ord()
      • pow()
      • print()
      • property()
      • range()
      • repr()
      • reversed()
      • round()
      • set()
      • setattr()
      • isinstance()
      • slice()
      • zip()
      • type()
      • sorted()
      • staticmethod()
      • str()
      • sum()
      • super()
      • tuple()
      • vars()
      • import()
    • Cобеседования Python. Разбор реальных вопросов.
    • Встроенные методы в Python
  • Учебники по Pandas и Numpy
    • Numpy
      • Функция активации ReLU для глубокого обучения: полное руководство по выпрямленному линейному блоку
      • Как нормализовать массивы NumPy (минимальное-максимальное масштабирование, Z-оценка, L2)
      • NumPy where: Условная обработка элементов массива
      • NumPy linspace: создание равномерно расположенных массивов с помощью np.linspace
      • Как рассчитать векторное произведение в Python
      • Разделение NumPy: Разделение массива NumPy на части
      • NumPy: Лучшие способы применения функции к массиву
      • NumPy full: Создание массивов с заданным значением
      • NumPy clip(): Ограничьте значения массива минимальным и максимальным значениями
      • NumPy cumsum: Расчет кумулятивных сумм массивов NumPy
      • Изучаем функцию np.histogram в NumPy: создаем гистограмму
      • NumPy arange(): Полное руководство (с примерами)
      • Руководство по индексации и срезам массивов NumPy: Полное руководство
      • NumPy argmin(): Получение индекса минимального значения в массивах
      • Выравнивание массива с помощью NumPy flatten
      • Объединение массивов NumPy по различным осям с использованием функции stack
      • Удаление размерности из массивов NumPy с помощью NumPy Squeeze
      • Функция np.repeat() NumPy: Повторение массивов NumPy
      • Использование функции NumPy.exp() для вычисления экспоненты
      • Реализация функции сигмоида на Python
      • NumPy Pad: Использование np.pad() для дополнения массивов и матриц
      • np.argmax(): Как использовать NumPy Argmax
      • NumPy logspace: Понимание функции np.logspace()
      • Использование NumPy Tile для Расположения Массивов
      • NumPy Zeros: Создание массивов и матриц с нулями в NumPy
      • Использование числа Пи в Python (NumPy и Math)
      • Распределение Нормального (Гауссова) Распределения в Numpy (Случайное Нормальное в Numpy)
      • NumPy для Data Science на Python
      • Расчет скалярного произведения с использованием Numpy в Python
      • Расчет натурального логарифма на Python
    • Pandas
      • Python сводные таблицы – Полное руководство
      • Изучение API стиля Pandas
      • Объяснение группировки по нескольким столбцам в Pandas с примерами
      • Удаление индексной колонки DataFrame в Pandas: Руководство с примерами
      • Pandas Quantile: Расчет процентилей в DataFrame
      • Как рассчитать скользящее среднее (среднее арифметическое) в Pandas
      • Руководство по использованию метода fillna в Pandas для работы с отсутствующими данными в DataFrame
      • Pandas unique(): Получение уникальных значений в DataFrame
      • Распакуйте Ваши Данные с Помощью Функции Melt в Pandas
      • Pandas date_range: Как Создать Диапазон Дат в Pandas
      • Сброс индекса в Pandas: как сбросить индекс в Pandas
      • Pandas replace() – Замена значений в DataFrame Pandas
      • Перемещение столбца DataFrame Pandas на позицию (В начало и в конец)
      • Учебное пособие по Python Pandas: полное руководство
      • Pandas: Замена NaN на нули
      • Преобразование DataFrame Pandas в файл Pickle
      • Конвертация Pandas DataFrame в JSON
      • Преобразование DataFrame Pandas в Словарь
      • Преобразование Pandas DataFrame в Список
      • Чтение файлов Parquet в Pandas с помощью pd.read_parquet
      • Pandas dropna(): Удаление отсутствующих записей и столбцов в DataFrame
      • Как Добавить Новый Столбец в DataFrame Pandas
      • Подсчёт уникальных значений в Pandas
      • Отображение всех столбцов и строк в DataFrame Pandas
      • Pandas to_excel: Запись DataFrames в файлы Excel
      • Как использовать Pandas для чтения файлов Excel в Python
      • Преобразование списка словарей в Pandas DataFrame
      • Как добавить/вставить строку в DataFrame Pandas
      • Диаграмма рассеяния в Pandas: Как создать диаграмму рассеяния в Pandas
      • Pandas to_datetime: Преобразование строки Pandas в дату и время
      • Введение в Pandas для Data Science
      • Индексация, Выборка и Присваивание Данных в Pandas
      • Суммирование и Анализ Pandas DataFrame
      • Преобразование столбцов Pandas с помощью map и apply
      • Группировка данных в Pandas с использованием cut и qcut
      • Дата и время в Pandas и Python
      • Очистка и подготовка данных в Pandas и Python
      • Pandas GroupBy: группировка, суммирование и агрегация данных в Python
      • Pandas Дата и Время в Части Даты (месяц, год и т.д.)
      • Pandas: Получение номера строки из DataFrame
      • Вычисление Взвешенного Среднего в Pandas и Python
      • Как перемешать строки Pandas Dataframe в Python
      • Pandas: количество столбцов (подсчет столбцов в DataFrame)
      • Pandas Sum: сложение столбцов и строк DataFrame
      • Pandas Diff: Вычисление Разницы Между Строками Pandas
      • Нормализация столбца или датафрейма Pandas (с использованием Pandas или sklearn)
      • Функция Rank в Pandas: Ранжирование данных в Dataframe (Эквивалент SQL row_number)
      • Pandas Describe: Описательная статистика вашего Dataframe
      • Pandas Shift: Перемещение столбца DataFrame вверх или вниз
      • 7 Способов Выполнения Выборки Данных в Pandas
      • Экспорт DataFrame Pandas в CSV файл – Использование .to_csv()
      • Pandas: Итерация по строкам DataFrame в Pandas
      • Pandas: Преобразование значений столбца в строки
      • Дисперсия в Pandas: Вычисление дисперсии столбца в Pandas Dataframe
      • Pandas: Создание DataFrame из списков (5 способов!)
      • Pandas Rename Index: Как переименовать индекс DataFrame в Pandas
      • Pandas: Подсчёт уникальных значений в объекте GroupBy
      • Pandas: Добавить дни к колонке с датами
      • Среднее в Pandas: Как рассчитать среднее для одной или нескольких колонок
      • Pandas Column to List – Конвертируйте колонку Pandas в список
      • Транспонирование Dataframe в Pandas
      • Python: Разделение DataFrame Pandas
      • Как получить имена столбцов в DataFrame Pandas
      • Pandas: Количество строк в DataFrame (6 способов)
      • Создание пустого DataFrame Pandas и добавление данных
      • Как переименовать столбцы в Pandas DataFrame (с примерами)
      • Изменение порядка столбцов в Pandas: использование метода reindex и метода insert
      • Pandas get_dummies (One-Hot кодирование), объяснение
      • Относительные и Абсолютные Частоты в Python и Pandas
      • Финансовый год – Определение финансового года в Pandas
      • Как сортировать данные в DataFrame Pandas
  • Учебники Matplotlib и Seaborn
    • Seaborn
      • Регрессионные графики в Seaborn с использованием regplot и lmplot
      • Seaborn residplot – Построение остатков линейной регрессии
      • Seaborn jointplot() – Создание совместных графиков в Seaborn
      • Seaborn displot – Распределенческие графики в Python
      • Seaborn ecdfplot – Эмпирические функции накопленного распределения
      • Seaborn rugplot – Визуализация маргинальных распределений
      • Seaborn kdeplot – Создание графиков оценки плотности ядра
      • Seaborn histplot – Создание Гистограмм в Seaborn
      • Seaborn catplot – Визуализация категориальных данных в Python
      • Средняя тенденция для категориальных данных в Seaborn Pointplot
      • Seaborn stripplot: Jitter Plots для распределений категориальных данных
      • Seaborn Countplot – Подсчет категориальных данных в Python
      • Seaborn swarmplot: Bee Swarm Plots для распределения категориальных данных
      • Скрипичные графики Seaborn в Python: Полное руководство
      • Настройка расположения легенд Seaborn, меток, текста и т.д.
      • Тепловая карта Seaborn: Полное руководство
      • Создание многосекционных сеток в Seaborn с помощью FacetGrid
      • Удаление рамки в Seaborn: Как работать с рамкой
      • Заголовки и метки осей в Seaborn: добавление и настройка
      • Как установить Seaborn в Python (Исправление: no module named seaborn)
      • Seaborn relplot – Создание точечных и линейных графиков
      • Полное руководство по созданию точечных диаграмм (scatter plots) в Python с использованием Seaborn
    • Matplotlib
      • Режим Retina в Matplotlib: Улучшение Качества Графиков
      • Как построить функцию в Python с использованием Matplotlib
      • Как создать 3D-диаграммы рассеяния в Matplotlib
      • Как изменить размер шрифта в графике Matplotlib
      • Установка размера маркера в точечных диаграммах Matplotlib
      • Как изменить размер графика и фигуры в Matplotlib
      • Как добавить названия в Matplotlib: Заголовок, Подзаголовок, Названия Осей
      • Pandas Scatter Plot: Как создать диаграмму рассеяния в Pandas
      • Построение графиков в Python с помощью Matplotlib
      • Диаграммы рассеяния Matplotlib – Все, что вам нужно знать
      • Диаграммы с столбцами в Matplotlib – Узнайте все, что вам нужно знать
      • Линейные диаграммы Matplotlib – Всё, что вам нужно знать
      • Построение гистограммы в Python с Matplotlib и Pandas
  • Алгоритмы
    • Алгоритм поиска в ширину (BFS) в Python
    • Алгоритм поиска в глубину (DFS) на Python
  • AI создает хедж-фонд для анализа акций на Python
Powered by GitBook
On this page
  • Понимание метода dropna() в Pandas
  • Загрузка образца DataFrame Pandas
  • Как удалить строки с отсутствующими данными в Pandas с помощью .dropna()
  • Как использовать Pandas dropna() с подмножеством или конкретными столбцами
  • Как удалить столбцы с отсутствующими данными в Pandas с помощью .dropna()
  • Как установить порог пропущенных значений для удаления записей в Pandas
  • Удаление столбцов с заданным количеством отсутствующих записей
  • Как удалить пропущенные значения в Pandas на месте
  • Часто задаваемые вопросы
  • Заключение
  • Дополнительные ресурсы
  1. Учебники по Pandas и Numpy
  2. Pandas

Pandas dropna(): Удаление отсутствующих записей и столбцов в DataFrame

PreviousЧтение файлов Parquet в Pandas с помощью pd.read_parquetNextКак Добавить Новый Столбец в DataFrame Pandas

Last updated 1 year ago

В этом уроке вы научитесь использовать метод Pandas dropna() для удаления отсутствующих значений в DataFrame Pandas. Работа с отсутствующими данными является одним из важных навыков при подготовке ваших данных к анализу. Поскольку очистка данных может занимать до 80% времени аналитика данных / data scientist, умение эффективно и эффективно выполнять эту работу является важным навыком.

К концу этого урока вы узнаете:

  • Как эффективно использовать метод Pandas .dropna()

  • Как удалить значения отсутствующих строк (NaN) в Pandas

  • Как удалить значения отсутствующих столбцов (NaN) в Pandas

  • Как использовать метод Pandas .dropna() только для определенных столбцов

  • Как установить пороговые значения при удалении пропущенных значений в кадре данных Pandas

  • Как исправить распространенные ошибки при работе с методом Pandas .dropna()

Оглавление

Понимание метода dropna() в Pandas

Метод .dropna() в Pandas является необходимым инструментом для аналитика данных или научного сотрудника любого уровня. Поскольку очистка данных является важным этапом предварительной обработки, умение работать с отсутствующими данными сделает вас более сильным программистом.

Прежде чем погружаться в использование метода, давайте уделим минуту, чтобы понять, как работает метод .dropna() в Pandas. Мы можем сделать это, рассмотрев параметры и аргументы по умолчанию, которые предоставляет этот метод.

# Understanding the Pandas .dropna() Method
import pandas as pd
df = pd.DataFrame()

df.dropna(
   axis=0,
   how='any',
   thresh=None,
   subset=None,
   inplace=False
)

Мы видим, что метод .dropna() в Pandas предлагает пять различных параметров. Для всех этих параметров предоставлены значения по умолчанию. Это означает, что вы можете просто вызвать метод, и он будет выполнен.

Однако понимание того, что делают различные параметры, гарантирует, что вы получите ожидаемый результат! Давайте подробнее разберем эти параметры:

Аргумент
Описание
Значение по умолчанию
Принятые значения

axis=

Определяет, будут ли удалены строки или столбцы, если они содержат недостающие данные.

0

{0, 1, ‘index’, ‘columns’}

how=

Определяет, должны ли в столбце или строке отсутствовать какие-либо или все значения, чтобы их можно было удалить.

‘any’

{‘any’, ‘all’}

thresh=

Сколько значений, не относящихся к NA, необходимо для удаления столбца или строки.

None

integers

subset=

Метки вдоль другой оси, которые следует учитывать при проверке пропущенных значений.

None

column labels or sequence of labels

inplace=

Завершать операцию на месте или нет.

False

booleans

Исходя из этих параметров, можно увидеть, что метод .dropna() в библиотеке Pandas предлагает большую гибкость в вопросе удаления записей с отсутствующими значениями.

Теперь, когда у вас есть четкое понимание того, что возможно с помощью этого метода, давайте перейдем к использованию метода для удаления всех строк с отсутствующими данными.

Загрузка образца DataFrame Pandas

Чтобы следовать этому руководству, я предоставил образец DataFrame с использованием библиотеки Pandas. Если вы не используете свой собственный набор данных, не стесняйтесь копировать и вставлять приведенный ниже код в редактор кода по вашему выбору.

# Loading a Sample Pandas DataFrame
import pandas as pd
import numpy as np

df = pd.DataFrame({
    'Name': ['Evan', 'Kyra', 'Kate', 'Nik', np.NaN],
    'Age': [36, np.NaN, 33, 27, np.NaN],
    'Active': [True, False, np.NaN, True, np.NaN],
    'Country': ['USA', 'Canada', 'Canada', 'USA', np.NaN],
    'Missing': [np.NaN, np.NaN, np.NaN, np.NaN, np.NaN]})

print(df.head())

# Returns:
#    Name   Age Active Country  Missing
# 0  Evan  36.0   True     USA      NaN
# 1  Kyra   NaN  False  Canada      NaN
# 2  Kate  33.0    NaN  Canada      NaN
# 3   Nik  27.0   True     USA      NaN
# 4   NaN   NaN    NaN     NaN      NaN

В нашем наборе данных присутствует пять различных столбцов, некоторые из которых содержат отсутствующие значения. В следующем разделе вы узнаете, как удалить строки, содержащие пропущенные данные.

Как удалить строки с отсутствующими данными в Pandas с помощью .dropna()

Метод dropna() в Pandas позволяет легко удалить все строки с отсутствующими данными. По умолчанию метод dropna() удалит любую строку с хотя бы одним отсутствующим значением. Это связано с тем, что параметр how= установлен в значение 'any', а параметр axis= — в значение 0.

Давайте посмотрим, что произойдет, когда мы применим метод .dropna() к нашему DataFrame:

# Applying the .dropna() Method to Our DataFrame
import pandas as pd
import numpy as np

df = pd.DataFrame({
    'Name': ['Evan', 'Kyra', 'Kate', 'Nik', np.NaN],
    'Age': [36, np.NaN, 33, 27, np.NaN],
    'Active': [True, False, np.NaN, True, np.NaN],
    'Country': ['USA', 'Canada', 'Canada', 'USA', np.NaN],
    'Missing': [np.NaN, np.NaN, np.NaN, np.NaN, np.NaN]})

df = df.dropna()

print(df.head())

# Returns:
# Empty DataFrame
# Columns: [Name, Age, Active, Country, Missing]
# Index: []

Все записи в нашем DataFrame содержат пропущенное значение, поэтому все записи в нашем DataFrame удаляются.

Мы можем изменить поведение функции так, чтобы удалялись записи, где отсутствуют все значения, передавая how='all'. Давайте посмотрим, как это будет выглядеть:

# Dropping Records using .dropna() If All Records Are Missing
import pandas as pd
import numpy as np

df = pd.DataFrame({
    'Name': ['Evan', 'Kyra', 'Kate', 'Nik', np.NaN],
    'Age': [36, np.NaN, 33, 27, np.NaN],
    'Active': [True, False, np.NaN, True, np.NaN],
    'Country': ['USA', 'Canada', 'Canada', 'USA', np.NaN],
    'Missing': [np.NaN, np.NaN, np.NaN, np.NaN, np.NaN]})

df = df.dropna(how='all')

print(df.head())

# Returns:
#    Name   Age Active Country  Missing
# 0  Evan  36.0   True     USA      NaN
# 1  Kyra   NaN  False  Canada      NaN
# 2  Kate  33.0    NaN  Canada      NaN
# 3   Nik  27.0   True     USA      NaN

Путем изменения поведения метода нам удалось настроить Pandas на удаление записей, где отсутствуют все значения.

В следующем разделе вы узнаете, как настроить Pandas на проверку отсутствующих записей только в некоторых столбцах.

Как использовать Pandas dropna() с подмножеством или конкретными столбцами

Pandas позволяет легко использовать метод .dropna() для проверки только подмножества столбцов или конкретного столбца. Это может быть чрезвычайно полезно, когда некоторые столбцы более критичны для вашего анализа, чем другие.

Чтобы указать, какие столбцы нужно проверить, можно использовать параметр subset=, который принимает либо один ярлык столбца, либо список ярлыков столбцов.

Давайте посмотрим, как мы можем сначала проверить наличие только пропущенных значений в одном столбце, столбце 'Age'

# Dropping Records in Pandas Using .dropna() Based on a Single Column
import pandas as pd
import numpy as np

df = pd.DataFrame({
    'Name': ['Evan', 'Kyra', 'Kate', 'Nik', np.NaN],
    'Age': [36, np.NaN, 33, 27, np.NaN],
    'Active': [True, False, np.NaN, True, np.NaN],
    'Country': ['USA', 'Canada', 'Canada', 'USA', np.NaN],
    'Missing': [np.NaN, np.NaN, np.NaN, np.NaN, np.NaN]})

df = df.dropna(subset='Age')

print(df.head())

# Returns:
#    Name   Age Active Country  Missing
# 0  Evan  36.0   True     USA      NaN
# 2  Kate  33.0    NaN  Canada      NaN
# 3   Nik  27.0   True     USA      NaN

В приведенном выше блоке кода мы передали одну строку в параметр subset=. Поскольку мы хотели проверить только наличие отсутствующих значений в одном столбце, строка подошла. В этом случае Pandas проигнорировал наличие отсутствующих значений в других столбцах.

Чтобы проверить наличие пропущенных значений в нескольких столбцах, необходимо передать список (или последовательность) меток столбцов в параметр subset=. Давайте посмотрим, как мы можем проверить наличие пропущенных значений в столбцах 'Age' и 'Active'

# Dropping Records in Pandas Using .dropna() Based on Multiple Columns
import pandas as pd
import numpy as np

df = pd.DataFrame({
    'Name': ['Evan', 'Kyra', 'Kate', 'Nik', np.NaN],
    'Age': [36, np.NaN, 33, 27, np.NaN],
    'Active': [True, False, np.NaN, True, np.NaN],
    'Country': ['USA', 'Canada', 'Canada', 'USA', np.NaN],
    'Missing': [np.NaN, np.NaN, np.NaN, np.NaN, np.NaN]})

df = df.dropna(subset=['Age', 'Active'])

print(df.head())

# Returns:
#    Name   Age Active Country  Missing
# 0  Evan  36.0   True     USA      NaN
# 3   Nik  27.0   True     USA      NaN

В этом случае мы смогли проверить наличие пропущенных записей в двух столбцах. В следующем разделе вы узнаете, как удалить столбцы с отсутствующими данными в DataFrame Pandas.

Как удалить столбцы с отсутствующими данными в Pandas с помощью .dropna()

Удаление столбцов в DataFrame Pandas работает очень похожим образом на удаление записей. Для этого мы просто устанавливаем параметр axis= либо в значение 1, либо в 'columns'. Хотя удаление столбцов на основе отсутствующих данных, возможно, является менее распространенной задачей, важно знать, как это сделать.

Давайте посмотрим, что произойдет, если мы передадим axis=1 в наш вызов метода .dropna()

# Dropping All Columns with Missing Data
import pandas as pd
import numpy as np

df = pd.DataFrame({
    'Name': ['Evan', 'Kyra', 'Kate', 'Nik', np.NaN],
    'Age': [36, np.NaN, 33, 27, np.NaN],
    'Active': [True, False, np.NaN, True, np.NaN],
    'Country': ['USA', 'Canada', 'Canada', 'USA', np.NaN],
    'Missing': [np.NaN, np.NaN, np.NaN, np.NaN, np.NaN]})

df = df.dropna(axis=1)

print(df.head())

# Returns:
# Empty DataFrame
# Columns: []
# Index: [0, 1, 2, 3, 4]

Поскольку в каждом столбце были пропущенные данные, все столбцы были удалены. На данный момент осталась только пустая таблица DataFrame и индексы.

Мы можем изменить поведение так, чтобы удалялись только те столбцы, в которых отсутствуют все значения, передав параметр how='any'.

# Dropping Columns with All Missing Data
import pandas as pd
import numpy as np

df = pd.DataFrame({
    'Name': ['Evan', 'Kyra', 'Kate', 'Nik', np.NaN],
    'Age': [36, np.NaN, 33, 27, np.NaN],
    'Active': [True, False, np.NaN, True, np.NaN],
    'Country': ['USA', 'Canada', 'Canada', 'USA', np.NaN],
    'Missing': [np.NaN, np.NaN, np.NaN, np.NaN, np.NaN]})

df = df.dropna(axis=1, how='all')

print(df.head())

# Returns:
#    Name   Age Active Country
# 0  Evan  36.0   True     USA
# 1  Kyra   NaN  False  Canada
# 2  Kate  33.0    NaN  Canada
# 3   Nik  27.0   True     USA
# 4   NaN   NaN    NaN     NaN

Путем изменения поведения метода мы смогли удалять только те столбцы, в которых отсутствовали все записи.

Во многих случаях вам потребуется удалить записи или столбцы, основываясь на некотором пороге значений – именно это вы узнаете в следующем разделе.

Как установить порог пропущенных значений для удаления записей в Pandas

Используя параметр thresh=, вы можете установить минимальное количество значений, которые должны быть не пропущенными, чтобы запись была удалена. Это позволяет вам указать, какое минимальное количество данных должна иметь каждая запись, чтобы она была сохранена в наборе данных.

Используя метод .dropna() в Pandas, который по умолчанию удаляет записи, мы можем применить параметр thresh=, чтобы задать наш метод. Давайте посмотрим, как мы можем указать, что нам нужно как минимум четыре данные на запись:

# Setting a Minimum Threshold for Keeping Records
import pandas as pd
import numpy as np

df = pd.DataFrame({
    'Name': ['Evan', 'Kyra', 'Kate', 'Nik', np.NaN],
    'Age': [36, np.NaN, 33, 27, np.NaN],
    'Active': [True, False, np.NaN, True, np.NaN],
    'Country': ['USA', 'Canada', 'Canada', 'USA', np.NaN],
    'Missing': [np.NaN, np.NaN, np.NaN, np.NaN, np.NaN]})

df = df.dropna(thresh=4)

print(df.head())

# Returns:
#    Name   Age Active Country  Missing
# 0  Evan  36.0   True     USA      NaN
# 3   Nik  27.0   True     USA      NaN

В предыдущем примере сохранялись только те записи, в которых не отсутствовали по меньшей мере четыре значения. В следующем разделе вы узнаете, как использовать этот параметр, чтобы удалять столбцы с заданным количеством отсутствующих записей.

Удаление столбцов с заданным количеством отсутствующих записей

Подобно приведенному выше примеру, вы можете захотеть удалить целые столбцы, если отсутствует определенное количество записей. Поскольку мы можем использовать метод .dropna() также для удаления столбцов, мы можем сочетать его с параметром thresh=, чтобы удалять столбцы.

Поскольку параметр tresh= работает, устанавливая количество записей, которые должны быть не пустыми, необходимо указать это в качестве значения.

Давайте посмотрим, как можно удалить столбцы, в которых не менее 4 непустых данных:

# Dropping Columns Based on Missing Data
import pandas as pd
import numpy as np

df = pd.DataFrame({
    'Name': ['Evan', 'Kyra', 'Kate', 'Nik', np.NaN],
    'Age': [36, np.NaN, 33, 27, np.NaN],
    'Active': [True, False, np.NaN, True, np.NaN],
    'Country': ['USA', 'Canada', 'Canada', 'USA', np.NaN],
    'Missing': [np.NaN, np.NaN, np.NaN, np.NaN, np.NaN]})

df = df.dropna(axis=1, thresh=4)

print(df.head())

# Returns:
#    Name Country
# 0  Evan     USA
# 1  Kyra  Canada
# 2  Kate  Canada
# 3   Nik     USA
# 4   NaN     NaN

Во многих случаях, однако, вы захотите удалять столбцы на основе процента отсутствующих значений. Мы можем сделать это, используя тот же метод, но просто вычислив значение непосредственно при вызове метода.

Давайте посмотрим, как мы можем удалять столбцы, где пропущено как минимум 10% значений:

# Dropping Columns Where At Least 10% of Values are Missing
import pandas as pd
import numpy as np

df = pd.DataFrame({
    'Name': ['Evan', 'Kyra', 'Kate', 'Nik', np.NaN],
    'Age': [36, np.NaN, 33, 27, np.NaN],
    'Active': [True, False, np.NaN, True, np.NaN],
    'Country': ['USA', 'Canada', 'Canada', 'USA', np.NaN],
    'Missing': [np.NaN, np.NaN, np.NaN, np.NaN, np.NaN]})

df = df.dropna(axis=1, thresh=int(0.9*len(df)))

print(df.head())

# Returns:
#    Name Country
# 0  Evan     USA
# 1  Kyra  Canada
# 2  Kate  Canada
# 3   Nik     USA
# 4   NaN     NaN

В приведенном выше примере мы рассчитываем параметр thresh= непосредственно в вызове метода, находя минимальное количество непустых записей. Поскольку параметр thresh= учитывает количество непустых записей, мы умножаем длину DataFrame на 1 - percentage

Как удалить пропущенные значения в Pandas на месте

В приведенных выше примерах мы удаляли записи или столбцы, повторно присваивая DataFrame самому себе. Однако, если вы хотите удалить записи или столбцы на месте, вы можете сделать это, установив inplace=True.

Изменяя DataFrame на месте, метод не возвращает ничего. Вместо этого он изменяет сам DataFrame.

Давайте посмотрим, как мы можем удалить строки с отсутствующими записями, где все данные отсутствуют, на месте:

# Dropping Records in a DataFrame In Place
import pandas as pd
import numpy as np

df = pd.DataFrame({
    'Name': ['Evan', 'Kyra', 'Kate', 'Nik', np.NaN],
    'Age': [36, np.NaN, 33, 27, np.NaN],
    'Active': [True, False, np.NaN, True, np.NaN],
    'Country': ['USA', 'Canada', 'Canada', 'USA', np.NaN],
    'Missing': [np.NaN, np.NaN, np.NaN, np.NaN, np.NaN]})

df.dropna(how='all', inplace=True)

print(df.head())

# Returns:
#    Name   Age Active Country  Missing
# 0  Evan  36.0   True     USA      NaN
# 1  Kyra   NaN  False  Canada      NaN
# 2  Kate  33.0    NaN  Canada      NaN
# 3   Nik  27.0   True     USA      NaN

В приведенном выше блоке кода мы удалили записи на месте. Это позволяет избежать необходимости повторного присваивания DataFrame самому себе.

Часто задаваемые вопросы

Что делает Pandas dropna?

Метод .dropna() библиотеки Pandas используется для удаления записей или столбцов, содержащих отсутствующие данные. Этот метод предоставляет гибкость в отношении способов удаления записей.

Почему Pandas dropna не работает?

Метод .dropna() в Pandas может не работать, если DataFrame не переназначен сам на себя или если метод не используется с параметром inplace. Если вы не удаляете значения на месте, вам нужно переназначить DataFrame самому себе.

Как я могу сбросить индекс DataFrame при использовании Pandas dropna?

Метод .dropna() не предлагает опцию для сброса индекса. Однако вы можете выполнить сброс индекса, используя метод .reset_index(). Например, вы можете написать: df.dropna().reset_index().

Заключение

В этом посте вы узнали, как использовать метод .dropna() библиотеки Pandas для удаления записей или столбцов с отсутствующими данными в DataFrame. Сначала вы узнали о различных параметрах, доступных в этом методе. Затем вы научились использовать этот метод для удаления записей с отсутствующими данными, а также столбцов с отсутствующими данными. После этого вы научились использовать метод для удаления записей на основе порогового значения неотсутствующих значений и как модифицировать DataFrame на месте.

Дополнительные ресурсы

Чтобы узнать больше о связанных темах, ознакомьтесь с обучающими материалами ниже:

  • Pandas Fillna – Работа с пропущенными значениями

  • Введение в Pandas для науки о данных

  • Очистка и подготовка данных в Pandas и Python

  • Подсчет значений в Pandas с помощью value_counts

Pandas dropna: официальная документация
Понимание метода dropna() в Pandas
Загрузка образца DataFrame Pandas
Как удалить строки с отсутствующими данными в Pandas с помощью .dropna()
Как использовать Pandas dropna() с подмножеством или конкретными столбцами
Как удалить столбцы с отсутствующими данными в Pandas с помощью .dropna()
Как установить порог пропущенных значений для удаления записей в Pandas
Удаление столбцов с заданным количеством отсутствующих записей
Как удалить пропущенные значения в Pandas на месте
Часто задаваемые вопросы
Заключение
Дополнительные ресурсы