Bemind
Учебник Python
Учебник Python
  • Python
    • Python Lists
      • Списковые включения в Python (Полное руководство с примерами)
      • Исправление ValueError: Слишком Много Значений Для Распаковки в Python
      • Как добавить словарь в список в Python
      • Как добавить строку в список в Python
      • Разница между массивами и списками в Python
      • Python: Различия между списками и кортежами
      • Как проверить, пуст ли список в Python
      • Как Итерировать (Циклически Проходить) По Списку в Python
      • Python List sort(): Подробное руководство по сортировке списков
      • Python List Extend: Как добавить несколько элементов в список
      • Python: Найти Индекс Всех Вхождений Элемента в Списке
      • Конвертация списка словарей в Pandas DataFrame
      • Генерация случайных чисел в Python
      • Поиск Индекса в Списке Python: Найти Первое, Последнее или Все Вхождения
      • Добавить в начало списка в Python (Вставить в начало)
      • Найти дубликаты в списке Python
      • Python: Умножение Списков (6 Различных Способов)
      • Python списки: Полный обзор
      • Python: Выбор случайного элемента из списка
      • 4 Способа Очистить Список в Python
      • Объяснение ошибки IndexError в Python: индекс списка выходит за пределы допустимого диапазона
      • Python: Получение индекса максимального элемента в списке
      • Python: Объединение списков – Слияние списков (8 способов)
      • Python: Проверка наличия элемента в списке
      • Python: Проверка наличия элемента в списке
      • Удаление элемента из списка в Python (pop, remove, del, clear)
      • Как перевернуть список в Python (6 способов)
      • Python: Замена элемента в списке (6 различных способов)
      • Python: Удаление дубликатов из списка (7 способов)
      • Python: Преобразование словаря в список кортежей (4 простых способа)
      • Python: Перемешать Список (Случайное Распределение Элементов Списка в Python)
      • Python: Пересечение двух списков
      • Python: Вычитание двух списков (4 простых способа!)
      • Длина или Размер Списка в Python: 5 Способов Узнать Длину Списка
      • Python: Транспонирование списка списков (5 простых способов!)
      • Python: Разделение списка (Пополам, на части)
      • Python: Комбинации списка (Получить все комбинации списка)
      • Python: Выравнивание списка списков (4 способа)
      • Разница между списками в Python: Нахождение разницы между двумя списками Python
      • Python: Найти среднее значение списка или списка списков
      • Как добавлять элементы в списки в Python – 4 простых способа!
      • Списковые включения в Python (Полное руководство с примерами)
      • 6 способов преобразовать список Python в строку
    • Python Dictionaries
      • Понимание словаря Python (с примерами)
      • Исправляем ValueError: Слишком Много Значений Для Распаковки в Python
      • Как добавить словарь в список в Python
      • Преобразование JSON в словарь Python
      • Полное руководство по вложенным словарям в Python
      • Копирование словаря в Python: Полное руководство
      • Конвертация списка словарей в Pandas DataFrame
      • Поиск дубликатов в списке Python
      • Полный обзор словарей в Python
      • Python: Добавление пары Ключ:Значение в Словарь
      • Python: Сортировка словаря по значениям
      • Слияние Словарей в Python – Комбинирование Словарей (7 Способов)
      • Python: Удаление Дубликатов из Списка (7 Способов)
      • Python: Преобразование словаря в список кортежей (4 простых способа)
      • Python: Красивая Печать Словаря (Dictionary) – 4 Способа
      • Python: Проверка пуст ли словарь (5 способов!)
      • Copy of Python: Проверка пуст ли словарь (5 способов!)
      • Python: Проверьте, существует ли ключ (или значение) в словаре (5 простых способов)
      • Python: Проверьте, существует ли ключ (или значение) в словаре (5 простых способов)
      • Python: Получение Ключа Словаря с Максимальным Значением (4 Способа)
      • Python: Удаление ключа из словаря (4 разных способа)
      • Как красиво вывести JSON-файл в Python (6 методов)
    • Python Strings
      • Python Капитализация Строк: Руководство по Преобразованию слов в Заглавные
      • Python strip: Как обрезать строку в Python
      • Python Обратная Строка: Руководство по Реверсированию Строк
      • Как Удалить Префикс или Суффикс из Строки в Python
      • Преобразование строки в формат заголовка в Python с помощью str.title()
      • Как добавить строку в список в Python
      • Python String startswith: Проверка, начинается ли строка с подстроки
      • Python String endswith: Проверка того, заканчивается ли строка подстрокой
      • Как удалить первый или последний символ из строки в Python
      • Как исправить: SyntaxError в Python - EOL при сканировании строкового литерала
      • Python String Contains: Проверка Наличия Подстроки в Строке
      • Как проверить, пустая ли строка в Python
      • Python Новая Строка и Как Печатать Без Переноса Строки
      • Как Конкатенировать Строки в Python: Полное Руководство
      • Python: Подсчет слов в строке или файле
      • Как создать список алфавита в Python
      • Python: Конкатенация строки и целого числа (Int)
      • Python: Сортировка строки (4 различных способа)
      • Python zfill и rjust: Добавление нулей в строку в Python
      • Python: Целое в Двоичное (Преобразование целого числа в двоичную строку)
      • Python rfind: Нахождение индекса последней подстроки в строке
      • Python SHA256 хеширование алгоритм: объяснение
      • Python: Усечение числа с плавающей точкой (6 различных способов)
      • Выбор между методами Python isdigit(), isnumeric() и isdecimal()
      • Python: Удаление специальных символов из строки
      • Python Приведение Строки к Нижнему Регистру с помощью .lower(), .casefold(), и .islower()
      • Python программа для проверки, является ли строка палиндромом (6 методов)
      • Python: Найдите все перестановки строки (3 легких способа!)
      • Python: Удаление пунктуации из строки (3 разных способа!)
      • Python: Найти индекс (или все индексы) подстроки в строке
      • Python: Удаление символов новой строки из строки
      • Python: Удаление символа из строки (4 способа)
      • Python: Количество вхождений в строке (4 способа!)
    • Встроенные функции Python
      • abs()
      • ascii()
      • aiter()
      • all()
      • any()
      • anext()
      • bin()
      • bool()
      • breakpoint()
      • bytearray()
      • bytes()
      • callable()
      • chr()
      • classmethod()
      • compile()
      • complex()
      • delattr()
      • dict()
      • dir()
      • divmod()
      • enumerate()
      • eval()
      • exec()
      • filter()
      • float()
      • format()
      • frozenset()
      • getattr()
      • globals()
      • hasattr()
      • hash()
      • help()
      • hex()
      • id()
      • input()
      • int()
      • issubclass()
      • iter()
      • len()
      • list()
      • locals()
      • map()
      • max()
      • memoryview()
      • min()
      • next()
      • object()
      • oct()
      • open()
      • ord()
      • pow()
      • print()
      • property()
      • range()
      • repr()
      • reversed()
      • round()
      • set()
      • setattr()
      • isinstance()
      • slice()
      • zip()
      • type()
      • sorted()
      • staticmethod()
      • str()
      • sum()
      • super()
      • tuple()
      • vars()
      • import()
    • Cобеседования Python. Разбор реальных вопросов.
    • Встроенные методы в Python
  • Учебники по Pandas и Numpy
    • Numpy
      • Функция активации ReLU для глубокого обучения: полное руководство по выпрямленному линейному блоку
      • Как нормализовать массивы NumPy (минимальное-максимальное масштабирование, Z-оценка, L2)
      • NumPy where: Условная обработка элементов массива
      • NumPy linspace: создание равномерно расположенных массивов с помощью np.linspace
      • Как рассчитать векторное произведение в Python
      • Разделение NumPy: Разделение массива NumPy на части
      • NumPy: Лучшие способы применения функции к массиву
      • NumPy full: Создание массивов с заданным значением
      • NumPy clip(): Ограничьте значения массива минимальным и максимальным значениями
      • NumPy cumsum: Расчет кумулятивных сумм массивов NumPy
      • Изучаем функцию np.histogram в NumPy: создаем гистограмму
      • NumPy arange(): Полное руководство (с примерами)
      • Руководство по индексации и срезам массивов NumPy: Полное руководство
      • NumPy argmin(): Получение индекса минимального значения в массивах
      • Выравнивание массива с помощью NumPy flatten
      • Объединение массивов NumPy по различным осям с использованием функции stack
      • Удаление размерности из массивов NumPy с помощью NumPy Squeeze
      • Функция np.repeat() NumPy: Повторение массивов NumPy
      • Использование функции NumPy.exp() для вычисления экспоненты
      • Реализация функции сигмоида на Python
      • NumPy Pad: Использование np.pad() для дополнения массивов и матриц
      • np.argmax(): Как использовать NumPy Argmax
      • NumPy logspace: Понимание функции np.logspace()
      • Использование NumPy Tile для Расположения Массивов
      • NumPy Zeros: Создание массивов и матриц с нулями в NumPy
      • Использование числа Пи в Python (NumPy и Math)
      • Распределение Нормального (Гауссова) Распределения в Numpy (Случайное Нормальное в Numpy)
      • NumPy для Data Science на Python
      • Расчет скалярного произведения с использованием Numpy в Python
      • Расчет натурального логарифма на Python
    • Pandas
      • Python сводные таблицы – Полное руководство
      • Изучение API стиля Pandas
      • Объяснение группировки по нескольким столбцам в Pandas с примерами
      • Удаление индексной колонки DataFrame в Pandas: Руководство с примерами
      • Pandas Quantile: Расчет процентилей в DataFrame
      • Как рассчитать скользящее среднее (среднее арифметическое) в Pandas
      • Руководство по использованию метода fillna в Pandas для работы с отсутствующими данными в DataFrame
      • Pandas unique(): Получение уникальных значений в DataFrame
      • Распакуйте Ваши Данные с Помощью Функции Melt в Pandas
      • Pandas date_range: Как Создать Диапазон Дат в Pandas
      • Сброс индекса в Pandas: как сбросить индекс в Pandas
      • Pandas replace() – Замена значений в DataFrame Pandas
      • Перемещение столбца DataFrame Pandas на позицию (В начало и в конец)
      • Учебное пособие по Python Pandas: полное руководство
      • Pandas: Замена NaN на нули
      • Преобразование DataFrame Pandas в файл Pickle
      • Конвертация Pandas DataFrame в JSON
      • Преобразование DataFrame Pandas в Словарь
      • Преобразование Pandas DataFrame в Список
      • Чтение файлов Parquet в Pandas с помощью pd.read_parquet
      • Pandas dropna(): Удаление отсутствующих записей и столбцов в DataFrame
      • Как Добавить Новый Столбец в DataFrame Pandas
      • Подсчёт уникальных значений в Pandas
      • Отображение всех столбцов и строк в DataFrame Pandas
      • Pandas to_excel: Запись DataFrames в файлы Excel
      • Как использовать Pandas для чтения файлов Excel в Python
      • Преобразование списка словарей в Pandas DataFrame
      • Как добавить/вставить строку в DataFrame Pandas
      • Диаграмма рассеяния в Pandas: Как создать диаграмму рассеяния в Pandas
      • Pandas to_datetime: Преобразование строки Pandas в дату и время
      • Введение в Pandas для Data Science
      • Индексация, Выборка и Присваивание Данных в Pandas
      • Суммирование и Анализ Pandas DataFrame
      • Преобразование столбцов Pandas с помощью map и apply
      • Группировка данных в Pandas с использованием cut и qcut
      • Дата и время в Pandas и Python
      • Очистка и подготовка данных в Pandas и Python
      • Pandas GroupBy: группировка, суммирование и агрегация данных в Python
      • Pandas Дата и Время в Части Даты (месяц, год и т.д.)
      • Pandas: Получение номера строки из DataFrame
      • Вычисление Взвешенного Среднего в Pandas и Python
      • Как перемешать строки Pandas Dataframe в Python
      • Pandas: количество столбцов (подсчет столбцов в DataFrame)
      • Pandas Sum: сложение столбцов и строк DataFrame
      • Pandas Diff: Вычисление Разницы Между Строками Pandas
      • Нормализация столбца или датафрейма Pandas (с использованием Pandas или sklearn)
      • Функция Rank в Pandas: Ранжирование данных в Dataframe (Эквивалент SQL row_number)
      • Pandas Describe: Описательная статистика вашего Dataframe
      • Pandas Shift: Перемещение столбца DataFrame вверх или вниз
      • 7 Способов Выполнения Выборки Данных в Pandas
      • Экспорт DataFrame Pandas в CSV файл – Использование .to_csv()
      • Pandas: Итерация по строкам DataFrame в Pandas
      • Pandas: Преобразование значений столбца в строки
      • Дисперсия в Pandas: Вычисление дисперсии столбца в Pandas Dataframe
      • Pandas: Создание DataFrame из списков (5 способов!)
      • Pandas Rename Index: Как переименовать индекс DataFrame в Pandas
      • Pandas: Подсчёт уникальных значений в объекте GroupBy
      • Pandas: Добавить дни к колонке с датами
      • Среднее в Pandas: Как рассчитать среднее для одной или нескольких колонок
      • Pandas Column to List – Конвертируйте колонку Pandas в список
      • Транспонирование Dataframe в Pandas
      • Python: Разделение DataFrame Pandas
      • Как получить имена столбцов в DataFrame Pandas
      • Pandas: Количество строк в DataFrame (6 способов)
      • Создание пустого DataFrame Pandas и добавление данных
      • Как переименовать столбцы в Pandas DataFrame (с примерами)
      • Изменение порядка столбцов в Pandas: использование метода reindex и метода insert
      • Pandas get_dummies (One-Hot кодирование), объяснение
      • Относительные и Абсолютные Частоты в Python и Pandas
      • Финансовый год – Определение финансового года в Pandas
      • Как сортировать данные в DataFrame Pandas
  • Учебники Matplotlib и Seaborn
    • Seaborn
      • Регрессионные графики в Seaborn с использованием regplot и lmplot
      • Seaborn residplot – Построение остатков линейной регрессии
      • Seaborn jointplot() – Создание совместных графиков в Seaborn
      • Seaborn displot – Распределенческие графики в Python
      • Seaborn ecdfplot – Эмпирические функции накопленного распределения
      • Seaborn rugplot – Визуализация маргинальных распределений
      • Seaborn kdeplot – Создание графиков оценки плотности ядра
      • Seaborn histplot – Создание Гистограмм в Seaborn
      • Seaborn catplot – Визуализация категориальных данных в Python
      • Средняя тенденция для категориальных данных в Seaborn Pointplot
      • Seaborn stripplot: Jitter Plots для распределений категориальных данных
      • Seaborn Countplot – Подсчет категориальных данных в Python
      • Seaborn swarmplot: Bee Swarm Plots для распределения категориальных данных
      • Скрипичные графики Seaborn в Python: Полное руководство
      • Настройка расположения легенд Seaborn, меток, текста и т.д.
      • Тепловая карта Seaborn: Полное руководство
      • Создание многосекционных сеток в Seaborn с помощью FacetGrid
      • Удаление рамки в Seaborn: Как работать с рамкой
      • Заголовки и метки осей в Seaborn: добавление и настройка
      • Как установить Seaborn в Python (Исправление: no module named seaborn)
      • Seaborn relplot – Создание точечных и линейных графиков
      • Полное руководство по созданию точечных диаграмм (scatter plots) в Python с использованием Seaborn
    • Matplotlib
      • Режим Retina в Matplotlib: Улучшение Качества Графиков
      • Как построить функцию в Python с использованием Matplotlib
      • Как создать 3D-диаграммы рассеяния в Matplotlib
      • Как изменить размер шрифта в графике Matplotlib
      • Установка размера маркера в точечных диаграммах Matplotlib
      • Как изменить размер графика и фигуры в Matplotlib
      • Как добавить названия в Matplotlib: Заголовок, Подзаголовок, Названия Осей
      • Pandas Scatter Plot: Как создать диаграмму рассеяния в Pandas
      • Построение графиков в Python с помощью Matplotlib
      • Диаграммы рассеяния Matplotlib – Все, что вам нужно знать
      • Диаграммы с столбцами в Matplotlib – Узнайте все, что вам нужно знать
      • Линейные диаграммы Matplotlib – Всё, что вам нужно знать
      • Построение гистограммы в Python с Matplotlib и Pandas
  • Алгоритмы
    • Алгоритм поиска в ширину (BFS) в Python
    • Алгоритм поиска в глубину (DFS) на Python
  • AI создает хедж-фонд для анализа акций на Python
Powered by GitBook
On this page
  • Загрузка примера Pandas DataFrame
  • Сводные функции Pandas
  • Нахождение Стандартного Отклонения в Pandas DataFrame
  • Нахождение Асимметрии (Skew) в Pandas DataFrame
  • Чтение Документации Pandas
  • Получение Сводных Статистик с Помощью Pandas describe
  • Нахождение Уникальных Значений в Pandas DataFrame
  • Создание Кросс-таблиц для Pandas DataFrame
  • Упражнения
  • Заключение и повторение
  • Дополнительные ресурсы
  1. Учебники по Pandas и Numpy
  2. Pandas

Суммирование и Анализ Pandas DataFrame

PreviousИндексация, Выборка и Присваивание Данных в PandasNextПреобразование столбцов Pandas с помощью map и apply

Last updated 4 months ago

В этом уроке вы узнаете, как быстро суммировать и анализировать Pandas DataFrame. К концу этого урока вы сможете проводить некоторый исследовательский анализ вашего набора данных с помощью pandas. Вы узнаете, как рассчитывать общие характеристики вашего набора данных, такие как меры центральной тенденции или меры разброса. Вы также узнаете, как считать уникальные значения и легко получать сводную статистику для всего DataFrame.

Вы узнаете, как проводить исследовательский анализ данных (EDA), который является критическим первым шагом в любом виде анализа данных или машинного обучения. Этот процесс позволяет вам обнаруживать закономерности и аномалии в ваших данных. Это позволяет вам формулировать предположения и начинать создавать тесты для их проверки. Изучение этих навыков будет критически важно для многих других задач по манипуляции и работе с данными. Давайте начнем!

Содержание

  • З

Загрузка примера Pandas DataFrame

Давайте загрузим пример Pandas DataFrame, который мы будем использовать на протяжении всего урока. Урок размещается на нашей странице GitHub и может быть загружен путем копирования и вставки приведенного ниже кода. Также выведем первые пять записей нашего DataFrame с помощью функции .head().

# Загрузка нашего Pandas DataFrame
df = pd.read_csv('https://raw.githubusercontent.com/datagy/data/main/sales.csv')
print(df.head())

# Возвращает:
#         date  gender      region  sales
# 0  8/22/2022    Male  North-West  20381
# 1   3/5/2022    Male  North-East  14495
# 2   2/9/2022    Male  North-East  13510
# 3  6/22/2022    Male  North-East  15983
# 4  8/10/2022  Female  North-West  15007

Мы видим, что у нас есть четыре различных столбца:

  1. Столбец date, который содержит дату транзакции

  2. Столбцы gender и region, которые содержат категориальные переменные

  3. Столбец sales, который содержит сумму продаж

Давайте углубимся в проведение исследовательского анализа данных нашего DataFrame!

Сводные функции Pandas

Pandas предоставляет множество сводных функций, которые помогают нам лучше понять наш набор данных. Эти функции достаточно умны, чтобы определить, к Series или DataFrame мы применяем эти функции. Pandas автоматически будет размещать сводный метод там, где это необходимо.

В следующих разделах вы рассмотрите только несколько ключевых методов, доступных вам. Вы узнаете, как найти среднее значение столбца, стандартное отклонение и асимметрию, а также сложить столбец и получить полезную сводную статистику за один раз.

Нахождение Среднего Значения в Pandas DataFrame

Давайте начнем с простого вычисления: нахождения среднего (или среднего значения) в Pandas DataFrame. Pandas предоставляет удобный метод для этого — .mean(). Мы можем применить этот метод к одному столбцу или к нескольким столбцам. Давайте посмотрим, как это делается:

# Вычисление среднего значения для одного столбца
print(df['sales'].mean())

# Возвращает: 19044.489

Мы видим здесь, что применение метода .mean() к одному столбцу возвращает скалярное значение. Это означает, что мы можем легко получить это значение напрямую, присвоить его переменной и использовать в других местах. Что произойдет, если мы применим этот метод ко всему DataFrame? Pandas позволяет нам указать, что мы хотим вычислить среднее только для числовых столбцов, используя параметр numeric_only = True.

# Вычисление среднего значения для всего dataframe
print(df.mean(numeric_only=True))

# Возвращает: 
# sales    19044.489
# dtype: float64

Это фактически возвращает pandas Series – что означает, что мы можем индексировать значения, которые нас интересуют. Например, если бы мы вывели df.mean(numeric_only=True)['sales'], то вернулось бы то же значение, как и при вычислении среднего только для одного столбца. По умолчанию Pandas игнорирует пропущенные значения при вычислении среднего. Однако мы можем включить их в расчет, указав skipna=False в качестве параметра.

Нахождение Стандартного Отклонения в Pandas DataFrame

Pandas также предоставляет удобный метод для вычисления стандартного отклонения. Стандартное отклонение является полезной мерой для определения, насколько распределены данные. Например, небольшое стандартное отклонение означает, что данные сгруппированы близко друг к другу. Наоборот, большое стандартное отклонение указывает на то, что данные имеют гораздо большее разбросание. Для вычисления стандартного отклонения в Pandas мы используем метод .std(). Как и метод .mean(), мы можем применить этот метод к одному столбцу, к нескольким столбцам или ко всему DataFrame. Одним из преимуществ использования Pandas является то, что многие методы используют похожую конвенцию и позволяют передавать те же параметры. Давайте применим метод ко всему DataFrame, указывая, чтобы пропуски игнорировались и включались только числовые столбцы:

# Вычисление стандартного отклонения для всего dataframe
print(df.std(numeric_only=True))

# Возвращает: 
# sales    5484.674161
# dtype: float64

Аналогично нашему предыдущему примеру, этот метод возвращает pandas Series при применении к более чем одному столбцу.

Нахождение Асимметрии (Skew) в Pandas DataFrame

Асимметрия измеряет асимметрию нормального распределения от среднего значения этого распределения. Значение асимметрии может быть положительным или отрицательным, в зависимости от направления смещения. Таблица ниже разбивает некоторые распространенные диапазоны значений асимметрии:

Значение асимметрии
Направление
Степень асимметрии

< -1

Left

High

> -1 and < -0.5

Left

Moderate

> -0.5 and < 0

Left

Approximately symmetric

0

N/A

Completely symmetric

> 0 and < 0.5

Right

Approximately symmetric

> 0.5 and < 1

Right

Moderate

> 1

Right

High

Мы можем измерить асимметрию с помощью метода .skew(). Аналогично предыдущим примерам, мы можем вычислить асимметрию для одного столбца, нескольких столбцов и всего DataFrame с использованием метода .skew(). Давайте посмотрим, что происходит, когда мы вычисляем асимметрию только для числовых столбцов:

# Вычисление асимметрии с помощью .skew()
print(df.skew(numeric_only=True))

# Возвращает: 
# sales    0.827105
# dtype: float64

В приведенном выше примере данные о продажах имеют умеренную положительную асимметрию, что означает, что данные склонены вправо.

Чтение Документации Pandas

Перед тем как продолжать искать различные способы исследования и анализа вашего набора данных, давайте рассмотрим чтение документации Pandas. Почему это важно? Способность читать документацию может показаться немного пугающей сначала, но в конечном итоге оказывается невероятно ценным ресурсом.

Эта документация предоставляет информацию о параметрах и возвращаемых значениях метода, а также примеры использования.

В документации pandas есть четыре основных раздела:

  1. Method Name: здесь мы видим, например, что рассматриваем метод DataFrame (в отличие от метода Series).

  2. Description: это предоставляет простое описание на английском языке того, что делает метод.

  3. Parameters: различные параметры, которые принимает метод и как с ними работать. Мы видим, например, что по умолчанию Pandas пропускает отсутствующие данные.

  4. Returns: то, что возвращает метод (то есть, что ожидать).

Теперь ваша очередь! Попробуйте найти метод, который суммирует значения столбца. Затем в вашем редакторе кода попробуйте написать строку кода для суммирования всех значений в столбце sales.

# Суммирование всех значений в столбце sales
print(df['sales'].sum())

Получение Сводных Статистик с Помощью Pandas describe

В предыдущих разделах вы узнали, как рассчитывать отдельные статистики, такие как среднее или стандартное отклонение. Хотя этот подход работает, часто возникает необходимость получить общее представление о наборе данных. В этом случае приходит на помощь метод Pandas .describe().

Метод предоставляет несколько полезных статистик, таких как среднее, стандартное отклонение и квартили данных. Давайте попробуем использовать этот метод, чтобы посмотреть, что он возвращает:

# Получение сводных статистик для всего DataFrame
print(df.describe())

# Возвращает: 
#               sales
# count   1000.000000
# mean   19044.489000
# std     5484.674161
# min     6084.000000
# 25%    15628.000000
# 50%    17983.500000
# 75%    21612.500000
# max    43775.000000

Этот код выведет таблицу со сводными статистиками для числовых столбцов DataFrame, включая среднее значение, стандартное отклонение, минимум, квартили и максимум.

Метод .describe() возвращает целый массив информации о числовых столбцах в нашем DataFrame. Когда метод применяется к одному столбцу, он возвращает Series. В то же время, когда он применяется к нескольким столбцам, возвращается DataFrame.

Нахождение Уникальных Значений в Pandas DataFrame

Другая распространенная операция, которую вы будете выполнять, — это идентификация различных уникальных значений, существующих в данном столбце. Поскольку ввод данных часто несовершенен, мы можем использовать поиск уникальных значений как способ выявить качество данных в наборе данных. Это также дает нам представление о полноте данных и любых проблемах с целостностью данных, которые могут возникнуть.

Давайте рассмотрим пример: мы хотим увидеть, какие уникальные значения есть в столбце region. Для этого можно использовать метод .unique().

# Получение уникальных значений из столбца region
unique_regions = df['region'].unique()
print(unique_regions)

# Возвращает:  ['North-West' 'North-East' 'South']

Этот код выведет массив уникальных значений, присутствующих в столбце region.

Мы видим, что метод возвращает список уникальных значений в нашем столбце. Существует много других нюансов этого метода, но понимание того, как получать уникальные значения, — отличный первый шаг.

Создание Кросс-таблиц для Pandas DataFrame

В этом финальном разделе мы рассмотрим создание кросс-таблицы из нашего набора данных. Кросс-таблица показывает взаимосвязь между двумя или более категориальными переменными, отображая количество записей, попадающих в пересечение этих двух переменных.

Это может быть полезно для демонстрации того, как данные распределяются по различным категориальным или числовым переменным.

Давайте рассмотрим пример создания кросс-таблицы:

# Создание первой кросс-таблицы
tab = pd.crosstab(
    index=df['region'],
    columns=df['gender'],
)

print(tab)

# Возвращает:
# gender      Female  Male
# region                  
# North-East     177   170
# North-West     161   161
# South          167   164

Мы видим, что по умолчанию Pandas предоставляет количество записей для этих различных категорий. Однако мы также можем изменить это поведение, чтобы получить другую агрегацию.

Например, мы можем передать параметры values= и aggfunc=, чтобы переопределить нормальное поведение. Давайте, например, рассмотрим те же две категории, но предоставим сумму всех продаж:

# Сложение значений с помощью кросс-таблицы
tab = pd.crosstab(
    index=df['region'],
    columns=df['gender'],
    values=df['sales'],
    aggfunc='sum'
)

print(tab)

# Возвращает:
# gender       Female     Male
# region                      
# North-East  3051132  2981835
# North-West  2455899  2457091
# South       4135688  3962844

Этот код создаст кросс-таблицу, показывающую сумму продаж для каждой комбинации значений в столбцах region и category.

Мы видим, как полезна эта типовая предварительная аналитика! Например, мы можем выявить, что продажи в южном регионе значительно выше, а продажи в северо-западном регионе наименьшие.

Упражнения

Пришло время проверить свои знания! Посмотрите на упражнения ниже и попробуйте решить их. Решения доступны, нажав кнопку переключения рядом с каждым вопросом.

Вопрос 1

Что является 75-й процентилем столбца sales?

Используйте метод .describe(), чтобы вычислить некоторые базовые статистики, а затем обратитесь к значению ['75%']:

# Доступ к 75-му перцентилю столбца sales
print(df['sales'].describe()['75%'])
# Возвращает: 21612.5
Вопрос 2

Сколько продаж совершили женщины в южном регионе?

Один из способов найти это — использовать кросс-таблицу и найти пересечение между Female и South:

# Определение количества продаж, совершенных женщинами в южном регионе
print(pd.crosstab(
    index=df['region'],
    columns=df['gender']
).loc['South', 'Female'])

# Возвращает: 167
Вопрос 3

Посчитайте количество уникальных значений в столбце ‘region’.

Поскольку метод .unique() возвращает список, мы можем легко передать этот список в функцию len(), чтобы вычислить его длину:

# Подсчет количества уникальных значений в столбце region
print(len(df['region'].unique()))

# Возвращает: 3
Вопрос 4

Какова была максимальная продажа?

При поиске в документации pandas вы можете наткнуться на метод .max(), который возвращает максимальное значение для данного столбца. Вы можете применить этот метод к столбцу sales:

# Поиск значения максимальной продажи
print(df['sales'].max())
# Возвращает: 21612.5

Заключение и повторение

В этом руководстве вы узнали, как исследовать данные с помощью Pandas DataFrame. Вы научились использовать некоторые методы для расчета статистик, а также как использовать метод .describe(), чтобы получить некоторые инсайты в DataFrame. Вы также узнали, как использовать метод .crosstab() для подсчета частот и других ценных инсайтов. Наконец, вы научились использовать документацию Pandas для поиска и понимания других полезных методов и функций.

Дополнительные ресурсы

Для изучения связанных тем ознакомьтесь с статьями ниже:

  • Pandas Describe: Описательная статистика вашего DataFrame

  • Как вычислить коэффициент корреляции Пирсона в Python

  • Как рассчитать Z-оценку в Python (4 способа)

  • Pandas value_counts для подсчета уникальных значений

Посмотрите на документацию для метода .mean(), которую можно найти . Ниже приведена картинка из документации, которая поможет вам понять, как использовать этот метод:

Документация по методу Pandas .mean()

Решение Поскольку вы хотите сложить все значения в данном столбце или по всему DataFrame, мы знаем, что хотим рассчитать сумму. При поиске метода sum возвращается несколько различных элементов, включая страницу . Здесь можно увидеть, что мы можем просто применить этот метод к DataFrame или к столбцу.

здесь
pandas.DataFrame.sum
Загрузка примера Pandas DataFrame
Сводные функции Pandas
Чтение документации Pandas
Получение сводной статистики с помощью Pandas describe
Поиск уникальных значений в Pandas DataFrame
Создание кросс-табуляций в Pandas DataFrame
Упражнения
аключение и повторение
Дополнительные ресурсы