Bemind
Учебник Python
Учебник Python
  • Python
    • Python Lists
      • Списковые включения в Python (Полное руководство с примерами)
      • Исправление ValueError: Слишком Много Значений Для Распаковки в Python
      • Как добавить словарь в список в Python
      • Как добавить строку в список в Python
      • Разница между массивами и списками в Python
      • Python: Различия между списками и кортежами
      • Как проверить, пуст ли список в Python
      • Как Итерировать (Циклически Проходить) По Списку в Python
      • Python List sort(): Подробное руководство по сортировке списков
      • Python List Extend: Как добавить несколько элементов в список
      • Python: Найти Индекс Всех Вхождений Элемента в Списке
      • Конвертация списка словарей в Pandas DataFrame
      • Генерация случайных чисел в Python
      • Поиск Индекса в Списке Python: Найти Первое, Последнее или Все Вхождения
      • Добавить в начало списка в Python (Вставить в начало)
      • Найти дубликаты в списке Python
      • Python: Умножение Списков (6 Различных Способов)
      • Python списки: Полный обзор
      • Python: Выбор случайного элемента из списка
      • 4 Способа Очистить Список в Python
      • Объяснение ошибки IndexError в Python: индекс списка выходит за пределы допустимого диапазона
      • Python: Получение индекса максимального элемента в списке
      • Python: Объединение списков – Слияние списков (8 способов)
      • Python: Проверка наличия элемента в списке
      • Python: Проверка наличия элемента в списке
      • Удаление элемента из списка в Python (pop, remove, del, clear)
      • Как перевернуть список в Python (6 способов)
      • Python: Замена элемента в списке (6 различных способов)
      • Python: Удаление дубликатов из списка (7 способов)
      • Python: Преобразование словаря в список кортежей (4 простых способа)
      • Python: Перемешать Список (Случайное Распределение Элементов Списка в Python)
      • Python: Пересечение двух списков
      • Python: Вычитание двух списков (4 простых способа!)
      • Длина или Размер Списка в Python: 5 Способов Узнать Длину Списка
      • Python: Транспонирование списка списков (5 простых способов!)
      • Python: Разделение списка (Пополам, на части)
      • Python: Комбинации списка (Получить все комбинации списка)
      • Python: Выравнивание списка списков (4 способа)
      • Разница между списками в Python: Нахождение разницы между двумя списками Python
      • Python: Найти среднее значение списка или списка списков
      • Как добавлять элементы в списки в Python – 4 простых способа!
      • Списковые включения в Python (Полное руководство с примерами)
      • 6 способов преобразовать список Python в строку
    • Python Dictionaries
      • Понимание словаря Python (с примерами)
      • Исправляем ValueError: Слишком Много Значений Для Распаковки в Python
      • Как добавить словарь в список в Python
      • Преобразование JSON в словарь Python
      • Полное руководство по вложенным словарям в Python
      • Копирование словаря в Python: Полное руководство
      • Конвертация списка словарей в Pandas DataFrame
      • Поиск дубликатов в списке Python
      • Полный обзор словарей в Python
      • Python: Добавление пары Ключ:Значение в Словарь
      • Python: Сортировка словаря по значениям
      • Слияние Словарей в Python – Комбинирование Словарей (7 Способов)
      • Python: Удаление Дубликатов из Списка (7 Способов)
      • Python: Преобразование словаря в список кортежей (4 простых способа)
      • Python: Красивая Печать Словаря (Dictionary) – 4 Способа
      • Python: Проверка пуст ли словарь (5 способов!)
      • Copy of Python: Проверка пуст ли словарь (5 способов!)
      • Python: Проверьте, существует ли ключ (или значение) в словаре (5 простых способов)
      • Python: Проверьте, существует ли ключ (или значение) в словаре (5 простых способов)
      • Python: Получение Ключа Словаря с Максимальным Значением (4 Способа)
      • Python: Удаление ключа из словаря (4 разных способа)
      • Как красиво вывести JSON-файл в Python (6 методов)
    • Python Strings
      • Python Капитализация Строк: Руководство по Преобразованию слов в Заглавные
      • Python strip: Как обрезать строку в Python
      • Python Обратная Строка: Руководство по Реверсированию Строк
      • Как Удалить Префикс или Суффикс из Строки в Python
      • Преобразование строки в формат заголовка в Python с помощью str.title()
      • Как добавить строку в список в Python
      • Python String startswith: Проверка, начинается ли строка с подстроки
      • Python String endswith: Проверка того, заканчивается ли строка подстрокой
      • Как удалить первый или последний символ из строки в Python
      • Как исправить: SyntaxError в Python - EOL при сканировании строкового литерала
      • Python String Contains: Проверка Наличия Подстроки в Строке
      • Как проверить, пустая ли строка в Python
      • Python Новая Строка и Как Печатать Без Переноса Строки
      • Как Конкатенировать Строки в Python: Полное Руководство
      • Python: Подсчет слов в строке или файле
      • Как создать список алфавита в Python
      • Python: Конкатенация строки и целого числа (Int)
      • Python: Сортировка строки (4 различных способа)
      • Python zfill и rjust: Добавление нулей в строку в Python
      • Python: Целое в Двоичное (Преобразование целого числа в двоичную строку)
      • Python rfind: Нахождение индекса последней подстроки в строке
      • Python SHA256 хеширование алгоритм: объяснение
      • Python: Усечение числа с плавающей точкой (6 различных способов)
      • Выбор между методами Python isdigit(), isnumeric() и isdecimal()
      • Python: Удаление специальных символов из строки
      • Python Приведение Строки к Нижнему Регистру с помощью .lower(), .casefold(), и .islower()
      • Python программа для проверки, является ли строка палиндромом (6 методов)
      • Python: Найдите все перестановки строки (3 легких способа!)
      • Python: Удаление пунктуации из строки (3 разных способа!)
      • Python: Найти индекс (или все индексы) подстроки в строке
      • Python: Удаление символов новой строки из строки
      • Python: Удаление символа из строки (4 способа)
      • Python: Количество вхождений в строке (4 способа!)
    • Встроенные функции Python
      • abs()
      • ascii()
      • aiter()
      • all()
      • any()
      • anext()
      • bin()
      • bool()
      • breakpoint()
      • bytearray()
      • bytes()
      • callable()
      • chr()
      • classmethod()
      • compile()
      • complex()
      • delattr()
      • dict()
      • dir()
      • divmod()
      • enumerate()
      • eval()
      • exec()
      • filter()
      • float()
      • format()
      • frozenset()
      • getattr()
      • globals()
      • hasattr()
      • hash()
      • help()
      • hex()
      • id()
      • input()
      • int()
      • issubclass()
      • iter()
      • len()
      • list()
      • locals()
      • map()
      • max()
      • memoryview()
      • min()
      • next()
      • object()
      • oct()
      • open()
      • ord()
      • pow()
      • print()
      • property()
      • range()
      • repr()
      • reversed()
      • round()
      • set()
      • setattr()
      • isinstance()
      • slice()
      • zip()
      • type()
      • sorted()
      • staticmethod()
      • str()
      • sum()
      • super()
      • tuple()
      • vars()
      • import()
    • Cобеседования Python. Разбор реальных вопросов.
    • Встроенные методы в Python
  • Учебники по Pandas и Numpy
    • Numpy
      • Функция активации ReLU для глубокого обучения: полное руководство по выпрямленному линейному блоку
      • Как нормализовать массивы NumPy (минимальное-максимальное масштабирование, Z-оценка, L2)
      • NumPy where: Условная обработка элементов массива
      • NumPy linspace: создание равномерно расположенных массивов с помощью np.linspace
      • Как рассчитать векторное произведение в Python
      • Разделение NumPy: Разделение массива NumPy на части
      • NumPy: Лучшие способы применения функции к массиву
      • NumPy full: Создание массивов с заданным значением
      • NumPy clip(): Ограничьте значения массива минимальным и максимальным значениями
      • NumPy cumsum: Расчет кумулятивных сумм массивов NumPy
      • Изучаем функцию np.histogram в NumPy: создаем гистограмму
      • NumPy arange(): Полное руководство (с примерами)
      • Руководство по индексации и срезам массивов NumPy: Полное руководство
      • NumPy argmin(): Получение индекса минимального значения в массивах
      • Выравнивание массива с помощью NumPy flatten
      • Объединение массивов NumPy по различным осям с использованием функции stack
      • Удаление размерности из массивов NumPy с помощью NumPy Squeeze
      • Функция np.repeat() NumPy: Повторение массивов NumPy
      • Использование функции NumPy.exp() для вычисления экспоненты
      • Реализация функции сигмоида на Python
      • NumPy Pad: Использование np.pad() для дополнения массивов и матриц
      • np.argmax(): Как использовать NumPy Argmax
      • NumPy logspace: Понимание функции np.logspace()
      • Использование NumPy Tile для Расположения Массивов
      • NumPy Zeros: Создание массивов и матриц с нулями в NumPy
      • Использование числа Пи в Python (NumPy и Math)
      • Распределение Нормального (Гауссова) Распределения в Numpy (Случайное Нормальное в Numpy)
      • NumPy для Data Science на Python
      • Расчет скалярного произведения с использованием Numpy в Python
      • Расчет натурального логарифма на Python
    • Pandas
      • Python сводные таблицы – Полное руководство
      • Изучение API стиля Pandas
      • Объяснение группировки по нескольким столбцам в Pandas с примерами
      • Удаление индексной колонки DataFrame в Pandas: Руководство с примерами
      • Pandas Quantile: Расчет процентилей в DataFrame
      • Как рассчитать скользящее среднее (среднее арифметическое) в Pandas
      • Руководство по использованию метода fillna в Pandas для работы с отсутствующими данными в DataFrame
      • Pandas unique(): Получение уникальных значений в DataFrame
      • Распакуйте Ваши Данные с Помощью Функции Melt в Pandas
      • Pandas date_range: Как Создать Диапазон Дат в Pandas
      • Сброс индекса в Pandas: как сбросить индекс в Pandas
      • Pandas replace() – Замена значений в DataFrame Pandas
      • Перемещение столбца DataFrame Pandas на позицию (В начало и в конец)
      • Учебное пособие по Python Pandas: полное руководство
      • Pandas: Замена NaN на нули
      • Преобразование DataFrame Pandas в файл Pickle
      • Конвертация Pandas DataFrame в JSON
      • Преобразование DataFrame Pandas в Словарь
      • Преобразование Pandas DataFrame в Список
      • Чтение файлов Parquet в Pandas с помощью pd.read_parquet
      • Pandas dropna(): Удаление отсутствующих записей и столбцов в DataFrame
      • Как Добавить Новый Столбец в DataFrame Pandas
      • Подсчёт уникальных значений в Pandas
      • Отображение всех столбцов и строк в DataFrame Pandas
      • Pandas to_excel: Запись DataFrames в файлы Excel
      • Как использовать Pandas для чтения файлов Excel в Python
      • Преобразование списка словарей в Pandas DataFrame
      • Как добавить/вставить строку в DataFrame Pandas
      • Диаграмма рассеяния в Pandas: Как создать диаграмму рассеяния в Pandas
      • Pandas to_datetime: Преобразование строки Pandas в дату и время
      • Введение в Pandas для Data Science
      • Индексация, Выборка и Присваивание Данных в Pandas
      • Суммирование и Анализ Pandas DataFrame
      • Преобразование столбцов Pandas с помощью map и apply
      • Группировка данных в Pandas с использованием cut и qcut
      • Дата и время в Pandas и Python
      • Очистка и подготовка данных в Pandas и Python
      • Pandas GroupBy: группировка, суммирование и агрегация данных в Python
      • Pandas Дата и Время в Части Даты (месяц, год и т.д.)
      • Pandas: Получение номера строки из DataFrame
      • Вычисление Взвешенного Среднего в Pandas и Python
      • Как перемешать строки Pandas Dataframe в Python
      • Pandas: количество столбцов (подсчет столбцов в DataFrame)
      • Pandas Sum: сложение столбцов и строк DataFrame
      • Pandas Diff: Вычисление Разницы Между Строками Pandas
      • Нормализация столбца или датафрейма Pandas (с использованием Pandas или sklearn)
      • Функция Rank в Pandas: Ранжирование данных в Dataframe (Эквивалент SQL row_number)
      • Pandas Describe: Описательная статистика вашего Dataframe
      • Pandas Shift: Перемещение столбца DataFrame вверх или вниз
      • 7 Способов Выполнения Выборки Данных в Pandas
      • Экспорт DataFrame Pandas в CSV файл – Использование .to_csv()
      • Pandas: Итерация по строкам DataFrame в Pandas
      • Pandas: Преобразование значений столбца в строки
      • Дисперсия в Pandas: Вычисление дисперсии столбца в Pandas Dataframe
      • Pandas: Создание DataFrame из списков (5 способов!)
      • Pandas Rename Index: Как переименовать индекс DataFrame в Pandas
      • Pandas: Подсчёт уникальных значений в объекте GroupBy
      • Pandas: Добавить дни к колонке с датами
      • Среднее в Pandas: Как рассчитать среднее для одной или нескольких колонок
      • Pandas Column to List – Конвертируйте колонку Pandas в список
      • Транспонирование Dataframe в Pandas
      • Python: Разделение DataFrame Pandas
      • Как получить имена столбцов в DataFrame Pandas
      • Pandas: Количество строк в DataFrame (6 способов)
      • Создание пустого DataFrame Pandas и добавление данных
      • Как переименовать столбцы в Pandas DataFrame (с примерами)
      • Изменение порядка столбцов в Pandas: использование метода reindex и метода insert
      • Pandas get_dummies (One-Hot кодирование), объяснение
      • Относительные и Абсолютные Частоты в Python и Pandas
      • Финансовый год – Определение финансового года в Pandas
      • Как сортировать данные в DataFrame Pandas
  • Учебники Matplotlib и Seaborn
    • Seaborn
      • Регрессионные графики в Seaborn с использованием regplot и lmplot
      • Seaborn residplot – Построение остатков линейной регрессии
      • Seaborn jointplot() – Создание совместных графиков в Seaborn
      • Seaborn displot – Распределенческие графики в Python
      • Seaborn ecdfplot – Эмпирические функции накопленного распределения
      • Seaborn rugplot – Визуализация маргинальных распределений
      • Seaborn kdeplot – Создание графиков оценки плотности ядра
      • Seaborn histplot – Создание Гистограмм в Seaborn
      • Seaborn catplot – Визуализация категориальных данных в Python
      • Средняя тенденция для категориальных данных в Seaborn Pointplot
      • Seaborn stripplot: Jitter Plots для распределений категориальных данных
      • Seaborn Countplot – Подсчет категориальных данных в Python
      • Seaborn swarmplot: Bee Swarm Plots для распределения категориальных данных
      • Скрипичные графики Seaborn в Python: Полное руководство
      • Настройка расположения легенд Seaborn, меток, текста и т.д.
      • Тепловая карта Seaborn: Полное руководство
      • Создание многосекционных сеток в Seaborn с помощью FacetGrid
      • Удаление рамки в Seaborn: Как работать с рамкой
      • Заголовки и метки осей в Seaborn: добавление и настройка
      • Как установить Seaborn в Python (Исправление: no module named seaborn)
      • Seaborn relplot – Создание точечных и линейных графиков
      • Полное руководство по созданию точечных диаграмм (scatter plots) в Python с использованием Seaborn
    • Matplotlib
      • Режим Retina в Matplotlib: Улучшение Качества Графиков
      • Как построить функцию в Python с использованием Matplotlib
      • Как создать 3D-диаграммы рассеяния в Matplotlib
      • Как изменить размер шрифта в графике Matplotlib
      • Установка размера маркера в точечных диаграммах Matplotlib
      • Как изменить размер графика и фигуры в Matplotlib
      • Как добавить названия в Matplotlib: Заголовок, Подзаголовок, Названия Осей
      • Pandas Scatter Plot: Как создать диаграмму рассеяния в Pandas
      • Построение графиков в Python с помощью Matplotlib
      • Диаграммы рассеяния Matplotlib – Все, что вам нужно знать
      • Диаграммы с столбцами в Matplotlib – Узнайте все, что вам нужно знать
      • Линейные диаграммы Matplotlib – Всё, что вам нужно знать
      • Построение гистограммы в Python с Matplotlib и Pandas
  • Алгоритмы
    • Алгоритм поиска в ширину (BFS) в Python
    • Алгоритм поиска в глубину (DFS) на Python
  • AI создает хедж-фонд для анализа акций на Python
Powered by GitBook
On this page
  • Загрузка образца Pandas Dataframe
  • Перетасовать Pandas Dataframe с образцом
  • Воспроизведите ваш перетасованный фрейм данных Pandas
  • Перемешайте Pandas Dataframe с помощью функции перемешивания Scikit Learn
  • Перетасуйте Pandas Dataframe с помощью random.permutation Numpy
  • Самый быстрый способ перемешать Pandas Dataframe
  • Заключение
  • Похожие статьи
  1. Учебники по Pandas и Numpy
  2. Pandas

Как перемешать строки Pandas Dataframe в Python

PreviousВычисление Взвешенного Среднего в Pandas и PythonNextPandas: количество столбцов (подсчет столбцов в DataFrame)

Last updated 2 months ago

В этом руководстве вы научитесь перемешивать строки в Dataframe Pandas, используя Python. Вы узнаете, как перемешивать ваш Dataframe Pandas, используя метод sample из Pandas, метод shuffle из sklearn, а также метод permutation из Numpy. Вы также узнаете, почему часто бывает полезно перемешивать данные, как перемешать данные и иметь возможность воссоздавать результаты. Наконец, вы узнаете, какой из методов является самым быстрым.

Перемешивание DataFrame в Pandas — задача, которую часто стоит выполнить перед обучением любой модели машинного обучения. Поскольку наши данные часто отсортированы определенным образом (например, по дате или географической области), мы хотим убедиться, что наши данные представительны. Поэтому мы перемешиваем DataFrame в Pandas перед моделированием.

Поскольку наши модели машинного обучения часто основываются на меньшей выборке данных, мы хотим удостовериться, что выбранные данные представляют истинное распределение наших данных.

Краткий ответ: Используйте метод .sample из Pandas для перемешивания вашего DataFrame

# Перемешивание (shuffling) DataFrame в Pandas с помощью .sample()
shuffled = df.sample(
    frac=1,       # Возвращает весь DataFrame (100% данных) в случайном порядке
    random_state=1 # Делает результат воспроизводимым (фиксирует случайное состояние)
).reset_index()    # Сбрасывает индекс, чтобы он следовал новому порядку строк

# Примечание: метод .shuffle() устарел, вместо него используется .sample(frac=1)

Оглавление

Загрузка образца Pandas Dataframe

В блоке кода ниже представлено несколько строк на Python для генерации примера Pandas Dataframe. Если хотите следовать за этим туториалом шаг за шагом, не стесняйтесь скопировать код ниже, сохраняя порядок. Вы также можете использовать свой собственный Dataframe, но результаты, конечно, будут отличаться от тех, что указаны в туториале.

# Загрузка образец DataFrame Pandas

import pandas as pd

df = pd.DataFrame.from_dict({
    'Name': ['Nik', 'Kate', 'Kevin', 'Evan', 'Jane', 'Kyra', 'Melissa'],
    'Gender': ['Male', 'Female', 'Male', 'Male', 'Female', 'Female', 'Female'],
    'January': [90, 95, 75, 93, 60, 85, 75],
    'February': [95, 95, 75, 65, 50, 85, 100],
})

print(df.head())

# Возвращает:
#     Name  Gender  January  February
# 0    Nik    Male       90        95
# 1   Kate  Female       95        95
# 2  Kevin    Male       75        75
# 3   Evan    Male       93        65
# 4   Jane  Female       60        50

Мы видим, что наш датафрейм содержит четыре столбца: два со строками и два с числовыми значениями.

Перетасовать Pandas Dataframe с образцом

Один из самых простых способов перемешать Dataframe в Pandas — использовать метод sample. Метод df.sample позволяет делать выборку строк в Dataframe в случайном порядке. Благодаря этому, мы можем просто указать, что хотим вернуть весь Dataframe, в случайном порядке.

Чтобы сделать это, мы применяем метод sample к нашему датафрейму и указываем методу вернуть весь датафрейм, передав аргумент frac=1. Это указывает Pandas вернуть 100% датафрейма

Давайте попробуем это в Pandas:

# Перемешивание DataFrame Pandas с использованием .sample()

shuffled = df.sample(frac=1)
print(shuffled)

# Возвращает:
#       Name  Gender  January  February
# 0      Nik    Male       90        95
# 2    Kevin    Male       75        75
# 6  Melissa  Female       75       100
# 1     Kate  Female       95        95
# 3     Evan    Male       93        65
# 4     Jane  Female       60        50
# 5     Kyra  Female       85        85

При применении метода .sample() видно, что данные в DataFrame были перемешаны в случайном порядке. Однако, видим, что исходные значения индекса сохранены. Мы можем сбросить наш индекс, используя метод Pandas .reset_index(), который сбрасывает наш индекс так, чтобы он был отсортирован с 0 и далее. Давайте посмотрим, как это выглядит:

# Перемешивание DataFrame Pandas с использованием .sample()

shuffled = df.sample(frac=1).reset_index()
print(shuffled.head())

# Возвращает:
#       Name  Gender  January  February
# 0      Nik    Male       90        95
# 1    Kevin    Male       75        75
# 2  Melissa  Female       75       100
# 3     Kate  Female       95        95
# 4     Evan    Male       93        65

В следующем разделе вы узнаете, как перемешать DataFrame в Pandas с помощью sample, сохраняя возможность воспроизводить ваши результаты

Воспроизведите ваш перетасованный фрейм данных Pandas

Одним из важных аспектов науки о данных является возможность воспроизводить свои результаты. Когда вы применяете метод sample к датафрейму, он каждый раз возвращает заново перемешанный датафрейм.

Мы можем воспроизвести наши результаты, передав значение в аргумент random_state=. Просто передайте целое число, и перемешанный датафрейм будет одинаковым каждый раз.

Почему использовать random_state? Возможность воспроизводить свои результаты – полезное умение в машинном обучении для лучшего понимания вашего рабочего процесса. Это особенно полезно, когда другие проверяют и воспроизводят ваши результаты. Также это очень помогает в правильной отладке вашего кода.

Давайте посмотрим, как это работает:

# Перемешивание DataFrame Pandas с использованием .sample() и фиксированным состоянием случайных чисел

shuffled = df.sample(frac=1, random_state=1).reset_index()
print(shuffled.head())

# Возвращает:
#    index     Name  Gender  January  February
# 0      6  Melissa  Female       75       100
# 1      2    Kevin    Male       75        75
# 2      1     Kate  Female       95        95
# 3      0      Nik    Male       90        95
# 4      4     Jane  Female       60        50

При повторном запуске этого кода мы теперь получаем тот же результат

Перемешайте Pandas Dataframe с помощью функции перемешивания Scikit Learn

Еще один полезный способ рандомизации DataFrame в Pandas заключается в использовании библиотеки машинного обучения sklearn. Одним из основных преимуществ этого подхода является возможность легко интегрировать его в ваши sklearn-пайплайны, что позволяет создавать простые потоки данных.

Sklearn поставляется с методом shuffle, который мы можем применить к нашему датафрейму. Давайте посмотрим:

# Перемешивание DataFrame Pandas с использованием sklearn.utils.shuffle

from sklearn.utils import shuffle

shuffled = shuffle(df)
print(shuffled.head())

# Возвращает:
#       Name  Gender  January  February
# 5     Kyra  Female       85        85
# 1     Kate  Female       95        95
# 4     Jane  Female       60        50
# 0      Nik    Male       90        95
# 6  Melissa  Female       75       100

Аналогично методу .sample из Pandas, если мы хотим воспроизвести наши результаты, мы можем использовать параметр random_state=. Давайте посмотрим, как это выглядит:

# Перемешивание DataFrame Pandas с использованием sklearn.utils.shuffle и фиксированным состоянием случайных чисел

from sklearn.utils import shuffle

shuffled = shuffle(df, random_state=1)
print(shuffled.head())

# Возвращает:
#       Name  Gender  January  February
# 6  Melissa  Female       75       100
# 2    Kevin    Male       75        75
# 1     Kate  Female       95        95
# 0      Nik    Male       90        95
# 4     Jane  Female       60        50

В заключительном разделе ниже вы узнаете, как использовать библиотеку numpy для рандомизации вашего Pandas dataframe

Перетасуйте Pandas Dataframe с помощью random.permutation Numpy

В этом последнем разделе вы узнаете, как использовать NumPy для рандомизации DataFrame в Pandas. NumPy предлагает функцию random.permutation(), которая позволяет нам сгенерировать случайную перестановку массива.

Чтобы перемешать наш датафрейм, мы можем передать индексы датафрейма в функцию, которая случайным образом меняет их порядок. Мы затем используем аксессор .iloc, чтобы переупорядочить наши данные. Давайте посмотрим, как это выглядит:

# Перемешивание DataFrame Pandas с использованием numpy.random.permutation

from numpy.random import permutation

shuffled = df.iloc[permutation(df.index)]
print(shuffled.head())

# Возвращает:
#       Name  Gender  January  February
# 5     Kyra  Female       85        85
# 2    Kevin    Male       75        75
# 3     Evan    Male       93        65
# 6  Melissa  Female       75       100
# 0      Nik    Male       90        95

Самый быстрый способ перемешать Pandas Dataframe

Возможно, вы задаетесь вопросом, какой метод выбрать. Я бы порекомендовал выбрать тот метод, который лучше всего вписывается в ваш рабочий процесс. Например, если вы строите конвейер анализа данных с помощью sklearn, вы можете встроить перемешивание в ваш конвейер, используя утилиту shuffle из sklearn.

Еще одним важным фактором может быть скорость – какой метод будет стабильно давать самые быстрые результаты.

Чтобы получить приведенные ниже результаты, мы тысячу раз перемешали Pandas DataFrame, содержащий 1 500 000 записей. Среднее значение каждого запуска было вычислено, что позволило получить надежный результат:

Метод
Время для исполнения

df.sample()

18.3 µs ± 255 ns per loop (mean ± std. dev. of 7 runs, 100000 loops each)

np.utils.permutation()

17.9 µs ± 122 ns per loop (mean ± std. dev. of 7 runs, 100000 loops each)

sklearn.utils.shuffle()

17.9 µs ± 5.53 ns per loop (mean ± std. dev. of 7 runs, 100000 loops each)

Результаты довольно близки! Если оптимальная скорость не является вашей главной целью, вы можете спокойно выбрать любой из методов. Тем не менее, вам всё равно придётся импортировать Pandas. Импортирование пакетов, которые вы не используете, может добавить дополнительные задержки в ваш скрипт.

Заключение

В этом уроке вы узнали, как перемешать Dataframe в Pandas, используя метод sample. Метод позволяет случайным образом выбирать строки. Чтобы перемешать наш dataframe, мы просто выбираем весь dataframe. Мы даже можем воспроизвести перемешанный dataframe, используя параметр random_state= .

Вы также научились использовать библиотеки sklearn и numpy для перемешивания вашего датафрейма, что дает вам еще больше гибкости в том, как вы получаете результаты. Например, использование sklearn позволяет легко интегрировать этот шаг в конвейеры машинного обучения.

Чтобы узнать больше о методах, рассмотренных в этом руководстве, ознакомьтесь с официальной документацией:

Похожие статьи

Чтобы узнать больше о связанном контенте, ознакомьтесь со следующими статьями:

  • Pandas Quantile: вычисление процентилей в Dataframe

  • Функция ранжирования Pandas: ранжирование данных Dataframe (эквивалент SQL row_number)

  • Дисперсия Pandas: расчет дисперсии столбца Pandas Dataframe

Pandas .sample() documentation
Numpy random.permutation() documentation
Sklearn shuffle() documentation
Загрузка образца Pandas Dataframe
Перетасовать Pandas Dataframe с образцом
Воспроизведите ваш перетасованный фрейм данных Pandas
Перемешайте Pandas Dataframe с помощью функции перемешивания Scikit Learn
Перетасуйте Pandas Dataframe с помощью random.permutation Numpy
Самый быстрый способ перемешать Pandas Dataframe
Заключение
Похожие статьи