Bemind
Учебник Python
Учебник Python
  • Python
    • Python Lists
      • Списковые включения в Python (Полное руководство с примерами)
      • Исправление ValueError: Слишком Много Значений Для Распаковки в Python
      • Как добавить словарь в список в Python
      • Как добавить строку в список в Python
      • Разница между массивами и списками в Python
      • Python: Различия между списками и кортежами
      • Как проверить, пуст ли список в Python
      • Как Итерировать (Циклически Проходить) По Списку в Python
      • Python List sort(): Подробное руководство по сортировке списков
      • Python List Extend: Как добавить несколько элементов в список
      • Python: Найти Индекс Всех Вхождений Элемента в Списке
      • Конвертация списка словарей в Pandas DataFrame
      • Генерация случайных чисел в Python
      • Поиск Индекса в Списке Python: Найти Первое, Последнее или Все Вхождения
      • Добавить в начало списка в Python (Вставить в начало)
      • Найти дубликаты в списке Python
      • Python: Умножение Списков (6 Различных Способов)
      • Python списки: Полный обзор
      • Python: Выбор случайного элемента из списка
      • 4 Способа Очистить Список в Python
      • Объяснение ошибки IndexError в Python: индекс списка выходит за пределы допустимого диапазона
      • Python: Получение индекса максимального элемента в списке
      • Python: Объединение списков – Слияние списков (8 способов)
      • Python: Проверка наличия элемента в списке
      • Python: Проверка наличия элемента в списке
      • Удаление элемента из списка в Python (pop, remove, del, clear)
      • Как перевернуть список в Python (6 способов)
      • Python: Замена элемента в списке (6 различных способов)
      • Python: Удаление дубликатов из списка (7 способов)
      • Python: Преобразование словаря в список кортежей (4 простых способа)
      • Python: Перемешать Список (Случайное Распределение Элементов Списка в Python)
      • Python: Пересечение двух списков
      • Python: Вычитание двух списков (4 простых способа!)
      • Длина или Размер Списка в Python: 5 Способов Узнать Длину Списка
      • Python: Транспонирование списка списков (5 простых способов!)
      • Python: Разделение списка (Пополам, на части)
      • Python: Комбинации списка (Получить все комбинации списка)
      • Python: Выравнивание списка списков (4 способа)
      • Разница между списками в Python: Нахождение разницы между двумя списками Python
      • Python: Найти среднее значение списка или списка списков
      • Как добавлять элементы в списки в Python – 4 простых способа!
      • Списковые включения в Python (Полное руководство с примерами)
      • 6 способов преобразовать список Python в строку
    • Python Dictionaries
      • Понимание словаря Python (с примерами)
      • Исправляем ValueError: Слишком Много Значений Для Распаковки в Python
      • Как добавить словарь в список в Python
      • Преобразование JSON в словарь Python
      • Полное руководство по вложенным словарям в Python
      • Копирование словаря в Python: Полное руководство
      • Конвертация списка словарей в Pandas DataFrame
      • Поиск дубликатов в списке Python
      • Полный обзор словарей в Python
      • Python: Добавление пары Ключ:Значение в Словарь
      • Python: Сортировка словаря по значениям
      • Слияние Словарей в Python – Комбинирование Словарей (7 Способов)
      • Python: Удаление Дубликатов из Списка (7 Способов)
      • Python: Преобразование словаря в список кортежей (4 простых способа)
      • Python: Красивая Печать Словаря (Dictionary) – 4 Способа
      • Python: Проверка пуст ли словарь (5 способов!)
      • Copy of Python: Проверка пуст ли словарь (5 способов!)
      • Python: Проверьте, существует ли ключ (или значение) в словаре (5 простых способов)
      • Python: Проверьте, существует ли ключ (или значение) в словаре (5 простых способов)
      • Python: Получение Ключа Словаря с Максимальным Значением (4 Способа)
      • Python: Удаление ключа из словаря (4 разных способа)
      • Как красиво вывести JSON-файл в Python (6 методов)
    • Python Strings
      • Python Капитализация Строк: Руководство по Преобразованию слов в Заглавные
      • Python strip: Как обрезать строку в Python
      • Python Обратная Строка: Руководство по Реверсированию Строк
      • Как Удалить Префикс или Суффикс из Строки в Python
      • Преобразование строки в формат заголовка в Python с помощью str.title()
      • Как добавить строку в список в Python
      • Python String startswith: Проверка, начинается ли строка с подстроки
      • Python String endswith: Проверка того, заканчивается ли строка подстрокой
      • Как удалить первый или последний символ из строки в Python
      • Как исправить: SyntaxError в Python - EOL при сканировании строкового литерала
      • Python String Contains: Проверка Наличия Подстроки в Строке
      • Как проверить, пустая ли строка в Python
      • Python Новая Строка и Как Печатать Без Переноса Строки
      • Как Конкатенировать Строки в Python: Полное Руководство
      • Python: Подсчет слов в строке или файле
      • Как создать список алфавита в Python
      • Python: Конкатенация строки и целого числа (Int)
      • Python: Сортировка строки (4 различных способа)
      • Python zfill и rjust: Добавление нулей в строку в Python
      • Python: Целое в Двоичное (Преобразование целого числа в двоичную строку)
      • Python rfind: Нахождение индекса последней подстроки в строке
      • Python SHA256 хеширование алгоритм: объяснение
      • Python: Усечение числа с плавающей точкой (6 различных способов)
      • Выбор между методами Python isdigit(), isnumeric() и isdecimal()
      • Python: Удаление специальных символов из строки
      • Python Приведение Строки к Нижнему Регистру с помощью .lower(), .casefold(), и .islower()
      • Python программа для проверки, является ли строка палиндромом (6 методов)
      • Python: Найдите все перестановки строки (3 легких способа!)
      • Python: Удаление пунктуации из строки (3 разных способа!)
      • Python: Найти индекс (или все индексы) подстроки в строке
      • Python: Удаление символов новой строки из строки
      • Python: Удаление символа из строки (4 способа)
      • Python: Количество вхождений в строке (4 способа!)
    • Встроенные функции Python
      • abs()
      • ascii()
      • aiter()
      • all()
      • any()
      • anext()
      • bin()
      • bool()
      • breakpoint()
      • bytearray()
      • bytes()
      • callable()
      • chr()
      • classmethod()
      • compile()
      • complex()
      • delattr()
      • dict()
      • dir()
      • divmod()
      • enumerate()
      • eval()
      • exec()
      • filter()
      • float()
      • format()
      • frozenset()
      • getattr()
      • globals()
      • hasattr()
      • hash()
      • help()
      • hex()
      • id()
      • input()
      • int()
      • issubclass()
      • iter()
      • len()
      • list()
      • locals()
      • map()
      • max()
      • memoryview()
      • min()
      • next()
      • object()
      • oct()
      • open()
      • ord()
      • pow()
      • print()
      • property()
      • range()
      • repr()
      • reversed()
      • round()
      • set()
      • setattr()
      • isinstance()
      • slice()
      • zip()
      • type()
      • sorted()
      • staticmethod()
      • str()
      • sum()
      • super()
      • tuple()
      • vars()
      • import()
    • Cобеседования Python. Разбор реальных вопросов.
    • Встроенные методы в Python
  • Учебники по Pandas и Numpy
    • Numpy
      • Функция активации ReLU для глубокого обучения: полное руководство по выпрямленному линейному блоку
      • Как нормализовать массивы NumPy (минимальное-максимальное масштабирование, Z-оценка, L2)
      • NumPy where: Условная обработка элементов массива
      • NumPy linspace: создание равномерно расположенных массивов с помощью np.linspace
      • Как рассчитать векторное произведение в Python
      • Разделение NumPy: Разделение массива NumPy на части
      • NumPy: Лучшие способы применения функции к массиву
      • NumPy full: Создание массивов с заданным значением
      • NumPy clip(): Ограничьте значения массива минимальным и максимальным значениями
      • NumPy cumsum: Расчет кумулятивных сумм массивов NumPy
      • Изучаем функцию np.histogram в NumPy: создаем гистограмму
      • NumPy arange(): Полное руководство (с примерами)
      • Руководство по индексации и срезам массивов NumPy: Полное руководство
      • NumPy argmin(): Получение индекса минимального значения в массивах
      • Выравнивание массива с помощью NumPy flatten
      • Объединение массивов NumPy по различным осям с использованием функции stack
      • Удаление размерности из массивов NumPy с помощью NumPy Squeeze
      • Функция np.repeat() NumPy: Повторение массивов NumPy
      • Использование функции NumPy.exp() для вычисления экспоненты
      • Реализация функции сигмоида на Python
      • NumPy Pad: Использование np.pad() для дополнения массивов и матриц
      • np.argmax(): Как использовать NumPy Argmax
      • NumPy logspace: Понимание функции np.logspace()
      • Использование NumPy Tile для Расположения Массивов
      • NumPy Zeros: Создание массивов и матриц с нулями в NumPy
      • Использование числа Пи в Python (NumPy и Math)
      • Распределение Нормального (Гауссова) Распределения в Numpy (Случайное Нормальное в Numpy)
      • NumPy для Data Science на Python
      • Расчет скалярного произведения с использованием Numpy в Python
      • Расчет натурального логарифма на Python
    • Pandas
      • Python сводные таблицы – Полное руководство
      • Изучение API стиля Pandas
      • Объяснение группировки по нескольким столбцам в Pandas с примерами
      • Удаление индексной колонки DataFrame в Pandas: Руководство с примерами
      • Pandas Quantile: Расчет процентилей в DataFrame
      • Как рассчитать скользящее среднее (среднее арифметическое) в Pandas
      • Руководство по использованию метода fillna в Pandas для работы с отсутствующими данными в DataFrame
      • Pandas unique(): Получение уникальных значений в DataFrame
      • Распакуйте Ваши Данные с Помощью Функции Melt в Pandas
      • Pandas date_range: Как Создать Диапазон Дат в Pandas
      • Сброс индекса в Pandas: как сбросить индекс в Pandas
      • Pandas replace() – Замена значений в DataFrame Pandas
      • Перемещение столбца DataFrame Pandas на позицию (В начало и в конец)
      • Учебное пособие по Python Pandas: полное руководство
      • Pandas: Замена NaN на нули
      • Преобразование DataFrame Pandas в файл Pickle
      • Конвертация Pandas DataFrame в JSON
      • Преобразование DataFrame Pandas в Словарь
      • Преобразование Pandas DataFrame в Список
      • Чтение файлов Parquet в Pandas с помощью pd.read_parquet
      • Pandas dropna(): Удаление отсутствующих записей и столбцов в DataFrame
      • Как Добавить Новый Столбец в DataFrame Pandas
      • Подсчёт уникальных значений в Pandas
      • Отображение всех столбцов и строк в DataFrame Pandas
      • Pandas to_excel: Запись DataFrames в файлы Excel
      • Как использовать Pandas для чтения файлов Excel в Python
      • Преобразование списка словарей в Pandas DataFrame
      • Как добавить/вставить строку в DataFrame Pandas
      • Диаграмма рассеяния в Pandas: Как создать диаграмму рассеяния в Pandas
      • Pandas to_datetime: Преобразование строки Pandas в дату и время
      • Введение в Pandas для Data Science
      • Индексация, Выборка и Присваивание Данных в Pandas
      • Суммирование и Анализ Pandas DataFrame
      • Преобразование столбцов Pandas с помощью map и apply
      • Группировка данных в Pandas с использованием cut и qcut
      • Дата и время в Pandas и Python
      • Очистка и подготовка данных в Pandas и Python
      • Pandas GroupBy: группировка, суммирование и агрегация данных в Python
      • Pandas Дата и Время в Части Даты (месяц, год и т.д.)
      • Pandas: Получение номера строки из DataFrame
      • Вычисление Взвешенного Среднего в Pandas и Python
      • Как перемешать строки Pandas Dataframe в Python
      • Pandas: количество столбцов (подсчет столбцов в DataFrame)
      • Pandas Sum: сложение столбцов и строк DataFrame
      • Pandas Diff: Вычисление Разницы Между Строками Pandas
      • Нормализация столбца или датафрейма Pandas (с использованием Pandas или sklearn)
      • Функция Rank в Pandas: Ранжирование данных в Dataframe (Эквивалент SQL row_number)
      • Pandas Describe: Описательная статистика вашего Dataframe
      • Pandas Shift: Перемещение столбца DataFrame вверх или вниз
      • 7 Способов Выполнения Выборки Данных в Pandas
      • Экспорт DataFrame Pandas в CSV файл – Использование .to_csv()
      • Pandas: Итерация по строкам DataFrame в Pandas
      • Pandas: Преобразование значений столбца в строки
      • Дисперсия в Pandas: Вычисление дисперсии столбца в Pandas Dataframe
      • Pandas: Создание DataFrame из списков (5 способов!)
      • Pandas Rename Index: Как переименовать индекс DataFrame в Pandas
      • Pandas: Подсчёт уникальных значений в объекте GroupBy
      • Pandas: Добавить дни к колонке с датами
      • Среднее в Pandas: Как рассчитать среднее для одной или нескольких колонок
      • Pandas Column to List – Конвертируйте колонку Pandas в список
      • Транспонирование Dataframe в Pandas
      • Python: Разделение DataFrame Pandas
      • Как получить имена столбцов в DataFrame Pandas
      • Pandas: Количество строк в DataFrame (6 способов)
      • Создание пустого DataFrame Pandas и добавление данных
      • Как переименовать столбцы в Pandas DataFrame (с примерами)
      • Изменение порядка столбцов в Pandas: использование метода reindex и метода insert
      • Pandas get_dummies (One-Hot кодирование), объяснение
      • Относительные и Абсолютные Частоты в Python и Pandas
      • Финансовый год – Определение финансового года в Pandas
      • Как сортировать данные в DataFrame Pandas
  • Учебники Matplotlib и Seaborn
    • Seaborn
      • Регрессионные графики в Seaborn с использованием regplot и lmplot
      • Seaborn residplot – Построение остатков линейной регрессии
      • Seaborn jointplot() – Создание совместных графиков в Seaborn
      • Seaborn displot – Распределенческие графики в Python
      • Seaborn ecdfplot – Эмпирические функции накопленного распределения
      • Seaborn rugplot – Визуализация маргинальных распределений
      • Seaborn kdeplot – Создание графиков оценки плотности ядра
      • Seaborn histplot – Создание Гистограмм в Seaborn
      • Seaborn catplot – Визуализация категориальных данных в Python
      • Средняя тенденция для категориальных данных в Seaborn Pointplot
      • Seaborn stripplot: Jitter Plots для распределений категориальных данных
      • Seaborn Countplot – Подсчет категориальных данных в Python
      • Seaborn swarmplot: Bee Swarm Plots для распределения категориальных данных
      • Скрипичные графики Seaborn в Python: Полное руководство
      • Настройка расположения легенд Seaborn, меток, текста и т.д.
      • Тепловая карта Seaborn: Полное руководство
      • Создание многосекционных сеток в Seaborn с помощью FacetGrid
      • Удаление рамки в Seaborn: Как работать с рамкой
      • Заголовки и метки осей в Seaborn: добавление и настройка
      • Как установить Seaborn в Python (Исправление: no module named seaborn)
      • Seaborn relplot – Создание точечных и линейных графиков
      • Полное руководство по созданию точечных диаграмм (scatter plots) в Python с использованием Seaborn
    • Matplotlib
      • Режим Retina в Matplotlib: Улучшение Качества Графиков
      • Как построить функцию в Python с использованием Matplotlib
      • Как создать 3D-диаграммы рассеяния в Matplotlib
      • Как изменить размер шрифта в графике Matplotlib
      • Установка размера маркера в точечных диаграммах Matplotlib
      • Как изменить размер графика и фигуры в Matplotlib
      • Как добавить названия в Matplotlib: Заголовок, Подзаголовок, Названия Осей
      • Pandas Scatter Plot: Как создать диаграмму рассеяния в Pandas
      • Построение графиков в Python с помощью Matplotlib
      • Диаграммы рассеяния Matplotlib – Все, что вам нужно знать
      • Диаграммы с столбцами в Matplotlib – Узнайте все, что вам нужно знать
      • Линейные диаграммы Matplotlib – Всё, что вам нужно знать
      • Построение гистограммы в Python с Matplotlib и Pandas
  • Алгоритмы
    • Алгоритм поиска в ширину (BFS) в Python
    • Алгоритм поиска в глубину (DFS) на Python
  • AI создает хедж-фонд для анализа акций на Python
Powered by GitBook
On this page
  • Импорт DateTime в DataFrame Pandas
  • Использование parse_dates Pandas для импорта DateTime
  • Использование to_datetime для преобразования столбцов в DateTime
  • Атрибуты и методы DateTime в Pandas
  • Атрибуты DateTime в Pandas
  • Методы DateTime в Pandas
  • Фильтрация DataFrame Pandas на основе DateTime
  • Передискретизация DataFrame Pandas с использованием DateTime
  • Передискретизация временных рядов Pandas различными методами
  • Упражнения
  • Заключение и повторение
  • Дополнительные ресурсы
  1. Учебники по Pandas и Numpy
  2. Pandas

Дата и время в Pandas и Python

PreviousГруппировка данных в Pandas с использованием cut и qcutNextОчистка и подготовка данных в Pandas и Python

Last updated 4 months ago

В этом учебном пособии вы узнаете, как работать с датами, временем и DateTime в Pandas и Python. Работа с DateTime в Python и Pandas может быть сложной задачей. Это руководство направлено на то, чтобы упростить сложное, сосредоточившись на том, что вам нужно знать, чтобы начать и узнать достаточно, чтобы самостоятельно открыть для себя больше. Даты и время являются критически важными формами данных во многих областях, включая финансы, экономику, науку и многое другое.

К концу этого учебного пособия вы научитесь:

  • Эффективно загружать DateTime в Pandas

  • Получать доступ к атрибутам DateTime в Pandas

  • Фильтровать DataFrame Pandas на основе фильтров DateTime

  • Передискретизировать DataFrame Pandas на основе DateTime

Содержание

Импорт DateTime в DataFrame Pandas

Pandas интеллектуально обрабатывает значения DateTime при импорте набора данных в DataFrame. Библиотека попытается определить типы данных ваших столбцов при первом импорте набора данных. Например, давайте взглянем на очень простой набор данных, который выглядит следующим образом:

# Очень простой .csv файл
Date,Amount
01-Jan-22,100
02-Jan-22,125
03-Jan-22,150

Вы можете найти файл здесь. Давайте попробуем импортировать набор данных в DataFrame Pandas и проверить типы данных столбцов.

# Загрузка небольшого набора данных
df = pd.read_csv('https://raw.githubusercontent.com/datagy/data/main/sample_dates.csv')
print(df)
# Возвращает
#         Date  Amount
# 0  01-Jan-22     100
# 1  02-Jan-22     125
# 2  03-Jan-22     150

Отлично! Похоже, что все работает хорошо. Но не так быстро – давайте проверим типы данных столбцов в наборе данных. Мы можем сделать это с помощью метода .info().

# Проверка типов данных столбцов
print(df.info())
# Возвращает
# Data columns (total 2 columns):
#  #   Column  Non-Null Count  Dtype
# ---  ------  --------------  -----
#  0   Date    3 non-null      object
#  1   Amount  3 non-null      int64
# dtypes: int64(1), object(1)
# memory usage: 176.0+ bytes

Мы видим, что тип данных столбца Date – object. Это означает, что данные хранятся как строки, что означает, что вы не можете получить доступ к множеству функциональных возможностей DateTime, доступных в Pandas.

Использование parse_dates Pandas для импорта DateTime

Один из простых способов импортировать данные как DateTime – использовать аргумент parse_dates=. Аргумент принимает список столбцов, которые Pandas должен попытаться интерпретировать при чтении. Давайте попробуем добавить этот параметр в нашу команду импорта, а затем снова выведем информацию о нашем DataFrame:

# Парсинг дат в .read_csv()
df = pd.read_csv('https://raw.githubusercontent.com/datagy/data/main/sample_dates.csv', parse_dates=['Date'])
print(df.info())
# Возвращает
# Data columns (total 2 columns):
#  #   Column  Non-Null Count  Dtype
# ---  ------  --------------  -----
#  0   Date    3 non-null      datetime64[ns]
#  1   Amount  3 non-null      int64
# dtypes: datetime64[ns](1), int64(1)
# memory usage: 176.0 bytes

Мы видим, что наш столбец теперь корректно импортирован в формате DateTime.

Использование to_datetime для преобразования столбцов в DateTime

Пример выше работал довольно хорошо, когда мы импортировали простой формат даты. Теперь давайте рассмотрим более сложный пример. Мы загрузим данные отсюда, которые выглядят следующим образом:

# Более сложные форматы datetime
Date,Close Price,High Price,Low Price,Open Price,Volume
2021-12-10 05AM,48246.57,48359.35,48051.08,48170.66,827.39761
2021-12-10 06AM,47847.59,48430,47810.81,48249.78,1296.18883
2021-12-10 07AM,47694.62,48037.48,47550,47847.59,2299.85298
2021-12-10 08AM,48090.35,48169.06,47587.39,47694.62,1371.25447

Когда мы передаем столбец Date, как мы делали ранее, Pandas не может интерпретировать формат даты. Давайте посмотрим, как это выглядит. Код ниже показывает, что дата фактически не была прочитана как формат DateTime, а продолжает существовать как строка.

import pandas as pd
df = pd.read_csv('https://raw.githubusercontent.com/datagy/data/main/time_data.csv', parse_dates=['Date'])
print(df.info())
# Возвращает:
# <class 'pandas.core.frame.DataFrame'>
# RangeIndex: 337 entries, 0 to 336
# Data columns (total 6 columns):
#  #   Column       Non-Null Count  Dtype
# ---  ------       --------------  -----
#  0   Date         337 non-null    object
#  1   Close Price  337 non-null    float64
#  2   High Price   337 non-null    float64
#  3   Low Price    337 non-null    float64
#  4   Open Price   337 non-null    float64
#  5   Volume       337 non-null    float64
# dtypes: float64(5), object(1)
# memory usage: 15.9+ KB

Один из способов решить эту проблему – использовать функцию pd.to_datetime(). Функция принимает серию данных и преобразует ее в формат DateTime. Мы можем настроить это, передав спецификацию формата, как структурированы даты.

Параметр format= можно использовать для передачи этого формата. Коды формата следуют стандарту C 1989. Конечно, вероятно, вы не знаете стандарт C для дат наизусть. Полный список можно найти здесь, но таблица ниже раскладывает некоторые из наиболее важных.

Формат кода
Описание
Пример

%m

Месяц в виде числа с ведущими нулями

01, 02, 03, …

%B

Полное название месяца (в соответствии с локалью)

December, January, March

%y

Год без века в виде числа

01, 02, 22

%Y

Год с указанием

2001, 2002, 2022

%d

День месяца в виде числа с ведущими нулями.

01, 02, 03

%a

Сокращенное название дня недели

Mon, Tue, Wed

%A

День недели в виде полного имени в соответствии

Monday, Tuesday, Wednesday

%H

Час в формате 24-х часов как десятичное число.

12, 13, 14

%I

Час в формате 12-х часов как десятичное число.

12, 1, 2

%p

AM: до полудня PM: после полудня

AM, PM

Давайте посмотрим, как мы можем использовать эти коды формата для преобразования нашей строки в правильно отформатированный объект DateTime. Для этого мы передаем строку, используя знаки процента и любое другое форматирование точно так, как оно есть, включая пробелы и дефисы.

# Преобразование сложной строки в DateTime
df['Date'] = pd.to_datetime(df['Date'], format='%Y-%m-%d %H%p')
print(df.head())
# Возвращает:
#                  Date  Close Price  High Price  Low Price  Open Price      Volume
# 0 2021-11-24 05:00:00     56596.36    56790.76   56483.12    56560.01  1112.23090
# 1 2021-11-24 06:00:00     56607.00    56797.02   56214.85    56596.36  1505.32570
# 2 2021-11-24 07:00:00     56497.47    56702.47   56389.00    56607.00  1238.54469
# 3 2021-11-24 08:00:00     56849.02    57560.00   56389.00    56497.46  2582.79378
# 4 2021-11-24 09:00:00     56682.55    56996.47   56649.93    56849.01  1314.82999

То, что мы сделали, – это передали Series в функцию .to_datetime() вместе с форматом. Формат соответствует сложному шаблону и успешно преобразовал строку в объект DateTime.

Не всегда идеально преобразовывать столбец после загрузки DataFrame. Поэтому в следующем разделе вы узнаете, как передать форматтер в оператор импорта.

Использование date_parser для импорта сложных DateTime

Хотя вы всегда можете преобразовать столбец в объект DateTime после загрузки DataFrame, это может быть гораздо чище, если сделать это при загрузке DataFrame. Здесь на помощь приходит параметр date_parser=. Этот параметр принимает функцию, которая инструктирует Pandas, как интерпретировать строку как объект DateTime.

Поскольку это функция, которую вы не будете использовать где-либо еще, это идеальный кандидат для анонимной лямбда-функции. Давайте создадим функцию и присвоим ее переменной parser. Затем мы можем передать эту функцию в функцию .read_csv(). Сама функция будет использовать метод .strptime(), который преобразует строку в объект DateTime.

# Создание функции для парсинга дат
import pandas as pd
from datetime import datetime
parser = lambda x: datetime.strptime(x, '%Y-%m-%d %H%p')
df = pd.read_csv('https://raw.githubusercontent.com/datagy/data/main/time_data.csv', parse_dates=['Date'], date_parser=parser)

print(df.head())
# Возвращает:
#                  Date  Close Price  High Price  Low Price  Open Price      Volume
# 0 2021-11-24 05:00:00     56596.36    56790.76   56483.12    56560.01  1112.23090
# 1 2021-11-24 06:00:00     56607.00    56797.02   56214.85    56596.36  1505.32570
# 2 2021-11-24 07:00:00     56497.47    56702.47   56389.00    56607.00  1238.54469
# 3 2021-11-24 08:00:00     56849.02    57560.00   56389.00    56497.46  2582.79378
# 4 2021-11-24 09:00:00     56682.55    56996.47   56649.93    56849.01  1314.82999

Функция опирается на импорт модуля datetime из библиотеки datetime. Функция принимает один аргумент, x, и использует формат для преобразования строки в объект DateTime.

Атрибуты и методы DateTime в Pandas

Теперь, когда вы успешно импортировали свой DataFrame Pandas с правильно отформатированными датами, давайте узнаем, как можно использовать специальные атрибуты, которые появляются вместе с ними. Например, вы можете легко получить доступ к информации о дате и времени, такой как день недели, название месяца и многое другое. Это потому, что объект DateTime содержит гораздо больше информации, чем показывает его представление.

Атрибуты DateTime в Pandas

Давайте рассмотрим несколько из них. А именно, вы узнаете, как создать столбцы, содержащие день недели, квартал и час дня:

# Извлечение частей DateTime
df['Weekday'] = df['Date'].dt.dayofweek
df['Quarter'] = df['Date'].dt.quarter
df['Hour'] = df['Date'].dt.hour

print(df[['Date', 'Weekday', 'Quarter', 'Hour']].head())
# Возвращает:
#                  Date  Weekday  Quarter  Hour
# 0 2021-11-24 05:00:00        2        4     5
# 1 2021-11-24 06:00:00        2        4     6
# 2 2021-11-24 07:00:00        2        4     7
# 3 2021-11-24 08:00:00        2        4     8
# 4 2021-11-24 09:00:00        2        4     9

Под объектом DateTime скрывается множество данных! Это позволяет нам создавать сложные фильтры для DataFrame. К этим атрибутам можно получить доступ с помощью .dt accessor, который очень похож на .str accessor. Затем вы получаете доступ к векторизованным версиям значений DateTime.

Методы DateTime в Pandas

Аналогично, вы можете применять методы DateTime к своим столбцам DateTime. Они выглядят похоже на атрибуты, но включают функции вызова методов (). Причина, по которой они отличаются, заключается в том, что они представляют собой некоторую форму вычисления данных.

В приведенном выше примере вы использовали .dayofweek accessor, чтобы получить числовое представление дня недели. Однако может быть полезно получить, например, название дня недели. Вы можете сделать это, используя метод .day_name(), который возвращает строковое представление дня недели.

# Получение строкового названия дня недели
print(df['Date'].dt.day_name())
# Возвращает:
# 0      Wednesday
# 1      Wednesday
# 2      Wednesday
# 3      Wednesday
# 4      Wednesday
# ...

Аналогично, вы можете получить доступ к различным вычисляемым атрибутам. Например, вы можете вычислить самые большие и самые маленькие даты с помощью методов .max() и .min(). Давайте посмотрим, как это выглядит:

# Вычисление максимальной и минимальной даты
print(df['Date'].max())
print(df['Date'].min())
 Возвращает:
# 2021-12-14 05:00:00
# 2021-11-24 05:00:00

Вы можете пойти еще дальше и вычесть эти два значения. Это возвращает объект TimeDelta, который предоставляет представление различий в DateTime.

# Вычитание DateTime в Pandas
print(df['Date'].max() - df['Date'].min())
# Возвращает: 20 days 00:00:00

Это позволяет вам увидеть, что в нашем наборе данных есть диапазон в 20 дней!

Фильтрация DataFrame Pandas на основе DateTime

В этом разделе вы узнаете, как использовать DateTime Pandas для фильтрации DataFrame. Этот процесс интуитивно понятен и очень мощен. Чтобы максимально использовать это, лучше всего установить столбец Date в качестве индекса DataFrame. Вы можете сделать это с помощью метода df.set_index(), который принимает столбец (или столбцы), который должен быть установлен в качестве нового индекса (или индексов).

# Установка индекса DataFrame Pandas
df = df.set_index('Date')
print(df.head())
# Возвращает:
#                      Close Price  High Price  Low Price  Open Price      Volume
# Date                                                                           
# 2021-11-24 05:00:00     56596.36    56790.76   56483.12    56560.01  1112.23090
# 2021-11-24 06:00:00     56607.00    56797.02   56214.85    56596.36  1505.32570
# 2021-11-24 07:00:00     56497.47    56702.47   56389.00    56607.00  1238.54469
# 2021-11-24 08:00:00     56849.02    57560.00   56389.00    56497.46  2582.79378
# 2021-11-24 09:00:00     56682.55    56996.47   56649.93    56849.01  1314.82999
# 2021-12-10 07:00:00     47694.62    48037.48   47550.00    47847.59  2299.85298
# 2021-12-10 08:00:00     48090.35    48169.06   47587.39    47694.62  1371.25447
# 2021-12-10 09:00:00     48366.37    48495.00   47869.80    48090.35  1232.30238

Хотя это не выглядит сильно отличающимся от того, что было раньше, теперь это позволяет нам легко фильтровать наши данные. Помните, что индексация Pandas работает в формате [row, column]. Поэтому мы можем просто передать DateTime, который хотим выбрать. Более того, мы можем просто передать часть даты, чтобы отфильтровать DataFrame. Давайте попробуем выбрать '2021-12-10'.

# Фильтрация на основе только даты
print(df.loc['2021-12-10'].head())
# Возвращает:
#                      Close Price  High Price  Low Price  Open Price      Volume
# Date                                                                           
# 2021-12-10 05:00:00     48246.57    48359.35   48051.08    48170.66   827.39761
# 2021-12-10 06:00:00     47847.59    48430.00   47810.81    48249.78  1296.18883
# 2021-12-10 07:00:00     47694.62    48037.48   47550.00    47847.59  2299.85298
# 2021-12-10 08:00:00     48090.35    48169.06   47587.39    47694.62  1371.25447
# 2021-12-10 09:00:00     48366.37    48495.00   47869.80    48090.35  1232.30238

Мы можем сократить это еще больше! Например, вы можете просто передать год (в формате 'yyyy') или части года-месяца ('yyyy-mm').

Предположим, вы хотите отфильтровать свой DataFrame, чтобы показать данные только за декабрь 2020. Аналогично, предположим, вы хотите увидеть только цену закрытия за этот месяц. Вы можете использовать .loc accessor для фильтрации DataFrame:

# Фильтрация только части даты и столбца
print(df.loc['2021-12', 'Close Price'].head())
# Возвращает:
# Date
# 2021-12-01 00:00:00    57577.07
# 2021-12-01 01:00:00    56994.58
# 2021-12-01 02:00:00    57261.52
# 2021-12-01 03:00:00    57362.01
# 2021-12-01 04:00:00    57054.36

Поскольку вы выбираете индекс (а не фильтруете данные), вы можете даже включать диапазоны индексов. Это работает путем включения данных в ваши диапазоны выбора индексов и разделения их с помощью двоеточия (:). Давайте посмотрим, как вы можете выбрать только даты, охватывающие период с '2021-12-03' по '2021-12-06':

# Фильтрация по диапазону дат
print(df.loc['2021-12-03':'2021-12-06'])
# Возвращает:
#                      Close Price  High Price  Low Price  Open Price      Volume
# Date                                                                           
# 2021-12-03 00:00:00     56513.44    56772.24   56419.09    56484.26   847.92592
# 2021-12-03 01:00:00     56494.53    56727.18   56354.68    56513.44  1051.81425
# 2021-12-03 02:00:00     56257.75    56576.52   56050.81    56494.53  1394.46500
# 2021-12-03 03:00:00     56323.01    56528.81   56089.00    56257.74  1113.47353
# 2021-12-03 04:00:00     56587.40    56700.00   56229.98    56318.89  1318.86346

В следующем разделе вы узнаете, как освоить более сложную тему: передискретизацию ваших данных.

Передискретизация DataFrame Pandas с использованием DateTime

Процесс передискретизации относится к изменению частоты ваших данных. У вас есть два основных метода, когда вы хотите передискретизировать свои временные ряды:

  • Увеличение частоты (upsampling): увеличение частоты ваших данных, например, от часов до минут

  • Уменьшение частоты (downsampling): уменьшение частоты ваших данных, например, от часов до дней

Оба метода требуют изобретения данных, так как точки данных фактически не существуют. В многих случаях метод, с помощью которого вы изобретаете эти данные, определяется логически. Например, при уменьшении частоты средних значений может иметь смысл вернуть среднее значение всех периодов. Если вы хотите вернуть уменьшенные максимальные значения, вы можете предоставить максимальное значение.

Данные в нашем наборе данных, вероятно, уже увеличены. Частота данных составляет один час, и, вероятно, она отслеживается на источнике гораздо чаще. Тем не менее, данные все еще довольно детализированы и показывают много вариаций в часовом приливе и отливе.

Метод .resample() Pandas позволяет передискретизировать набор данных с временным индексом. Метод принимает периодичность, к которой вы хотите передискретизировать, например, 'W' для недели или 'H' для часа. Поскольку вам нужно предоставить метод, с помощью которого изобретаются ваши данные, вы можете применить другой метод, такой как .mean(), чтобы передискретизировать с этой агрегационной функцией. Давайте передискретизируем наши часовые данные до ежедневных данных:

# Передискретизация всего DataFrame одним методом
df = df.resample('D').mean()
print(df.head())
# Возвращает:
#              Close Price    High Price     Low Price    Open Price       Volume
# Date                                                                           
# 2021-11-24  56694.938947  56992.628947  56471.820526  56664.502632  1690.892599
# 2021-11-25  58265.386250  58496.355000  58005.205417  58189.446250  1756.396467
# 2021-11-26  55535.068333  55949.997083  55287.681667  55753.348333  2746.994611
# 2021-11-27  54612.505833  54867.189583  54382.247500  54570.950417  1238.208315
# 2021-11-28  54639.055417  54863.042500  54279.283750  54532.270000  1506.821404

Здесь мы видим, что часовые данные были уменьшены до ежедневных данных.

Передискретизация временных рядов Pandas различными методами

В многих случаях вы не захотите передискретизировать свой DataFrame, используя один и тот же метод для каждого столбца. Например, вы можете захотеть передискретизировать столбец High Price методом .max(), а столбец Low Price методом .min().

Это можно сделать, применив метод .agg() к методу .resample(). Метод .agg() позволяет передать словарь, содержащий пары "ключ-значение" столбца и метода, который вы хотите использовать для агрегации. Давайте посмотрим, как мы можем передать разные методы для разных столбцов:

# Передискретизация данных различными методами
df = df.resample('D').agg({
    'Close Price': 'last',
    'High Price': 'max',
    'Low Price': 'min',
    'Open Price': 'first',
    'Volume': 'sum'
})

print(df.head())
# Возвращает:
#             Close Price  High Price  Low Price  Open Price       Volume
# Date                                                                   
# 2021-11-24     57138.29    57560.00   55837.00    56560.01  32126.95939
# 2021-11-25     58960.36    59398.90   57000.00    57138.29  42153.51522
# 2021-11-26     53726.53    59150.00   53500.00    58960.37  65927.87066
# 2021-11-27     54721.03    55280.00   53610.00    53723.72  29716.99957
# 2021-11-28     57274.88    57445.05   53256.64    54716.47  36163.71370

Вы можете видеть, что при передаче разных методов для каждого столбца наш набор данных получился совсем другим по сравнению с тем, где применялся только метод .mean()! Это позволяет вам получить гораздо более тонкий контроль над своими данными!

Упражнения

Пришло время проверить ваше понимание! Попробуйте выполнить упражнения ниже. Если вам нужна помощь или вы хотите проверить свое решение, просто переключите раздел ниже.

Вопрос 1

Создайте строку формата для следующего формата даты: “Saturday, March 31, 2022 13:34:33”

Следующая строка формата соответствует критериям выше:

date_format = '%A, %B %d, %Y %H:%M:%S'
Вопрос 2

Как бы вы нашли значение для цены закрытия 23 декабря 2021 года в 13:00?

Вы можете использовать .loc accessor:

df = df.set_index('Date')
print(df.loc['2021-12-01 13:00:00', 'Close Price'])
# Возвращает: 57646.5
Вопрос 3

Как бы вы нашли среднее значение высокой цены 14 декабря 2021 года?

Вы можете отфильтровать DataFrame по этой дате и применить метод .mean():

df = df.set_index('Date')
print(df.loc['2021-12-14', 'High Price'].mean())
# Возвращает: 47139.53166666667

Заключение и повторение

В этом учебном пособии вы узнали, как работать с DateTime в Pandas с Python! Раздел ниже предоставляет краткое повторение всего, что вы узнали:

  • Существует несколько способов парсинга дат и времени при загрузке вашего DataFrame. Если передача столбцов в параметр parse_dates= не работает, определите функцию парсера и передайте функцию в параметр date_parser=.

  • Значения DateTime в Pandas имеют атрибуты и методы, к которым можно получить доступ с помощью .dt accessor.

  • Значения DateTime можно передискретизировать, увеличивая или уменьшая их, чтобы обеспечить более высокую или более низкую детализацию в ваших наборах данных.

Дополнительные ресурсы

Чтобы узнать больше о связанных темах, ознакомьтесь с учебными пособиями ниже:

  • Преобразование Pandas Datetime в части даты (месяц, год и т.д)

  • Python Date to String: Python strftime Объяснение

  • Pandas: добавление дней в столбец дат

  • Создание диапазонов дат с помощью Pandas

Импорт DateTime в DataFrame Pandas
Использование parse_dates Pandas для импорта DateTime
Использование to_datetime для преобразования столбцов в DateTime
Использование date_parser для импорта сложных DateTime
Атрибуты и методы DateTime в Pandas
Атрибуты DateTime в Pandas
Методы DateTime в Pandas
Фильтрация DataFrame Pandas на основе DateTime
Передискретизация DataFrame Pandas с использованием DateTime
Передискретизация временных рядов Pandas различными методами
Упражнения
Заключение и повторение
Дополнительные ресурсы