Pandas
Last updated
Pandas — это популярная библиотека Python, используемая для манипуляции табличными данными. Она предоставляет универсальный объект dataframe, который может читать данные из многих популярных форматов, таких как Excel, SQL, CSV и др. Она предлагает невероятно полезные методы как для изменения формы ваших данных, так и для анализа ваших данных различными способами.
– Узнайте все, что вам нужно знать о сводных таблицах Pandas в этом подробном руководстве, охватывающем универсальную функцию. Вы научитесь работать с многоуровневыми сводными таблицами и создавать собственные пользовательские функции для анализа данных.
– Узнайте, как стилизовать ваш DataFrame в Pandas различными способами, используя цвет и форматирование значений, чтобы лучше иллюстрировать важность представляемых данных. API стилизации Pandas предоставляет вам множество различных инструментов, которые значительно упрощают работу со стилизацией табличных данных.
Метод groupby в Pandas - мощный инструмент, позволяющий агрегировать данные с использованием простого синтаксиса, при этом скрывая сложные вычисления. Одно из главных преимуществ метода groupby - возможность группировки по нескольким столбцам и даже применение нескольких преобразований. К концу этого учебника вы научитесь...
Узнайте, как использовать Pandas для удаления индексной колонки DataFrame с помощью методов reset_index и set_index, а также как читать csv-файлы без индекса.
Узнайте, как использовать метод quantile в Pandas для расчета процентилей, включая модификацию интерполяции значений.
В этом посте вы узнаете, как рассчитать скользящее среднее в Pandas с использованием функции rolling(). Скользящие средние также известны как движущиеся средние. Создание скользящего среднего позволяет "сгладить" небольшие колебания в наборах данных, одновременно получая представление о тенденциях. Часто его используют в макроэкономике, например, в таких показателях, как уровень безработицы, валовой внутренний продукт и цены на акции.
Добро пожаловать в наше подробное руководство по использованию метода fillna в Pandas! Обработка отсутствующих данных - это важный шаг в процессе очистки данных. Он обеспечивает достоверность, точность и консистентность результатов анализа. К счастью, использование метода .fillna() в Pandas может значительно упростить работу с такими неприятными значениями, как "NaN" или "null". В этом учебном пособии мы рассмотрим…
Pandas предлагает множество различных способов работы с уникальными значениями. Узнайте, как получить уникальные значения в виде списка, получить уникальные значения по столбцам и многое другое!
Вы можете легко распаковать и преобразовать данные с помощью Python, используя Pandas и функцию Melt! Узнайте, как это сделать, из этого подробного обзора!
В этом учебнике мы глубоко погрузимся в один из самых важных и универсальных инструментов библиотеки Pandas — функцию date_range. Независимо от того, только ли вы начинаете изучать возможности Pandas или уже являетесь опытным пользователем, эта функция обязательно должна быть в вашем инструментарии Python. Это откроет для вас…
Узнайте, как использовать метод сброса индекса в Pandas для сброса индекса, включая работу с мультииндексом и удаление оригинального индекса.
Узнайте, как использовать метод replace в Pandas для замены значений по столбцам и во всем DataFrame, включая использование регулярных выражений.
Владение навыками работы с DataFrame в Pandas и их манипуляция является необходимым умением для каждого, кто работает в области анализа данных или науки о данных. Поскольку Pandas становится повсеместным инструментом для аналитиков данных, важно уметь подготавливать DataFrame к презентации. В этом руководстве вы узнаете, как использовать Pandas для перемещения столбца DataFrame…
В этом руководстве вы узнаете о библиотеке pandas в Python! Библиотека позволяет работать с табличными данными в привычном и доступном формате. pandas обеспечивает невероятную простоту, когда это необходимо, но также позволяет глубоко погружаться в поиск, манипулирование и агрегирование данных. pandas является одной из самых ценных библиотек для преобразования данных…
Работа с отсутствующими данными является важным навыком для любого аналитика данных или специалиста по данным! Во многих случаях вам захочется заменить ваши отсутствующие данные или значения NaN на нули. В этом уроке вы узнаете, как использовать Pandas для замены значений NaN на нули. Это обычный навык, который является частью лучше…
Файлы Pickle - это сериализованные структуры данных, позволяющие сохранять состояние данных между сессиями. Файлы Pickle невероятно распространены в науке о данных. В этом учебнике вы узнаете, как сериализовать DataFrame Pandas в файл Pickle. Это важная функция, которую необходимо понимать, учитывая распространенность файлов Pickle в рабочих процессах науки о данных.…
В этом уроке вы узнаете, как преобразовать Pandas DataFrame в объект и файл JSON с использованием Python. Большинство языков программирования могут читать, анализировать и работать с JSON. Поэтому знание того, как преобразовать Pandas DataFrame в JSON, является важным навыком. Pandas предоставляет много гибкости при конвертации DataFrame…
В этом посте вы узнаете, как использовать Python для преобразования DataFrame Pandas в словарь. Поскольку DataFrame в Pandas - это сложные структуры данных, существует множество различных способов, которыми это может быть сделано. В этом посте рассматриваются все различные опции, которые предоставляет Pandas! Например, Pandas позволяет конвертировать…
В этом посте вы научитесь преобразовывать Pandas DataFrame в список, включая список списков, список кортежей и список словарей. Умение преобразовывать Pandas DataFrame в различные форматы позволяет работать с разными библиотеками, которые могут не принимать Pandas DataFrame. Pandas предоставляет вам...
В этом руководстве вы узнаете, как использовать функцию Pandas read_parquet для чтения файлов Parquet в Pandas. Хотя файлы CSV могут быть повсеместно используемым форматом файлов для аналитиков данных, они имеют ограничения по мере увеличения размера ваших данных. Здесь на помощь приходят файлы Apache Parquet! По завершении этого руководства вы научитесь:…
В этом уроке вы узнаете, как использовать метод dropna() в Pandas для удаления отсутствующих значений в DataFrame Pandas. Работа с отсутствующими данными является одним из ключевых навыков при очистке ваших данных перед их анализом. Поскольку очистка данных может занимать до 80% времени аналитика данных / ученого-данных, важно уметь…
В этом руководстве вы узнаете, как добавить новый столбец в DataFrame Pandas. Библиотека Pandas предоставляет удобный способ работы с табличными данными. Одна из наиболее частых задач, с которыми вы столкнетесь, - это необходимость добавления дополнительных данных в DataFrame Pandas.
В этом руководстве вы узнаете, как использовать Pandas для подсчёта уникальных значений. Вы научитесь подсчитывать уникальные значения в столбце, в нескольких столбцах и во всём DataFrame. Умение подсчитывать уникальные значения может быть полезным во многих случаях. Например, это может пригодиться при тестировании вашего кода.
В этом уроке вы узнаете, как изменить настройки отображения в Pandas для отображения всех столбцов, а также всех строк в вашем DataFrame. По умолчанию Pandas ограничивает количество отображаемых столбцов и строк. Хотя это может быть полезным с точки зрения возможности чтения содержимого, это часто может привести…
В этом учебнике вы узнаете, как сохранить свой DataFrame или DataFrames Pandas в файлы Excel. Умение сохранять данные в этом повсеместно используемом формате данных является важным навыком во многих организациях. Вы узнаете, как сохранить простой DataFrame в Excel, а также как настроить свои параметры для создания…
В этом учебнике вы узнаете, как использовать Python и Pandas для чтения файлов Excel с помощью функции pandas read_excel. Файлы Excel повсюду — и хотя они могут не быть идеальным типом данных для многих специалистов по данным, знание того, как с ними работать, является важным навыком.
В этом уроке вы узнаете, как преобразовать список словарей Python в Pandas DataFrame. Pandas предоставляет несколько различных способов для преобразования словарей в DataFrame. Вы узнаете, как использовать метод from_dict, конструктор DataFrame и функцию json_normalize. К концу этого урока вы…
В этом уроке вы узнаете, как добавить (или вставить) строку в DataFrame Pandas. Вы узнаете, как добавить одну строку, несколько строк и на конкретные позиции. Вы также узнаете, как добавить строку, используя список, серию и словарь.
В этом учебнике вы узнаете, как использовать Pandas для создания диаграммы рассеяния. Pandas использует Matplotlib, что делает настройку вашего графика знакомым процессом. С помощью Pandas вы можете настроить диаграмму рассеяния, изменяя цвета, добавляя заголовки и многое другое. В более поздних версиях Pandas включил возможность использовать различные…
В этом руководстве вы узнаете, как использовать функцию Pandas to_datetime для преобразования столбца Pandas в дату и время. Pandas предоставляет огромное количество методов и функций, которые делают работу с датами невероятно гибкой. Однако данные не всегда правильно считываются.
В этом уроке вы узнаете, как погрузиться в удивительный мир Pandas. Pandas - это пакет Python, который предоставляет быстрые и гибкие структуры данных, используемые для манипуляции и анализа данных. К концу этого урока вы узнаете, как: Установить pandas для Python с помощью pip или conda Понять серию pandas…
В этом уроке вы узнаете, как индексировать, выбирать и присваивать данные в DataFrame Pandas. Понимание того, как индексировать и выбирать данные, является важным первым шагом в любой исследовательской работе, которую вы возьмете на себя в области данных. Аналогичным образом, знание того, как присваивать значения в Pandas, может открыть для вас целый новый мир возможностей…
В этом уроке вы узнаете, как быстро суммировать и анализировать Pandas DataFrame. К концу этого урока вы сможете проводить некоторый исследовательский анализ вашего набора данных с помощью pandas. Вы узнаете, как рассчитывать общие характеристики вашего набора данных, такие как меры центральной тенденции или меры разброса. Вы…
В этом уроке вы узнаете, как преобразовывать столбцы DataFrame в Pandas с использованием векторизованных функций и пользовательских функций с использованием методов map и apply. К концу этого урока вы будете хорошо понимать, как Pandas применяет векторизованные функции и как они оптимизированы для производительности. Вы также научитесь использовать пользовательские…
В этом руководстве вы узнаете, как группировать данные в Python с помощью функций Pandas cut и qcut. Вы узнаете, почему группировка данных полезна в Pandas и как её можно использовать для лучшей организации и анализа информации. К концу этого руководства вы научитесь: использовать функции cut и...
В этом руководстве вы узнаете, как работать с датами, временем и DateTime в Pandas и Python. Работа с DateTime в Python и Pandas может быть сложной. Это руководство направлено на то, чтобы сделать сложное простым, сосредоточившись на том, что вам нужно знать для начала и чтобы уметь находить дополнительную информацию…
В этом руководстве вы научитесь очищать и готовить данные в DataFrame Pandas. Вы узнаете, как работать с отсутствующими данными, как работать с дублирующимися данными и как справляться с неструктурированными строковыми данными. Умение эффективно очищать и подготавливать набор данных — важный навык. Многие специалисты по данным оценивают, что они тратят...
Метод pandas groupby - это невероятно мощный инструмент, помогающий приобрести эффективное и значимое понимание вашего набора данных. Всего за несколько простых для понимания строк кода вы можете агрегировать свои данные невероятно прямолинейными и мощными способами. К концу этого урока вы узнаете, как метод Pandas .groupby()…
В этом уроке вы узнаете, как использовать Pandas для извлечения частей даты из столбца datetime, таких как дата, год и месяц. Pandas предоставляет множество простых способов извлечения частей из объекта datetime, включая использование доступа .dt. В конце этого урока вы узнаете, как…
Узнайте, как использовать Pandas для получения номера строки, соответствующей условию или нескольким условиям, а также как подсчитывать строки, соответствующие условиям.
Узнайте, как использовать Pandas для вычисления взвешенного среднего в Python, применяя groupby, numpy и функцию zip между двумя списками.
Узнайте, как перемешать Pandas Dataframe с помощью трех различных методов, включая возможность воспроизведения результатов перемешивания.
Узнайте, как с помощью Python и Pandas подсчитать количество столбцов в DataFrame, включая подсчет столбцов, соответствующих определенному условию.
Узнайте, как использовать Pandas для подсчета суммы: сложение столбцов и строк DataFrame, а также условное сложение столбцов.
Узнайте, как использовать метод diff в Pandas для вычисления разницы между строками и столбцами DataFrame, включая определенные интервалы
Узнайте, как нормализовать и стандартизовать Pandas Dataframe с помощью sklearn, включая масштабирование по максимальному абсолютному значению, min-max масштабирование и z-оценочное масштабирование.
Узнайте, как использовать метод rank в Pandas для ранжирования данных, включая ранжирование сгруппированного DataFrame
Узнайте, как использовать метод describe в Pandas для генерации сводной статистики вашего Dataframe, включая изменение процентилей.
Узнайте, как использовать функцию shift в Python Pandas для перемещения строк в DataFrame вверх или вниз, включая работу с временными рядами и отсутствующими данными.
Learn how to sample data in Pandas using Python, including how to use the sample function, reproduce results, and weighted samples of data.
Use Python and Pandas to export a dataframe to a CSV file, using .to_csv, including changing separators, encoding, and missing values.
Learn how to use Python and Pandas to iterate over rows of a dataframe, why vectorization is better, and how to use iterrows and itertuples.
Learn how to use Python and Pandas to convert a dataframe column values to strings, including how to optimize for memory and efficiency.
Learn how to calculate the variance of a variable in Pandas, including how to calculate for a single column, multiple or a whole dataframe.
Learn how to create a Pandas dataframe from lists, including using lists of lists, the zip() function, and ways to add columns and an index.
Learn how to rename a Pandas index, including a single index or multi-index, as well as how to drop an index name altogether.
Learn how to use Pandas to count unique values in a GroupBy object, allowing you to count distinct values using the popular groupby method.
Learn how to use Pandas to add days to a date column, both constant values and based off another column, using the Pandas timedelta function.
Learn how to calculate the Pandas mean (or Pandas Average), including how to calculate it on a column, dataframe, and row, and with nulls.
Learn how to convert a Pandas column to list with this tutorial. Learn three different ways to accomplish this, all very easy to follow!
Learn how to transpose a pandas dataframe, including how to work with mixed datatypes and what their outputs may be.
Learn how to split a Pandas dataframe in Python. Split a dataframe by column value, by position, and by random values.
Learn how to get Pandas columns as a list, a sorted list and how to check if a column exists in a particular dataframe.
Learn how to count the number of rows in a Pandas Dataframe, including identifying how many rows contain a value or meet a condition.
In this post, you’ll learn how to create empty pandas dataframes and how to add data to them row-by-row and add rows via a loop.
Learn the ways in which you can rename Pandas columns, using Pandas .rename() method. Learn how to rename one, all, including automatically.
Learn different ways to reorder Pandas columns, including the Pandas reindex function as well as a custom function.
The pandas get dummies function allows you to easily one-hot encode your data sets for use in machine learning algorithms.
In this post, you’ll learn how to calculate relative frequencies and absolute frequencies using pure Python, as well as the popular data science library, Pandas. A relative frequency, measures how often a certain value occurs in a dataset, relative to the total number of values in that dataset. An absolute frequency, meanwhile, simply measures how…
Learn how to calculate custom a Pandas fiscal year and how to format these fiscal years in custom ways.
Lean how to sort data in a Pandas dataframe, including how to sort in ascending or descending order, as well as sorting by multiple columns.
The Pandas value_counts functioncounts values in a Pandas dataframe. Learn to normalize, include missing values, and combine with groupby.
Learn how to use Pandas to drop columns and rows in a dataframe, including how to drop columns or rows based on conditions.
Pandas is one of the quintessential libraries for data science in Python. A useful skill is the ability to create new columns, either by adding your own data or calculating data based on existing data. Video Tutorial Loading Dataset Let’s start off the tutorial by loading the dataset we’ll use throughout the tutorial. We can…
The Pandas crosstab function is one of the many ways in which Pandas allows you to customize data. On the surface, it appears to be quite similar to the Pandas pivot table function, which I’ve covered extensively here. This post will give you a complete overview of how to best leverage the function. The crosstab…
Learn how to drop duplicates in Pandas, including keeping the first or last instance, and dropping duplicates based only on a subset of columns.
Learn how to easily scrape data from the web without having to build a complex web scraping script!
Learn what histograms are and how to create them in Python with Matplotlib and Pandas.
Learn all the ways in which to filter pandas dataframes in this tutorial, including filtering dates, multiple columns, using the iloc, loc and query functions!
In this tutorial, you’ll learn how to select all the different ways you can select columns in Pandas, either by name or index. You’ll learn how to use the loc, iloc accessors and how to select columns directly. You’ll also learn how to select columns conditionally, such as those containing a specific substring. By the end of this tutorial,…
Explore the how to style Pandas dataframes and make them presentation ready, including how to add conditional formatting and data type labels!
You may be familiar with pivot tables in Excel to generate easy insights into your data. In this post, you’ll learn how to create pivot tables in Python and Pandas using the .pivot_table() method. This post will give you a complete overview of how to use the .pivot_table() function! Being able to quickly summarize data…
In this post, we’ll explore how binning data in Python works with the cut() method in Pandas. In the past, we’ve explored how to use the describe() method to generate some descriptive statistics. In particular, the describe method allows us to see the quarter percentiles of a numerical column. However, as we’re generating insight into…
In this tutorial, you’ll learn how to use Python and Pandas to VLOOKUP data in a Pandas DataFrame. VLOOKUPs are common functions in Excel that allow you to map data from one table to another. In many cases, this can be used to lookup data from a reference table, such as mapping in, say, a…
