Дисперсия в Pandas: Вычисление дисперсии столбца в Pandas Dataframe

PreviousPandas: Преобразование значений столбца в строки NextPandas: Создание DataFrame из списков (5 способов!)

Last updated 26 days ago

Дисперсия в Pandas: Вычисление дисперсии столбца в Pandas Dataframe

В этом руководстве вы узнаете, как рассчитать дисперсию в Pandas, включая вычисление дисперсии для одного столбца, нескольких столбцов и целого DataFrame Pandas.

Быстрый ответ: используйте Pandas .var()

# Вычисление дисперсии Pandas для одного столбца
import pandas as pd

df = pd.DataFrame({
    'name': ['James', 'Jane', 'Melissa', 'Ed', 'Neil'],
    'ages': [30, 40, 32, 67, 43],
    'ages_missing_data': [30, 40, 32, 67, None],
    'income': [100000, 80000, 55000, 62000, 120000]
})

variance = df['income'].var()
print(variance)

# Возвращает: 722800000.0

Оглавление

Что такое статистика дисперсии?

Термин "дисперсия" используется для измерения разброса чисел в наборе данных. Дисперсия показывает, насколько каждое число отличается от среднего значения всех чисел, тем самым предоставляя способ определить, насколько разбросаны наши данные.

Дисперсия рассчитывается по формуле:

Вычисление разницы между каждым числом и средним значением
Вычисление квадрата каждой разницы
Разделите сумму квадратов разностей на количество наблюдений в вашей выборке минус 1

Формула для дисперсии выглядит так:

Тепер, когда у вас есть хорошее понимание того, что такое мера дисперсии, давайте узнаем, как рассчитать её с помощью Python.

Как рассчитать дисперсию в Python

Прежде чем мы перейдем к тому, как рассчитать дисперсию с помощью Pandas, давайте сначала разберемся, как можно реализовать расчет дисперсии с нуля, используя Python.

# Вычисление дисперсии вручную в Python

numbers = [1,2,3,4,5,6,7,8,9]

def variance(observations):
    mean = sum(observations) / len(observations)
    squared_differences = 0
    for number in observations:
        difference = mean - number
        squared_difference = difference ** 2
        squared_differences += squared_difference
    variance = squared_differences / (len(observations) - 1)

    return variance

print(variance(numbers))

# Возвращает 7.5

В этом коде мы сделали следующее:

Создана функция, которая принимает наблюдения в виде списка
Сначала мы вычисляем среднее значение наблюдений, деля сумму наблюдений на количество наблюдений.
Мы создаем новую переменную, которая будет содержать квадраты разностей, и инициализируем её нулем.
Затем мы перебираем каждое наблюдение, вычисляем разницу с средним и возводим её в квадрат. Это число затем добавляется к значению наших возведённых в квадрат различий.
Наконец, мы делим сумму квадратов отклонений на количество наблюдений минус 1.

К счастью, вам не нужно каждый раз прописывать этот код, чтобы вычислить дисперсию набора данных в Pandas. В следующем разделе вы узнаете, как легко рассчитать дисперсию одного столбца с помощью Pandas.

Загрузка образца Pandas Dataframe

Если вы хотите следить за ходом выполнения руководства, не стесняйтесь загружать датафрейм ниже. Мы включим различные столбцы, включая один, содержащий строки, один с отсутствующими данными и два числовых столбца.

Загрузим датафрейм с помощью следующего кода:

# Загрузка примера Pandas DataFrame

import pandas as pd

df = pd.DataFrame({
    'name': ['James', 'Jane', 'Melissa', 'Ed', 'Neil'],
    'ages': [30, 40, 32, 67, 43],
    'ages_missing_data': [30, 40, 32, 67, None],
    'income':[100000, 80000, 55000, 62000, 120000]
})

print(df)

# Возвращает:
#       name  ages  ages_missing_data  income
# 0    James    30               30.0  100000
# 1     Jane    40               40.0   80000
# 2  Melissa    32               32.0   55000
# 3       Ed    67               67.0   62000
# 4     Neil    43                NaN  120000

Теперь, когда у нас есть DataFrame для работы, давайте начнем вычислять дисперсию для DataFrame в Pandas.

Как рассчитать дисперсию в Pandas для одного столбца

Pandas делает вычисление дисперсии для одного столбца очень простым. В нашем первом примере мы начнем с вычисления различий для столбца, который не содержит пропущенных данных.

Посмотрим, как можно вычислить дисперсию для столбца income :

# Вычисление дисперсии Pandas для одного столбца

import pandas as pd

df = pd.DataFrame({
    'name': ['James', 'Jane', 'Melissa', 'Ed', 'Neil'],
    'ages': [30, 40, 32, 67, 43],
    'ages_missing_data': [30, 40, 32, 67, None],
    'income':[100000, 80000, 55000, 62000, 120000]
})

income_variance = df['income'].var()

print(income_variance)

# Возвращает: 722800000.0

По умолчанию, Pandas использует n-1 как знаменатель. Если мы хотим использовать n как знаменатель, мы можем применить аргумент ddof (дельта степеней свободы) и изменить его значение на 0.

Давайте посмотрим, как это будет выглядеть:

# Вычисление дисперсии Pandas для одного столбца

import pandas as pd

df = pd.DataFrame({
    'name': ['James', 'Jane', 'Melissa', 'Ed', 'Neil'],
    'ages': [30, 40, 32, 67, 43],
    'ages_missing_data': [30, 40, 32, 67, None],
    'income':[100000, 80000, 55000, 62000, 120000]
})

income_variance = df['income'].var(ddof=0)

print(income_variance)

# Возвращает: 578240000.0

В следующем разделе вы узнаете, как обрабатывать пропущенные значения при вычислении дисперсии.

Как работать с пропущенными данными при расчете дисперсии Pandas

Во многих случаях вам может понадобиться работать с несовершенными данными — а именно, иногда данные могут отсутствовать. Поэтому вам нужно будет принимать решения о том, как обрабатывать отсутствующие данные в ваших расчетах. По умолчанию Pandas будет игнорировать отсутствующие данные при вычислении дисперсии.

Давайте рассмотрим расчет дисперсии столбца с пропущенными данными.

# Вычисление дисперсии Pandas для одного столбца с пропущенными данными

import pandas as pd

df = pd.DataFrame({
    'name': ['James', 'Jane', 'Melissa', 'Ed', 'Neil'],
    'ages': [30, 40, 32, 67, 43],
    'ages_missing_data': [30, 40, 32, 67, None],
    'income':[100000, 80000, 55000, 62000, 120000]
})

missing_data_variance = df['ages_missing_data'].var()

print(missing_data_variance)

# Возвращает: 290.9166666666667

Теперь давайте посмотрим, как выглядит дисперсия, когда мы включаем наши отсутствующие данные:

# Вычисление дисперсии Pandas для одного столбца с пропущенными данными

import pandas as pd

df = pd.DataFrame({
    'name': ['James', 'Jane', 'Melissa', 'Ed', 'Neil'],
    'ages': [30, 40, 32, 67, 43],
    'ages_missing_data': [30, 40, 32, 67, None],
    'income':[100000, 80000, 55000, 62000, 120000]
})

missing_data_variance = df['ages_missing_data'].var(skipna=False)

print(missing_data_variance)

# Возвращает: nan

Здесь видно, что когда в столбце есть отсутствующие данные, возвращается na. Чтобы обойти это, можно заменить отсутствующие данные на 0 или вычисленным значением.

В следующем разделе вы узнаете, как вычислить дисперсию для нескольких столбцов в Pandas.

Как рассчитать дисперсию в Pandas для нескольких столбцов

Может быть, множество случаев, когда вы хотите рассчитать дисперсию для нескольких столбцов, чтобы увидеть разброс по связанным переменным.

Чтобы это сделать, мы можем просто индексировать столбцы, для которых хотим вычислить дисперсию, используя двойные квадратные скобки [[]], а затем воспользоваться методом .var() .

Давайте посмотрим, как это:

# Вычисление дисперсии Pandas для нескольких столбцов

import pandas as pd

df = pd.DataFrame({
    'name': ['James', 'Jane', 'Melissa', 'Ed', 'Neil'],
    'ages': [30, 40, 32, 67, 43],
    'ages_missing_data': [30, 40, 32, 67, None],
    'income':[100000, 80000, 55000, 62000, 120000]
})

variances = df[['ages', 'income']].var()
print(variances)

# Возвращает:
# ages            218.3
# income    722800000.0
# dtype: float64

Здесь мы видим, что возвращается серия данных, которая предоставляет имя столбца и дисперсию этих столбцов.

Как рассчитать дисперсию в Pandas для Dataframe

Рассчитать дисперсии для всего датафрейма еще проще. Pandas распознает, если столбец не является числовым, и исключит его из анализа дисперсии.

Просто примените метод .var() к датафрейму, и Pandas вернет серию, содержащую дисперсии для различных числовых столбцов.

Давайте посмотрим, как это выглядит:

# Вычисление дисперсии Pandas для всего dataframe

import pandas as pd

df = pd.DataFrame({
    'name': ['James', 'Jane', 'Melissa', 'Ed', 'Neil'],
    'ages': [30, 40, 32, 67, 43],
    'ages_missing_data': [30, 40, 32, 67, None],
    'income':[100000, 80000, 55000, 62000, 120000]
})

variances = df.var()
print(variances)

# Возвращает:
# ages                 2.183000e+02
# ages_missing_data    2.909167e+02
# income               7.228000e+08
# dtype: float64

Заключение

В этом посте вы узнали, что такое дисперсия, как рассчитать её с нуля с помощью Python, а также как легко вычислить дисперсию в Pandas для одного или нескольких столбцов или для всего датафрейма.