Найти дубликаты в списке Python

В этом руководстве вы научитесь находить и работать с дубликатами в списках Python. Умение эффективно работать со списками Python — важный навык, учитывая их широкое использование. Поскольку списки Python позволяют хранить повторяющиеся значения, умение идентифицировать, удалять и понимать дублирующиеся значения — полезный навык.

К концу этого учебника вы научитесь:

• Найдите дубликаты в списке, а также как их посчитать

• Удалить дубликаты в списках Python

• Найти дубликаты в списке словарей и списках

Оглавление

• Как найти дубликаты в списке в Python

• Как найти дубликаты в списке и посчитать их в Python

• Как удалить дубликаты из списка в Python

• Как удалить дубликаты в списке словарей в Python

• Как удалить дубликаты в списке списков в Python

• Заключение

• Дополнительные ресурсы

Как найти дубликаты в списке в Python

Давайте начнем этот учебник с рассмотрения того, как найти дубликаты в списке на Python. Мы можем сделать это, используя функцию set() и метод list.count()

Метод .count() принимает один аргумент — элемент, который нужно посчитать, и возвращает количество раз, которое этот элемент встречается в списке. Благодаря этому, мы можем создать список, который будет возвращать только те элементы, которые встречаются больше одного раза. Давайте посмотрим, как это работает, а затем разберем это подробнее:

# Поиск дубликатов в списке в Python
numbers = [1, 2, 3, 2, 5, 3, 3, 5, 6, 3, 4, 5, 7]

# Создание списка чисел, которые встречаются в исходном списке более одного раза
duplicates = [number for number in numbers if numbers.count(number) > 1]

# Преобразование списка дубликатов в множество для удаления повторений, затем обратно в список
unique_duplicates = list(set(duplicates))

print(unique_duplicates)

# Вывод: [2, 3, 5]

Давайте разберем, что мы здесь сделали:

1. Мы использовали генератор списка, чтобы включить любые элементы, которые встречаются в списке более одного раза.

2. Затем мы преобразовали это в набор, чтобы удалить все дубликаты из отфильтрованного списка

3. Наконец, мы преобразовали множество обратно в список

В следующем разделе вы узнаете, как найти дубликаты в списке Python и подсчитать, как часто они встречаются.

Как найти дубликаты в списке и посчитать их в Python

В этом разделе вы узнаете, как подсчитывать дубликаты элементов в списках Python. Это позволяет преобразовать список элементов в словарь, где ключом является элемент списка, а соответствующее значение — количество повторений данного элемента.

Для этого мы воспользуемся классом Counter из модуля collections. Затем мы отфильтруем получившийся словарь с помощью словарного включения. Давайте посмотрим на код, а затем разберём шаги построчно:

# Поиск дубликатов в списке в Python и подсчёт их количества
from collections import Counter
numbers = [1, 2, 3, 2, 5, 3, 3, 5, 6, 3, 4, 5, 7]

# Использование Counter для подсчета количества каждого элемента в списке
counts = dict(Counter(numbers))

# Создание словаря, содержащего только те элементы, которые встречаются более одного раза
duplicates = {key:value for key, value in counts.items() if value > 1}
print(duplicates)

# Вывод: {2: 2, 3: 4, 5: 3}

Давайте разберем этот код, так как он немного сложнее:

1. Мы импортируем класс Counter из библиотеки collections

2. Мы загружаем наш список numbers

3. Затем мы создаем объект Counter из нашего списка и преобразуем его в словарь

4. Затем мы фильтруем наш словарь, чтобы удалить любые пары ключ:значение, где ключ встречается только один раз

В следующем разделе вы узнаете, как удалить дубликаты из списка Python.

Как удалить дубликаты из списка в Python

Удаление дублирующихся элементов в списке Python легко осуществить с помощью функции set(). Поскольку множества в Python не могут содержать дублирующиеся элементы, при преобразовании списка в множество удаляются все дубликаты. Затем можно преобразовать множество обратно в список с помощью функции list()

Посмотрим, как это можно сделать на Python:

# Удаление дубликатов из списка в Python
from collections import Counter
numbers = [1, 2, 3, 2, 5, 3, 3, 5, 6, 3, 4, 5, 7]

# Преобразование списка в множество для удаления дубликатов, затем обратно в список
unique = list(set(numbers))
print(unique)

# Вывод: [1, 2, 3, 4, 5, 6, 7]

Чтобы узнать о других способах удаления дубликатов из списка в Python, ознакомьтесь с этим руководством, охватывающим множество различных способов достижения этой цели! В следующем разделе вы узнаете, как найти дубликаты в списке словарей.

Как удалить дубликаты в списке словарей в Python

Давайте посмотрим, как можно удалить дубликаты из списка словарей в Python. Часто данные с веба приходят в форматах, похожих на списки словарей. Умение удалять дубликаты из этих списков — важный навык для упрощения ваших данных.

Посмотрим, как мы можем сделать это в Python, используя цикл for:

# Удаление дубликатов из списка словарей
items = [{'name':'Nik'}, {'name': 'Kate'}, {'name':'James'}, {'name':'Nik'}, {'name': 'Kate'}]
unique_items = []

# Добавление элементов в уникальный список только если их там ещё нет
for item in items:
    if item not in unique_items:
        unique_items.append(item)
print(unique_items)

# Вывод: [{'name': 'Nik'}, {'name': 'Kate'}, {'name': 'James'}]

Этот метод будет включать только полные дубликаты. Это означает, что если в словаре будет, скажем, дополнительная пара ключ-значение, он будет включен.

Как удалить дубликаты в списке списков в Python

Мы можем использовать тот же подход для удаления дубликатов из списка списков в Python. Опять же, этот подход потребует, чтобы список был полностью одинаковым, чтобы считаться дубликатом. В этом случае, даже разные порядки будут считаться уникальными.

Давайте посмотрим, как это выглядит:

# Удаление дубликатов из списка списков в Python
list_of_lists = [[1,2,3], [1,2], [2,3], [1,2,3], [2,3], [1,2,3,4]]
unique = []

# Добавление вложенных списков в уникальный список только если их там ещё нет
for sublist in list_of_lists:
    if sublist not in unique:
        unique.append(sublist)

print(unique)

# Вывод: [[1, 2, 3], [1, 2], [2, 3], [1, 2, 3, 4]]

Мы проходим по каждому подсписку в нашем списке списков и проверяем, существует ли элемент в нашем уникальном списке. Если его еще нет (т.е. он пока уникален), то он добавляется в наш список. Это гарантирует, что элемент добавляется в наш список только один раз.

Заключение

В этом уроке вы узнали, как работать с дублирующимися элементами в списках Python. Сначала вы узнали, как идентифицировать и подсчитывать дублирующиеся элементы. Затем вы узнали, как удалять дублирующиеся элементы из списка с помощью функции set(). Далее вы узнали, как удалять дублирующиеся элементы из списка словарей, а также из списка списков в Python.

Работа со списками значительно улучшает ваши навыки программирования на Python. Поскольку эти структуры данных чрезвычайно распространены, умение работать с ними делает вас гораздо более уверенным и способным разработчиком.

Чтобы узнать больше о классе Counter из библиотеки collections, ознакомьтесь с официальной документацией здесь

Дополнительные ресурсы

Чтобы узнать о связанных темах, ознакомьтесь с учебными материалами ниже:

• Python: объединить списки – объединить списки (8 способов)

• Python: подсчитать количество вхождений в списке (6 способов)

• Разница в списках Python: найдите разницу между двумя списками Python