リストから重複要素を削除する処理、いわゆる重複排除は、Pythonにおける一般的なタスクです。最適なアプローチは、要素の元の順序を維持する必要があるかどうかによって異なります。この記事では、効率的な2つの方法について説明します。1つは速度を優先し、もう1つは順序を維持します。
目次
リストの重複排除（順序なし）
要素の順序が重要でない場合は、Pythonの組み込み型であるsetを使用するのが最速の解決策です。setは固有の要素のみを格納します。リストをsetに変換してからリストに戻すことで、重複を効果的に削除できます。
my_list = [1, 2, 2, 3, 4, 4, 5, 1]
unique_list = list(set(my_list))
print(unique_list) # 出力: [1, 2, 3, 4, 5] （順序は異なる場合があります）
この方法は、set演算の最適化された性質から、簡潔で効率的です。ただし、出力リストの順序は元の順序と異なる場合があります。
リストの重複排除（順序あり）
元の順序を維持するには、少し複雑なアプローチが必要です。リストを反復処理し、setを使用して既に見た要素を追跡します。まだ遭遇していない要素のみが新しいリストに追加されます。
my_list = [1, 2, 2, 3, 4, 4, 5, 1]
seen = set()
unique_list = []
for item in my_list:
if item not in seen:
unique_list.append(item)
seen.add(item)
print(unique_list) # 出力: [1, 2, 3, 4, 5] （元の順序が維持されます）
この方法は、seen setを使用して平均O(1)の効率的な検索を行うため、一度の反復処理で済みます。そのため、大きなリストでも良好なパフォーマンスを確保できます。最大の利点は、元の順序が維持されることです。
適切な方法の選択：
元の順序の維持が重要な場合は、2番目の方法（順序あり）を優先します。順序が重要でない場合は、最初の方法（順序なし）の方が速度と簡潔性に優れています。パフォーマンスが最優先で、順序が重要でない非常に大きなリストの場合、setベースのアプローチが明確に優れています。