Эффективная итерация по строкам в Pandas DataFrame

DataFrame в Pandas являются основой обработки данных в Python. Хотя Pandas отлично справляется с векторизованными операциями, возникают ситуации, когда необходима построчная обработка. В этой статье рассматриваются наиболее эффективные методы итерации по строкам DataFrame, выделяются их сильные и слабые стороны.

Содержание

• iterrows(): Построчный итератор
• itertuples(): Оптимизированная итерация по строкам
• apply(): Применение функции к строкам
• Когда следует избегать итерации

iterrows(): Построчный итератор

iterrows() — это простой метод, который возвращает каждую строку в виде пары (индекс, Series). Хотя он удобен для простых задач, он, как правило, менее эффективен, чем другие варианты для больших DataFrame из-за накладных расходов на создание Series для каждой строки.

import pandas as pd

data = {'col1': [1, 2, 3], 'col2': [4, 5, 6]}
df = pd.DataFrame(data)

for index, row in df.iterrows():
    print(f"Индекс: {index}, Строка: {row}")

itertuples(): Оптимизированная итерация по строкам

Для повышения производительности, особенно с большими наборами данных, рекомендуется использовать itertuples(). Он возвращает каждую строку в виде namedtuple, обеспечивая более быстрый доступ к столбцам по имени. Это позволяет избежать накладных расходов на создание Series, характерных для iterrows().

import pandas as pd

data = {'col1': [1, 2, 3], 'col2': [4, 5, 6]}
df = pd.DataFrame(data)

for row in df.itertuples():
    print(f"Col1: {row.col1}, Col2: {row.col2}")

apply(): Применение функции к строкам

apply() с axis=1 — мощный инструмент для применения функции к каждой строке. Это часто наиболее эффективный и питоничный подход для построчных операций, которые могут быть выражены в виде функции.

import pandas as pd

data = {'col1': [1, 2, 3], 'col2': [4, 5, 6]}
df = pd.DataFrame(data)

def process_row(row):
    return row['col1'] * 2 + row['col2']

df['result'] = df.apply(process_row, axis=1)
print(df)

Когда следует избегать итерации

Прежде чем прибегать к построчной итерации, подумайте, можно ли выполнить вашу задачу с помощью векторизованных операций. Сила Pandas заключается в его способности выполнять операции над целыми столбцами одновременно, значительно повышая производительность. Только когда векторизация невозможна или нецелесообразна, следует рассматривать итеративные подходы, отдавая предпочтение itertuples() или apply() для повышения эффективности.