Освойте пагинацию API с помощью Python Requests

Эффективная обработка больших наборов данных критически важна при работе с API. Загрузка всех данных сразу может перегрузить как сервер, так и ваше приложение. Пагинация решает эту проблему, извлекая данные небольшими, управляемыми порциями. В этой статье рассматриваются различные стратегии пагинации с использованием библиотеки requests Python, сфокусированные на логике серверной стороны.

Содержание

• Что такое пагинация?
• Пагинация с кнопкой «Далее»
• Пагинация с использованием Offset и Limit
• Пагинация на основе курсора

Что такое пагинация?

Пагинация — это методика извлечения данных из API по меньшим, последовательным страницам, а не одним большим массивом ответа. Каждая страница содержит подмножество данных, идентифицируемое номером страницы, смещением, курсором или другим уникальным идентификатором. Это повышает производительность, уменьшает использование памяти и улучшает пользовательский опыт, особенно при работе с большими наборами данных.

Пагинация с кнопкой «Далее»

Многие API используют простой подход с кнопкой «Далее». Ответ API включает URL-адрес (часто в ответе JSON), указывающий на следующую страницу. Это продолжается до тех пор, пока URL «Далее» не станет равен null или отсутствует.

import requests

def paginate_next_button(base_url):
    all_data = []
    url = base_url
    while url:
        response = requests.get(url)
        response.raise_for_status()
        data = response.json()
        all_data.extend(data.get('results', [])) #Обработка случаев, когда ключ 'results' может отсутствовать
        url = data.get('next')
    return all_data

# Пример (замените на вашу конечную точку API)
base_url = "https://api.example.com/data?page=1"
all_data = paginate_next_button(base_url)
print(all_data)

Пагинация с использованием Offset и Limit

Некоторые API используют параметры, такие как offset и limit. offset задает начальную точку, а limit определяет количество элементов на странице. Вам может потребоваться определить общее количество элементов отдельно (например, из отдельного вызова API или заголовка, такого как X-Total-Count).

import requests

def paginate_offset_limit(base_url, limit=10):
    all_data = []
    offset = 0
    while True:
        url = f"{base_url}&offset={offset}&limit={limit}"
        response = requests.get(url)
        response.raise_for_status()
        data = response.json()
        results = data.get('results', [])
        if not results:  #Проверка на пустую страницу
            break
        all_data.extend(results)
        offset += limit
    return all_data

# Пример (замените на вашу конечную точку API)
base_url = "https://api.example.com/data"
all_data = paginate_offset_limit(base_url, limit=20)
print(all_data)

Пагинация на основе курсора

Пагинация на основе курсора использует уникальное значение курсора для идентификации следующей страницы. Это часто эффективнее, чем пагинация на основе смещения, для больших наборов данных, поскольку она исключает необходимость пересчета смещений. Ответ API предоставляет курсор для следующей страницы.

import requests

def paginate_cursor(base_url):
    all_data = []
    url = base_url
    while url:
        response = requests.get(url)
        response.raise_for_status()
        data = response.json()
        all_data.extend(data.get('results', []))
        url = data.get('next_cursor') # Адаптируйте к фактическому имени ключа в ответе
    return all_data

# Пример (замените на вашу конечную точку API)
base_url = "https://api.example.com/data?cursor=" #Начальный курсор может быть пустым или иметь определенное значение
all_data = paginate_cursor(base_url)
print(all_data)

Не забудьте адаптировать эти фрагменты кода к структуре и формату ответа вашего конкретного API. Всегда обращайтесь к документации API для получения правильных параметров пагинации и структуры ответа. Тщательная обработка ошибок необходима для надежных приложений.