高效读取文件中的特定行对于许多 Python 程序至关重要。最佳方法很大程度上取决于文件的大小以及您需要访问这些行的频率。本指南探讨了几种方法，每种方法都针对不同的场景。
目录
读取小型文件中的特定行
对于可以轻松放入内存的小型文件，readlines() 方法提供了一个简单的解决方案。此方法将所有行读取到列表中，从而可以通过索引直接访问。
def read_specific_lines_small_file(filepath, line_numbers):
"""读取小型文件中的特定行。
Args:
filepath: 文件路径。
line_numbers: 要读取的行号列表（基于 0 的索引）。
Returns:
一个字符串列表，包含请求的行。如果找不到文件，则返回空列表。
"""
try:
with open(filepath, 'r') as file:
lines = file.readlines()
return [lines[i].strip() for i in line_numbers if 0 <= i < len(lines)]
except FileNotFoundError:
return []
filepath = "my_small_file.txt"
line_numbers_to_read = [0, 2, 4] # 读取第 1、3 和 5 行（基于 0 的索引）
lines = read_specific_lines_small_file(filepath, line_numbers_to_read)
for line in lines:
print(line)
虽然很简单，但这种方法对于大型文件效率低下。
高效多次访问行
如果您反复访问相同的行，linecache 模块通过缓存行来提供显著的性能提升，从而最大限度地减少磁盘 I/O。
import linecache
def read_specific_lines_linecache(filepath, line_numbers):
"""使用 linecache 读取特定行（基于 1 的索引）。
Args:
filepath: 文件路径。
line_numbers: 要读取的行号列表（基于 1 的索引）。
Returns:
一个字符串列表，包含请求的行。如果找不到文件或行超出范围，则返回空列表。
"""
lines = [linecache.getline(filepath, line_number).strip() for line_number in line_numbers if linecache.getline(filepath, line_number)]
return lines
filepath = "my_file.txt"
line_numbers_to_read = [1, 3, 5] # 读取第 1、3 和 5 行（基于 1 的索引）
lines = read_specific_lines_linecache(filepath, line_numbers_to_read)
for line in lines:
print(line)
请注意，linecache 使用基于 1 的索引。
高效处理大型文件
对于大型文件，避免将所有内容加载到内存中。使用 enumerate() 逐行迭代以跟踪行号。
def read_specific_lines_large_file(filepath, line_numbers):
"""高效读取大型文件中的特定行。
Args:
filepath: 文件路径。
line_numbers: 要读取的行号列表（基于 0 的索引）。
Returns:
一个字符串列表，包含请求的行。如果找不到文件，则返回空列表。
"""
try:
lines_to_return = []
with open(filepath, 'r') as file:
for i, line in enumerate(file):
if i in line_numbers:
lines_to_return.append(line.strip())
return lines_to_return
except FileNotFoundError:
return []
filepath = "my_large_file.txt"
line_numbers_to_read = [100, 500, 1000] # 读取第 101、501 和 1001 行（基于 0 的索引）
lines = read_specific_lines_large_file(filepath, line_numbers_to_read)
for line in lines:
print(line)
此方法对于大型文件来说是内存高效的。
处理海量数据集的高级技术
对于超过可用 RAM 的超大型文件，请考虑使用内存映射文件或dask 或 vaex 等专门的库，这些库专为处理无法放入内存的数据集而设计。
常见问题
- 问：如果行号超出范围怎么办？ 提供的方法通过简单地忽略它们来优雅地处理超出范围的行号。
- 问：我可以根据条件而不是行号读取行吗？ 可以，将行号检查替换为条件语句（例如，
if "keyword" in line:）。