Go语言高效逐行读取文件

高效处理大型文件对于许多 Go 应用程序至关重要。逐行读取而不是将整个文件加载到内存中是一个关键的优化策略。本文详细介绍了如何使用 Go 的标准库高效地实现这一点，重点关注最佳实践和错误处理。

目录

• 包导入
• 使用bufio.Scanner逐行读取
• 完整示例
• 调整 Scanner 缓冲区大小
• 健壮的错误处理

包导入

我们将主要使用bufio包进行缓冲 I/O，这比逐字节读取原始字节的性能要高得多。os包处理文件操作。

import (
	"bufio"
	"fmt"
	"os"
)

使用bufio.Scanner逐行读取

bufio.Scanner 是理想的工具。它分块读取数据，进行缓冲以提高效率。它的Scan()方法检索下一行，成功时返回true，文件结尾时返回false。

func processFileLineByLine(filePath string) {
	file, err := os.Open(filePath)
	if err != nil {
		fmt.Printf("打开文件'%s'出错：%vn", filePath, err)
		return
	}
	defer file.Close()

	scanner := bufio.NewScanner(file)
	for scanner.Scan() {
		line := scanner.Text()
		// 处理每一行 (例如，fmt.Println(line))
	}

	if err := scanner.Err(); err != nil {
		fmt.Printf("读取文件'%s'出错：%vn", filePath, err)
	}
}

完整示例

此示例演示了读取和处理名为my_file.txt的文件中的行。请记住在同一目录中创建此文件。

package main

import (
	"bufio"
	"fmt"
	"os"
)

// ... (processFileLineByLine 函数来自上面) ...

func main() {
	filePath := "my_file.txt"
	processFileLineByLine(filePath)
}

调整 Scanner 缓冲区大小

对于超大型文件或行，可以使用scanner.Buffer()调整bufio.Scanner的缓冲区大小。较大的缓冲区减少了系统调用，但会消耗更多内存。根据您的文件特性和可用资源找到平衡点。

scanner := bufio.NewScanner(file)
bufferSize := 1024 * 1024 // 1MB 缓冲区
scanner.Buffer(make([]byte, bufferSize), bufferSize)

健壮的错误处理

始终在打开文件和扫描后检查错误。defer file.Close()语句确保即使发生错误也能关闭文件。信息丰富的错误消息有助于调试。