Go’da Verimli Satır Satır Dosya Okuma

Büyük dosyaların verimli bir şekilde işlenmesi birçok Go uygulaması için çok önemlidir. Tüm dosyayı belleğe yüklemek yerine satır satır okumak, önemli bir optimizasyon stratejisidir. Bu makale, Go’nun standart kitaplığını kullanarak bunu verimli bir şekilde nasıl başarabileceğinizi, en iyi uygulamalara ve hata yönetimine odaklanarak ayrıntılarıyla açıklamaktadır.

İçerik Tablosu

• Paket İçe Ağımları
• bufio.Scanner ile Satır Satır Okuma
• Tam Örnek
• Tarayıcı Tampon Boyutunun Ayarlanması
• Sağlam Hata Yönetimi

Paket İçe Ağımları

Öncelikle, ham bayt bayt okumaya göre performansı önemli ölçüde artıran tamponlu G/Ç için bufio paketini kullanacağız. os paketi dosya işlemlerini yönetir.

import (
	"bufio"
	"fmt"
	"os"
)

bufio.Scanner ile Satır Satır Okuma

bufio.Scanner ideal araçtır. Verileri parçalar halinde okuyarak, verimlilik için tamponlama yapar. Scan() metodu bir sonraki satırı alır, başarılı olursa true, dosyanın sonunda ise false döndürür.

func processFileLineByLine(filePath string) {
	file, err := os.Open(filePath)
	if err != nil {
		fmt.Printf("Dosya '%s' açılırken hata: %vn", filePath, err)
		return
	}
	defer file.Close()

	scanner := bufio.NewScanner(file)
	for scanner.Scan() {
		line := scanner.Text()
		// Her satırı işle (örneğin, fmt.Println(line))
	}

	if err := scanner.Err(); err != nil {
		fmt.Printf("Dosya '%s' okunurken hata: %vn", filePath, err)
	}
}

Tam Örnek

Bu örnek, my_file.txt adlı bir dosyadaki satırların okunmasını ve işlenmesini göstermektedir. Bu dosyayı aynı dizinde oluşturmayı unutmayın.

package main

import (
	"bufio"
	"fmt"
	"os"
)

// ... (yukarıdaki processFileLineByLine fonksiyonu) ...

func main() {
	filePath := "my_file.txt"
	processFileLineByLine(filePath)
}

Tarayıcı Tampon Boyutunun Ayarlanması

Son derece büyük dosyalar veya satırlar için, bufio.Scanner‘ın tampon boyutunu scanner.Buffer() kullanarak ayarlayın. Daha büyük tamponlar sistem çağrılarını azaltır ancak daha fazla bellek tüketir. Dosya özelliklerinize ve mevcut kaynaklarınıza göre bir denge bulun.

scanner := bufio.NewScanner(file)
bufferSize := 1024 * 1024 // 1MB tampon
scanner.Buffer(make([]byte, bufferSize), bufferSize)

Sağlam Hata Yönetimi

Dosyayı açtıktan ve taramadan sonra her zaman hataları kontrol edin. defer file.Close() ifadesi, hatalar oluşsa bile dosyanın kapatılmasını sağlar. Bilgilendirici hata mesajları hata ayıklamaya yardımcı olur.