Łączenie wielu plików w jeden na HDFS

Wiele małych plików na HDFS możemy połączyć w jeden większy za pomocą komendy:

hadoop fs -cat pliki_do_placzenia/*.csv | hadoop fs -put - polaczone_pliki.csv

Musimy pamiętać, że odbywa się to sekwencyjnie, w jednym wątku.

Dodaj komentarz

Twój adres email nie zostanie opublikowany. Pola, których wypełnienie jest wymagane, są oznaczone symbolem *