Łączenie wielu plików w jeden na HDFS

Wiele małych plików na HDFS (Hadoop File System) możemy połączyć w jeden większy za pomocą komendy:

hadoop fs -cat pliki_do_placzenia/*.csv | hadoop fs -put - polaczone_pliki.csv

Musimy pamiętać, że odbywa się to sekwencyjnie, w jednym wątku, więc może to zabrać trochę czasu.

Dodaj komentarz

Twój adres e-mail nie zostanie opublikowany. Wymagane pola są oznaczone *