Przejdź do treści

maj 2015

Łączenie wielu plików w jeden na HDFS

Wiele małych plików na HDFS (Hadoop File System) możemy połączyć w jeden większy za pomocą komendy: hadoop fs -cat pliki_do_placzenia/*.csv | hadoop fs -put – polaczone_pliki.csv Musimy pamiętać, że odbywa się to sekwencyjnie, w jednym wątku, więc może to zabrać trochę czasu.