Wczoraj byłem z Jarkiem na spotkaniu w Wawie pt. Hadoop in Spotify. Fajny klaster 190 nodów a wkrótce 690 – impressive.
Było kilka rzeczy dla których warto było się tam wybrać m.in projekty-narzędzia z jakich korzystają i z których my moglibyśmy:
1. https://github.com/spotify/snakebite – szybka komunikacja z hdfs
(wzgledem wolnej “hdfs dfs -ls /”)
2. https://github.com/spotify/luigi – scheduler jobow
3. apache sqoop – import/export danych hadoop/db