[jester24zyx]

davidktw napisał: Ciekawe, czy do celów akademickich potrzebowałoby 500 węzłów? Rozumiem, w jaki sposób klaster na dużą skalę będzie miał nowe zestawy problemów, ale z naukowego punktu widzenia nie wydaje się całkowicie prawdą, że wdrożenie Hadoop musi być tak duże. Załóżmy, że cokolwiek pomiędzy 20-50 węzłów będzie w stanie dostrzec pewne nieodłączne problemy dotyczące infrastruktury i wydajności. Czy mogę zapytać, jakie są kryteria posiadania 500 węzłów? Jak wspomniałem z AWS w SG, można mieć tyle węzłów, ile chcesz. Pytanie, czy możesz sobie pozwolić Do celów uczenia się wystarczy 4-węzłowy klaster Hadoop, aby rozpocząć pisanie zadań MapReduce lub eksplorację gałęzi, świń lub HBase. Patrzę z perspektywy branży, w której jesteśmy zainteresowani zebraniem ogromnej ilości danych. Aby zobaczyć możliwości Hadoop w tym prawdziwym problemie, potrzebna będzie spora klaster. 500 węzłów jest obliczanych na podstawie ilości danych, które próbujesz rozbić, oraz czasu potrzebnego na zwrócenie wyników. Klastry Hadoop nie są tak kosztowne. komputery stacjonarne są wystarczające do działania jako węzły obliczeniowe (chociaż branża preferuje węzły klasy serwerowej). Głównym wyzwaniem są nadal nieruchomości. Gdzie zamierzasz umieścić swój klaster? Jak zapewnić skuteczne chłodzenie itp