Πώς να εγκαταστήσετε το Scala και το Apache Spark σε MacOS

Πώς να εγκαταστήσετε το Scala και το Apache Spark σε MacOS

Ακολουθεί ένας οδηγός βήμα προς βήμα για την εγκατάσταση του Scala και του Apache Spark σε MacOS.

Βήμα 1: Αποκτήστε το Homebrew

Το Homebrew κάνει τη ζωή σας πολύ πιο εύκολη όταν πρόκειται για την εγκατάσταση εφαρμογών και γλωσσών σε Mac OS. Μπορείτε να λάβετε το Homebrew ακολουθώντας τις οδηγίες στον ιστότοπό του.

Το οποίο βασικά σας λέει απλώς να ανοίξετε το τερματικό σας και να πληκτρολογήσετε:

/usr/bin/ruby -e "$(curl -fsSL //raw.githubusercontent.com/Homebrew/install/master/install)"

Υπάρχουν πιο λεπτομερείς οδηγίες για την εγκατάσταση στη σελίδα GitHub του έργου. Η εγκατάσταση όλων μέσω του Homebrew θα προσθέσει αυτόματα όλες τις κατάλληλες ρυθμίσεις PATH στο προφίλ σας.

Βήμα 2: Εγκατάσταση xcode-select

Προκειμένου να εγκαταστήσουμε Java, Scala και Spark μέσω της γραμμής εντολών, πιθανότατα θα χρειαστεί να εγκαταστήσουμε εργαλεία προγραμματισμού xcode-select και γραμμής εντολών. Μεταβείτε στο τερματικό και πληκτρολογήστε:

xcode-select --install

Θα λάβετε ένα μήνυμα που μοιάζει με αυτό:

Προχωρήστε και επιλέξτε εγκατάσταση.

Βήμα 3: Χρησιμοποιήστε το Homebrew για να εγκαταστήσετε το Java

Το Scala εξαρτάται από την Java, ενδέχεται να χρειαστεί ή να μην το εγκαταστήσετε. Ο ευκολότερος τρόπος για να το εγκαταστήσετε είναι να χρησιμοποιήσετε το HomeBrew:

Στο τερματικό σας τύπο:

brew cask install java

Ίσως χρειαστεί να εισαγάγετε τον κωδικό πρόσβασής σας κάποια στιγμή για να ολοκληρώσετε την εγκατάσταση java. Μετά την εκτέλεση αυτού του Homebrew θα έπρεπε να είχε φροντίσει για την εγκατάσταση του Java. Τώρα μπορούμε να προχωρήσουμε στη Σκάλα.

Βήμα 4: Χρησιμοποιήστε το Homebrew για να εγκαταστήσετε το Scala

Τώρα με εγκατεστημένο το Homebrew μεταβείτε στο τερματικό σας και πληκτρολογήστε:

brew install scala

Βήμα 5: Χρησιμοποιήστε το Homebrew για να εγκαταστήσετε το Apache Spark

Τώρα με εγκατεστημένο το Scala μεταβείτε στο τερματικό σας και πληκτρολογήστε:

brew install apache-spark

Το Homebrew θα πραγματοποιήσει λήψη και εγκατάσταση του Apache Spark, ενδέχεται να χρειαστεί λίγος χρόνος ανάλογα με τη σύνδεσή σας στο διαδίκτυο.

Βήμα 5: Ξεκινήστε το Spark Shell

Τώρα δοκιμάστε αυτήν την εντολή:

spark-shell

Θα πρέπει να δείτε μια πλημμύρα κειμένου και προειδοποιήσεων, αλλά τελικά να δείτε κάτι τέτοιο:

Welcome to ____ __ / __/__ ___ _____/ /__ _\ \/ _ \/ _ `/ __/ '_/ /___/ .__/\_,_/_/ /_/\_\ version 2.0.1 /_/
Using Scala version 2.11.8 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_102)Type in expressions to have them evaluated.Type :help for more information.
scala>

Μπορείτε να επιβεβαιώσετε ότι λειτουργεί πληκτρολογώντας τον κώδικα scala:

val s = "hello world"

Συγχαρητήρια! Είστε έτοιμοι!

Κοινό ζήτημα: Ρύθμιση PATH σε bash.

Το Homebrew θα έπρεπε να έχει φροντίσει όλα αυτά, αλλά σε περίπτωση που πρέπει να προσθέσετε σπινθήρα στο PATH σας, θα θελήσετε να χρησιμοποιήσετε:

export SPARK_HOME=/usr/local/Cellar/apache-spark/2.0.1/libexecexport PYTHONPATH=/usr/local/Cellar/apache-spark/2.0.1/libexec/python/:$PYTHONP$

Απλώς πληκτρολογήστε το απευθείας στο τερματικό σας.

Είμαι ο Jose Portilla και διδάσκω πάνω από 200.000 μαθητές σχετικά με τον προγραμματισμό, την επιστήμη δεδομένων και τη μηχανική μάθηση στο Udemy. Μπορείτε να δείτε όλα τα μαθήματά μου εδώ.

Εάν ενδιαφέρεστε να μάθετε το Python για την Επιστήμη των Δεδομένων και τη Μηχανική Εκμάθηση, ρίξτε μια ματιά στο μάθημά μου εδώ. (Διδάσκω επίσης το Full Stack Web Development με το Django!)