Επεξεργασία δεδομένων εγκληματικότητας, απογραφής, εισοδήματος και γεωχωρικών δεδομένων με Spark και Sedona, με σύγκριση υλοποιήσεων DataFrame, UDF και RDD.
Το πρόβλημα
Μεγάλα, ετερογενή σύνολα δεδομένων απαιτούν χωρικά joins, καθαρισμό και επιλογές κατανεμημένης εκτέλεσης που διατηρούν την ορθότητα και κάνουν τους συμβιβασμούς απόδοσης εξηγήσιμους.
Τι φτιάχτηκε
Περιβάλλον PySpark σε Docker για δεδομένα εγκληματικότητας, απογραφής, αστυνομικών τμημάτων και εισοδήματος του Λος Άντζελες, με ρύθμιση προσανατολισμένη στο Hadoop και Apache Sedona.
Τεχνική προσέγγιση
- Φόρτωση πινακοειδών πηγών και πηγών GeoJSON
- Καθαρισμός και ευθυγράμμιση ετερογενών εγγραφών
- Εκτέλεση χωρικών πράξεων με Apache Sedona
- Σύγκριση των προσεγγίσεων DataFrame, Python UDF και RDD
- Οπτικοποίηση των αποτελεσμάτων με pandas και matplotlib όπου χρειάζεται
Αποφάσεις μηχανικής
- Προτίμηση των native εκφράσεων DataFrame όταν ο Catalyst μπορεί να βελτιστοποιήσει το πλάνο εκτέλεσης.
- Χρήση των παραλλαγών UDF και RDD για να φανεί το κόστος της σειριοποίησης Python/JVM και οι συμβιβασμοί της εκτέλεσης χαμηλότερου επιπέδου.
- Η πρόσβαση στα δεδομένα παραμένει συμβατή τόσο με τοπικά περιβάλλοντα όσο και με περιβάλλοντα βασισμένα σε HDFS.
- Πακετάρισμα της υποδομής και των ερωτημάτων σε αναπαραγώγιμη ρύθμιση με containers.
Πώς ελέγχθηκε
- Το repository περιλαμβάνει τα q1.py έως q5.py και επαναχρησιμοποιήσιμα βοηθητικά εργαλεία για Spark.
- Μία ανάλυση υλοποιείται με εκφράσεις DataFrame, με Python UDF και με το RDD API.
- Σε αυτή τη συγκριτική υλοποίηση μετράται ο χρόνος εκτέλεσης.
- Οι αναφορές σε δεδομένα καλύπτουν στοιχεία εγκληματικότητας του Λος Άντζελες για τα 2010–2019 και 2020–2025, καθώς και δεδομένα απογραφής και υποστηρικτικά δεδομένα.
Τι δείχνει
Μηχανική κατανεμημένων data pipelines, γεωχωρική επεξεργασία και υλοποίηση με επίγνωση της απόδοσης, πέρα από μικρές αναλύσεις στη μνήμη.
Για την πηγή
Ακαδημαϊκό έργο μηχανικής. Οι ισχυρισμοί για τα δεδομένα και την αρχιτεκτονική περιορίζονται σε όσα φαίνονται στο repository.