Εργασία NLP με transformers που καλύπτει προεκπαιδευμένα μοντέλα, ταξινόμηση κειμένου και, όπου έχει επαληθευτεί, σημασιολογικές αναπαραστάσεις σε επίπεδο πρότασης.
Το πρόβλημα
Τα σύγχρονα συστήματα NLP απαιτούν σαφή διαχωρισμό ανάμεσα στην οικογένεια μοντέλων, στην τελική εφαρμογή (downstream task), στη μέθοδο αναπαράστασης και στα στοιχεία αξιολόγησης.
Τι φτιάχτηκε
Διερεύνηση σε notebooks ροών εργασίας με προεκπαιδευμένα transformers, transfer learning ή fine-tuning, ταξινόμηση κειμένου και αναπαραστάσεις σε επίπεδο πρότασης, όπου επιβεβαιώνονται από τον τελικό έλεγχο των notebooks.
Τεχνική προσέγγιση
- Προετοιμασία κειμένου για ροή εργασίας με προεκπαιδευμένο transformer
- Προσαρμογή των αναπαραστάσεων σε μια τελική εφαρμογή (downstream task)
- Δημιουργία σημασιολογικών χαρακτηριστικών σε επίπεδο πρότασης όπου έχουν υλοποιηθεί
- Αξιολόγηση της ταξινόμησης ή της σημασιολογικής συμπεριφοράς με στοιχεία από το notebook
Αποφάσεις μηχανικής
- Το μοντέλο, το σύνολο δεδομένων και οι μετρικές θεωρούνται μη επαληθευμένα μέχρι να ελεγχθεί το τελικό notebook.
- Η γενική εξοικείωση με τα transformers δεν μετατρέπεται σε αβάσιμους ισχυρισμούς για παραγωγική χρήση.
- Το έργο χρησιμοποιείται για να δείξει τη μέθοδο, αφήνοντας ορατά τα κενά στα στοιχεία.
Πώς ελέγχθηκε
- Η περιοχή Exercise-2 του repository αντιστοιχεί σε εργασία NLP με transformers.
- Το ακριβές μοντέλο, το σύνολο δεδομένων, η εφαρμογή, οι μετρικές και η προσέγγιση για τα embeddings δεν έχουν ακόμη επιβεβαιωθεί από το repository.
Τι δείχνει
Πρακτική εργασία με σύγχρονες ροές γλωσσικών μοντέλων, με πειθαρχημένη αξιολόγηση και σαφή όρια στο τι δηλώνεται.
Για την πηγή
Ακαδημαϊκό έργο R&D. Κάποιες διατυπώσεις παραμένουν σκόπιμα γενικές μέχρι να ολοκληρωθεί ο έλεγχος των notebooks.