ΑΝΙΧΝΕΥΣΗ ΕΛΛΗΝΙΚΗΣ ΝΟΗΜΑΤΙΚΗΣ ΓΛΩΣΣΑΣ ΜΕ ΤΕΧΝΗΤΗ ΝΟΗΜΟΣΥΝΗ

Abstract

Το θέμα της πτυχιακής εργασίας πραγματεύεται την ανίχνευση της Ελληνικής νοηματικής γλώσσας με τεχνητή νοημοσύνη. Κάθε μέρα μεγάλη μερίδα ανθρώπων δυσκολεύεται στην επικοινωνία καθώς έχουν απώλεια ακοής, βαρηκοΐα και προβλήματα λόγου εξαιτίας κάποιου συνδρόμου (π.χ. σύνδρομο Down). Επίσης, η οικογένεια και οι φίλοι αυτών των ατόμων χρειάζονται την εκπαίδευση πάνω στη νοηματική γλώσσα για να επικοινωνούν. Ακόμα είναι χρήσιμη για τους επαγγελματίες υγείας και τους διερμηνείς. Σκοπός της παρούσας πτυχιακής εργασίας είναι η υλοποίηση λογισμικού για την επικοινωνία με άτομα που πάσχουν από απώλεια ακοής ή με προβλήματα λόγου αλλά και για εκπαιδευτικό χαρακτήρα στα άτομα και τους φορείς που θέλουν να εξασκηθούν πάνω στη νοηματική γλώσσα καθώς αποτελεί ένα φυσικό και πλήρη τρόπο επικοινωνίας. Η παρούσα εργασία συνεισφέρει στην μετάφραση και την επικοινωνία της ελληνικής νοηματικής αλλά και στην εκπαίδευση αυτής. Πιο αναλυτικά θα δημιουργηθεί κώδικας με τη γλώσσα προγραμματισμού Python όπου περιέχει ανοικτό κώδικα της τεχνητής νοημοσύνης (ΑΙ) της Ultralytics yolov8 καθώς θα ανιχνεύει τα γράμματα της ελληνικής νοηματικής και κάποιες λέξεις αυτής. Η εικόνες για την ανίχνευση επέρχονται μέσο ενός Raspberry Pi 4 όπου είναι συνδεδεμένο σε μια κάμερα και μέσω δικτύου μεταφέρει την εικόνα στο πρόγραμμα που εκτελείται στη μονάδα υπολογιστή. Στη συνέχεια καθώς εκτελείται το πρόγραμμα αναδύονται δύο displays. Στo πρώτo display εμφανίζει το άτομο που πραγματοποιεί την χειρομορφή και στο δεύτερο εμφανίζεται η λέξη ή το γράμμα. Για να εμφανιστεί κάτι θα πρέπει να εκτελεστεί μια χειρομορφη που υποδηλώνει το γράμμα ή τη λέξη στην ελληνική νοηματική γλώσσα. Παρουσιάζονται οι μέθοδοι δημιουργίας των στοιχείων που χρησιμοποιούνται, η διαδικασία εκπαίδευσης του προγράμματος και η πληρέστερη ανάλυση του κώδικα της Ultralytics και του Python που γίνεται χρήση

ABSTRACT The topic of this thesis deals with the detection of Greek sign language with artificial intelligence. Every day a large portion of people find it difficult to communicate as they have hearing loss, hearing loss and speech problems due to a syndrome (eg Down syndrome). Also, these people's family and friends need sign language training to communicate. It is also useful for health professionals and interpreters. The purpose of this thesis is the implementation of software for communication with people suffering from hearing loss or speech problems but also for educational character to individuals and institutions who want to practice sign language as it is a natural and complete way of communication. This thesis contributes to the translation and communication of Greek sign language as well as to its education. More specifically, code will be created with the programming language Python which contains open source artificial intelligence (AI) of Ultralytics yolov8 as it will detect the letters of Greek sign language and some of its words. The images for detection occur through a Raspberry Pi 4 where it is connected to a camera and over a network transfers the image to the program running on the computer drive. Then, as the program runs, two displays pop up. The first display shows the person performing the handform and the second displays the word or letter. In order for something to appear, a chiral form denoting the letter or word in Greek sign language must be performed. The methods of creating the components used, the training process of the program and the most complete analysis of the code of Ultralytics and Python used are presented