Neapykantos kalbos atpažinimas panaudojant dirbtinį intelektą
Šiame darbe pateiktas neapykantos kalbos atpažinimo sprendimas ir metodika lietuvių kalbai. Neapykantos kalbai aptikti naudojami trys giliojo mokymosi modeliai: daugiakalbis BERT, LitLat BERT ir Electra. Visi trys modeliai buvo adaptuoti lietuviškų komentarų klasifikavimui į tris klases: neapykantos, įžeidžią ir neutralią kalbą. Norint adaptuoti modelius atpažinti neapykantos kalbą, buvo parengtas anotuotas duomenų rinkinys, kuriame yra 27 358 lietuviški komentarai. Juos anotavo keturi anotatoriai. Neapykantos kalbos apraiškų turinčių komentarų šiame duomenų rinkinyje yra 15 proc., įžeidžios kalbos – 29 proc., o neutralios kalbos komentarų – 56 proc. Sukurta neapykantos kalbos atpažinimo metodologija lietuvių kalbai remiasi iš anksto apmokytu transformerių neuroninių tinklo architektūros modeliu LitLat BERT, kuris buvo imtas kaip pagrindas ir papildomai apmokytas parengto tekstyno duomenimis. LitLat BERT pasirinktas kaip pagrindas, kadangi taikomųjų mokslinių tyrimų etape, lyginant su kitais testuotais modeliais, jis parodė geriausius rezultatus: F1 statistikos reikšmė neapykantos kalbai siekė 82 proc., o bendras tikslumas – 75 proc. Apmokyti modeliai buvo įvertinti naudojant tikslumo, atkūrimo, preciziškumo ir F1 statistikos metrikas.
This work presents a solution and methodology for identifying hate speech in Lithuanian language. Three deep learning models were used to detect hate speech: multilingual BERT, LitLat BERT, and Electra. All three models were adapted for classifying Lithuanian comments into three categories: hate, offensive, and neutral speech. In order to adapt the models to recognize hate speech, an annotated dataset was prepared. It contains 27,358 Lithuanian comments, which were annotated by four annotators. 15% of the comments in this dataset contain hate speech, 29% contain offensive language, and 56% contain neutral speech. The hate speech detection methodology for Lithuanian language is based on the pre-trained transformer neural network architecture model LitLat BERT, which was used as a foundation and further trained on the prepared dataset. LitLat BERT was chosen as a foundation because in the applied research stage, compared to other tested models, it showed the best results with F1 score value of 82% for hate speech and an overall accuracy of 75%. The trained models were evaluated using accuracy, recall, precision, and F1 score metrics.