Unità base di testo usata dai modelli linguistici. Può essere una parola, una parte di parola o un simbolo. Serve per suddividere il testo durante l’elaborazione.
« Back to Glossary IndexToken
« Back to Glossary Index
Unità base di testo usata dai modelli linguistici. Può essere una parola, una parte di parola o un simbolo. Serve per suddividere il testo durante l’elaborazione.
« Back to Glossary Index