Python tokenization'da temel olarak daha büyük bir metin gövdesini daha küçük satırlara, kelimelere bölmek ve hatta İngilizce olmayan bir dil için kelimeler oluşturmak. anlamına gelir.
Tokenize'ı Python'da nasıl kullanırsınız?
The Natural Language Tool kit(NLTK) bunu başarmak için kullanılan bir kitaplıktır. Kelime belirleme için python programına geçmeden önce NLTK'yı kurun. Ardından, paragrafı tek tek kelimelere bölmek için word_tokenize yöntemini kullanırız. Yukarıdaki kodu çalıştırdığımızda aşağıdaki sonucu veriyor.
NLTK Tokenize ne yapar?
NLTK tokenize adında bir modül içerir ve bu modül ayrıca iki alt kategoriye ayrılır: Word tokenize: Bir cümleyi jetonlara veya kelimelere bölmek için word_tokenize yöntemini kullanırız. Cümle belirteci: Bir belgeyi veya paragrafı cümlelere bölmek için sent_tokenize yöntemini kullanırız.
Tokenize ne anlama geliyor?
Tokenleştirme, hassas verileri, kapsama getirmeden bir veritabanında veya dahili sistemde kullanılabilecek"belirteçler" adı verilen hassas olmayan verilere dönüştürme işlemidir. Tokenizasyon, orijinal verileri aynı uzunluk ve formatta alakasız bir değerle değiştirerek hassas verileri güvence altına almak için kullanılabilir.
Tokenize programlamada ne anlama geliyor?
Belirteçleştirme, bir dizi diziyi kelimeler, anahtar kelimeler, ifadeler, semboller ve belirteç adı verilen diğer öğeler gibi parçalara ayırma eylemidir.
