Scikit-Learn: TF-IDF

utworzone przez | sty 28, 2021 | NLP

sklearn-TF-IDF Tf-idf — metoda liczenia wagi terminów w oparciu o ich częstość w dokumencie (tf, term frequency) oraz ich rozkład w całym korpusie (idf, inverse document frequency). Wagi Tf-idf faworyzują słowa występujące w niewielu dokumentach, ponieważ mają większą...

NLTK: N-gramy

utworzone przez | sty 26, 2021 | NLP

nltk-n-gramy N-gramy to sekwencje następujących po sobie elementów. N = ilość elementów występujacych w sekwencji: 1-gram — unigram, 2-gram — bigram, 3-gram — trigram, 4-gram, 5-gram, itd. In [1]: tokens = "W tym zdaniu jest kilka wyrazów o różnej długości".split(" ")...

NLTK: tokenizacja i steaming

utworzone przez | sty 3, 2021 | NLP

nltk-tokenizacja_i_steaming 3 najbardziej popularne tokenizatory z biblioteki NLTK SpaceTokenizer¶ w odróżnieniu od spaCy dzieli wyłącznie po spacji In [1]: from nltk.tokenize import SpaceTokenizer space_tokenizer = SpaceTokenizer() text = "Budynek powstawał w latach...

Analiza morfologiczna

utworzone przez | gru 29, 2020 | NLP

Analiza morfologiczna – identyfikacja wszystkich form wyrazowych danego tokena w językach aglutynacyjnych i fleksyjnych (polski) Ujednoznacznienie fleksyjne – wybór jednej formy wyrazowej na podstawie kontekstu Forma wyrazowa – wykładnik + cechy...

Scikit-learn: wektoryzacja

utworzone przez | gru 27, 2020 | NLP

sklearn-wektoryzacja Technika reprezentująca kolekcję dokumentów w postaci wektorów o stałej długości¶ In [4]: from sklearn.feature_extraction.text import CountVectorizer vectorizer = CountVectorizer() import spacy nlp = spacy.load('pl_core_news_sm') In [5]:...