Jaka jest różnica między tokenem a leksem?

Kiedy program źródłowy jest wprowadzany do analizatora leksykalnego, zaczyna się od podziału znaków na sekwencje leksemów. Leksemy są następnie używane do budowy tokenów, w których leksemy są mapowane na tokeny. Zmienna o nazwie myVar zostanie zmapowana do tokena określającego id, "num">, gdzie "num" powinno wskazywać na lokalizację zmiennej w tabeli symboli.

Krótko mówiąc:

• leksemy to słowa pochodzące od postaci strumień wejściowy.
• tokeny są leksemami mapowanymi na nazwę tokenu i wartość atrybutu.

Przykład obejmuje:
x = A + b * 2
Co daje leksemy: {x,=, A,+, B,*, 2}
Z odpowiednimi tokenami: {id, 0>, , id, 1>, , id, 2>, , id, 3>}

A) tokeny są nazwami symbolicznymi dla elementów składających się na tekst programu; np. if dla słowa kluczowego if i id dla dowolnego identyfikatora. Składają się one z analizator leksykalny. 5

(b) wzorzec jest regułą określającą, kiedy ciąg znaków z wejścia stanowi token; np. Sekwencja i, f dla tokena if oraz dowolna Sekwencja alfanumeryczne zaczynające się od litery identyfikatora tokena.

(c) leksem jest sekwencja znaków z wejścia które pasują do wzoru (i stąd stanowi instancję tokena); na przykład if pasuje do wzorca if, oraz foo123bar pasuje do wzorca id.

Token: Rodzaj dla (słowa kluczowe,identyfikator,znak interpunkcyjny, operatory wieloznakowe) to po prostu Token.

Pattern: reguła tworzenia tokena ze znaków wejściowych.

Lexeme: to sekwencja znaków w programie źródłowym dopasowana do wzorca dla tokena. Zasadniczo jest to element tokenu.

LEXEME - sekwencja znaków dopasowanych do wzorca tworzącego TOKEN

PATTERN - zbiór reguł definiujących TOKEN

TOKEN - znacząca kolekcja znaków nad zestawem znaków języka programowania np: ID, stała, słowa kluczowe, operatory, Interpunkcja, literalny ciąg

Token: Token jest sekwencją znaków, które można traktować jako pojedynczą jednostkę logiczną. Typowe tokeny to:
1) identyfikatory
2) słowa kluczowe
3) operatory
4) symbole specjalne
5) stałe

Pattern: zbiór łańcuchów wejściowych, dla których ten sam token jest wytwarzany jako wyjście. Ten zbiór łańcuchów jest opisany przez regułę zwaną wzorcem powiązanym z tokenem.
leksem: leksem jest sekwencja znaków w źródle program, który jest dopasowany do wzorca dla tokena.

Zobaczmy działanie analizatora leksykalnego (zwanego także skanerem)

Weźmy przykładowe wyrażenie:

INPUT : cout << 3+2+3;

FORMATTING PERFORMED BY SCANNER :  {cout}|space|{<<}|space|{3}{+}{2}{+}{3}{;} 

Ale nie rzeczywiste wyjście .

SKANER PO PROSTU WIELOKROTNIE SZUKA LEKSEMU W TEKŚCIE PROGRAMU ŹRÓDŁOWEGO, DOPÓKI DANE WEJŚCIOWE NIE ZOSTANĄ WYCZERPANE

leksem jest podłańcuch wejściowy, który tworzy poprawny ciąg terminali obecny w gramatyce . Każdy leksem podąża za wzorem , który jest wyjaśniony na końcu (część, którą czytelnik może skip at last)

( ważną regułą jest szukanie najdłuższego możliwego przedrostka tworzącego poprawny ciąg terminali aż do napotkania następnej białej spacji ... wyjaśnione poniżej)

LEKSEMES:

1. cout

( chociaż "

1. 3
2. +
3. 2
4. ;

Tokeny: tokeny są zwracane pojedynczo (przez skaner na żądanie parsera) za każdym razem, gdy skaner znajdzie (poprawny) leksem. Scanner tworzy, jeśli nie jest już obecny, wpis w tabeli symboli ( posiadający atrybuty: głównie token-category i kilka innych ), gdy znajdzie leksem, aby wygenerować token

'# ' oznacza wpis w tabeli symboli . Wskazałem na leksemę numer w powyższej liście dla ułatwienia zrozumienia, ale technicznie powinien być faktycznym indeksem rekordu w tabeli symboli.

następujące tokeny są zwracane przez skaner do parsera w określonej kolejności dla powyższego przykładu.

Jak widać różnicę , token jest parą w przeciwieństwie do leksemu, który jest podłańcuchem wejściowym.

A pierwszym elementem pary jest token-Klasa / Kategoria

Klasy tokenów są wymienione poniżej:

I jeszcze jedno , skaner wykrywa białe spacje, ignoruje je i nie tworzy żadnego symbolu dla białej spacji. Nie wszystkie ograniczniki są białymi spacjami, Biała spacja jest jedną z form ograniczników używanych przez skanery do tego celu . Tabulatory , nowe linie, spacje , znaki unikalne w danych wejściowych są zbiorczo nazywane ogranicznikami białych znaków. Kilka innych ograniczników To";"","": "itp., które są szeroko uznawane za leksemy tworzące token.

Łączna liczba tokenów zwróconych jest tutaj 8, jednak tylko 6 wpisów w tabeli symboli jest dokonanych dla leksemów . Leksemów jest też łącznie 8 (zob. definicja leksemu )

- - - możesz pominąć tę część

A ***pattern*** is a rule ( say, a regular expression ) that is used to check if a string-of-terminals is valid or not.

If a substring of input composed only of grammar terminals is following the rule specified by any of the listed patterns , it is validated as a lexeme and selected pattern will identify the category of lexeme, else a lexical error is reported due to either (i) not following any of the rules or (ii) input consists of a bad terminal-character not present in grammar itself.

for example :

1. No Pattern Exists : In C++ , "99Id_Var" is grammar-supported string-of-terminals but is not recognised by any of patterns hence lexical error is reported .

2. Bad Input Character : $,@,unicode characters may not be supported as a valid character in few programming languages.`

Leksem - leksem jest sekwencją znaków w programie źródłowym, która odpowiada wzorcowi dla tokenu i jest identyfikowana przez analizator leksykalny jako instancja tego tokenu.

Token - Token to para składająca się z nazwy tokenu i opcjonalnej wartości tokenu. Nazwa symboliczna jest kategorią jednostki leksykalnej.Popularne nazwy tokenów to

• identyfikatory: nazwy, które wybiera programista
• słowa kluczowe: nazwy już w programie język
• separatory (znane również jako interpunkcyjne): znaki interpunkcyjne i sparowane ograniczniki
• operatory: symbole operujące na argumentach i generujące wyniki
• literały: numeryczne, logiczne, tekstowe, referencyjne literały

Rozważmy to wyrażenie w języku programowania C:

Suma = 3 + 2;

]}

 Lexeme        Token category
------------------------------
sum      |    Identifier
 =       |    Assignment operator
 3       |    Integer literal
 +       |    Addition operator
 2       |    Integer literal
 ;       |    End of statement

Lekseme- leksem to ciąg znaków, który jest najniższą jednostką składniową w języku programowania.

Token- token jest kategorią składniową, która tworzy klasę leksemów, co oznacza, do której klasy leksemów należy, Jest to słowo kluczowe lub identyfikator lub cokolwiek innego. Jednym z głównych zadań analizatora leksykalnego jest stworzenie pary leksemów i tokenów, czyli zebranie wszystkich znaków.

Weźmy an przykład: -

If (y

Y = y-3;

Lexeme Token

Jeśli                                       KEYWORD

(                                 LEWY NAWIAS

Y                                     Identyfikator

T                                     Identyfikator

)                                PRAWY NAWIAS

Y                                    Identyfikator

= ASSGNMENT

Y                                   Identyfikator

_ ARITHMATIC

3                                     INTEGER

;                                    Średnik

Relacja między leksem a tokenem

Leksem jest w zasadzie jednostką tokenu i jest to w zasadzie sekwencja znaków, która pasuje do tokenu i pomaga rozbić kod źródłowy na tokeny.

Na przykład: jeśli źródłem jest x=b, to leksemy będą x, =, b a żetony będą <id, 0>, <=>, <id, 1>.