Kichanganuzi cha kileksika kinahitaji kuchanganua na kutambua seti finyu pekee ya mfuatano/tokeni/leksemu halali ambayo ni ya lugha iliyoko mkononi. Hutafuta muundo unaofafanuliwa na kanuni za lugha. Semi za kawaida zina uwezo wa kueleza lugha pungufu kwa kufafanua muundo wa mifuatano yenye kikomo ya alama.
Kwa nini tunahitaji kichanganuzi cha maneno?
Jukumu la Kichanganuzi Leksia
Awamu ya awamu ya kwanza ya mkusanyaji. Uchanganuzi wa kileksika: mchakato wa kuchukua mfuatano wa vibambo (kama vile msimbo wa chanzo wa programu ya kompyuta) na kutoa mfuatano wa alama zinazoitwa tokeni za maneno, au tokeni tu, ambazo zinaweza kushughulikiwa kwa urahisi zaidi na mchanganuzi.
Ni nini dhima ya kichanganuzi cha kileksika katika mkusanyaji?
Baada ya kupokea amri ya kupata-ifuatayo kutoka kwa kichanganuzi, kichanganuzi cha kileksika husoma herufi za ingizo hadi kiweze kutambua tokeni inayofuata. ishara huathiri maamuzi ya uchanganuzi, … sifa huathiri tafsiri ya tokeni.
Kichanganuzi cha msamiati hutoa nini?
Kichanganuzi cha kileksika (kilichotolewa kiotomatiki na zana kama vile leksi, au iliyoundwa kwa mikono) husoma katika mtiririko wa vibambo, hubainisha leksemu katika mtiririko, na kuzipanga katika ishara. Hii inaitwa tokenizing. Lexer ikipata tokeni isiyo sahihi, itaripoti hitilafu.
Je, kuna haja gani ya Kichanganuzi cha kileksika na Kichanganuzi cha sintaksia katika awamu tofauti?
Kichanganuzi cha msamiati ni kilinganishi cha ruwaza. Uchanganuzi wa sintaksia unahusisha kuunda mti ili kutambua kasoro katika sintaksia ya programu. Mbinu zisizo changamano mara nyingi hutumiwa kwa uchanganuzi wa kileksika. Uchanganuzi wa sintaksia unahitaji mbinu changamano zaidi.
