imported>Pordinl+R: /* Off Topic */ Antwort

2024-08-23T18:29:03Z

Off Topic: Antwort

Neue Seite

== Offener Punkte ==

* Abklären ob es einen deutschen Fachbegriff für ''Token'' gibt.
* Ggfs. eine Grafik einfügen, die den Prozess illustriert. <small>(''nicht [[Hilfe:Signatur|signierter]] Beitrag von'' [[Spezial:Beiträge/62.203.100.76|62.203.100.76]] ([[Benutzer Diskussion:62.203.100.76|Diskussion]])<nowiki/> 11:38, 19. Dez. 2002 (CET))</small>

== "Lexer" ==

Wenn irgendjemand mal dazu kommt, einen Artikel über das [[Mittelhochdeutsche Handwörterbuch]] von [[Matthias Lexer]] zu schreiben, dann sollte die Weiterleitung von [[Lexer]] nach [[Lexikalischer Scanner]] angepasst werden - das Wörterbuch wird kurz als "Lexer" bezeichnet.--[[Benutzer:Jonas kork|jonas]] 19:18, 28. Sep 2005 (CEST)

== Thompson Konstruktion ==

Die Thompson Konstruktion wird hier nicht erwähnt, arbeitet der Tokenizer wie in einigen Implementierungen allerdings mit regulären Ausdrücken, ist das Verfahren durchaus eine Erwähnung wert, vom theoretischen Aspekt aus ohnehin. Ich würde es hinzufügen wenn keinerlei Einwände bestehen. --[[Benutzer:Lambda C|Lambda C]] ([[Benutzer Diskussion:Lambda C|Diskussion]]) 22:16, 26. Okt. 2015 (CET)

== Tokenizer: Bedeutung außerhalb vom Compilerbau & Verlinkung zu Tokenisierungs-Wiki-Seite ==

In diesem Artikel scheint es nur/hauptsächlich um Tokenizer im Bereich den Compilerbau zu gehen, dabei wird der Begriff 'Tokenizer' in der [[Computerlinguistik]] auch benutzt, wenn es um die Segmentierung von natürlichsprachlichem Text (d.h. also deutsche, arabische, chinesische... Texte) geht. In diese Richtung ist auch die Wiki-Seite zur [[Tokenisierung]] entstanden.
Sollte man nicht beide Artikel verlinken, auf die Mehrdeutigkeit stärker hinweisen bzw. beide Artikel um den jeweiligen anderen Teil erweitern?

--[[Benutzer:PlusMinuscule|PlusMinuscule]] ([[Benutzer Diskussion:PlusMinuscule|Diskussion]]) 22:37, 10. Apr. 2019 (CEST)

== Off Topic ==

Lustig finde ich, wenn Wikipedia-Nutzer den Begriff "lexikalisch" im Sinne von enzyklopädisch (relevant) verwenden... --[[Benutzer:SergeiLesau|SergeiLesau]] ([[Benutzer Diskussion:SergeiLesau|Diskussion]]) 00:52, 19. Aug. 2024 (CEST)

:Vermutlich denkt jemand, "lexikalisch" würde so in etwa "wie ein Lexikon" bedeuten;) --[[Benutzer:Pordinl+R|Pordinl+R]] ([[Benutzer Diskussion:Pordinl+R|Diskussion]]) 20:29, 23. Aug. 2024 (CEST)

Diskussion:Lexikalische Analyse - Versionsgeschichte

imported>Pordinl+R: /* Off Topic */ Antwort