你当前正在访问 Microsoft Azure Global Edition 技术文档网站。如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。

KnownTokenizerNames enum

包:: @azure/search-documents

LexicalTokenizerName 服务的已知值。

字段

Classic	适用于处理大多数欧洲语言文档的基于语法的 tokenizer。请参阅 http://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/standard/ClassicTokenizer.html
EdgeNGram	将输入从边缘标记为给定大小的 n 元语法。请参阅 https://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/ngram/EdgeNGramTokenizer.html
Keyword	以单个标记的形式发出整个输入。请参阅 http://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/core/KeywordTokenizer.html
Letter	以非字母分隔文本。请参阅 http://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/core/LetterTokenizer.html
Lowercase	将非字母的文本除以小写形式，并将其转换为小写。请参阅 http://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/core/LowerCaseTokenizer.html
MicrosoftLanguageStemmingTokenizer	使用特定于语言的规则划分文本，并将单词减少到其基形式。
MicrosoftLanguageTokenizer	使用特定于语言的规则划分文本。
NGram	将输入标记为给定大小的 n 元语法。请参阅 http://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/ngram/NGramTokenizer.html
PathHierarchy	类似路径层次结构的 Tokenizer。请参阅 http://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/path/PathHierarchyTokenizer.html
Pattern	使用正则表达式模式匹配构造不同令牌的 Tokenizer。请参阅 http://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/pattern/PatternTokenizer.html
Standard	标准 Lucene 分析器;由标准 tokenizer、小写筛选器和停止筛选器组成。请参阅 http://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/standard/StandardTokenizer.html
UaxUrlEmail	将 URL 和电子邮件作为一个令牌进行标记化。请参阅 http://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/standard/UAX29URLEmailTokenizer.html
Whitespace	将文本除以空格。请参阅 http://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/core/WhitespaceTokenizer.html