你当前正在访问 Microsoft Azure Global Edition 技术文档网站。如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。

MicrosoftLanguageTokenizer interface

使用特定于语言的规则划分文本。

属性

isSearchTokenizer	一个值，指示如何使用 tokenizer。如果用作搜索标记器，则设置为 true，如果用作索引标记器，则设置为 false。默认值为 false。
language	要使用的语言。默认值为英语。
maxTokenLength	最大令牌长度。拆分长度超过最大长度的令牌。可以使用的最大令牌长度为 300 个字符。长度超过 300 个字符的令牌首先拆分为长度为 300 的令牌，然后根据设置的最大令牌长度拆分每个令牌。默认值为 255。
odatatype	多态鉴别器，它指定此对象可以的不同类型的

name	tokenizer 的名称。它只能包含字母、数字、空格、短划线或下划线，只能以字母数字字符开头和结尾，并且限制为 128 个字符。

一个值，指示如何使用 tokenizer。如果用作搜索标记器，则设置为 true，如果用作索引标记器，则设置为 false。默认值为 false。

isSearchTokenizer?: boolean

boolean

要使用的语言。默认值为英语。

language?: MicrosoftTokenizerLanguage

最大令牌长度。拆分长度超过最大长度的令牌。可以使用的最大令牌长度为 300 个字符。长度超过 300 个字符的令牌首先拆分为长度为 300 的令牌，然后根据设置的最大令牌长度拆分每个令牌。默认值为 255。

maxTokenLength?: number

number

多态鉴别器，它指定此对象可以的不同类型的

odatatype: "#Microsoft.Azure.Search.MicrosoftLanguageTokenizer"

"#Microsoft.Azure.Search.MicrosoftLanguageTokenizer"

tokenizer 的名称。它只能包含字母、数字、空格、短划线或下划线，只能以字母数字字符开头和结尾，并且限制为 128 个字符。

name: string

string

继承自 LexicalTokenizer.name