Você não pode selecionar mais de 25 tópicos
Os tópicos devem começar com uma letra ou um número, podem incluir traços ('-') e podem ter até 35 caracteres.
123456789101112131415 |
- // +build flex
-
- package tokenizer
-
- import "github.com/src-d/enry/v2/internal/tokenizer/flex"
-
- // Tokenize returns lexical tokens from content. The tokens returned match what
- // the Linguist library returns. At most the first ByteLimit bytes of content are tokenized.
- func Tokenize(content []byte) []string {
- if len(content) > ByteLimit {
- content = content[:ByteLimit]
- }
-
- return flex.TokenizeFlex(content)
- }
|