Класс Tokenizer

Открытые члены
	getTokens ()
	resetState ()
	setBookmark ()
	restoreBookmark ()
	putBack ()
	endOfInput ()

Открытые статические члены
static	createFromString ($sql)
static	createFromTokens (array $tokens)

Защищенные данные
	$index = 0
	$bookmark = 0
	$tokens = []

Подробное описание

См. определение в файле tokenizer.php строка 65

Методы

createFromString()

static createFromString ( $sql )

static

Splits a text into tokens, creates new Tokenizer object, and returns it.

Аргументы

string

$sql

Sql text.

Возвращает

Tokenizer

См. определение в файле tokenizer.php строка 79

createFromTokens()

static createFromTokens ( array $tokens )

static

Creates new Tokenizer objects and sets its tokens into given.

Аргументы

array[Token]

$tokens New tokens.

Возвращает

Tokenizer

См. определение в файле tokenizer.php строка 95

endOfInput()

endOfInput

(

)

Checks if end of tokens reached.

Возвращает

bool

См. определение в файле tokenizer.php строка 159

getTokens()

getTokens

(

)

Returns all the tokens.

Возвращает

array[Token]

См. определение в файле tokenizer.php строка 107

putBack()

putBack

(

)

Moves current position one step back.

Возвращает

void

См. определение в файле tokenizer.php строка 149

resetState()

resetState

(

)

Resets internal state.

Возвращает

void

См. определение в файле tokenizer.php строка 117

restoreBookmark()

restoreBookmark

(

)

Restores previously remembered position.

Возвращает

void

См. также

Tokenizer::setBookmark

См. определение в файле tokenizer.php строка 139

setBookmark()

setBookmark

(

)

Remembers current position.

Возвращает

void

См. также

Tokenizer::restoreBookmark

См. определение в файле tokenizer.php строка 128

Данные класса

$bookmark

$bookmark = 0

protected

См. определение в файле tokenizer.php строка 68

$index

$index = 0

protected

См. определение в файле tokenizer.php строка 67

$tokens

$tokens = []

protected

См. определение в файле tokenizer.php строка 70