this.charset = charset;
}
@Override
public final void tokenize(SourceCode source, Tokens cpdTokens) {
Lexer lexer = EcmaScriptLexer.create(new EcmaScriptConfiguration(charset));
String fileName = source.getFileName();
List<Token> tokens = lexer.lex(new File(fileName));
for (Token token : tokens) {
TokenEntry cpdToken = new TokenEntry(getTokenImage(token), fileName, token.getLine());
cpdTokens.add(cpdToken);