148149150151152153154155156157158
for (String token : tokens) { if (!eSent.containsKey(token)) { dfE.increment(token); } eSent.increment(token); } sumFLengs += lastSentLenF; sumELengs += lastSentLenE;
156157158159160161162163164165166
for (String token : tokens) { if (!sent.containsKey(token)) { dfTable.increment(token); } sent.increment(token); } sentTfs.add(sent); sents.add(line); cnt++; sent.clear();
207208209210211212213214215216217
for (String token : tokens) { if (!eDoc.containsKey(token)) { dfE.increment(token); } eDoc.increment(token); } numSents++; if (numSents == sentsPerDoc) {
6162636465666768697071
m.put(1, 29.0f); assertEquals(7, m.get(2), 10e-6); assertEquals(29, m.get(1), 10e-6); m.increment(2); m.increment(1); m.increment(3); assertEquals(8, m.get(2), 10e-6); assertEquals(30, m.get(1), 10e-6);
6263646566676869707172
assertEquals(7, m.get(2), 10e-6); assertEquals(29, m.get(1), 10e-6); m.increment(2); m.increment(1); m.increment(3); assertEquals(8, m.get(2), 10e-6); assertEquals(30, m.get(1), 10e-6); assertEquals(1, m.get(3), 10e-6);
6364656667686970717273
6970717273747576777879
assertEquals(8, m.get(2), 10e-6); assertEquals(30, m.get(1), 10e-6); assertEquals(1, m.get(3), 10e-6); m.increment(1, 3.0f); m.increment(3, 5.0f); assertEquals(8, m.get(2), 10e-6); assertEquals(33, m.get(1), 10e-6); assertEquals(6, m.get(3), 10e-6);
7071727374757677787980
assertEquals(8, m.get(2), 10e-6); assertEquals(30, m.get(1), 10e-6); assertEquals(1, m.get(3), 10e-6); m.increment(1, 3.0f); m.increment(3, 5.0f); assertEquals(8, m.get(2), 10e-6); assertEquals(33, m.get(1), 10e-6); assertEquals(6, m.get(3), 10e-6); }
m.put(1, 29); assertEquals(7, m.get(2)); assertEquals(29, m.get(1)); m.increment(2); m.increment(1); m.increment(3); assertEquals(8, m.get(2)); assertEquals(30, m.get(1));
assertEquals(7, m.get(2)); assertEquals(29, m.get(1)); m.increment(2); m.increment(1); m.increment(3); assertEquals(8, m.get(2)); assertEquals(30, m.get(1)); assertEquals(1, m.get(3));