145146147148149150151152153154155
for (j=1; j<len; j++) set.add(tree.get(j).lowerSimplifiedForm); } reader.close(); map.addAll(set); LOG.debug("."); } LOG.debug("\n"); return map.toSet(xml.getDocumentFrequencyCutoff()); }
432433434435436437438439440441442
for (j=1; j<len; j++) set.add(MPLib.getSimplifiedLowercaseWordForm(tree.get(j).form)); } map.addAll(set); reader.close(); LOG.info("."); } LOG.info("\n"); return map.toSet(cutoff);
463464465466467468469470471472473
for (j=1; j<len; j++) set.add(MPLib.getSimplifiedLowercaseWordForm(tree.get(j).form)); if ((count += len) >= maxCount) { map.addAll(set); LOG.info("."); set.clear(); count = 0; } }
473474475476477478479480481482483
} reader.close(); } LOG.info("\n"); if (!set.isEmpty()) map.addAll(set); return map.toSet(cutoff); } static public void main(String[] args) {
138139140141142143144145146147148
201202203204205206207208209210211
for (j=1; j<len; j++) set.add(MPLib.getSimplifiedLowercaseWordForm(tree.get(j).form)); if ((count += len) >= maxCount) { map.addAll(set); count = 0; set = Sets.newHashSet(); } }
210211212213214215216217218219220
} reader.close(); } if (!set.isEmpty()) map.addAll(set); return map.toSet(cutoff); } protected List<DEPTree> getTrees(JointReader reader, String[] filenames) {