LarryDpk
发布于 2019-10-09 / 860 阅读 / 0 评论 / 0 点赞

使用正则统计英文文章中的高频词汇

1 需求分析

某英语老师需要统计完型填空、阅读理解等题型中出现的高频词汇,将这些词汇整理后让学生加强学习与记忆。

(1)只统计英文词汇,文章中的中文需要剔除;

(2)统计出高频的词汇及出现次数;

(3)按出现频率从高到低的顺序给出有限的结果。

2 处理过程

(1)从文本文件读入文章,放到内存中等待处理;

(2)使用正则匹配中英文单词,不包含中文和其它特殊字符;

(3)将匹配出的单词存起来,并统计出现次数;

(4)按出现次数从高到低进行排序;

(5)取前N个结果;

3 代码实现

public class WordCounter {
    //储存次数的Map
    private static Map<String, Integer> countMap = Maps.newHashMap();
    //正则匹配
    private static String regex = "[a-zA-Z]+";
    private static Pattern pattern = Pattern.compile(regex);
    //总个数
    private static int sumCount = 0;

    public static void main(String[] args) throws IOException {
        //文件:包含要处理的文章
        String filePath = "C:\\input2.txt";
        //使用Gavua的库读取文件,返回所有行
        List<String> lines = Files.readLines(new File(filePath), Charset.forName("UTF-8"));
        //遍历处理所有行
        lines.forEach(WordCounter::processLine);

        //排序,取前20个结果
        countMap.entrySet().stream()
                .sorted(Comparator.comparing(Map.Entry::getValue, Comparator.reverseOrder()))
                .limit(20)
                .forEach(
                        entry -> System.out.println(entry.getKey() + "\t" + entry.getValue())
                );
        // 单词总数
        System.out.println("Total:" + sumCount);
    }


    //处理一行字符串
    private static void processLine(String line) {
        Matcher matcher = pattern.matcher(line);
        while (matcher.find()) {
            sumCount++;
            String word = matcher.group();
            //取单词小写,大小写不区分统计
            word = word.toLowerCase();
            //如果Map中没有,则表示第一次出现;有则次数加1
            if (null == countMap.get(word)) {
                countMap.put(word, 1);
            } else {
                int count = countMap.get(word);
                countMap.put(word, count + 1);
            }
        }
    }
}

4 结果展示

本次例子选取了三篇演讲,并且文章中有中文和英文:

Emma Watson: Gender equality is your issue too

Martin Luther King: I have a dream

Obama: This is your victory

统计后前20个单词如下:

img

5 总结

本文实例主要实现了读取文件,并处理英文词频的问题。仍然有很多问题需要考虑,如考题会出现很多单独字母A、B、C、D,则需要正则把它们剔除;如果文件太大,则不能load入内存再处理;扩展成多线程来处理等。