Java實(shí)戰之敏感詞過(guò)濾器

目錄

一、導包

本文的敏感詞過(guò)濾器用在SpringBoot項目中，因此，首先需要在pom.xml文件中導入如下依賴(lài)

<dependency>
		<groupId>org.springframework.boot</groupId>
		<artifactId>spring-boot-starter-aop</artifactId>
</dependency>

<dependency>
		<groupId>org.springframework.boot</groupId>
		<artifactId>spring-boot-starter-thymeleaf</artifactId>
</dependency>

<dependency>
		<groupId>org.springframework.boot</groupId>
		<artifactId>spring-boot-starter-web</artifactId>
</dependency>

<dependency>
		<groupId>org.springframework.boot</groupId>
		<artifactId>spring-boot-devtools</artifactId>
		<scope>runtime</scope>
</dependency>

<dependency>
		<groupId>org.springframework.boot</groupId>
		<artifactId>spring-boot-starter-test</artifactId>
		<scope>test</scope>
</dependency>

<dependency>
		<groupId>org.apache.commons</groupId>
		<artifactId>commons-lang3</artifactId>
		<version>3.9</version>
</dependency>

二、敏感詞文件

在resources目錄下，創(chuàng )建sensitive-word.txt，里面填入需要過(guò)濾的敏感詞信息。

三、前綴樹(shù)的實(shí)現

前綴樹(shù)TrieNode以一個(gè)空節點(diǎn)為頭結點(diǎn)，每個(gè)節點(diǎn)下包含若干子節點(diǎn)，不同節點(diǎn)代表不同字符。TrieNode 由兩部分組成，首先是一個(gè)boolean變量，表示該結點(diǎn)是否為一個(gè)關(guān)鍵詞的終結點(diǎn)。其次是該結點(diǎn)的子節點(diǎn)集合，在本文中，用HashMap存儲子節點(diǎn)，key存儲結點(diǎn)代表的字符，類(lèi)型為Character，value為T(mén)rieNode，表示子節點(diǎn)。實(shí)現的代碼如下。

 //前綴樹(shù)
    private class TrieNode{
        //關(guān)鍵詞結束標識
        private boolean isKeywordEnd = false;

        //子節點(diǎn)
        private Map<Character,TrieNode> subNodes = new HashMap<>();
		
		//isKeywordEnd的get、set方法
        public boolean isKeywordEnd() {
            return isKeywordEnd;
        }

        public void setKeywordEnd(boolean keywordEnd) {
            isKeywordEnd = keywordEnd;
        }

        //添加子節點(diǎn)
        public void addSubNode(Character c,TrieNode node){
            subNodes.put(c,node);
        }

        //獲取子節點(diǎn)
        public TrieNode getSubNode(Character c){
            return subNodes.get(c);
        }
    }

四、敏感詞過(guò)濾器的實(shí)現

@Component
public class SensitiveFilter {
    // 替換符
    private static final String REPLACEMENT = "***";

    //根節點(diǎn)
    private TrieNode rootNode = new TrieNode();

    //bean的初始化方法，服務(wù)一啟動(dòng)，容器自動(dòng)給bean執行此方法完成初始化
    //此方法的目的是讀取敏感詞文件，構建敏感詞前綴樹(shù)
    @PostConstruct
    public void init(){
        try(
                InputStream is = this.getClass().getClassLoader().getResourceAsStream("sensitive-words.txt");
                BufferedReader reader = new BufferedReader(new InputStreamReader(is));
                ){
            String keyword;
            while((keyword=reader.readLine())!=null){
                this.addKeyword(keyword);
            }
        }catch (IOException e){
            logger.error("加載敏感詞文件失敗: " + e.getMessage());
        }
    }
    
    //將一個(gè)敏感詞添加到前綴樹(shù)
    private void addKeyword(String keyword){
        TrieNode tempNode = rootNode;
        for (int i = 0; i <keyword.length() ; i++) {
            char c = keyword.charAt(i);
            TrieNode subNode = tempNode.getSubNode(c);
            if(subNode==null){
                //初始化子節點(diǎn)
                subNode = new TrieNode();
                tempNode.addSubNode(c,subNode);
            }
            //指向子節點(diǎn)，進(jìn)入下一輪循環(huán)
            tempNode = subNode;

            //設置結束標志
            if(i==keyword.length()-1){
                tempNode.setKeywordEnd(true);
            }
        }
    }


    /**
     * 過(guò)濾敏感詞
     *
     * @param text 待過(guò)濾的文本
     * @return 過(guò)濾后的文本
     */
    public String filter(String text){
        if(StringUtils.isBlank(text)){
            return null;
        }
        //指針1
        TrieNode tempNode = rootNode;
        //指針2
        int begin = 0;
        //指針3
        int position = 0;
        //結果
        StringBuilder sb = new StringBuilder();
        while(position<text.length()){
            char c = text.charAt(position);
            /*
            	跳過(guò)符號
            	情況一：符號在敏感詞前面，將符號寫(xiě)入結果，如 ☆敏感詞
            	情況二：符號在敏感詞中間，則將符號與敏感詞一起替換，如敏☆感☆詞
            */
            if(isSymbol(c)){
                //若指針1處于根節點(diǎn)，對應情況一，將符號計入結果，讓指針2向下走一步
                if(tempNode==rootNode){
                    sb.append(c);
                    begin++;
                }
                //無(wú)論符號在開(kāi)頭還是敏感詞中間，指針3都向下走一步
                position++;
                continue;
            }
            //檢查下級節點(diǎn)
            tempNode = tempNode.getSubNode(c);
            if(tempNode==null){
                //以begin開(kāi)頭的的字符串不是敏感詞
                sb.append(text.charAt(begin));
                //指針2和指針3共同指向指針2的下一個(gè)位置
                position = ++begin;
                //指針1重新指向根節點(diǎn)
                tempNode = rootNode;
            }else if(tempNode.isKeywordEnd()){
                //發(fā)現敏感詞，將begin~position字符串替換
                sb.append(REPLACEMENT);
                //進(jìn)入下一個(gè)位置
                begin = ++position;
                //指針1重新指向根節點(diǎn)
                tempNode = rootNode;
            }else {
                //檢查下一個(gè)字符
                position++;
            }
        }
        //將最后一批字符計入結果
        sb.append(text.substring(begin));
        return sb.toString();
    }
    //判斷是否為符號
    private boolean isSymbol(Character c){
        // 0x2E80~0x9FFF 是東亞文字范圍
        return !CharUtils.isAsciiAlphanumeric(c) && (c < 0x2E80 || c > 0x9FFF);
    }
}

到此這篇關(guān)于Java實(shí)戰之敏感詞過(guò)濾器的文章就介紹到這了,更多相關(guān)Java敏感詞過(guò)濾器內容請搜索腳本之家以前的文章或繼續瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！