def worldFilter(keywords, text):\n for eve in keywords:\n text = text.replace(eve, \"***\")\n return text\nkeywords = (\"关键词1\", \"关键词2\", \"关键词3\")\ncontent = \"这是一个关键词替换的例子，这里涉及到了关键词1还有关键词2，最后还会有关键词3。\"\nprint(worldFilter(keywords, content))这种方法虽然操作简单，但是存在一个很大的问题：在文本和敏感词汇非常庞大的情况下，会出现很严重的性能问题。
\n举个例子，我们先修改代码进行基本的性能测试：
\nimport time\n\ndef worldFilter(keywords, text):\n for eve in keywords:\n text = text.replace(eve, \"***\")\n return text\nkeywords =[ \"关键词\" + str(i) for i in range(0,10000)]\ncontent = \"这是一个关键词替换的例子，这里涉及到了关键词1还有关键词2，最后还会有关键词3。\" * 1000\nstartTime = time.time()\nworldFilter(keywords, content)\nprint(time.time()-startTime)此时的输出结果是：0.12426114082336426，可以看到性能非常差。
正则表达方法
\n相较于 replace，使用正则表达 re.sub 实现可能更加快速。
import time\nimport re\ndef worldFilter(keywords, text):\n return re.sub(\"|\".join(keywords), \"***\", text)\nkeywords =[ \"关键词\" + str(i) for i in range(0,10000)]\ncontent = \"这是一个关键词替换的例子，这里涉及到了关键词1还有关键词2，最后还会有关键词3。\" * 1000\nstartTime = time.time()\nworldFilter(keywords, content)\nprint(time.time()-startTime)增加性能测试之后，我们按照上面的方法进行改造测试，输出结果是 0.24773502349853516。
对比这两个例子，我们会发现当前两种方法的性能差距不是很大，但是随着文本数量的增加，正则表达的优势会逐渐凸显，性能提升明显。
\nDFA 过滤敏感词
\n相对来说，DFA 过滤敏感词的效率会更高一些，例如我们把坏人、坏孩子、坏蛋作为敏感词，那么它们的树关系可以这样表达：
\n![](\"https://img.serverlesscloud.cn/202058/2-4-1.png\")
而 DFA 字典是这样表示的：
\n{\n '坏': {\n '蛋': {\n '\\x00': 0\n },\n '人': {\n '\\x00': 0\n },\n '孩': {\n '子': {\n '\\x00': 0\n }\n }\n }\n}使用这种树表示问题最大的好处就是可以降低检索次数、提高检索效率。其基本代码实现如下：
\nimport time\n\nclass DFAFilter(object):\n def __init__(self):\n self.keyword_chains = {} # 关键词链表\n self.delimit = '\\x00' # 限定\n\n def parse(self, path):\n with open(path, encoding='utf-8') as f:\n for keyword in f:\n chars = str(keyword).strip().lower() # 关键词英文变为小写\n if not chars: # 如果关键词为空直接返回\n return\n level = self.keyword_chains\n for i in range(len(chars)):\n if chars[i] in level:\n level = level[chars[i]]\n else:\n if not isinstance(level, dict):\n break\n for j in range(i, len(chars)):\n level[chars[j]] = {}\n last_level, last_char = level, chars[j]\n level = level[chars[j]]\n last_level[last_char] = {self.delimit: 0}\n break\n if i == len(chars) - 1:\n level[self.delimit] = 0\n\n def filter(self, message, repl=\"*\"):\n message = message.lower()\n ret = []\n start = 0\n while start < len(message):\n level = self.keyword_chains\n step_ins = 0\n for char in message[start:]:\n if char in level:\n step_ins += 1\n if self.delimit not in level[char]:\n level = level[char]\n else:\n ret.append(repl * step_ins)\n start += step_ins - 1\n break\n else:\n ret.append(message[start])\n break\n else:\n ret.append(message[start])\n start += 1\n\n return ''.join(ret)\n\n\n\ngfw = DFAFilter()\ngfw.parse( \"./sensitive_words\")\ncontent = \"这是一个关键词替换的例子，这里涉及到了关键词1还有关键词2，最后还会有关键词3。\" * 1000\nstartTime = time.time()\nresult = gfw.filter(content)\nprint(time.time()-startTime)这里的字典库是：
\nwith open(\"./sensitive_words\", 'w') as f:\n f.write(\"\\n\".join( [ \"关键词\" + str(i) for i in range(0,10000)]))执行结果：
\n0.06450581550598145从中，我们可以看到性能又进一步得到了提升。
\nAC 自动机过滤敏感词算法
\n什么是 AC 自动机？简单来说，AC 自动机就是字典树 +kmp 算法 + 失配指针，一个常见的例子就是给出 n 个单词，再给出一段包含 m 个字符的文章，让你找出有多少个单词在文章里出现过。
\n代码实现：
\nimport time\nclass Node(object):\n def __init__(self):\n self.next = {}\n self.fail = None\n self.isWord = False\n self.word = \"\"\n\n\nclass AcAutomation(object):\n\n def __init__(self):\n self.root = Node()\n\n # 查找敏感词函数\n def search(self, content):\n p = self.root\n result = []\n currentposition = 0\n\n while currentposition < len(content):\n word = content[currentposition]\n while word in p.next == False and p != self.root:\n p = p.fail\n\n if word in p.next:\n p = p.next[word]\n else:\n p = self.root\n\n if p.isWord:\n result.append(p.word)\n p = self.root\n currentposition += 1\n return result\n\n # 加载敏感词库函数\n def parse(self, path):\n with open(path, encoding='utf-8') as f:\n for keyword in f:\n temp_root = self.root\n for char in str(keyword).strip():\n if char not in temp_root.next:\n temp_root.next[char] = Node()\n temp_root = temp_root.next[char]\n temp_root.isWord = True\n temp_root.word = str(keyword).strip()\n\n # 敏感词替换函数\n def wordsFilter(self, text):\n \"\"\"\n :param ah: AC自动机\n :param text: 文本\n :return: 过滤敏感词之后的文本\n \"\"\"\n result = list(set(self.search(text)))\n for x in result:\n m = text.replace(x, '*' * len(x))\n text = m\n return text\n\n\nacAutomation = AcAutomation()\nacAutomation.parse('./sensitive_words')\nstartTime = time.time()\nprint(acAutomation.wordsFilter(\"这是一个关键词替换的例子，这里涉及到了关键词1还有关键词2，最后还会有关键词3。\"*1000))\nprint(time.time()-startTime)词库同样是：
\nwith open(\"./sensitive_words\", 'w') as f:\n f.write(\"\\n\".join( [ \"关键词\" + str(i) for i in range(0,10000)]))使用上面的方法，测试结果为 0.017391204833984375。
敏感词过滤方法小结
\n根据上文的测试对比，我们可以发现在所有算法中，DFA 过滤敏感词性能最高，但是在实际应用中，DFA 过滤和 AC 自动机过滤各自有自己的适用场景，可以根据具体业务来选择。
\n实现敏感词过滤 API
\n想要实现敏感词过滤 API，就需要将代码部署到 Serverless 架构上，选择 API 网关与函数计算进行结合。以 AC 自动机过滤敏感词算法为例：我们只需要增加是几行代码就好：
\n# -*- coding:utf-8 -*-\n\nimport json, uuid\n\n\nclass Node(object):\n def __init__(self):\n self.next = {}\n self.fail = None\n self.isWord = False\n self.word = \"\"\n\n\nclass AcAutomation(object):\n\n def __init__(self):\n self.root = Node()\n\n # 查找敏感词函数\n def search(self, content):\n p = self.root\n result = []\n currentposition = 0\n\n while currentposition < len(content):\n word = content[currentposition]\n while word in p.next == False and p != self.root:\n p = p.fail\n\n if word in p.next:\n p = p.next[word]\n else:\n p = self.root\n\n if p.isWord:\n result.append(p.word)\n p = self.root\n currentposition += 1\n return result\n\n # 加载敏感词库函数\n def parse(self, path):\n with open(path, encoding='utf-8') as f:\n for keyword in f:\n temp_root = self.root\n for char in str(keyword).strip():\n if char not in temp_root.next:\n temp_root.next[char] = Node()\n temp_root = temp_root.next[char]\n temp_root.isWord = True\n temp_root.word = str(keyword).strip()\n\n # 敏感词替换函数\n def wordsFilter(self, text):\n \"\"\"\n :param ah: AC自动机\n :param text: 文本\n :return: 过滤敏感词之后的文本\n \"\"\"\n result = list(set(self.search(text)))\n for x in result:\n m = text.replace(x, '*' * len(x))\n text = m\n return text\n\n\ndef response(msg, error=False):\n return_data = {\n \"uuid\": str(uuid.uuid1()),\n \"error\": error,\n \"message\": msg\n }\n print(return_data)\n return return_data\n\n\nacAutomation = AcAutomation()\npath = './sensitive_words'\nacAutomation.parse(path)\n\n\ndef main_handler(event, context):\n try:\n sourceContent = json.loads(event[\"body\"])[\"content\"]\n return response({\n \"sourceContent\": sourceContent,\n \"filtedContent\": acAutomation.wordsFilter(sourceContent)\n })\n except Exception as e:\n return response(str(e), True)最后，为了方便本地测试，我们可以再增加以下代码：
\ndef test():\n event = {\n \"requestContext\": {\n \"serviceId\": \"service-f94sy04v\",\n \"path\": \"/test/{path}\",\n \"httpMethod\": \"POST\",\n \"requestId\": \"c6af9ac6-7b61-11e6-9a41-93e8deadbeef\",\n \"identity\": {\n \"secretId\": \"abdcdxxxxxxxsdfs\"\n },\n \"sourceIp\": \"14.17.22.34\",\n \"stage\": \"release\"\n },\n \"headers\": {\n \"Accept-Language\": \"en-US,en,cn\",\n \"Accept\": \"text/html,application/xml,application/json\",\n \"Host\": \"service-3ei3tii4-251000691.ap-guangzhou.apigateway.myqloud.com\",\n \"User-Agent\": \"User Agent String\"\n },\n \"body\": \"{\\\"content\\\":\\\"这是一个测试的文本，我也就呵呵了\\\"}\",\n \"pathParameters\": {\n \"path\": \"value\"\n },\n \"queryStringParameters\": {\n \"foo\": \"bar\"\n },\n \"headerParameters\": {\n \"Refer\": \"10.0.2.14\"\n },\n \"stageVariables\": {\n \"stage\": \"release\"\n },\n \"path\": \"/test/value\",\n \"queryString\": {\n \"foo\": \"bar\",\n \"bob\": \"alice\"\n },\n \"httpMethod\": \"POST\"\n }\n print(main_handler(event, None))\n\n\nif __name__ == \"__main__\":\n test()完成之后，就可以进行测试运行，例如我的字典是：
\n呵呵\n测试执行之后结果：
\n{'uuid': '9961ae2a-5cfc-11ea-a7c2-acde48001122', 'error': False, 'message': {'sourceContent': '这是一个测试的文本，我也就呵呵了', 'filtedContent': '这是一个**的文本，我也就**了'}}接下来，我们将代码部署到云端，新建 serverless.yaml:
sensitive_word_filtering:\n component: \"@serverless/tencent-scf\"\n inputs:\n name: sensitive_word_filtering\n codeUri: ./\n exclude:\n - .gitignore\n - .git/**\n - .serverless\n - .env\n handler: index.main_handler\n runtime: Python3.6\n region: ap-beijing\n description: 敏感词过滤\n memorySize: 64\n timeout: 2\n events:\n - apigw:\n name: serverless\n parameters:\n environment: release\n endpoints:\n - path: /sensitive_word_filtering\n description: 敏感词过滤\n method: POST\n enableCORS: true\n param:\n - name: content\n position: BODY\n required: 'FALSE'\n type: string\n desc: 待过滤的句子然后通过 sls --debug 进行部署，部署结果：
![](\"https://img.serverlesscloud.cn/202058/2-4-2.png\")
最后，通过 PostMan 进行测试：
\n![](\"https://img.serverlesscloud.cn/202058/2-4-3.png\")
总结
\n敏感词过滤是当前企业的普遍需求，通过敏感词过滤，我们可以在一定程度上遏制恶言恶语和违规言论的出现。在具体实现过程中，有两个方面需要额外主要：
\n- \n
- 敏感词库的获得问题：Github 上有很多敏感词库，其中包含了各种场景中的敏感词，大家可以自行搜索下载使用； \n
- API 使用场景的问题：我们可以将这个 API 放置在社区跟帖系统、留言评论系统或者是博客发布系统中，这样可以防止出现敏感词汇，减少不必要的麻烦。 \n
\n\n
\n
\n\n传送门：
\n\n
\n- GitHub: github.com/serverless
\n- 官网：serverless.com
\n
欢迎访问：Serverless 中文网，您可以在 最佳实践 里体验更多关于 Serverless 应用的开发！
","tableOfContents":"- \n
- 前言 \n
- \n\n
- \n
- Replace方法 \n
- 正则表达方法 \n
- DFA 过滤敏感词 \n
- AC 自动机过滤敏感词算法 \n
- 敏感词过滤方法小结 \n
\n - 实现敏感词过滤 API \n
- 总结 \n