{"componentChunkName":"component---src-templates-best-practice-detail-tsx","path":"/best-practice/2020-08-07-ckafka","result":{"data":{"currentBlog":{"id":"d2255c44-05c8-5daa-b9fa-d3bdf84b36ce","frontmatter":{"thumbnail":"https://img.serverlesscloud.cn/202087/1596785478341-%E4%B8%89%E8%A1%8C_%E7%B4%AB%E8%89%B2.jpg","authors":["Mason"],"categories":["best-practice"],"date":"2020-08-06T00:00:00.000Z","title":"腾讯云 Serverless 云函数实现 CKafka 数据转存到 ES","description":"内附部署实战步骤，欢迎体验！","authorslink":null,"translators":null,"translatorslink":null,"tags":["CKafka","ES"],"keywords":"Serverless, Serverless Framework, CKafka","outdated":null},"wordCount":{"words":204,"sentences":51,"paragraphs":51},"fileAbsolutePath":"/opt/build/repo/content/best-practice/2020-08-07-ckafka.md","fields":{"slug":"/best-practice/2020-08-07-ckafka/","keywords":["serverless","无服务器","云函数","函数","Ckafka","serverlesscloud"]},"html":"

背景介绍

\n

腾讯云 Serverless 云函数是下一代通用计算平台，提供安全稳定、高效易用的低成本无服务器运行环境。随着 Kafka 社区的繁荣，越来越多的用户开始使用 Kafka 来做日志收集、大数据分析、流式数据处理等。而公有云上的产品 Ckafka 也借助了开源社区的力量，做了很多优化：

\n\n

同时，在公有云上，云函数也和 CKafka 做了深度联动，并推出了很多非常实用的功能。

\n

运行原理

\n

如下图，云函数可以实时消费 Ckafka 中的消息，比如做数据转存、日志清洗、实时消费等。并且，像数据转存的功能已经集成到了 Ckafka 的控制台上，用户可以一键开启使用，大大降低了用户使用的复杂度。

\n

\n

方案优势

\n

对比使用云主机自建 Ckafka Consumer 的方式，云函数帮用户屏蔽掉了很多不必要的开销：

\n
    \n
  1. 云函数控制台上可以一键开启Ckafka触发器，帮助用户自动创建 Consumer，并由云函数平台来维护组建的高可用；
    2. \n
  2. Ckafka 触发器自身支持很多实用的配置：支持配置 offset 位置、支持配置1~1万消息聚合条数、支持配置 1~1万次重试次数等；
    3. \n
  3. 基于云函数开发的业务逻辑，天然支持弹性伸缩，无需额外搭建和维护服务器集群等。
    4. \n
\n

常用场景

\n

如下图所示，借助云函数和 Ckafka 触发器，可以非常方便实现 CKafka 消息转存到 COS、ES、DB等，那本次也会借助云函数来替代 Logstash，实现 Ckafka 消息罗盘 ES。

\n

和使用 CVM 自建 Logstash 对比，云函数有以下优势：

\n
    \n
  1. 云函数自带 Consumer 组件，可自行聚合；
    2. \n
  2. 云函数的模板函数已经实现了消息聚合和部分清洗能力，还可自行扩展；
    3. \n
  3. 云函数集群自带高可用和监控日志能力，业务上线速度更快；
    4. \n
  4. 云函数采用按实际使用收费，比自建集群费用更优，可以节省 50% 的费用。
    5. \n
\n

\n

部署流程

\n

前置条件（以广州地域为例）：

\n\n

1. 创建云函数

\n

登录云函数控制台，选择地域后，新建函数，选择运行环境 Python3.6，搜索「Ckafka」，选中模板函数后，下一步。

\n

\n

在下一步中，点开高级设置：配置环境变量，如下：

\n

必填参数：ES_Address, ES_User, ES_Password, ES_Index_KeyWord

\n

可选填入：

\n\n

\n

在高级设置中，配置私有网络，需要选择和 ES 相同 VPC，完成函数创建。

\n

\n

2. 创建 Ckafka 触发器

\n

在函数的【触发管理】页面，创建触发器，配置对应 Topic 的触发方式，提交后即可生效。

\n

\n

3. 查看 ES 和函数运行日志

\n

查看函数运行日志

\n

\"查看函数运行日志\"

\n

查看 Kibana

\n

\"查看

\n

扩展能力介绍

\n

如果想要实现高级日志清洗逻辑，可直接在函数代码中修改逻辑。

\n

\n

针对函数的运行状态，可以自行配置监控告警，实时感知业务运行情况。

\n

\n
\n
\n
\n
\n
\n

传送门：

\n\n
\n

欢迎访问：Serverless 中文网，您可以在 最佳实践 里体验更多关于 Serverless 应用的开发！

","tableOfContents":""},"previousBlog":{"id":"1f8be8e0-2d12-5df8-a762-f7ffc07ec3b4","frontmatter":{"thumbnail":"https://img.serverlesscloud.cn/2020812/1597230581474-002.jpg","authors":["粟俊娥"],"categories":["best-practice"],"date":"2020-08-12T00:00:00.000Z","title":"腾讯云 Severless-Express 项目开发和灰度发布最佳实践","description":"本文教你快速了解 Severless-Express 项目开发和灰度发布，全是干货！","authorslink":["https://github.com/June1991"],"translators":null,"translatorslink":null,"tags":["Serverless","Express"],"keywords":"Serverless, Serverless Framework","outdated":null},"wordCount":{"words":294,"sentences":64,"paragraphs":63},"fileAbsolutePath":"/opt/build/repo/content/best-practice/2020-08-12-serverless-express.md","fields":{"slug":"/best-practice/2020-08-12-serverless-express/","keywords":["serverless","spa","云函数","serverless","express","feature","版本"]}},"nextBlog":{"id":"6d507007-0b1d-550a-b9b6-91c027567053","frontmatter":{"thumbnail":"https://img.serverlesscloud.cn/202084/1596530264670-1596526072902-%E7%AE%97%E5%8A%9B.jpg","authors":["Mason"],"categories":["best-practice"],"date":"2020-08-04T00:00:00.000Z","title":"腾讯云 Serverless 支撑「新东方」核心业务算力资源","description":"腾讯云 Serverless 无服务器计算，强计算型核心业务的算力保障。","authorslink":null,"translators":null,"translatorslink":null,"tags":["ffmpeg","Serverless"],"keywords":"Serverless, Serverless Framework","outdated":null},"wordCount":{"words":418,"sentences":67,"paragraphs":67},"fileAbsolutePath":"/opt/build/repo/content/best-practice/2020-08-04-serverless-xindongfang.md","fields":{"slug":"/best-practice/2020-08-04-serverless-xindongfang/","keywords":["serverless","云函数","函数","转码","Serverless","视频","serverlesscloud","新东方"]}}},"pageContext":{"isCreatedByStatefulCreatePages":false,"blogId":"d2255c44-05c8-5daa-b9fa-d3bdf84b36ce","previousBlogId":"1f8be8e0-2d12-5df8-a762-f7ffc07ec3b4","nextBlogId":"6d507007-0b1d-550a-b9b6-91c027567053"}}}