Apache Kafka流+机器学习(Spark,TensorFlow,H2O.ai)

我于2017年5月开始在Confluent工作,担任技术传播者,专注于围绕开源框架Apache Kafka的主题。 我认为机器学习是当今最热门的流行语之一,因为它可以在任何行业中增加巨大的商业价值。 因此,您还会从我这里收到有关Apache Kafka(消息传递),Kafka Connect(集成),Kafka Streams(流处理),Confluent在Kafka之上的其他开源插件(Schema Registry,Replicator,Auto Balancer,等等。)。 我将解释在实际生产场景中如何将所有这些用于机器学习和其他大数据技术。

如果您想知道为什么对在大数据世界中迁移(返回)开源以便进行消息传递,集成和流处理感到非常兴奋,请阅读本文档。

在下面的博客文章中,我想分享一次代表Confluent的会议演讲的第一张幻灯片:位于德国莱比锡的软件体系结构用户组组织了为期2天的活动,以讨论实践中的大数据 。

Apache Kafka流+机器学习/深度学习

这是幻灯片的摘要:

大数据和机器学习是当今许多行业创新的关键。 大量的历史数据存储在Hadoop,Spark或其他群集中并进行分析,以找到模式和见解,例如用于预测性维护,欺诈检测或交叉销售。

本部分的第一部分将说明如何利用R,Python和Scala利用开源机器学习/深度学习框架(如Apache Spark , TensorFlow或H2O.ai) 来构建分析模型

第二部分讨论如何在自己的实时流应用程序或微服务中利用这些内置的分析模型。 它说明了如何利用Apache Kafka集群和Kafka Streams而不是构建自己的流处理集群。 该课程侧重于现场演示,并讲授以高度可扩展和高效的方式执行分析模型的经验教训。

最后一部分解释了Apache Kafka如何帮助从手动构建和部署分析模型转变为实时不断地在线改进模型

幻灯片:如何建立分析模型并将其部署到实时处理

这是幻灯片平台:

来自KaiWähner的 Apache Kafka流+机器学习/深度学习

接下来的几周将发布更多具有更多详细信息的博客文章和特定的代码示例。 我还将对此幻灯片平台进行网络记录,并将其发布到Youtube上。

翻译自: https://www.javacodegeeks.com/2017/05/apache-kafka-streams-machine-learning-spark-tensorflow-h2o-ai.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/349931.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

dmp文件导入11oracle数据库,如何将dmp文件导入到自己的oracle数据库中

1、首先,我们可以先建立自己的一个用户表空间,创建表空间的格式如下:create tablespace test(表空间的名字)datafile D:\oracle\product\10.2.0\userdata\test.dbf (这边可以写成oracle的某个路径下)size 50m (初始大小)autoextend on;(自动…

NOIP模拟测试7「方程的解·visit」

visit 由于一些不可预知的错误导致我一直WA 错误最后说 思路 方案一 假设终点在出发点右上方(这样假设只是为了方便) 假设向左走了a步,向右下了b布,那么相应的我们要向右走ma,向上nb步 总步数t 所以由多重集方案数可得…

jsf绑定bean_JSF –渴望的CDI bean

jsf绑定bean每个人都知道JSF 2中热切的托管bean。 ManagedBean具有eager属性。 如果eager true并且范围是application,那么必须在应用程序启动时而不是在第一次引用该bean时创建此bean。 当您想在应用程序启动期间加载应用程序范围的数据(例如&#xff0…

红旗系统linux忘了开机密码,红旗Linux6.0中忘记了root密码

很久很久以前,用虚拟机安装了red flag6.0windows xp 的双系统,很久很久以后,打开虚拟机red flag系统忘记了密码:在网上搜了下解决办法,转了先,不知管不管用!

在网页中的flash游戏,按方向键浏览器的滚动条会跟着滚动

今天总算把这个困扰我N久的问题给解决了,在我的flash游戏《牧场物语》中有方向键操作,但是在按上下方向键的时候浏览器右边的滚动条跟着滚动,也一上一下的,弄的我头晕,还让不让人活啊,今天终于得到答案了。…

谁最终需要Java模块?

拼图问题为1000。我作为X想要JPMS模块。 如果不是平台开发人员,X是什么? 我的回答是X是人(减去平台开发人员,因为那是一个条件) 。 我们都需要模块系统具有更安全的代码,从而产生更可靠的系统,…

linux 删除带a的文件格式,linux基础命令练习题

2、如何通过命令行重启linux操作系统?shutdown -r now |reboot |init 63、如何在命令行中快速删除光标前的内容?ctrl uctrl k (删除光标之后的内容)5、设置/test/a.txt属主有读写执行权限,属组,有读写,其他账户无权限…

linux安全软件 腾讯,腾讯安全团队发现一存在24年的Linux 0day高危漏洞

腾讯安全团队近日向Linux社区提交了两个Linux X.25套接字漏洞,该漏洞可能造成权限提升,攻击者利用漏洞可能控制整个系统。漏洞风险等级为高,漏洞影响内核版本为2.1.16~5.9.8的Linux系统。目前这些漏洞尚未修复,漏洞细节…

在Salesforce中调用外部系统所提供的的Web Service

这里需要提供外部service所对应的WSDL文件(Salesforce只支持从本地上传),并且提供的WSDL文件有如下两点要求: 1):wsdl 文件只能有一个binding,Salesforce是不支持多个binding的 2)&a…

linux查询日志中页面返回状态码,[linux shell] Shell脚本实现apache日志中的状态码分析...

这篇文章主要介绍了Shell脚本实现apache日志中的状态码分析,本文先是介绍了按天切割日志的方法,然后给出了分析访问状态码的脚本,需要的朋友可以参考下一、首先将apache日志按天切割复制代码 代码如下:vi /etc/httpd/conf/httpd.confErrorLog "|rotatelogs /var/log/httpd…

e2e 自动化集成测试 架构 实例 WebStorm Node.js Mocha WebDriverIO Selenium Step by step (四) Q 反回调...

上一篇文章“e2e 自动化集成测试 架构 京东 商品搜索 实例 WebStorm Node.js Mocha WebDriverIO Selenium Step by step (三) SqlServer数据库的访问” 下面讲一下,对于在写Node.js自动化测试脚本过程中,的编写回调问题&#xff0…

基于比率的路由到旧版和现代应用程序–通过Spring Cloud的Netflix Zuul

从应用程序的旧版本迁移到应用程序的现代化版本时,一个非常普遍的要求是能够将用户缓慢迁移到新应用程序。 在本文中,我将介绍通过Spring Cloud使用对Netflix Zuul的支持编写的这种路由层。 在继续之前,我必须承认,此处演示的大多…

linux查找设备所在分片,Linux设备驱动统一模型解析

soc节点指定了<0x0 0xe0000000 0x00100000>;此属性值指定对于1024KB范围的地址空间,在物理0x0处寻址的子节点映射到物理0xe0000000的父地址。通过这种映射,串行设备节点可以通过0xe0004600地址的加载或存储、0x4600(在…

一个兼容所有浏览器的阻止事件冒泡方法

function stopBubble(event) { //阻止冒泡事件 //取消事件冒泡 var e arguments.callee.caller.arguments[0] || event; //若省略此句,下面的e改为event,IE运行可以,但是其他浏览器就不兼容 if (e && e.stopPropagation) { // this …

linux shell 脚本 supress,《linux Shell 脚本攻略》进阶学习(第一部分)

第二章命令之乐cat 不仅可以读取文件并且连接数据,它还能从标准输入中进行读取要从标准输入中读取,就要使用管道操作符echo Text through stdin | cat - file.txt。这里的-被作为来之stdin 文本的文件名称实例 在file.txt 中写入dfagfmirgjriogjrogijdfg…

xaml_XAML或JavaFx?

xaml这是使用XAML和JavaFx构建应用程序的快速,主观, 无权且非常不科学的比较。 比较是基于我与每个人合作的个人经验。 在XAML方面,这意味着WPF和Win8存储应用程序 。 在JavaFx方面,这意味着Windows 7应用程序。 JavaFX JavaFx被…

古代猪文

题意: 给定q ,n 求$q^{\sum\limits {d|n} C_{n}^{d} }mod 999911659$ 题解: 首先如果你直接算次方上的数的话会炸掉,因为欧拉定理我们可以得到 $q^{\sum\limits {d|n} C_{n}^{d} mod999911658}mod 999911659$ 因为mod的数是个合数…

linux gcc 7.3.0安装,升级gcc到7.3.0

#查看当前版本gcc --version # 先查看当前版本确认是否需要升级tar -zxvf gcc-7.3.0.tar.gzcd gcc-7.3.0#检测和安装相关依赖包,这个过程需要耐心等待,此步骤会将依赖包下载到gcc-7.3.0目录,如果因网络原因无法完成请自行使用wget下载。该步骤…

使用Envoy代理的微服务模式,第二部分:超时和重试

该博客是系列文章的一部分,该系列文章更深入地介绍了Envoy Proxy和Istio.io ,以及它如何实现更优雅的连接和管理微服务的方式。 跟随我christianposta ,紧跟这些博客文章的发布。 什么是Envoy代理 ,它如何工作? 如何…

矩阵快速幂总结

依然主要还是自用 首先矩阵一条性质的概述和证明 概述:对于一个临接矩阵$G$来说,它自乘$G^k$次方中$G[i][j]$含义为从i走到j走k步方案数. 证明:比较麻烦,我们设f[i]表示从1走到其他点方案数,那么根据矩阵递推优化,k次就是转移了k次,那么每次走一步,k次就是走了k步 最…