推荐系统整体框架概览

推荐系统整体框架概览

      • 推荐系统整体架构
      • 推荐系统的核心组成部分
        • 离线
        • 核心节点
        • 服务
        • UI
      • 总结

推荐系统整体架构

先说点题外话,最近在看的书中讲到了怎么进行自学的方法,分了十个层级。第一个便是要了解所学内容的概况,也就是轮廓,大的东西是什么,方向是什么。所以,专栏的主要内容就是推荐系统,那么首先来看看推荐系统的整体架构是什么。

先来一张图:
推荐系统框架

推荐系统的核心组成部分

这里把推荐系统分为以下重要的组成部分:

  1. 离线
  2. 核心节点
  3. 服务
  4. UI

下面将大致介绍每一部分的重点内容,具体的、详细的内容便是本专栏围绕的主题,将在后续章节一一为大家进行说明

离线

离线部分主要包括数据采集、ETL、特征工程和离线算法模型的训练。

数据采集就不用多说了,它是推荐中的物料,有了数据,推荐系统才能发挥作用,才能训练各种各样的模型进行推荐,进而将算法的作用发挥到极致。所以,数据收集是比较重要的,要在这个方面多多思考。

ETL就是常说的数据清洗。因为原始的数据并不是能满足你的要求,而是非常杂乱的,那么需要对数据做进一步的处理,方便后续的使用,这个过程往往伴随这数据仓库的产生。

特征工程。原始数据太多了,可能需要挑选若干个进行重点分析。

算法模型。根据现有的数据,训练离线模型。

核心节点

核心节点包括推荐结果存储,推荐引擎配置,AB test 服务。这部分内容是推荐的关键,后续章节详细给出。

服务

服务这块包含推荐服务、实时服务、排序服务和业务服务。这部分是推荐系统的重要工程,它涉及大数据、排序逻辑、业务逻辑和推荐逻辑,是算法和工程结合的产物。

UI

有人可能会说,推荐系统怎么会包含UI,没错,这个还非常重要。推荐系统的推荐效果怎么样,全靠它和真实的用户进行交互,全靠它的数据上报。它上报的曝光和点击数据是对推荐系统很重要的反馈,推荐系统根据实际用户的反馈会做进一步的调整和优化。

总结

本节给出了推荐系统的整体框架,准确地说是一个逻辑架构图。通过它,可以了解推荐系统包含哪些子系统,子系统之间有些什么交互。当然,详细的交互会在后续章节一一给出,请大家持续关注。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/576480.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

大数据技术之 Kafka (第 3 章 Kafka 架构深入 ) Kafka 生产者

3.2.1 分区策略 1)分区的原因 (1)方便在集群中扩展,每个 Partition 可以通过调整以适应它所在的机器,而一个 topic又可以有多个 Partition 组成,因此整个集群就可以适应任意大小的数据了; &a…

大学(转载)

1. 别怕丢人,追求丢人是一种成功的尝试,至于为此笑话你的人,你可以把他们从你将来人生对手的名单中排除了,你也要为每一位上台唱歌的人鼓掌。2、你有足够的理由佩服每天早起的人,不信的话,你去做。做到后会…

自燃型员工的特点

自燃型员工的特点原文:https://mp.weixin.qq.com/s/SaQ_GG7CpPqdGc_l5jffag 稻盛和夫曾经说过,人分为三种: 一种是自燃型,自我驱动,自我燃烧; 第二种是点燃型,需要别人在背后推一把;…

MySQL定时备份实现

一、备份数据库 –all-databases 备份所有数据库 /opt/mysqlcopy/all_$(date “%Y-%m-%d %H:%M:%S”).sql 备份地址 docker exec -it 容器名称 sh -c "mysqldump -u root -ppassword --all-databases > /opt/mysqlcopy/all_$(date "%Y-%m-%d %H:%M:%S").sq…

POJ 1159 (DP)

题目:http://poj.org/problem?id1159 思路: 找出原串的最长回文子串,当然这里说的回文子串可以不连续。用原串的长度减去最长回文子串的长度即可得出结果。 设原串a[5001],它的反串为b[5001],求出a和b的最长公共子串的长度(可以不连续&#…

新版本ISR 为啥 移除replica.lag.max.messages这个参数

ISR 上节我们涉及到ISR (In-Sync Replicas),这个是指副本同步队列。副本数对Kafka的吞吐率是有一定的影响,但极大的增强了可用性。默认情况下Kafka的replica数量为1,即每个partition都有一个唯一的leader,为了确保消息的可靠性&am…

程序员健身的重要性

程序员健身的重要性人的身体就是人的灵魂最好的写照! --- 路德维系.维特根斯坦 健身不仅是保持健康体魄的关键要素之一,也是灵活的、具有创造性的脑力活动的基础。 --- 约翰.肯尼迪 …

Java 8 中的哈希表

JDK 的代码是开源的,我们打开idea开发工具,引入jdk1.8 找到hashmap HashMap 是基于 HashTable 的一种数据结构,在普通哈希表的基础上,它支持多线程操作以及空的 key 和 value。 在 HashMap 中定义了几个常量: static final in…

NSJSONSerialization介绍

ios5中apple增加了解析JSON的api——NSJSONSerialization。网上已经有人做过测试,NSJSONSerialization在效率上完胜SBJSON、TouchJSON、YAJL、JSONKit、NextiveJson。详情见这里。既然apple为我们提供了这么良好的工具,我们没理由不用吧。 NSJSONSeriali…

开始新的blog之旅--flash3,0涂鸦板保存,撤销功能

一直以来都是在百度写的博客,今天不知道百度是哪抽风。居然把我的博客给封了,上贴吧去发泄一番,结果帖子都给删了。 不得不说你百度厉害,你自己犯的错误。让我们这些用户跟着受罪。我看今天很多博客都被封了,都不知道原…

JDK8HashMap的扩容核心解读,尾插法

看懂了JDK7Hashmap的扩容头插法,及其可能产生的循环引用问题,今天看看JDK8的HashMap扩容实现。采取的是用四个结点,两条链表完成重新分配位置,比较简单有趣。解析如下: //如果原来的table等于null,直接返回…

领导者的资质——学习笔记(1)

领导者的资质——学习笔记(1)《领导者的资质》是稻盛和夫先生著作的一本书,书中的道理值得深深思考和体会,结合自己工作、生活中的一些事情,会有不同的感觉。本学习笔记特此记录书中重点的内容,供以后反复阅…

[转帖]ISE与Modelsim联合观察中间信号

如何仿真IP核(建立modelsim仿真库完整解析) 来源:http://www.ednchina.com/ART_49023_19_0_AN_7116cf44.HTM IP核生成文件:(Xilinx/Altera 同) IP核生成器生成 ip 后有两个文件对我们比较有用,假…

计算时间复杂度

步骤: 1、找到执行次数最多的语句 2、语句执行语句的数量级 3、用O表示结果 计算时间复杂度的3个出发点,掌握这三个出发点,那么一向搞不懂的时间复杂度就可以迎刃而解啦。 然后: 1、用常数1取代运行时间中的所有加法常数 2、…

领导者的资质——学习笔记(2):领导者的人格

领导者的资质——学习笔记(2):领导者的人格在领导者的资质中,人格最为重要。领导者保持自己高层次的人格,是解决当前企业治理危机最根本性的方略。我们要时时事事思考“作为人,何为正确”不断自问自答&…

sql server 2008学习12 事务和锁

事务 事务的点: 1.begin tran 是事务开始的地方,也是 事务回滚的起点.也就说他会忽略这个起点之后的最终没有提交的所有语句, 2.commit tran 事务的提交 是一个事务的终点 当发出 commit tran命令时,可以认为 该事务是 持久的. 撤销已完成事务的唯一方法 是 发出一个新的事务.…

领导者的资质——学习笔记(3):领导者的十项职责

领导者的资质——学习笔记(3):领导者的十项职责领导者必须向员工说明工作的目的意义,设定具体目标,制定相应的计划,怀着强烈的愿望,付出不亚于任何人的努力,表现出坚强的意志&#x…

漫画:什么是时间复杂度?

时间复杂度的意义 究竟什么是时间复杂度呢?让我们来想象一个场景:某一天,小灰和大黄同时加入了一个公司...... 一天过后,小灰和大黄各自交付了代码,两端代码实现的功能都差不多。大黄的代码运行一次要花100毫秒&#x…

Eclipse如何连接SQL Server 2005数据库

做管理系统当然少不了经常与数据库打交道,在网上搜了很多数据库版本都不小,大的有好几个G的,小的也有几百兆的,我这可怜的内存,最终找了个精简版中的精简版的Sql server2005,只有80几兆,本来只想…

NLP 最新进展

参考文献: •http://www.dataguru.cn/article-14237-1.html •https://zhuanlan.zhihu.com/p/46652512 •https://github.com/google-research/bert •https://allennlp.org/elmo •https://arxiv.org/pdf/1802.05365 •https://arxiv.org/abs/1810.04805