SEO外包平台,我们为您提供专业的企业网站SEO整站优化外包服务 SEO设置

SEO外包平台

专注于企业网站SEO整站优化外包服务

【seo服务公司推荐火星系统】推荐系统架构的“三足鼎立”

作者:jcmp      发布时间:2021-04-24      浏览量:0
《谈谈我心目中的推荐系统架构》是对架构的

《谈谈我心目中的推荐系统架构》是对架构的详细说明,本文是从另一个角度思考系统架构的总结。

................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................

三脚鼎立是指图中的离线层,近线层和在线层:

、、、、、、、、、、、、、、、、、、

、、、、、、、、、、、、、、、、、、

互联网是新名词陆续出现的,近线是我最近才听说的,不知道什么时候是谁创造的。但是,这个词还很合适。此外,这种层次表现的方式也不是我原创的,但我以前不太重视,最近遇到一些实际情况才意识到层次有利于整体思考。以下是越层带来的问题。


.....................................................................................................................................................................................................................................。这个问题似乎没有什么价值。因为几乎没有人把离线任务转移到网上,反之亦然。但是,有些人因为缺乏经验和思考而犯了错误,当没有人站在全球控制结构时,情况会更加严重。离线和在线之间混乱的情况毕竟很少,但是有了近线层就不同了。有些结构没有这个层次,这个结构几乎不能实时(除非系统数据量小,否则可以立即更新)。一些结构不完善。虽然他们可以像图像一样做一些实时任务,但他们可以把可以放在最近一层的任务放在网上,浪费了在线资源,然后在网上花费时间和超时报警。

优化有很多水平,从指令水平到多线程,从算法到系统结构。如果系统架构出现问题,妄想在模块级优化不是徒劳吗?这个时候应该优化的不是系统而是思考吧)


。各层功能划分的原则之一是

下层的层次图狭窄,这样画的层次越上层需要时间越严格。例如,离线层的时间越长,天;近层可能是ms,秒,也可能是秒。因此,一个功能划分原则是尽可能多地在线,以确保在线逻辑的简单运行和高效率,也有利于算法团队和结构团队的分工,即算法团队负责在线和在线生产数据,结构团队负责在线服务的稳定。这也符合上述算法和结构团队以数据为界面的想法。


、、、、、、、、、、、、、、、、、、、、、、、、、、计算所有物品的两两个相似距离,可以得到相似度矩阵用户喜欢物品的w可以从矩阵中找到与w相似的物品向用户推荐。

ICF如何实现框架?个人认为,将电影放在最近的层上是最喜欢的信息(u,w)

通过消息队列实时回到用户喜欢的w的信息(u,w)

电影2)storm选择/flink/spark进行过滤,这可能需要访问线的用户

可以看到花费时间的1)~3)在最近的层处理,4)中只有简单的过滤,这样既能保证算法效果,又能大幅度降低在线延迟,一举两得并不困难。

、一种、一种、一种、一种、一种、一种、一种、一种、一种、一种、一种、一种、一种、一种、一种、一种、一种、一种、一种、一种、一种、一种、一种、一种、一种、一种假设计算用户最近喜欢的x个项目,假设每个项目平均有y个类似的项目,候补项目有X*Y项目。另一方面,为了保证算法效果x,y不能太小,另一方面x,y太大容易增加在线服务的延迟,进退维谷骑虎难以说的是这个,然后在这个基础上进行的优化必然是治标不治本。

由此可见放在近线层是合理的,目前能做到的前提是物品相似关系的相对稳定性。


........................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................集合的话,也应该放在最近的线层上面。过程有点不同:

通过消息队列实时回报用户u喜欢的东西w的信息(u,w)

合并2)将w

合并到u喜欢的东西集合l(u)

3)从相似度矩阵中获得与u相似的用户s(u)

获得s(u)喜欢的东西集合l(这只是说明原理,算法应该有更详细的筛选)

UCF能够接近线的前提是用户的相似关系相对稳定,即3)中的S(U)短期内变动不大。


....................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................假设有维持名称、年龄、地址、身高和工作的服务,假设每个用户的信息串联在一起,构成“Tom、27、Beijing、175、谷歌”、“谷歌、80、America、180、University”等大字符。另一方面,不同的用户可能只需要一个完整的信息子集,比如这个子集可能是名字和身高,也可能是名字和工作等。为了高效,服务器只需要返回用户需要的子集信息,而不是完整的信息。

?????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????但是,实际上熟悉搜索,特别是索引的人,可能早就知道应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该是应该以上例子需要长度为5的数组,记录名称、年龄、地址、身高和工作在Tom、27、Beijing、175、谷歌中的起点:[0、4、7、15、19]。这样,当用户要求名称和身高时,服务可以从0到15直接阅读相应的信息,从而避免了耗时的经验。

这个例子直接把在线时间的操作转移到在线,不是很有趣吗


...................................................................................................................................但是,就像面对离开的人留下的错误一样,我喜欢从乐观的观点来考虑,这毕竟为我们创造了就业机会。这个例子这个例子。

我相信在不太合理的体系结构中,能够根据这种层次结构思想进行优化的要点很多,特别是传统的背景开发集中在离线上,不太在意近线层的存在,可能需要改变。

..................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................

2)不知道算法可能不能工程。算法队最害怕提出堂堂正正的不合理需求,但架构队看不见。

3)没有工程意识,算法也不顺利,各层之间胡乱实现,在线超时通报,这个算法的效果能保证吗?

4)三足鼎立有一点标题党,但通过实例,只有合理地在三者之间权衡计划才能实现比较优秀的系统。

想获得更多内容,请关注海数据实验室的公共编号。

本期分享到这里,我们每天更新内容,下期再见,期待你的再次到来。有什么建议,比如想要了解的知识、内容中的问题、想要的资料、下面分享的内容、学习遇到的问题等,请在下面留言。如果你喜欢,请注意。