基于Kafka和Redis的商城限时秒杀商品系统的设计与实现文献综述

 2022-10-22 17:12:13
  1. 文献综述(或调研报告):
  • 传统消息传递遇到的[1]新问题

任何大型互联网公司都会生成大量的“日志”数据。这种日志数据的实时使用给数据系统带来了新的挑战,因为它的容量比“真实”数据大几个数量级。 例如,搜索、推荐和广告常常需要计算细粒度的点击率,它不仅为每个用户单击生成日志记录,而 且为每个页面上未单击的数十项生成日志记录。中国移动每天收集 5-8TB 的通话记录,Facebook 每天收集近 6TB 的各类用户活动事件。我们已经为日志处理构建了一个新的消息传递系统 Kafka,它结合了传统日志聚合器和消息传递系 统的优点。一方面,Kafka是分布式的、可伸缩的,并且提供了高吞吐量。另一方面,Kafka提供 了类似于消息传递系统的 API,允许应用程序实时使用日志事件。它极大地简化了我们的基础设施,因为我们可以利用单个软件来在线和离线 使用所有类型的日志数据

  • Kafka消息传递优势

[1]消息持久化: 为了从大数据中获取有价值的信息,任何信息的丢失都是负担不起的。Kafka使用了O(1)的磁盘结构设计,这样做即便是在要存储大体积的数据时也是可以提供稳定的性能。使用Kafka时,message会被存储并且会被复制以防止数据丢失。

高吞吐量: 设计是工作在普通的硬件设施上多个客户端能够每秒处理几百兆的数据量。

分布式: Kafka Broker的中心化集群支持消息分区,而consumer采用分布式进行消费。

多种Client支持: Kafka很容易与其它平台进行支持,例如:Java、.NET、PHP、Ruby、Python。

实时: 消息由producer产生后立即对consumer可见。这个特性对于基于事件的系统是很关键的。

  • Kafka工作原理

消息发送[2]语义:

producer视角

消息最多发送一次:producer异步发送消息,或者同步发消息但重试次数为0。

消息至少发送一次:producer同步发送消息,失败、超时都会重试。

剩余内容已隐藏,您需要先支付 10元 才能查看该篇文章全部内容!立即支付

以上是毕业论文文献综述,课题毕业论文、任务书、外文翻译、程序设计、图纸设计等资料可联系客服协助查找。