scaleup(高并发架构该如何扩容
发布时间: 2023-07-07

本文目录

高并发架构该如何扩容

扩容分为scale up和scale out。

scale up的扩容可以理解为提升单个节点的纵向能力,如扩容cpu内存硬盘,使单个节点跑的更快,但往往很快会再次遇到瓶颈,即天花板。

scale out的扩容可以理解为使用分布式架构,横向扩展,利用更多节点共同承载业务请求。

高并发下,scale out是更合理的方案。

最简单的当时是增加proxy层,如负载均衡,可以实现扩容。

服务器托管如何限制流量与限制带宽

通过虚拟化流量管控产品,如服务器负载均衡类解决方案。

小型服务器集群可使用硬件流量管控产品。

托管的IDC机房可以购买服务器负载均衡相关服务

Mysql某个表有近千万数据,CRUD比较慢,该如何优化呢

我是【会点代码的大叔】,每天为你分享程序员干货,关注并私信我数字“1”,送你一份程序员大礼包。

MySQL 数据库某张表近千万的数据,CRUD比较慢,如何优化?

说实话,这个数据量级, MySQL 单库单表支撑起来完全没有问题的,所以首先还是考虑数据库本身的优化。

从上图可以看到,数据库优化通常可以通过以上几点来实现:

  • 硬件升级:也就是花更多的钱,升级我们数据库硬件配置,包括 CPU、内存、磁盘、网络等等,但是这个方案成本高,而且不一定能起到非常好的效果。
  • 数据库配置:修改数据库的配置,有可能让我们的 CRUD 操作变得更快,不过我也不建议大家把经历放在这一点上面;首先,数据库的配置通常由专业的 DBA 来负责;第二,大部分时候,默认的数据库配置在大多数情况下已经是最优配置了。

对于开发人员来说,我们需要把注意力放在后面三点:

数据结构的优化,也就是表结构的优化

  • 数据类型的选择:选用合适的数据结构。什么叫做“合适的数据结构“,比如性别字段,M表示男F表示女,那么一个 char(1) 就足够了,如果存储人的年龄,那么就没有必要使用 INT 这么大范围的字段了;
  • 适当的拆分:千万不要试图把所有的字段放在一张表中,因为这会非常影响性能,通常一张表的字段最好不要超过 30 个;
  • 适当的冗余:如果一些常用的字段,可能会用在不同的维度,那么我们可以把这些字段设计在多张表中,因为这样可能会减少表关联;
  • 字段尽量设置成 not Null,尽量带有默认值。

SQL 语句的优化

优化 SQL 语句执行速度的方法有很多,比如:

  • 尽量使用索引,尽量避免全表扫描,提高查询速度;
  • 当然你不能无限制地建立索引;维护索引也会影响性能,会降低 DML 操作的速度;
  • 注意 SQL 语句的书写,有一些错误的写法可能会导致索引失效;
  • 尽量避免在 where 子句中对字段进行 Null 值判断(当然我们在表设计中,直接建议不要有 Null);
  • 条件值多的情况下,尽量不要使用 in 和 not in ;
  • select 的时候,使用具体的字段代替 * 号
  • 避免返回大量数据,增加分页;

减少数据库的访问

  • 我们可以通过增加本地缓存或分布式缓存的方式,将热点数据存储到缓存中,以减少数据库的访问;
  • 终极大招,如果是一个不合理的需求,我们可以拒绝做这个需求,这样也算是“减少了数据库访问“。

说完了 MySQL 本身的优化,如果数据量进一步增大的话,我们还有什么优化的方案呢?

读写分离

主库用于写,从库用于读,将读写分散在不同的数据库上,利用多台机器的资源,来提高数据库的可用性和性能。

分库分表

如果数据持续增多,超过了单台 MySQL 的支撑上限,那么只能用【分库分表】这一招了;我们可以采用一定的路由规则,将数据保存到不同的数据库中。

当然,如果不是“迫不得已”,我是不太建议分库分表的,因为这样极大地增加了系统的复杂程度,并且会带来更多的问题需要开发人员解决。

以上就是常用的 MySQL 优化方案,如果是千万级数据量,优化 MySQL 本身即可。

会点代码的大叔 | 原创

一个写代码的架构师,专注程序员的学习和成长,关注并私信我数字“1”,送你一份程序员大礼包。

如何设计高并发的服务器,如何提升服务器性能

您好楼主.希望对您有帮助.高并发对后台开发同学来说,既熟悉又陌生。熟悉是因为面试和工作经常会提及它。陌生的原由是服务器因高并发导致出现各位问题的情况少之又少。同时,想收获这方面的经验也是“摸着石头过河“, 需要大量学习理论知识,再去探索。

如果是客户端开发的同学,字典中是没有“高并发”这个名词。这验证一句老话,“隔行如隔山“。客户端开发,特别是手机应用开发,更多地是考虑如何优化应用的性能,降低 App 的卡顿率

在这个“云”的时代,提高分布式系统并发能力的方式,方法论上主要有两种:垂直扩展(Scale Up)与水平扩展(Scale Out)。

1) 垂直扩展

提升单机处理能力。垂直扩展的方式又有两种:

增强单机硬件性能,例如:增加 CPU 核数如 32 核,升级更好的网卡如万兆,升级更好的硬盘如 SSD,扩充硬盘容量如 2T,扩充系统内存如 128G;

提升单机架构性能,例如:使用 Cache 来减少 I/O 次数,使用异步来增加单服务吞吐量,使用无锁数据结构来减少响应时间;

2) 水平扩展

只要增加服务器数量,就能线性扩充系统性能。虚拟化技术的出现,让水平扩展变得轻松且简单。现在的云主机几乎是虚拟主机,而不是物理主机。这样的话,线性扩充也就是分分钟的事,前提是要有足够的物理主机支撑。

Web 框架层

Web框架层就是我们开发出来的 Django Web 应用程序。它负责处理 HTTP 请求的动态数据。

WSGI 层

WSGI 不是用于与程序交互的API,也不是真实的代码,WSGI 只是一种接口。它只适用于 Python 语言,其全称为 Web Server Gateway Interface。其定义了 web服务器和 web应用之间的接口规范。

Web 服务器层

Web 服务层作用是主要是接收 HTTP 请求并返回响应。常见的 web服务器有 Nginx,Apache,IIS等。

特别是 Nginx, 它的出现是为了解决 C10K 问题。Nginx 依靠异步事件驱动架构来帮助其处理大量的并发会话,由于其对资源的轻量利用和伸缩自如的特性,它成为了广受欢迎的 web 服务器。

Django 框架注重的数据交互。所以考虑的问题是 Django 适不适合于高并发的场景。

它是一个经过大型网站规模验证的框架。Instagram 支撑上亿日活,所以 Django 能适用于高并发场景。所以不是想着 Django 框架能支撑到多大的并发量,而是我们想要抗住很大的并发量,怎么优化现有框架。总之这个问题不是这么简单的.活到老学到老.多看看技术类书籍.结合自己的能力在进行改进.

搭建一个高性能服务器需要考虑哪些东西<

微信