大型网站架构演变和知识体系 (转)

转:http://sishuok.com/forum/blogPost/list/308.html

1、架构演变第一步：物理分离webserver和数据库

 

2、架构演变第二步：增加页面缓存

      如用squid做页面缓存，或生产静态页面，不使用jsp

 

3、架构演变第三步：增加页面片段缓存

      页面缓存失效情况比较多，因此可以使用页面片段缓存，只缓存不长变部分。

 

、 

4、架构演变第四步：数据缓存：缓存那些读多写少的数据。最常见的就是用户数据。如java中单JVM级/集群级缓存（Ehcache）、分布式缓存（memcached）等。

 

 

 

5、架构演变第五步： 增加webserver（集群web server）：考虑负载均衡（apache的负载均衡，LVS负载均衡、F5硬件级负载均衡），数据缓存需要考虑使分布式缓存（memcached）

 

6、架构演变第六步：分库：按业务将不同业务分为不同的库，部署到不同的服务器上，如用户系统单独一台、论坛等其他每个产品一台。

 

 

7、架构演变第七步：分表、DAL和分布式缓存:按照分库思想分表，需要注意一些规则。如用户系统设计时，把不经常访问的数据放到一张表（需要时加载）。DAL（Data Access Layer）：分布式数据访问层，使分表透明化，自动切表。DAL涉及到比较多的复杂技术，例如数据库连接的管理（超时、异常）、数据库操作的控制（超时、异常）、分库分表规则的封装等；

 

 

8、架构演变第八步：增加更多的webserver：web服务器禁止使用session，数据可存分布式缓存

 

9、架构演变第九步：数据读写分离和廉价存储方案：如使用NoSql（key-value数据库，mongodb等），数据读写分离要求对数据库的复制、standby（可将单实例数据库升级到RAC

 

 

（real application clusters 实时应用集群）数据库）等策略有深入的掌握和理解，同时会要求具备自行实现的技术；

 

 

 

 

10、架构演变第十步：进入大型分布式应用时代和廉价服务器群梦想时代

 

 

 

 

 

七种缓存使用武器 为网站应用和访问加速发布时间:

Web应用中缓存的七种武器：

1 数据库的缓存

  通常数据库都支持对查询结果的缓存，并且有复杂的机制保证缓存的有效性。对于MySQL,Oracle这样的数据库，通过合理配置缓存对系统性能带来的提升是相当显著的。

 

2 数据连接驱动的缓存。

  诸如PHP的ADODB，J2EE的连接驱动，甚至如果把HIbernate等ORM也看成连接器的话。这里的缓存有效机制就不是那么强了，使用此步的方法实现缓存的一个最好的优点就是我们取数据的方式可以保持不变。例如，我调用

$db->CacheGetAll("select * from table"); 的语句不需要改变，可以透明实现缓存。这主要应用于一些变化不大的数据上，例如一些数据字典是不经常变化的。

 

3 系统级的缓存

  可以在系统内通过Cache库，自行对需要的数据进行缓存，例如一个树桩菜单生成十分消耗资源，那可以将这个生成的树缓存起来。这样做的缺点是，当这颗树的某些地方被更新时，你需要手动更新缓存内的东西。使用的缓存库都可以有不同的缓存方法，有的把内容放在硬盘上，有的放在内存里面，如果你把内容模拟成硬盘来缓存，速度当然也能提升不少。

4 页面级的缓存

  这个在内容管理系统里面用的最多。也就是生成静态页面。这里面缓存控制机制最为复杂，一般也没有什么包治百病的方法，只有具体情况具体分析。通常生成的静态叶面你需要有一个机制去删除过时的，或访问很少的叶面，以保证检索静态叶面的速度。

5 使用预编译叶面和加载为FastCGI的办法

  对于PHP，可以使用zend等编译引擎，对于JSP本身就是预编译。而FastCGI的原理就是将脚本预先加载起来，不用每次执行都去读，这和JSP预编成Servlet，然后加载的道理是一样的。

6 前置缓存

  可以使用Squid作为Web服务器的前置缓存。

7 做集群

  对数据库作集群，对web服务器作集群，对Squild前置机做集群

  对于新手来说，如果你的程序要是恰死，首先你要检查代码是否有错误，是否存在内存泄漏，如果都没有，那么通常问题出在数据库连接上面。

  综合应用上面的缓存方法，开发高负载的Web应用成就很容易了。

 

web软件设计时考虑你的性能解决方案

* 关键准则:

 1. 选择什么编程语言不是问题

 2. 选择的框架才可能影响系统的扩展和性能

 3. 我倾向于以数据库为中心设计数据结构。

 4.  分从两个方面提升性能：

  1) . 软件设计方面

        * 网页静态化

        * 独立的图片服务器

        * 可能采用中间缓存层服务器，最可能采用第三方成熟的软件

        * 数据库分表(水平分割是最终方案)

  2).  系统、网络、硬件结构

        * 集群：数据库集群，WEB集群

        * 采用：SAN

        * 提升网络接入带宽

      

影响性能的因素有哪些？其实只有下面几个方面：

1.持久性数据查找速度

2.持久性数据读写速度

3.逻辑复杂度

4.物理内存不够导致的虚拟存储频繁交换.

对应的解决方法：

1.建立最合适的索引，建立缓存

2.建立缓存，升级硬件

3.精简，优化逻辑

4.减少内存使用。