一、PC硬件架构的演进.
二、公司产品简介.
三、线上测试程序说明.
四、Q & A.
一、PC硬件架构的演进
1.CPU
它准确的执行程序，也就是一连串的指令，却不管程序的作用是什么；每一个指令都有明确的定义，清楚地指示CPU该执行的动作。
CPU包含下面几个单元:
*执行控单元.
*算术逻辑单元.
*浮点运算器.
*指令译码器.
*高速缓存.(L1 Cache)
*总线接口单元.
2.Memory内存
内存能储存我们写给它们的信息，并且让我们在稍后读取回来。而CPU所执行的程序、指令的来源,，完全由内存来当做一个媒介，即使从I/O(含软、硬盘、串行端口、CD-ROM、扫描仪、MO…等)读写资料，也是必须透过内存，因此，内存的大小、快慢也会影响到系统的效率。
内存的种类：
*FPM(Fast Page Mode)：利用内存排列的实际结构，来达成到加速目的的方法。由于同列内存的列地址必然相同，当
CPU读取同一列(称为一个Page)中的连续资料时，可免
除重复设定相同列地址的动作，因此FPM内存能够更
迅速的取得资料，帮CPU省下不少时间。
*EDO(Extended Data Output)：它进一步改良了FPM的技术，当内存将资料传给CPU的同时，让CPU把下一笔资料(同
一个Page)的行地址也传给内存，因此相较于FPM，更
能缩短资料读取的时间。
*SDRAM(Synchronous DRAM)，由于这种技术能将内存的运作和CPU的时脉，作更紧密的结合，因此它能降低用来
协调CPU与内存运作所需的时间，更有效提升整体的
性能。
EDO内存的内存读取速度，比FPM还要快百分之三十以上，由于它的速度够快，因此有些阳春计算机和笔记型计算机在没有使用L2 Cache的情况下，依然能表现出不算太差的效能。
3.总线(内部)
ISA(Industry Standard Architecture)：由IBM PC发展出此总线。
实际上每种总线都要有一份明确的规格，而且所定的规
格常要涵盖一切所需的组件，以确保依这种规格所制造
的产品，都能适用于同样规格制造的计算机。缺点是速
度慢、稳定性差、传输品质不好、控制讯号掌握不精
确…..等。
EISA(Extended ISA)：EISA改进了ISA若干的缺点，总线控制、自动设定、改良式的中断处理、以及更高的传输率。但
除了价位偏高外，在磁盘控制方面还是一大挑战。
VESA：90年代初期，视讯电子标准协会(VESA)注意到有一种设计，可以借着直接连结CPU总线接脚的方式，来提
高显示性能，这种设计就称作局部总线(Local Bus)。VL
Bus当初是为486 CPU所设计，但在开发时也对386作
了一些妥协。它的工作频率和当时的CPU相同，也就
是说，CPU的频率跑多快，Local Bus的频率就有多快。
VL Bus能够直接连结CPU的地址和资料讯号；而每秒
超过100MB的传输率，明显的优于EISA及ISA。由于
它是为既有ISA的架构而设计，所以软件无需要更动就
能使用。也因为它以既有的ISA架构为基础，只不过在
部份扩充槽后端多出一截插槽。但如果CPU的速度提
升，也就是换了更快的CPU时，VL Bus可能就会跟不
上CPU的速度，就会发生数据传输和增加CPU负担的
问题。
PCI(Peripheral Component Interconnect外围组件互接)：虽然它像VL Bus一样，也是依CPU的特性所设计的一种局部总
线，但却保有充份的独立性，能够支持486、Pentium、
和其它更新的CPU(Pentium PRO、Pentium II)。它和CPU
的时脉是彼此独立的，且PCI、CPU、L2 Cache和Memory
间的连系，透过了一颗PCI Bridge(Chipset)的连结，因
此PCI卡的设计不会因CPU的型式与速度不同而受影
响，资料的传输最高可达133MB。
PCI有以下的特点：
*效能好。
*支持多个总线主控器(EX:PIIX)。
*能自动设定系统架构。
*能不受CPU更新影响。
*能继续支持ISA。
*价格便宜。
4.I/O总线
IDE(Integrated Drive Electronics)
IDE是一个较经济的界面，但是却在扩充性上有所不足，在大量资料存取速度上表现得也较为逊色。
AT Attachment(ATA)
是IDE的另一个名称，这个名称也反应了IDE的技术，IDE 将部份的控制组件移至硬盘上,剩下的组件便称为’AT Attachment’，ATA定义了一个接口只能接两部硬盘，每部最大限制为504MB(528MB)。
ATA-2：包含了ATA Packing Interface(ATAPI)、Enhanced IDE。
?更大的容量：超过528MB限制，可到2.1GB，或超过2.1GB。
?数据传输更快：
?两组Connector：
?可接其它设备：
ATA-2特性之发挥：
?更高的容量：硬盘、BIOS与操作系统必须相互配合。
?更快的传输速率：硬盘、BIOS要相互配合。
FAST ATA-2(Ultra DMA2、DMA-33)：
高效率的数据传输
Programmed I/O(PIO)
IDE适配卡HD间的数据传输方式与CPU对MEMORY间的传输方式是相类似的，他们都是先告知需要那些资料，一段时间之后，便去取得那些已经准备好的资料。但是，会增加CPU 的负担。
DMA Mode(Bus Master IDE)
利用内存直接存取的原理，来减少CPU的负担。
LBA(Large Block Addressing)将Sector由0、1、2、3………。一
LBA=[(Cylinder*Heads(Max)+Head)*Sector]+Sector
ATAPI(ATA Packet Interface)
IDE接口上同时使用磁带机及CD-ROM，会导致的第一问题---IDE会保留一个旧的接口，Cylinder、Head、Sector、读写地址以及其它的磁盘指令。第二个问题----同一组输出埠中，同时只允许一部设备动作，而这一组的两部设备，须以速度较慢的设备为存取标准。
SCSI(Small Computer System Interface)
SCSI的设备较为昴贵，不过却提供了较快的存取速度与较高的容量，SCSI发展于1980年代的Shugart Associates System Interface(SASI)系统，当时这个系统包含了一个30MB的HD及一部磁带机。
可支持的外围：HD、CD-ROM、MO、磁带机、Scanner、CD-R…..。
在SCSI的主要适配卡中，有一独立的处理器用以接收与执行来自System的指令，它也能追踪不同的指令，因此在同一时间，SCSI能够处理数个I/O的动作。
SCSI的电气接口
SCSI控制卡与外围设备间连接线传输的品质，是非常稳定而有效率的。SCSI在信号传线中设计了可以防止电磁干扰的地线，同时在信号的末端也有一个信号终端器(Terminator)，可以有效防止信号反射而发生错误。SCSI的信号可以传递六公尺，而IDE只有18英吋。
SCSI-1：最早的版本。传输速度不得超过5MHz，单位1Byte。
SCSI-3：发展中。
5.外部总线
PC Card (PCMCIA)
Personal Computer Memory Card International Association 是一种系统的Local BUS，可让笔记型计算机和更小型的计算机，插入外部的装置，以做为扩充功能使用。
相关产品：
*可擦写和只读存储器
*硬盘
*Modem
*LAN Card
*SCSI Card
*Sound Card
规格
PC Card是插在68Pin的主机插槽。
Type1—(ex:内存)3.3mm厚。
Type2—通常为I/O装置(ex:Modem)，5mm厚。
Type3—通常资料储存或无线电装置，10.5mm厚。
Type4—开发中，将会给大量硬盘使用，18mm厚。
6.显示器&显示卡
显示器是透过一条15Pin的讯号线，连接到显示卡背后的VGA接头；显示卡主要工作是把屏幕要显示的画面资料告诉CRT(VGA的映像管)，这些资炓包括每一像素点(Pixel)的颜色比例及水平、垂直位置，这样CRT才能将电子光束打在正确的地方，并能产生正确的画面。这些动作须靠着点时脉(dot clock)来协调，而同步进行。
点时脉----每产生一个dot clock，显示卡就会送出一笔像素点资料，并经由CRT光束将像素点打亮。EX:画面分辨率为1280*1024、且画面更新频率为75Hz时，显示卡的时脉产生器必须送出1280个dot clock，光束才能由左至右扫描完一列(1280Pixels)，而且这个必须要重复1024次，才能扫描完一个画面，又因为每秒钟必须呈现75个画面(75Hz)，所以此dot clock 约为98MHz。
显示卡所送出的资料为数字资料，而显示器所能接收的却是模拟讯号，因此，当显示卡要将资料丢到屏幕时，则必须将数字资料转换成模拟讯号。目前，一般显示卡上均有3个D/A转换器，分别为R、G、B三种色点使用。另外，R、G、B三点的组合可分别达到65536种颜色(High Color高彩)，及16.7M种颜色笔(True Color全彩)。而每一色点多大容量为8bits。
*MDA:最早PC所使用的显示卡是单色的MDA(Monochrome Display Adapter)显示卡，使用80*25的字符解柝度，提
供正常、加底线、闪烁、反白等字符变化，并有白、黄、
绿三种屏幕颜色。
*CGA(Color Graphics Adapter):CGA显示卡增加了MDA所没有有的绘图和彩色显示功能，当使用者改用CGA显示卡
时，显示器也要跟着换，因为字符解柝度会从原本的
9*14(MDA)降到8*8的(CGA)。
*HGC(Hercules Graphics Adapter):HGC显示卡有单色绘图的功能，不仅保持了MDA的文字品质，且提供720*350的
图形解柝度。
*EGA(Enhanced Graphics Adapter):EGA能提供更高的解柝度及更多颜色，解柝度可达640*480，而颜色为16~64色。*VGA(Video Graphics Adapter):以往MDA、HGC、CGA、EGA 的显示器全都是以接收数字讯号”010101..”来产生画面，
且彼此间并不兼容，这样的显示器藉由010101的讯号来
定CRT像素的亮度。和VGA最大的差异，则是改成了
模拟讯号，以便能够快速传递每个点的亮度及色彩资料。
且VGA在解柝方面，标准值为640*480，颜色为16色，
而Super VGA则可到1024*768*256色或全彩，有些甚至
解柝度可到达1600*1200。
计算机系统结构发展历程及未来展望 一、计算机体系结构 什么是体系结构 经典的关于“计算机体系结构（computer Architecture）”的定义是1964年C.M.Amdahl在介绍IBM360系统时提出的，其具体描述为“计算机体系结构是程序员所看到的计算机的属性，即概念性结构与功能特性” 。 按照计算机系统的多级层次结构，不同级程序员所看到的计算机具有不同的属性。一般来说，低级机器的属性对于高层机器程序员基本是透明的，通常所说的计算机体系结构主要指机器语言级机器的系统结构。计算机体系结构就是适当地组织在一起的一系列系统元素的集合，这些系统元素互相配合、相互协作，通过对信息的处理而完成预先定义的目标。通常包含的系统元素有：计算机软件、计算机硬件、人员、数据库、文档和过程。其中，软件是程序、数据库和相关文档的集合，用于实现所需要的逻辑方法、过程或控制；硬件是提供计算能力的电子设备和提供外部世界功能的电子机械设备(例如传感器、马达、水泵等)；人员是硬件和软件的用户和操作者；数据库是通过软件访问的大型的、有组织的信息集合；文档是描述系统使用方法的手册、表格、图形及其他描述性信息；过程是一系列步骤，它们定义了每个系统元素的特定使用方法或系统驻留的过程性语境。 体系结构原理 计算机体系结构解决的是计算机系统在总体上、功能上需要解决的问题，它和计算机组成、计算机实现是不同的概念。一种体系结构可能有多种组成，一种组成也可能有多种物理实现。 计算机系统结构的逻辑实现，包括机器内部数据流和控制流的组成以及逻辑设计等。其目标是合理地把各种部件、设备组成计算机，以实现特定的系统结构，同时满足所希望达到的性能价格比。一般而言，计算机组成研究的范围包括：确定数据通路的宽度、确定各种操作对功能部件的共享程度、确定专用的功能部件、确定功能部件的并行度、设计缓冲和排队策略、设计控制机构和确定采用何种可靠技术等。计算机组成的物理实现。包括处理机、主存等部件的物理结构，器件的集成度和速度，器件、模块、插件、底板的划分与连接，专用器件的设计，信号传输技术，电源、冷却及装配等技术以及相关的制造工艺和技术。 主要研究内容 1·机内数据表示：硬件能直接辨识和操作的数据类型和格式 2·寻址方式：最小可寻址单位、寻址方式的种类、地址运算 3·寄存器组织：操作寄存器、变址寄存器、控制寄存器及专用寄存器的定义、数量和使用规则 4·指令系统：机器指令的操作类型、格式、指令间排序和控制机构 5·存储系统：最小编址单位、编址方式、主存容量、最大可编址空间 6·中断机构：中断类型、中断级别，以及中断响应方式等
微信红包数据架构演变 嘉宾：莫晓东 ?红包印象 ?2015春晚红包 ?2015新的挑战 ?2016再战春晚
红包映像 微信红包是什么？ 包红包(支付) 发 抢拆 2014年短短几天内快速上线的内部项目，满足业务基本需求，每秒几 百发送，每秒上千拆的请求。 微信红包是什么
微信红包资金流银行卡 A用户微信支付余额微信红包中转账户 银行卡 A 用户微信支付余额 微信红包中转账户微信红包中转账户 E 用户微信支付余额 D 用户微信支付余额 C 用户微信支付余额 ?转账(拆红包) ?支付(发红包)?退款（过期 24小时) or ? A 用户发红包，C, D, E 用户抢红包 ?资金原路返回 必须做到资金安全，所以需要事 务。 2015年春晚红包400倍的挑战 海量之道 全民摇红包，不能失败
存储层方案和设备选型 ?项目挑战： ?预估量级是日常的100倍。 ?无法借鉴、摸着石头过河。 ?精确压测性能，为容量评估和限流提供依据。 ?从配置、部署、容灾三方面深入优化，为业务保驾护航。?是否继续使用MySQL？ ?需要多少机器，怎样部署。 ?使用什么机器类型。 ?可能出现什么问题，怎么解决。 继续使用MySQL ? MySQL支持事物，满足一致性要求。 ? 结构化存储，紧凑、连续。 ? 支持多索引。 ? 部署简单，工具支持。 ? 团队技术积累。 ? 设备改进。 硬盘从sas升级FusionIO SSD。 系统从SUSE linux 10升级tlinux 1.2。 ? 测试先行，实践是检验真理的第一标准。 模拟测试： 吞吐量：2.6w/s 主事物：2k+/s 同步速度：6k/s
1 系统架构演化历程 -- 初始阶段架构 初始阶段的小型系统，其特征表现为应用程序、数据库、文件等所有的资源都部署在一台服务器上，我们通俗称为LAMP架构。 特征： 应用程序、数据库、文件等所有的资源都在一台服务器上。 描述： 通常服务器操作系统使用Linux，应用程序使用PHP开发，然后部署在Apache上，数据库使用MySQL，汇集各种免费开源软件以及一台廉价服务器就可以开始系统的发展之路了。 2 系统架构演化历程 -- 应用服务和数据服务分离
好景不长，发现随着系统访问量的增加，Web应用服务器器的压力在高峰期会上升到比较高，这个时候开始考虑增加一台Web应用服务器提供系统的访问效率。 特征： 应用程序、数据库、文件分别部署在独立的资源上。 描述： 数据量增加，单台服务器性能及存储空间不足，需要将应用和数据分离，并发处理能力和数据存储空间得到了很大改善。 3 系统架构演化历程 -- 使用缓存改善性能标题
特征： 数据库中访问较集中的一小部分数据存储在缓存服务器中，减少数据库的访问次数，降低数据库的访问压力。 描述： 1. 系统访问特点遵循二八定律，即80%的业务访问集中在20%的数据上； 2. 缓存分为本地缓存和远程分布式缓存，本地缓存访问速度更快但缓存数据量有限，同时存在与应用程序争用内存的情况。 4 系统架构演化历程 -- 使用应用服务器集群
在对应用系统做完分库分表工作后，数据库上的压力已经降到比较低了，又开始过着每天看着访问量暴增的幸福生活了，突然有一天，发现系统的访问又开始有变慢的趋势了，这个时候首先查看数据库，压力一切正常，之后查看Web Server，发现Apache阻塞了很多的请求，而应用服务器对每个请求也是比较快的，发现问题是由于请求数太高导致需要排队等待，响应速度变慢。 特征： 多台服务器通过负载均衡同时向外部提供服务，解决单台服务器处理能力和存储空间上限的问题。 描述： 1. 使用集群是系统解决高并发、海量数据问题的常用手段。 2. 通过向集群中追加资源，提升系统的并发处理能力，使得服务器的负载压力不再成为整个系统的瓶颈。 5 系统架构演化历程 -- 数据库读写分离
数据库架构规划方案
架构的演变 架构演变一定是根据当时要求的场景、压力下性能的需要、安全性、连续性的要求、技术的发展..... 我把架构的发展分为大概4个阶段： 1.单机模式 IT建设初期，高速建设阶段，大家要做的只有一件事，我需要什么构建什么，我需要ERP我买软件，需要HIS买HIS，这个时期按需构建大量的系统基本在这个时期产生，当然那个时候也没什么高可用的要求。 2.双机热备和镜像 基本是20年前的技术了，在高速构建后，一堆的系统运行中，用户发现我们的核心业务如果坏掉业务受影响，停机几个小时做恢复这是无法接受的，那么双机热备或镜像，Active-Standby的模式出现，这样一台机器工作，一台备用坏了在短时间可以接管业务，造成的损失会低很多！
那么问题也很明显，备机资源浪费，依赖存储，数据还是单点，成本较高。产品也很多：RoseHA/RoseMirrorHA、NEC ExpressCluster、微软MSCS、Symantec VCS、Legato、RHCS 太多太多了。 随后为了解决数据单点的问题有出现了存储的主备，存储的双活这厂商也太多了，这里就不介绍了 基本上传统企业依然停留在第一和第二阶段，也就是要么单机，要么双机热备 3.节点多活
随着业务量越来越大，数据量不断飚升，系统高效性的矛盾显现出来，系统卡慢、报表、接口业务无法分离OLAP OLTP业务混合导致系统锁情况严重，资源消耗极其庞大，光靠升级硬件已经无法满足要求，横向扩展已经成为大势所趋。 同时切换时间、备机无法启动的问题也困扰着用户。 那么节点多活，多台机器同时对外提供访问的技术登上舞台，代表的ORACLE RAC、微软ALWAYSON 、MOEBIUS集群 多活的两种模式也是从第二带架构的演变 oracle rac 把双机热备的辅助节点变的可以访问，关键点数据在多节点内存中的调配 Microsoft awo、Moebius 则是把镜像的辅助节点变的可以访问，关键点数据多节点同步 这样横向扩展来分担压力，并且可以在业务上进行分离。 4.分布式架构 分布式架构真的不知道从何说起，概念太大，每个人理解的都不一样，只能意会不能言传： 比如说一份数据分开存成多份
一线互联网智能推荐系统架构演进 作者：fisherman，时任推荐部门推荐系统负责人，负责推荐部门的架构设计及相关研发工作。Davidxiaozhi，时任推荐部门推荐系统架构师，负责推荐系统的架构设计和系统升级。来自：《决战618：探秘京东技术取胜之道》零，题记在电商领域，推荐的价值在于挖掘用户潜在购买需求，缩短用户到商品的距离，提升用户的购物体验。 京东推荐的演进史是绚丽多彩的。京东的推荐起步于2012年，当时的推荐产品甚至是基于规则匹配做的。整个推荐产品线组合就像一个个松散的原始部落一样，部落与部落之前没有任何工程、算法的交集。2013年，国内大数据时代到来，一方面如果做的事情与大数据不沾边，都显得自己水平不够，另外一方面京东业务在这一年开始飞速发展，所以传统的方式已经跟不上业务的发展了，为此推荐团队专门设计了新的推荐系统。随着业务的快速发展以及移动互联网的到来，多屏（京东App、京东PC商城、M站、微信手Q等）互通，推荐类型从传统的商品推荐，逐步扩展到其他类型的推荐，如活动、分类、优惠券、楼层、入口图、文章、清单、好货等。个性化推荐业务需求比较强烈，基于大数据和个性化推荐算法，实现向不同用户展示不同内容的效果。为此，团队于2015年底再次升级推荐系统。2016年618期间，个
性化推荐大放异彩，特别是团队开创的“智能卖场”，实现了 活动会场的个性化分发，不仅带来GMV的明显提升，也大幅降低了人工成本，大大提高了流量效率和用户体验，从而达到商家和用户双赢，此产品获得了2016年度的集团优秀 产品。为了更好地支撑多种个性化场景推荐业务，推荐系统一直在迭代优化升级，未来将朝着“满屏皆智能推荐”的方向 发展。一、推荐产品用户从产生购买意向，到经历购买决策，直至最后下单的整个过程，在任何一个购物链路上的节点，推荐产品都能在一定程度上帮助用户决策。1.1、推荐产品发展过程推荐产品发展历程主要经历了几个阶段（图1），由简单的关联推荐过程到个性化推荐，逐步过渡到场景智能推荐。从相关、相似的产品推荐过渡到多特征、多维度、用户实时行为、结合用户场景进行的全方位智能推荐。图1 推荐产品发展历程1.2、多屏多类型产品形态多类型主要指推荐类 型覆盖到多种类型，如商品、活动、分类、优惠券、楼层、入口图、文章、清单、好货等。在移动互联时代，多屏场景非常普遍，整合用户在多屏的信息，能使个性化推荐更精准。多屏整合的背后技术是通过前端埋点，用户行为触发埋点事件，通过点击流系统进行多屏的行为信息收集。这些行为数据通过实时流计算平台来计算用户的兴趣偏好，从而根据用户兴趣偏好对推荐结果进行重排序，达到个性化推荐的效果。京东多屏终端如图2所示。图2 京东多屏终端二、推荐系
超融合：架构演变和技术发展 1、超融合：软件定义一切趋势下的诱人组合 超融合是以虚拟化为核心，将计算、存储、网络等虚拟资源融合到一台标准x86服务器中形成基本架构单元，通过一整套虚拟化软件，实现存储、计算、网络等基础功能的虚拟化，从而使购买者到手不需要进行任何硬件的配置就可以直接使用。 “超”特指虚拟化，对应虚拟化计算架构。这一概念最早源自Nutanix等存储初创厂商将Google/Facebook等互联网厂商采用的计算存储融合架构用于虚拟化环境，为企业客户提供一种基于X86硬件平台的计算存储融合产品或解决方案。超融合架构中最根本的变化是存储，由原先的集中共享式存储（SAN、NAS）转向软件定义存储，特别是分布式存储（如Object、Block、File存储）。 “融合”是指计算和存储部署在同一个节点上，相当于多个组件部署在一个系统中，同时提供计算和存储能力。物理融合系统中，计算和存储仍然可以是两个独立的组件，没有直接的相互依赖关系。超融合则重点以虚拟化计算为中心，计算和存储紧密相关，存储由虚拟机而非物理机CVM(ControllerVM)来控制并将分散的存储资源形成统一的存储池，而后再提供给Hypervisor用于创建应用虚拟机。
超融合已从1.0阶段发展至3.0阶段，服务云平台化趋势明显，应用场景不断丰富。超融合1.0，特点是简单的硬件堆砌，将服务器、存储、网络设备打包进一个“盒子”中；超融合2.0，其特点则是软件堆砌，一般是机架式服务器+分布式文件系统+第三方虚拟化+第三方云平台，具有更多的软件功能。 在1.0和2.0阶段，超融合和云之间仍旧有着“一步之遥”，并不能称之为“开箱即用”的云就绪系统，超融合步入3.0阶段，呈现以下两个特点： 服务的云平台化。它所交付的不仅是软硬一体的超融合方案，更是一套完整的云平台服务：用户只需要一次性投入，就能够得到完整的云服务。假设用户是第一次上云，只需满足最基本的IaaS服务即可；随着云化的深入，用户开始在云上部署业务，在需要开发测试，需要数据库、大数据等应用的时候，不需要增加任何节点，便可在已有的超融合部署环境里获得丰富的PaaS服务，如数据库、缓存、大数据、数据仓库、容器平台、人工智能、物联网等。进一
数据库技术最新发展 数据库（Databases，简称DB）是指长期保存在计算机的存储设备上、并按照某种模型组织起来的、可以被各种用户或应用共享的数据的集合。数据库管理系统（Database Management Systems，简称DBMS）是指提供各种数据管理服务的计算机软件系统，这种服务包括数据对象定义、数据存储与备份、数据访问与更新、数据统计与分析、数据安全保护、数据库运行管理以及数据库建立和维护等。 由于企业信息化的目的就是要以现代信息技术为手段，对伴随着企业生产和经营过程而产生的数据进行收集、加工、管理和利用，以改善企业生产经营的整体效率，增强企业的竞争力。所以，数据库是企业信息化不可缺少的工具，是绝大部分企业信息系统的核心。 纵观数据库发展，三大数据库巨头公司纷纷推出其最新产品，数据库市场竞争日益加剧。从最新的IDC报告显示，在关系数据库管理系统(RDBMS)软件市场上，Oracle继续领先对手IBM和微软，但是微软在2006年取得了更快的销售增长率…… 根据对数据库发展的技术趋势不难看出，整个数据库发展呈现出了三个主要特征： (1)、支持XML数据格式 IBM公司在它新推出的DB29版本中，直接把对XML的支持作为其新产品的最大卖点，号称是业内第一个同时支持关系型数据和XML数据的混合数据库，无需重新定义XML数据的格式，或将其置于数据库大型对象的前提下，IBM DB2 9允许用户无缝管理普通关系数据和纯XML数据。 对于传统关系型数据与层次型数据的混合应用已经成为了新一代数据库产品所不可或缺的特点。除了IBM，Oracle和微软也同时宣传了它们的产品也可以实现高性能XML存储与查询，使现有应用更好的与XML共存。 (2)、商业智能成重点
数据库常用架构方案
一、数据库架构原则 (3) 二、常见的架构方案 (3) 方案一：主备架构，只有主库提供读写服务，备库冗余作故障转移用 (3) 方案二：双主架构，两个主库同时提供服务，负载均衡 (4) 方案三：主从架构，一主多从，读写分离 (5) 方案四：双主+主从架构，看似完美的方案 (6) 三、一致性解决方案 (7) 第一类：主库和从库一致性解决方案： (7) 第二类：DB和缓存一致性解决方案 (9) 四、总结 (11) 1、架构演变 (11) 2、个人见解 (11)
?高可用 ?高性能 ?一致性 ?扩展性 方案一：主备架构，只有主库提供读写服务，备库冗余作故障转移用 jdbc:mysql://vip:3306/xxdb 1、高可用分析：高可用，主库挂了，keepalive（只是一种工具）会自动切换到备库。 这个过程对业务层是透明的，无需修改代码或配置。 2、高性能分析：读写都操作主库，很容易产生瓶颈。大部分互联网应用读多写少，读 会先成为瓶颈，进而影响写性能。另外，备库只是单纯的备份，资源利用率50%，这点方案二可解决。 3、一致性分析：读写都操作主库，不存在数据一致性问题。
4、扩展性分析：无法通过加从库来扩展读性能，进而提高整体性能。 **5、可落地分析：**两点影响落地使用。第一，性能一般，这点可以通过建立高效的索引和引入缓存来增加读性能，进而提高性能。这也是通用的方案。第二，扩展性差，这点可以通过分库分表来扩展。 方案二：双主架构，两个主库同时提供服务，负载均衡 jdbc:mysql://vip:3306/xxdb 1、高可用分析：高可用，一个主库挂了，不影响另一台主库提供服务。这个过程对业务层是透明的，无需修改代码或配置。 2、高性能分析：读写性能相比于方案一都得到提升，提升一倍。 3、一致性分析：存在数据一致性问题。请看下面的一致性解决方案。 4、扩展性分析：当然可以扩展成三主循环，但笔者不建议（会多一层数据同步，这样同步的时间会更长）。如果非得在数据库架构层面扩展的话，扩展为方案四。 5、可落地分析：两点影响落地使用。第一，数据一致性问题，一致性解决方案可解决问题。第二，主键冲突问题，ID统一地由分布式ID生成服务来生成可解决问题。
19.管理数据库变化Evolution 当使用关系数据库时，你需要去跟踪和安排数据库schema (结构)变化，特别是有多个存储位置的情况下，你就需要更多的经验来跟踪数据的schema变化: ?当处理团队合作进行开发时，每个人都需要知道数据库结构的变化 ?当部署到生产服务器上时，就需要一个稳健的方式去更新数据库结构 ?如果在多台数据库服务器上工作时，就需要保持所有数据库结构同步 如果在JPA下工作，Hibernate会自动为你处理好这些数据库变化。如果你不打算使用JPA或打算手工对数据库结构进行更好的调整，那么Evolutions将非常 有用。 Evolutio ns 脚本 Play使用evolutions 脚本来跟踪你的数据库变化。这些脚本采用的是原始的sql语句来书写的，应该位于应用程序的db/evolutions 目录。 第一个脚本名叫1.sql,第二为2.sql,以此类推… 每个脚本包含了两部分： * Ups部分用于描述必要的转换 * Dow ns部分用于描述如何恢复他们 比如，查看第一个evolution脚本，这个脚本用于引导一个基本的应用： #Users schema #--- !Ups CREATE TABLE User ( id bigi nt(20) NOT NULL AUTO_INCREMENT, email varchar(255) NOT NULL, password varchar(255) NOT NULL, full name varchar(255) NOT NULL, isAdmin boolean NOT NULL, PRIMARY KEY (id) ); #--- !Dow ns DROP TABLE User;
计算机系统结构发展历程及未来展望一、计算机体系结构 什么是体系结构 经典的关于“计算机体系结构（computer A 按照计算机系统的多级层次结构，不同级程序员所看到的计算机具有不同的属性。一般来说，低级机器的属性对于高层机器程序员基本是透明的，通常所说的计算机体系结构主要指机器语言级机器的系统结构。计算机体系结构就是适当地组织在一起的一系列系统元素的集合，这些系统元素互相配合、相互协作，通过对信息的处理而完成预先定义的目标。通常包含的系统元素有：计算机软件、计算机硬件、人员、数据库、文档和过程。其中，软件是程序、数据库和相关文档的集合，用于实现所需要的逻辑方法、过程或控制；硬件是提供计算能力的电子设备和提供外部世界功能的电子机械设备(例如传感器、马达、水泵等)；人员是硬件和软件的用户和操作者；数据库是通过软件访问的大型的、有组织的信息集合；文档是描述系统使用方法的手册、表格、图形及其他描述性信息；过程是一系列步骤，它们定义了每个系统元素的特定使用方法或系统驻留的过程性语境。 体系结构原理 计算机体系结构解决的是计算机系统在总体上、功能上需要解决的问题，它和计算机组成、计算机实现是不同的概念。一种体系结构可能有多种组成，一种组成也可能有多种物理实现。 计算机系统结构的逻辑实现，包括机器内部数据流和控制流的组成以及逻辑设计等。其目标是合理地把各种部件、设备组成计算机，以实现特定的系统结构，同时满足所希望达到的性能价格比。一般而言，计算机组成研究的范围包括：确定数据通路的宽度、确定各种操作对功能部件的共享程度、确定专用的功能部件、确定功能部件的并行度、设计缓冲和排队策略、设计控制机构和确定采用何种可靠技术等。计算机组成的物理实现。包括处理机、主存等部件的物理结构，器件的集成度和速度，器件、模块、插件、底板的划分与连接，专用器件的设计，信号传输技术，电源、冷却及装配等技术以及相关的制造工艺和技术。 主要研究内容 1·机内数据表示：硬件能直接辨识和操作的数据类型和格式 2·寻址方式：最小可寻址单位、寻址方式的种类、地址运算 3·寄存器组织：操作寄存器、变址寄存器、控制寄存器及专用寄存器的定义、数量和使用规则4·指令系统：机器指令的操作类型、格式、指令间排序和控制机构 5·存储系统：最小编址单位、编址方式、主存容量、最大可编址空间 6·中断机构：中断类型、中断级别，以及中断响应方式等 7·输入输出结构：输入输出的连接方式、处理机/存储器与输入输出设备间的数据交换方式、数据交换过程的控制 8·信息保护：信息保护方式、硬件信息保护机制。 根据指令流、数据流进行分类
支付系统技术架构演进
目录 1、概述 (3) 2、支付系统2.0详解 (5) 2.1 交易核心 (6) 2.2 支付核心 (9) 2.3 渠道网关 (11) 2.4 资金核算体系 (12) 3、统一平台业务上下文 (13)
1、概述 在1.0 的支付系统中，我们遇到了诸多问题。痛定思痛，我们决心对支付系统做一次架构升级。那么，怎么去做支付系统的架构升级呢?我们从两个方面来进行架构升级梳理: ?巨大的单体应用必须要拆分，在拆分之前，需要确定业务、系统边界，并对支付业务进行建模。 ?构建完整的资金核算体系，以能够清晰地知晓各类业务的流水、收入、支出等。 ?支付系统 2.0 - 拆分系统边界 拆分单体应用之前，从三个维度对边界进行拆分: ?基于业务，拆分为面向支付业务和面向资金核算两套体系。 ?基于场景，例如依据支付流程等进行拆分。 ?基于技术实现，例如出于对系统的性能等考虑拆分。 我们将支付系统中的核心系统拆分为收银台、交易核心、支付核心、渠道网关、账务系
统、会计系统、清算系统、合规系统等。如图14.4 所示的是核心支付链路流程示意图。 得益于蘑菇街强大的基础平台及中间件系统，比如RPC 服务框架Tesla、数据库中间件Raptor、可靠的消息中间件Corgi、数据库事件变更中间件Pigeon、数据配置推送平台Metabase 及分布式缓存KVStore 等，我们在2015 年第四个季度对支付系统做了整体的服务化拆分，拆分后的架构如图14.5 所示。
下面大致介绍一下各系统的功能: ?面向支付业务，可拆分为收银台、交易核心、支付核心、渠道网关。 ?面向资金核算，可拆分为会计系统、账务系统、清算系统、合规系统。 ?其他基础服务的拆分，比如支付会员服务、支付风控和对账系统等。 2、支付系统2.0详解 以上讲述了支付系统2.0 的整体架构，接下来对各个核心系统的拆分和实现进行具体介绍。
企业数据库架构建设规划方案
目录 一、架构的演变 (3) 二、单机模式 (3) 三、双机热备和镜像 (3) 四、节点多活 (5) 五、分布式架构 (6) 六、其他技术漫谈 (8) 七、如何选架构 (9) 八、总结 (12)
一、架构的演变 架构演变一定是根据当时要求的场景、压力下性能的需要、安全性、连续性的要求、技术的发展..... 我把架构的发展分为大概4个阶段： 二、单机模式 IT建设初期，高速建设阶段，大家要做的只有一件事，我需要什么构建什么，我需要ERP我买软件，需要HIS买HIS，这个时期按需构建大量的系统基本在这个时期产生，当然那个时候也没什么高可用的要求。 三、双机热备和镜像
基本是20年前的技术了，在高速构建后，一堆的系统运行中，用户发现我们的核心业务如果坏掉业务受影响，停机几个小时做恢复这是无法接受的，那么双机热备或镜像，Active-Standby的模式出现，这样一台机器工作，一台备用坏了在短时间可以接管业务，造成的损失会低很多！ 那么问题也很明显，备机资源浪费，依赖存储，数据还是单点，成本较高。产品也很多：RoseHA/RoseMirrorHA、NEC ExpressCluster、微软MSCS、Symantec VCS、Legato、RHCS 太多太多了。 随后为了解决数据单点的问题有出现了存储的主备，存储的双活这厂商也太多了，这里就不介绍了。
基本上传统企业依然停留在第一和第二阶段，也就是要么单机，要么双机热备 四、节点多活 随着业务量越来越大，数据量不断飚升，系统高效性的矛盾显现出来，系统卡慢、报表、接口业务无法分离OLAP OLTP业务混合导致系统锁情况严重，资源消耗极其庞大，光靠升级硬件已经无法满足要求，横向扩展已经成为大势所趋。
分布式IT架构的演进
一、分布式架构的定义 (3) 二、分布式架构的应用 (4) 三、资源推荐 (5) 四、分布式架构的演进 (5) 五、分布式服务应用面临的问题 (14)
分布式系统（distributed system）是建立在网络之上的软件系统。 内聚性：是指每一个数据库分布节点高度自治，有本地的数据库管理系统。 透明性：是指每一个数据库分布节点对用户的应用来说都是透明的，看不出是本地还是远程。在分布式数据系统中，用户感觉不数据是分布的，即用户不须知道关系是否分割，有无副本，数据存在于那个站点以及事物在哪个站点上执行。 简单来说：在一个分布式系统中，一组独立的计算机展现给用户的是一个统一的整体，就好像是一个系统似的。 分布式系统作为一个整体对用户提供服务，而整个系统的内部的协作对用户来说是透明的，用户就像是指使用一个mysql 一样。 如：分布式mysql中间件mycat ,来处理大并发大数据量的构架。
1、分布式文件系统 例如：出名的有Hadoop 的HDFS, 还有google的GFS , 淘宝的TFS 等； 2、分布式缓存系统 例如：memcache , hbase, mongdb 等； 3、分布式数据库 例如：mysql, mariadb, postgreSql 等； 4、分布式webService 5、分布式计算 以分布式mysql数据库中间件mycat 为例： MySQL 在现在电商以及互联网公司的应用非常多，一个是因为他的免费开源，另外一个原因是因为分布式系统的水平可扩展性，随着移动互联网用户的暴增，互联网公司，像淘宝，天猫，唯品会等电商都采用分布式系统应对用户的高并发量以及大数据量的存储。而在Mycat的商业案例中，有对中国移动的账单结算项目中，应用实时处理高峰期每天2亿的数据量，在对物联网的项目中，实现处理高达26亿的数据量，并提供实时查询的接口。 通过对MyCat的学习，加深分布式系统架构的理解，以及分布式相关的技术，分布式一致性ZooKeeper服务, 高可用HAProxy/keepalived等相关应用。 集群与分布式；
大型互联网架构演变历程 1.课程目标 1.1.了解互联网架构演变历程 1.2.了解当前互联网架构中常用的一些 1.3.站在巨人的肩膀上，我们的视野会更高一些 2.淘宝技术这10年 2.1.淘宝现状 高并发已经成为当前互联网企业面临的巨大挑战！例如2015年“双十一”全球狂欢节正式落下帷幕，天猫最终交易额也达到了创纪录的912.17亿元！参与交易国家和地区达到232个，双十一支付宝最高峰每秒处理的交易笔数是8.59万笔，在线人数峰值达到4500万。 淘宝的核心技术（国内乃至国际的Top，这还是2011年的数据） ●拥有全国最大的分布式Hadoop集群（云梯，2000左右节点，24000核CPU，48000GB 内存，40PB存储容量） ●全国分布80+CDN节点，能够自动找寻最近的节点提供服务，支持流量超过800Gbps ●不逊于百度的搜索引擎，对数十亿商品进行搜索，全球最大的电商平台 ●顶尖的负载均衡系统，顶尖的分布式系统，顶尖的互联网思想，功能多样运行极其稳定●丰富的生态产业以及先进的数据挖掘技术 ●……很多很多 2.2.淘宝技术演变，摘自《淘宝技术这十年》 ●马总在2003年4月7日秘密叫来阿里巴巴的十位员工，来到杭州一个隐秘的毛坯房， 要求他们在一个月左右的时间内做出一个C2C网站。结果当然还是直接买的快，一个基于LAMP架构的网站，原名是PHPAuction，老美开发的一个拍卖网站。当然必须要做修改才能用。 ●2003年底，淘宝注册用户23万，PV 31万/day，半年成交额3371万 ●很显然MySQL无法撑得起如此大的访问量，数据库瓶颈出现了。幸好阿里的DBA队伍
大型互联网架构演变历程 1.淘宝技术这10年 1.1.淘宝现状 高并发已经成为当前互联网企业面临的巨大挑战！例如2015年“双十一”全球狂欢节正式落下帷幕，天猫最终交易额也达到了创纪录的912.17亿元！参与交易国家和地区达到232个，双十一支付宝最高峰每秒处理的交易笔数是8.59万笔，在线人数峰值达到4500万。 淘宝的核心技术（国内乃至国际的Top，这还是2011年的数据） ●拥有全国最大的分布式Hadoop集群（云梯，2000左右节点，24000核CPU，48000GB 内存，40PB存储容量） ●全国分布80+CDN节点，能够自动找寻最近的节点提供服务，支持流量超过800Gbps ●不逊于百度的搜索引擎，对数十亿商品进行搜索，全球最大的电商平台 ●顶尖的负载均衡系统，顶尖的分布式系统，顶尖的互联网思想，功能多样运行极其稳定●丰富的生态产业以及先进的数据挖掘技术 ●……很多很多 1.2.淘宝技术演变，摘自《淘宝技术这十年》 ●马总在2003年4月7日秘密叫来阿里巴巴的十位员工，来到杭州一个隐秘的毛坯房， 要求他们在一个月左右的时间内做出一个C2C网站。结果当然还是直接买的快，一个基于LAMP架构的网站，原名是PHPAuction，老美开发的一个拍卖网站。当然必须要做修改才能用。 ●2003年底，淘宝注册用户23万，PV 31万/day，半年成交额3371万 ●很显然MySQL无法撑得起如此大的访问量，数据库瓶颈出现了。幸好阿里的DBA队伍 足够强大，他们使用Oracle替代了MySQL。Oracle那时就已经有了强大的并发性访问设计——连接池，从连接池取连接的耗费比单独建立连接少很多。但是PHP当时并没有官方提供支持语言连接池特性，于是多隆前辈用Google（不会是Baidu）搜到了一个开源的SQL Relay，于是数据库软件方面的瓶颈暂时解决了。 ●随之而来的是面临硬件性能瓶颈，阿里买了EMC的SAN存储设备，加上Oracle高性能 RAC，硬件容量也暂时没问题了。 ●因为SQL Relay的问题实在过于严重，2004年于是淘宝终于做出了跨时代的决策——使 用Java重写网站。 ●淘宝请了Sun的高级工程师来帮忙做Java架构。那么他们是如何做到修改编程语言而 不改变网站使用呢——模块化替换，今天写好了A模块，另开一个新域名，将连接指向该模块，同时别的模块不变，等到全部模块完成的时候，原域名放弃。Sun公司坚持使用EJB作为控制层，加上使用iBatis作为持久层，一个可扩展且高效的Java EE应用诞
系统架构演进过程
高大上的淘宝架构 我们以淘宝架构为例，了解下大型的电商项目的服务端的架构是怎样，如图所示 上面是一些安全体系系统，如数据安全体系、应用安全体系、前端安全体系等。 中间是业务运营服务系统，如会员服务、商品服务、店铺服务、交易服务等。 还有共享业务，如分布式数据层、数据分析服务、配置服务、数据搜索服务等。 最下面呢，是中间件服务，如MQS即队列服务，OCS即缓存服务等。 图中也有一些看不到，例如高可用的一个体现，实现双机房容灾和异地机房单元化部署，为淘宝业务提供稳定、高效和易于维护的基础架构支撑。 这是一个含金量非常高的架构，也是一个非常复杂而庞大的架构。当然这个也不是一天两天演进成这样的，也不是一上来就设计并开发成这样高大上的架构的。
这边就要说一下，小型公司要怎么做呢？对很多创业公司而言，很难在初期就预估到流量十倍、百倍以及千倍以后网站架构会是什么样的一个状况。同时，如果系统初期就设计一个千万级并发的流量架构，很难有公司可以支撑这个成本。 因此，一个大型服务系统都是从小一步一步走过来的，在每个阶段，找到对应该阶段网站架构所面临的问题，然后在不断解决这些问题，在这个过程中整个架构会一直演进。 那我们来一起看一下。 1 单服务器-俗称all in one
从一个小网站说起。一台服务器也就足够了。文件服务器，数据库，还有应用都部署在一台机器，俗称ALL IN ONE。 随着我们用户越来越多，访问越来越大，硬盘，CPU，内存等都开始吃紧，一台服务器已经满足不了。这个时候看一下下一步演进。 2 数据服务与应用服务分离
我们将数据服务和应用服务分离，给应用服务器配置更好的CPU，内存。而给数据服务器配置更好更大的硬盘。 分离之后提高一定的可用性，例如Files Server挂了，我们还是可以操作应用和数据库等。 随着访问qps越来越高，降低接口访问时间，提高服务性能和并发，成为了我们下一个目标，发现有很多业务数据不需要每次都从数据库获取。 3 使用缓存，包括本地缓存，远程缓存，远程分布式缓存