15、计算机集群与分布式系统技术探索

计算机集群与分布式系统技术探索

1. 并行处理机制

在并行处理中，当从节点完成任务后，会用从从节点返回的结果更新本地单线程进程块变量，然后继续处理该单线程，直至完成或发生另一次拆分。

在单处理器上执行程序的并行部分，大约需要在多计算机（至少三个 CPU）上执行时间的三倍。在多计算机上，执行时间为单处理器上的三分之一，但还需加上将每个块传输到单独计算机、将结果传输回来以及整理各个结果以继续单线程处理的开销。

在进行并行处理时，必须考虑并行处理的省时优势以及管理并行实现所消耗的时间。例如，在进行三路拆分之前，整个求和数组必须分成三个部分；在单线程处理的下一步继续之前，三个结果必须合并回该数组。而且，只有在进程块调度树的并行部分才能实现时间节省。

下面用流程图展示并行处理的大致流程：

graph TD A[开始] --> B[拆分求和数组] B --> C[分配任务到从节点] C --> D[从节点处理任务] D --> E[从节点返回结果] E --> F[更新本地单线程进程块变量] F --> G[合并结果] G --> H{是否完成} H -- 是 --> I[结束] H -- 否 --> B

2. 自组织对等网络

MSI 是一种分层架构，它是一种以主节点为基础、从节点分布在每个分支上的树状结构。但并非所有集群都是这样组织的。

对等网络没有主从关系，每个节点都可以根据需要承