并发学习笔记：信号量

2018-09-09

本文迁移并整理自个人之前在博客园的博客。

本文参考资料：

几个关键名词

原子操作
原子操作：一个或多个指令的序列，对外是不可分的，即没有其他进程可以看到其中间状态或者中断此操作。

互斥与同步
互斥：是指某一资源同时只允许一个访问者对其进行访问，具有唯一性和排它性。但互斥无法限制访问者对资源的访问顺序，即访问是无序的。
同步：是指在互斥的基础上（大多数情况），通过其它机制实现访问者对资源的有序访问。在大多数情况下，同步已经实现了互斥，特别是所有写入资源的情况必定是互斥的。少数情况是指可以允许多个访问者同时访问资源。

临界资源与临界区
临界资源就是一次只允许一个进程访问的资源，一个进程在使用临界资源的时候，另一个进程是无法访问的，操作系统也不能够中途剥夺正在使用者的使用权利，即临界资源是不可剥夺性资源。
临界区（critical section）就是进程中访问临界资源的那段程序代码。注意，临界区是程序代码，不是内存资源了。这是临界资源与临界区的区别。
临界区的使用原则（也即同步机制应遵循的准则，注意与死锁产生的四个条件相区分开来）可总结为十六字诀：“空闲让进，忙则等待，有限等待，让权等待”下：
1）空闲让进：临界资源空闲时一定要让进程进入，不发生“互斥礼让”行为。
2）忙则等待：临界资源正在使用时外面的进程等待。
3）有限等待：进程等待进入临界区的时间是有限的，不会发生“饿死”的情况。
4）让权等待：进程等待进入临界区时应该放弃CPU的使用。

死锁与活锁
死锁：两个或两个以上的进程因其中的每个进程都在等待其他进程做完某些事情而不能继续执行。
活锁：两个或两个以上的进程为了响应其他进程中的变化而持续改变自己的状态但不做有用的工作

饥饿
饥饿：指一个可运行的进程尽管能继续执行，但被调度器无限期地忽视，而不能被调度执行的情况。

more >>

展开全文 >>

并发学习笔记：Linux 多线程编程初探

2018-09-09

本文迁移并整理自个人之前在博客园的博客。

本文参考资料：

《UNIX环境高级编程》
Linux 多线程编程（不限 Linux）（介绍部分摘录自该文，示例参考了该文）
Linux 的多线程编程的高效开发经验

Linux 线程介绍

进程与线程

典型的 UNIX/Linux 进程可以看成只有一个控制线程：一个进程在同一时刻只做一件事情。有了多个控制线程后，在程序设计时可以把进程设计成在同一时刻做不止一件事，每个线程各自处理独立的任务。　　

进程是程序执行时的一个实例，是担当分配系统资源（CPU 时间、内存等）的基本单位。在面向线程设计的系统中，进程本身不是基本运行单位，而是线程的容器。程序本身只是指令、数据及其组织形式的描述，进程才是程序（那些指令和数据）的真正运行实例。

线程是操作系统能够进行运算调度的最小单位。它被包含在进程之中，是进程中的实际运作单位。一条线程指的是进程中一个单一顺序的控制流，一个进程中可以并发多个线程，每条线程并行执行不同的任务。线程包含了表示进程内执行环境必须的信息，其中包括进程中表示线程的线程ID、一组寄存器值、栈、调度优先级和策略、信号屏蔽字、errno 常量以及线程私有数据。进程的所有信息对该进程的所有线程都是共享的，包括可执行的程序文本、程序的全局内存和堆内存、栈以及文件描述符。在 Unix 和类 Unix 操作系统中线程也被称为轻量级进程（lightweight processes），但轻量级进程更多指的是内核线程（kernel thread），而把用户线程（user thread）称为线程。

进程 — 资源分配的最小单位，线程 — 程序执行的最小单位

进程有独立的地址空间，一个进程崩溃后，在保护模式下不会对其它进程产生影响，而线程只是一个进程中的不同执行路径。线程有自己的堆栈和局部变量，但线程没有单独的地址空间，一个线程死掉就等于整个进程死掉，所以多进程的程序要比多线程的程序健壮，但在进程切换时，耗费资源较大，效率要差一些。但对于一些要求同时进行并且又要共享某些变量的并发操作，只能用线程，不能用进程。

从函数调用上来说，进程创建使用fork()操作；线程创建使用clone()操作。Richard Stevens大师这样说过：

fork is expensive. Memory is copied from the parent to the child, all descriptors are duplicated in the child, and so on. Current implementations use a technique called copy-on-write, which avoids a copy of the parent’s data space to the child until the child needs its own copy. But, regardless of this optimization,fork is expensive.

IPC is required to pass information between the parent and child after the fork. Passing information from the parent to the child before the fork is easy, since the child starts with a copy of the parent’s data space and with a copy of all the parent’s descriptors. But, returning information from the child to the parent takes more work.
Threads help with both problems. Threads are sometimes called lightweight processes since a thread is "lighter weight" than a process. That is, thread creation can be 10–100 times faster than process creation.
All threads within a process share the same global memory. This makes the sharing of information easy between the threads, but along with this simplicity comes the problem of synchronization.

more >>

展开全文 >>

网络学习笔记：TCP 状态转换图

2018-09-09

本文迁移并整理自个人之前在博客园的博客。

参考资料：

《UNIX网络编程卷1》
TCP的三次握手/四次挥手以及状态变迁图

TCP 状态转换图

在《UNIX网络编程卷1》一书中，作者给出了 TCP 状态转换图（如下）。本文也将围绕此图进行阐释。

注：上图红框表示比较特殊的地方。

more >>

展开全文 >>

网络学习笔记：read 和 write 函数

2018-09-08

本文迁移并整理自个人之前在博客园的博客。

本文前半部分参考了《UNIX网络编程卷1》一书，后半部分则摘录自一写得特好的博文浅谈TCP/IP网络编程中socket的行为。

对于内核而言，所有打开的文件都通过文件描述符引用。文件描述符是一个非负整数。当打开一个现有文件或创建一个新文件时，内核向进程返回一个文件描述符。当读或写一个文件时，使用 open 或 create 返回的文件描述符表示该文件，将其作为参数传给 read 或 write 函数。

read函数

read函数定义如下：

#include <unistd>
ssize_t read(int filedes, void *buf, size_t nbytes);
// 返回：若成功则返回读到的字节数，若已到文件末尾则返回 0，若出错则返回 -1
// filedes：文件描述符
// buf:读取数据缓存区
// nbytes:要读取的字节数

有几种情况可使实际读到的字节数少于要求读的字节数：
1）读普通文件时，在读到要求字节数之前就已经达到了文件末端。例如，若在到达文件末端之前还有 30 个字节，而要求读 100 个字节，则 read 返回 30，下一次再调用 read 时，它将返回 0（文件末端）。
2）当从终端设备读时，通常一次最多读一行。
3）当从网络读时，网络中的缓存机构可能造成返回值小于所要求读的字结束。
4）当从管道或 FIFO 读时，如若管道包含的字节少于所需的数量，那么 read 将只返回实际可用的字节数。
5）当从某些面向记录的设备（例如磁带）读时，一次最多返回一个记录。
6）当某一个信号造成中断，而已经读取了部分数据。

more >>

展开全文 >>

网络学习笔记：基于 I/O 复用 epoll 的并发服务器

2018-09-07

本文迁移并整理自个人之前在博客园的博客。

本文承接自上一篇基于 I/O 复用 select 函数的并发服务器，也是并发服务器系列学习笔记的第 4 篇。

参考资料：《UNIX网络编程卷1》

epoll 介绍

epoll 是在 2.6 内核中提出的。和 select 类似，它也是一种 I/O 复用技术，是之前的 select 和 poll 的增强版本。

Linux 下设计并发网络程序，向来不缺少方法，比如典型的 Apache 模型（Process Per Connection，简称 PPC），TPC（Thread PerConnection）模型，以及 select 模型和 poll 模型，那为何还要再引入 epoll 呢？我们先来看一下常用模型的缺点：

PPC/TPC模型
这两种模型思想类似，就是让每一个到来的连接一边自己做事去，别再来烦我。只是 PPC 是为它开了一个进程，而 TPC 开了一个线程。可是别烦我是有代价的，它要时间和空间啊，连接多了之后，那么多的进程/线程切换，这开销就上来了；因此这类模型能接受的最大连接数都不会高，一般在几百个左右。

select 模型
1）最大并发数限制，因为一个进程所打开的 FD（文件描述符）是有限制的，由 FD_SETSIZE 设置，默认值是 1024/2048，因此 select 模型的最大并发数就被相应限制了。自己改改这个 FD_SETSIZE？想法虽好，可是先看看下面吧…
2）效率问题，select 每次调用都会线性扫描全部的 FD 集合，这样效率就会呈现线性下降，把 FD_SETSIZE 改大的后果就是，大家都慢慢来，什么？都超时了？？！！
3）内核/用户空间内存拷贝问题，如何让内核把 FD 消息通知给用户空间呢？在这个问题上 select 采取了内存拷贝方法。

poll 模型
基本上效率和 select 是相同的，select 缺点的 2 和 3 它都没有改掉。

epoll 的提升
其实把 select 的缺点反过来那就是 epoll 的优点了：
1）epoll 没有最大并发连接的限制，上限是最大可以打开文件的数目（一般远大于2048），一般跟系统内存关系很大。具体数目可以 ‘cat /proc/sys/fs/file-max’ 察看。
2）效率提升，epoll 最大的优点就在于它只管“活跃”的连接，而跟连接总数无关，因此在实际的网络环境中，epoll 的效率就会远远高于 select 和 poll。
3）内存拷贝，epoll 在这点上使用了“共享内存”，所以这个内存拷贝也省略了。

关于 select、poll 和 epoll 的详细区别可参考博文select、poll、epoll 之间的区别总结。

more >>

展开全文 >>