网络学习笔记：基于 I/O 复用 select 函数的并发服务器

2018-09-07

本文迁移并整理自个人之前在博客园的博客。

本文是并发服务器系列学习笔记的第 3 篇。

参考资料：《UNIX网络编程卷1》

I/O 复用

概念

在之前博文中，我们有简单介绍了 I/O 复用模型的概念，即可以复用同一个线程去完成多个描述符的 I/O 操作。

I/O 多路复用适用如下场合：
1）当客户处理多个描述符时（一般是交互式输入和网络套接口），必须使用 I/O 复用；
2）当一个客户同时处理多个套接字时，而这种情况是可能的，但很少出现；
3）如果一个 TCP 服务器既要处理监听套接口，又要处理已连接套接口，一般也要用到 I/O 复用；
4）如果一个服务器既要处理 TCP，又要处理 UDP，一般要使用 I/O 复用；
5）如果一个服务器要处理多个服务或多个协议，一般要使用 I/O 复用。

与多进程和多线程技术相比，I/O 多路复用技术的最大优势是系统开销小，系统不必创建进程/线程，也不必维护这些进程/线程，从而大大减小了系统的开销。

more >>

展开全文 >>

网络学习笔记：基于多线程并发服务器

2018-09-07

本文迁移并整理自个人之前在博客园的博客。

本文是并发服务器系列学习笔记的第 2 篇。

关于 Linux 多线程详情请查看之前博文 Linux 多线程编程初探。

参考资料：《UNIX网络编程卷1》

服务端程序

#include "unpthread.h"

static void *doit(void *);    /* each thread executes this function */

int main(int argc, char **argv)
{
    int listenfd, *iptr;
    pthread_t tid;
    socklen_t addrlen, len;
    struct sockaddr_in cliaddr, servaddr;

    listenfd = Socket(AF_INET, SOCK_STREAM, 0);
    
    bzero(&servaddr, sizeof(servaddr));
    servaddr.sin_family = AF_INET;
    servaddr.sin_addr.s_addr = htonl(INADDR_ANY);
    servaddr.sin_port = htons(SERV_PORT);

    Bind(listenfd, (SA *) &servaddr, sizeof(servaddr));
    Listen(listenfd, LISTENQ);
    for( ; ; )
    {
        addrlen = sizeof(cliaddr);
        iptr = Malloc(sizeof(int));
        *iptr = Accept(listenfd, (SA *) &cliaddr, &addrlen);
        Pthread_create(&tid, NULL, &doit, iptr);
    }
    
    exit(0);
}

static void *doit(void *arg)
{
    int connfd;
    connfd = *((int *) arg);
    free(arg);

    Pthread_detach(pthread_self());
    str_echo(connfd);    /* same function as before */
    Close(connfd);
    return(NULL);
}

more >>

展开全文 >>

网络学习笔记：基于多进程并发服务器

2018-09-07

本文迁移并整理自个人之前在博客园的博客。

本文是并发服务器系列学习笔记的第 1 篇。

参考资料：《UNIX网络编程卷1》

fork 及 exec 函数

fork函数是Unix/Linux中派生新进程的唯一方法。其定义如下：

1
2
3

#include <unistd.h>
pid_t fork(void);
// 返回：若成功则在子进程中返回 0，在父进程中返回子进程 ID，若出错则返回 -1

fork 函数调用一次，返回两次。它在调用进程（称为父进程）中返回一次，返回值是新派生进程（称为子进程）的进程ID号；在子进程中返回一次，返回值为 0。因此，返回值本身告知当前进程是子进程还是父进程。

fork 在子进程返回 0 而不是父进程的进程 ID 的原因在于：任何子进程只有一个父进程，而且子进程总是可以通过调用 getppid 函数取得父进程的进程 ID。相反，父进程可以有很多子进程，而且无法获取各个子进程的进程 ID。如果父进程想要跟踪所有子进程的进程 ID，那么它必须记录每次调用 fork 的返回值。

父进程中调用 fork 之前打开的所有描述符在 fork 返回之后由子进程分享。我们将看到网络服务器利用了这个特性：父进程调用 accept 之后调用 fork。所接受的已连接套接字随后就在父进程与子进程共享。通常情况下，子进程接着读写这个已连接套接字，父进程则关闭这个已连接套接字。

fork 有两个典型用法：
1）一个进程创建一个自身的副本，这样每个副本都可以在另一个副本执行其他任务的同时处理各自的某个操作。这是网络服务器的典型用法。
2）一个进程想要执行另一个程序。既然创建新进程的唯一办法是调用 fork，该进程于是首先调用 fork 创建一个自身的副本，然后其中一个副本（通常为子进程）调用 exec 把自身替换成新的程序。这是诸如 shell 之类程序的典型用法。

存放在硬盘上的可执行程序文件能够被 Unix 执行的唯一方法是：由一个现有进程调用六个 exec 函数中的某一个。（这六个函数中哪一个被调用并不重要，我们往往把它们统称为 exec 函数。）exec 把当前进程映像替换成新的程序文件，而且该新进程通常从 main 函数开始执行。进程 ID 并不改变。我们称调用 exec 的进程为调用进程（calling process），称新执行的程序为新程序（new program）。

这六个 exec 函数之间的区别在于：
a）待执行的程序文件是由文件名（filename）还是由路径名（pathname）指定；
b）新程序的参数是一一列出还是由一个指针数组来引用；
c）把调用进程的环境传递给新程序还是给新程序指定新的环境。

more >>

展开全文 >>

网络学习笔记：什么是 Socket

2018-09-07

本文迁移并整理自个人之前在博客园的博客。

什么是网络套接字（Socket）？一时还真不好回答，而且网络上也有各种解释，莫衷一是。下文将以本人所查阅到的资料来说明一下什么是Socket。

Socket 定义

Socket在维基百科的定义：

A network socket is an endpoint of an inter-process communication across a computer network. Today, most communication between computers is based on the Internet Protocol; therefore most network sockets are Internet sockets.

而在 Oracle 官网上的定义是：

A socket is one endpoint of a two-way communication link between two programs running on the network. A socket is bound to a port number so that the TCP layer can identify the application that data is destined to be sent to.

其实他们想表达的都是这个意思：Socket是网络上两个程序双向通讯连接的端点。

那我们又该如何理解端点（Endpoint）一词呢？

在 Unix/Linux 中，一切皆文件。那对于这两个操作系统而言，端点就是一个特殊的文件，也就是说 Socket 实际上就是文件。既然 Socket 是文件，那就可以用“打开open –> 读写write/read –> 关闭close”模式来操作它。一些 Socket 函数就是对其进行的操作（读/写IO、打开、关闭）。更加详细的介绍特摘录自 Tutorialspoint：

Sockets allow communication between two different processes on the same or different machines. To be more precise, it’s a way to talk to other computers using standard Unix file descriptors. In Unix, every I/O action is done by writing or reading a file descriptor. A file descriptor is just an integer associated with an open file and it can be a network connection, a text file, a terminal,or something else. To a programmer, a socket looks and behaves much like a low-level file descriptor. This is because commands such as read() and write() work with sockets in the same way they do with files and pipes.

more >>

展开全文 >>

网络学习笔记：网络 I/O 中的同步、异步、阻塞和非阻塞概念

2018-09-07

本文迁移并整理自个人之前在博客园的博客。

在学习网络编程过程中，经常会把同步、异步、阻塞和非阻塞概念这几个概念搞混淆。本文就是要理清这几个概念，以便进一步的学习。

本文主要参考了《UNIX 网络编程卷 1：套接字联网API》（第 3 版），以后都将该书简称为 UNP。

我们先来看下同步 I/O 和异步 I/O 的区别。

同步 I/O 和异步 I/O 的区别

我们先来看一下操作 I/O 时所涉及的对象和阶段（这里我们以读操作为例）。涉及到的对象有两个，一个是调用这个 I/O 的进程（或线程），另一个是内核。当一个读操作发生时，它会经历两个阶段：

等待数据就绪（可读）
将数据从内核拷贝到进程空间
这两个阶段很重要，因为各种I/O模型的区别就是在这两个阶段上各有不同的情况。

POSIX 对同步 I/O 和异步 I/O 操作的定义如下：

同步 I/O 操作（Synchronous I/O operation）导致请求进程阻塞，直到I/O操作完成。UNP 第 6 章中提到的 I/O 模型 —— 阻塞式 I/O 模型、非阻塞式 I/O 模型、I/O 复用模型和信号驱动式 I/O 模型都是同步 I/O 模型，因为其中真正的 I/O 操作将阻塞进程。
异步 I/O 操作（asynchronous I/O operation）不导致请求进程阻塞。

从以上定义可以看出，同步 I/O 和异步 I/O 操作的核心区别在于真正的 I/O 操作会不会阻塞进程。具体来说，同步 I/O 需要进程真正地去操作 I/O，而异步 I/O 则由内核在 I/O 操作完成后再通知应用进程结果。

more >>

展开全文 >>