Linux 进程间通信1: 匿名和命名管道以及进程池的实现
- 一.进程间通信的介绍
- 1.为什么要进程进程间通信?
- 2.什么是进程间通信
- 3.进程间通信的具体做法
- 二.管道
- 1.从文件的角度理解什么是管道?
- 三.匿名管道
- 1.验证代码
- 2.四种情况
- 1.写端不写,且不退
- 2.读端不读,且不退
- 3.写端不写,退了
- 4.读端不读,退了
- 5.小小总结
- 3.五种特性
- 4.理解命令行管道
- 四.命名管道
- 1.理论
- 1.回顾匿名管道的原理
- 2.命名管道理论
- 2.系统调用接口的介绍与使用
- 1.介绍
- 2.使用
- 3.代码编写
- 1.Common.hpp
- 2.pipeServer.cpp
- 3.pipeClient.cpp
- 4.makefile
- 4.动图演示
- 五.自定义shell当中添加命令行管道的功能
- 1.前言
- 2.思路
- 1.如何创建管道与进程
- 2.预处理
- 3.实现
- 4.演示
- 5.代码
一.进程间通信的介绍
1.为什么要进程进程间通信?
因为有些情况下需要进程完成以下任务:
而我们知道进程之间是不能进行"数据"的直接传递的,因为进程具有独立性
因此才有了我们今天要谈论的进程间通信
2.什么是进程间通信
通俗点讲,进程间通信就是一个进程能够把自己的数据交给另一个进程
进程间进程通信就是进行数据的交互,那么数据存放在哪里呢?
下面我们来分析一下
因此,关于进程间通信的一个非非非非非非常重要的结论就得出了:
进程间通信的本质是让不同的进程,看到同一份资源(一般都是要由OS提供)
3.进程间通信的具体做法
因为OS提供的"数据存放的空间"有着你不同的样式,就决定了进程间通信有着不同的通信方式
二.管道
管道的本质就是一个内存级文件,不存储在磁盘上,只存储在内存当中
1.从文件的角度理解什么是管道?
创建子进程之后log.txt的struct file对象的引用计数++
此时父子进程都对log.txt这个文件同时具有读写权限
也就是说父子进程看到了同一份资源(log.txt),这就是进程间通信
此时如果子进程对log.txt进行写入,父进程对log.txt进行读取
这不就完成了进程间通信了吗?
因此,这种
基于文件,让不同进程看到同一份资源的方式,就叫做管道!
如果让父子进程同时对log.txt既有读权限,又有写权限,那不就容易发生混乱吗?
因此设计管道的工程师规定:
管道只能被设计为单向通信!
那么我们如何把刚才的情况改为只能进行单向通信呢?
比方说我们要求父进程作为读端,子进程作为写端
只需要关闭父进程的’w’权限和子进程的’r’权限即可
log.txt的struct file对象的引用计数–
只有当引用计数减为0时,才会释放该struct file对象和其内核缓冲区
此时,父子进程的通信方式就叫做管道!!
回想一下,刚才我们是如何让不同的进程看到同一份资源的呢?
通过创建子进程,子进程会继承父进程的相关属性信息
子进程继承了父进程的相关信息,子进程的子进程也会继承子进程的相关信息
那么子进程的子进程不就也能跟父进程进行进程间通信了吗?
是的,因此进程之间只要具有血缘关系,那么就可以利用管道来进行进程间通信
而如果没有血缘关系,那么就无法利用管道来进行进程间通信了
三.匿名管道
如果此时我们想要让两个进程之间进行通信,但是不想在磁盘当中建立单独的文件,怎么办呢?
此时就可以使用匿名管道了
匿名管道:只能让具有血缘关系的进程之间进行进程间通信(常用于父子进程)
(祖先跟后代可以,兄弟之间也可以哦)
如何利用呢?
pipe这个函数就是用来创建匿名管道的,传入的参数是一个数组,是一个输出型参数
执行该函数后,会得到2个fd,分别存储在pipefd[0]和pipefd[1]的位置
pipefd[0]存储的是负责r(读)的fd,pipefd[1]存储的是负责w(写)的fd
pipe所创建的匿名管道是一个内存级的文件,并不存在于磁盘当中!!
创建成功返回值为0,创建失败返回值小于0
1.验证代码
下面我们来写一个验证代码
这份代码的含义是:
1.创建管道
2.创建子进程
3.子进程死循环向管道当中写入数据
4.父进程死循环从管道当中读取数据
然后我们编译生成可执行程序,开始运行
至此我们验证完毕
2.四种情况
经过刚才的演示,我们知道父子进程是如何通过管道来进行通信的了
但是还是不够细节,因为有些情况没有涉及到,下面我们来一一看看这4种情况吧
为了方便演示,我们改一下代码,让子进程发送消息时每次少发一些
不着急,我们一一分析
1.写端不写,且不退
2.读端不读,且不退
补充一点:
PIPE_BUF:管道的缓存大小是4096字节
当要写入的数据量不大于PIPE_BUF时，Linux将保证写入的原子性
当要写入的数据量大于PIPE_BUF时，Linux将不再保证写入的原子性
关于原子性我们以后会还会见到的
3.写端不写,退了
4.读端不读,退了
其实发送的是13号信号:
SIGPIPE
验证:
5.小小总结
3.五种特性
4.理解命令行管道
我们之前在Linux常见指令2当中介绍过命令行管道的使用
而今天我们学习了管道之后,我们再回过头来重新认识一下命令行管道
ps ajx | head -1 && ps ajx | grep 可执行程序名字 | grep -v grep
还记得我们的监控脚本吗?
其实它就是一个命令行管道的典型应用
四.命名管道
匿名管道挺好的,只不过只能由具有血缘关系的进程才能够使用,还是有些局限性的
能不能让没有血缘关系的进程之间也能使用管道来通信呢?
是可以的,不过需要使用我们接下来要介绍的命名管道
1.理论
1.回顾匿名管道的原理
2.命名管道理论
2.系统调用接口的介绍与使用
1.介绍
跟匿名管道一样,这件事情OS不放心让用户完成,也是为了给用户一个良好的使用体验,因此OS提供了系统调用接口
mkfifo
2.使用
我们知道|是命令行当中的匿名管道,说明Linux支持在命令行当中创建匿名管道,那么命名管道呢?
如果不允许的话,Linux是不是就有点偏心了啊
Linux也允许在命令行当中使用mkfifo来创建命名文件
曾记否:我们之前在介绍Linux下的文件类型的时候见过这个管道文件哦
今天我们想说的是:创建了一个命名管道之后,就不能再创建同名的命名管道了
因此我们在创建了命名管道之后,当本次客户端和服务端通信结束之后,为了让下一次对应的代码还能正常运行(也就是创建命名管道成功)
而且肯定是客户端先退出,所以我们要在服务端退出时将这个命名管道删掉
如何删呢?总不能进程程序替换执行个rm -f xxx命名管道吧,那也太挫了吧
OS肯定要提供系统调用接口
同样的unlink也是一个指令哦
介绍完我们需要使用的新增的系统调用接口之后,下面我们来搞代码啦
3.代码编写
这里unlink,read,write,open等等都要判断是否成功,这里为了让代码更加简洁,就没怎么判断,大家可以加上,返回错误码是真的难受…
还是异常香
1.Common.hpp
命名管道是不是只有一份呢?
不是,可以同时有很多份,OS要不要管理,要
如何管理?先描述,在组织
走起
2.pipeServer.cpp
注意:
命名管道创建之后
如果只有读端被打开了,写端还没有被打开,那么读端会阻塞在open函数当中
如果只有写端被打开了,读端还没有被打开,那么写端会阻塞在open函数当中
3.pipeClient.cpp
4.makefile
因为要生成2个可执行程序,因此需要用一个伪目标
(当然你make xxx两次也可以,主要是不优雅)
4.动图演示
此时就能够随便玩了
当然你要是想换一下读写端的话,两个人约定一些暗号等等的信息,输入之后就先暂时退出,然后各自换一种权限打开该文件等等,
这一点上面比匿名管道好玩总之,你想怎么玩就怎么写
随意~
五.自定义shell当中添加命令行管道的功能
1.前言
前言 : 有些内建命令的确可以跟命令行管道一起使用,例如echo,不过某些内建命令无法跟命令行管道一起使用:比如cd
命令行管道可以跟重定向>>,>,<一起使用
拿出我们实现完重定向的shell,(我今天是由自己写了一遍,所以跟上一次的有些不同,但功能是一样的,大家知道能这么玩就行,有空的时候可以自己玩一下)
(还有就是那个echo $?返回最近一次错误码,因为最近刚学了异常,所以看到这种错误码就浑身难受,所以没有搞这个,不过不妨碍我们今天要实现的重定向)
这是一个cpp文件(因为如果用C添加命令行管道[太麻烦了,连个顺序表都没有]…写C++写惯了,不想用C…)
为了方便实现,我们把main函数中的代码拿出去了两部分
代码:
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <unistd.h>
#include <sys/wait.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <ctype.h>
#include <fcntl.h>
#include <vector>
#include <iostream>
#define NoneRedir 0
#define OutputRedir 1
#define InputRedir 2
#define AppendRedir 3
using namespace std;
int lastcode=0;//上一次进程退出时的退出码
int redir=NoneRedir;
char* filename=NULL;
char cwd[1024]={'\0'};
char env[1024][1024]={'\0'};
int my_index=0;
//将字符串s按照空格作为分割符拆分后添加到vs当中(不过: 空格可能会连续出现)
void CommandLineSplit(char* command,char* commandV[])
{
char* s=strtok(command," ");
commandV[0]=s;
int i=1;
while(commandV[i++]=strtok(NULL," ")){}
}
#define SkipSpace(pos) do{while(isspace(*pos)){pos++;}}while(0)
void CheckRedir(char* command)
{
int len=strlen(command);
char* pos;
for(int i=len-1;i>=0;)
{
if(command[i]=='>')
{
if(i>0 && command[i-1]=='>')//追加
{
redir=AppendRedir;
command[i-1]='\0';
}
else//输出
{
redir=OutputRedir;
command[i]='\0';
}
pos=command+i+1;
SkipSpace(pos);
filename=pos;
break;
}
else if(command[i]=='<')//输入
{
redir=InputRedir;
command[i]='\0';
pos=command+i+1;
SkipSpace(pos);
filename=pos;
break;
}
else
{
i--;
}
}
}
void Exec(char* commandV[])
{
pid_t id=fork();
if(id==0)
{
if(redir==InputRedir)
{
int fd=open(filename,O_RDONLY);
dup2(fd,0);
}
else if(redir==OutputRedir)
{
int fd=open(filename,O_WRONLY | O_CREAT | O_TRUNC,0666);
dup2(fd,1);
}
else if(redir==AppendRedir)
{
int fd=open(filename,O_WRONLY | O_CREAT | O_APPEND,0666);
dup2(fd,1);
}
execvp(commandV[0],commandV);
}
wait(NULL);
}
void cd(char* path)
{
chdir(path);
char tmp[1024]={'\0'};
getcwd(tmp,sizeof(tmp));
sprintf(cwd,"PWD=%s",tmp);
putenv(cwd);
}
void Export(char* s)
{
strcpy(env[my_index],s);
putenv(env[my_index++]);
}
int echo(char* commandV[])
{
//1.echo后面什么都没有,相当于'\n'
if(commandV[1]==NULL)
{
printf("\n");
lastcode=0;
return 1;
}
//2.echo $? echo $PWD echo $
char* cmd=commandV[1];
int len=strlen(cmd);
if(cmd[0]=='$' && len>1)
{
//echo $?
if(cmd[1]=='?')
{
printf("%d\n",lastcode);
lastcode=0;
}
//echo $PWD
else
{
char* tmp=cmd+1;
const char* env=getenv(tmp);
//找不到该环境变量,打印'\n',退出码依旧为0
if(env==NULL)
{
printf("\n");
}
else
{
printf("%s\n",env);
}
lastcode=0;
}
}
else
{
if(cmd[0]=='"' && cmd[len-1]=='"')
{
cmd[len-1]='\0';
printf("%s\n",cmd+1);
}
else
printf("%s\n",cmd);
}
return 1;
}
int doBulidIn(char* commandV[])
{
int ret=0;
if(strcmp(commandV[0],"cd")==0)
{
cd(commandV[1]);
ret=1;
}
else if(strcmp(commandV[0],"export")==0)
{
Export(commandV[1]);
ret=1;
}
else if(strcmp(commandV[0],"echo")==0)
{
echo(commandV);
ret=1;
}
return ret;
}
//打印提示符和修正redir,filename的函数
void step1()
{
redir=NoneRedir;
filename=NULL;
//1.打印提示符wzs@VM-16-10-ubuntu:~/ubuntucode/shell$
printf("%s@VM-16-10-ubuntu:%s$ ",getenv("USER"),getenv("PWD"));
}
//具体执行指令的函数
void step3(char* command)
{
//3.检查重定向
CheckRedir(command);
//4.解析字符串
char* commandV[1024]={NULL};
CommandLineSplit(command,commandV);
//5.分析内建命令
int ret=doBulidIn(commandV);
if(ret==0)
{
//6.进程程序替换
Exec(commandV);
}
}
int main()
{
while(1)
{
step1();
char command[1024]={'\0'};
fgets(command,sizeof(command),stdin);
int len=strlen(command);
command[len-1]='\0';
step3(command);
}
return 0;
}
2.思路
1.如何创建管道与进程
因此,我们只需要边创建管道,边创建进程,(最后一个进程单独创建)
并且用vector<pair<int,int>>存储所有的管道的读写端方便后续管道对其进行关闭
(因为管道的特点是读/写端没有全都退出,另一端就会一直阻塞等待,如果不关闭读写端的话父进程回收时就必须要逆序回收)
又因为我们要让父进程回收子进程,所以在用一个vector<int>存储所有的子进程pid,后续还要waitpid回收他们呢
2.预处理
在检查是否需要重定向之前,我们需要先检查整个字符串有多少个’|‘命令行管道,并且
[1]用一个vector<int>保存它们的位置,并且将对应位置改为’\0’,方便后续把每一块指令传递给子进程去处理
[2]因为第一个指令左侧没有’|',所以我们在初始化vector<int>的时候,可以先存上一个-1,然后分配任务时就好分配了
3.实现
只有刚才的这两步,搞清楚这两点之后代码就能够很好的写出来了
4.演示
5.代码
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <unistd.h>
#include <sys/wait.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <ctype.h>
#include <fcntl.h>
#include <vector>
#include <iostream>
#define NoneRedir 0
#define OutputRedir 1
#define InputRedir 2
#define AppendRedir 3
using namespace std;
int lastcode=0;//上一次进程退出时的退出码
int redir=NoneRedir;
char* filename=NULL;
char cwd[1024]={'\0'};
char env[1024][1024]={'\0'};
int my_index=0;
//将字符串s按照空格作为分割符拆分后添加到vs当中(不过: 空格可能会连续出现)
void CommandLineSplit(char* command,char* commandV[])
{
char* s=strtok(command," ");
commandV[0]=s;
int i=1;
while(commandV[i++]=strtok(NULL," ")){}
}
#define SkipSpace(pos) do{while(isspace(*pos)){pos++;}}while(0)
void CheckRedir(char* command)
{
int len=strlen(command);
char* pos;
for(int i=len-1;i>=0;)
{
if(command[i]=='>')
{
if(i>0 && command[i-1]=='>')//追加
{
redir=AppendRedir;
command[i-1]='\0';
}
else//输出
{
redir=OutputRedir;
command[i]='\0';
}
pos=command+i+1;
SkipSpace(pos);
filename=pos;
break;
}
else if(command[i]=='<')//输入
{
redir=InputRedir;
command[i]='\0';
pos=command+i+1;
SkipSpace(pos);
filename=pos;
break;
}
else
{
i--;
}
}
}
void Exec(char* commandV[])
{
pid_t id=fork();
if(id==0)
{
if(redir==InputRedir)
{
int fd=open(filename,O_RDONLY);
dup2(fd,0);
}
else if(redir==OutputRedir)
{
int fd=open(filename,O_WRONLY | O_CREAT | O_TRUNC,0666);
dup2(fd,1);
}
else if(redir==AppendRedir)
{
int fd=open(filename,O_WRONLY | O_CREAT | O_APPEND,0666);
dup2(fd,1);
}
execvp(commandV[0],commandV);
}
wait(NULL);
}
void cd(char* path)
{
chdir(path);
char tmp[1024]={'\0'};
getcwd(tmp,sizeof(tmp));
sprintf(cwd,"PWD=%s",tmp);
putenv(cwd);
}
void Export(char* s)
{
strcpy(env[my_index],s);
putenv(env[my_index++]);
}
int echo(char* commandV[])
{
//1.echo后面什么都没有,相当于'\n'
if(commandV[1]==NULL)
{
printf("\n");
lastcode=0;
return 1;
}
//2.echo $? echo $PWD echo $
char* cmd=commandV[1];
int len=strlen(cmd);
if(cmd[0]=='$' && len>1)
{
//echo $?
if(cmd[1]=='?')
{
printf("%d\n",lastcode);
lastcode=0;
}
//echo $PWD
else
{
char* tmp=cmd+1;
const char* env=getenv(tmp);
//找不到该环境变量,打印'\n',退出码依旧为0
if(env==NULL)
{
printf("\n");
}
else
{
printf("%s\n",env);
}
lastcode=0;
}
}
else
{
if(cmd[0]=='"' && cmd[len-1]=='"')
{
cmd[len-1]='\0';
printf("%s\n",cmd+1);
}
else
printf("%s\n",cmd);
}
return 1;
}
int doBulidIn(char* commandV[])
{
int ret=0;
if(strcmp(commandV[0],"cd")==0)
{
cd(commandV[1]);
ret=1;
}
else if(strcmp(commandV[0],"export")==0)
{
Export(commandV[1]);
ret=1;
}
else if(strcmp(commandV[0],"echo")==0)
{
echo(commandV);
ret=1;
}
return ret;
}
void step1()
{
redir=NoneRedir;
filename=NULL;
//1.打印提示符wzs@VM-16-10-ubuntu:~/ubuntucode/shell$
printf("%s@VM-16-10-ubuntu:%s$ ",getenv("USER"),getenv("PWD"));
}
void step3(char* command)
{
//3.检查重定向
CheckRedir(command);
//4.解析字符串
char* commandV[1024]={NULL};
CommandLineSplit(command,commandV);
//5.分析内建命令
int ret=doBulidIn(commandV);
if(ret==0)
{
//6.进程程序替换
Exec(commandV);
}
}
int CheckPipe(char* command,vector<int>& v)//返回管道个数,并且把|的位置填到数组当中
{
int len=strlen(command);
for(int i=0;i<len;i++)
{
if(command[i]=='|')
{
v.push_back(i);
command[i]='\0';//直接截断
}
}
return v.size();
}
void Execpipe(char* command)
{
vector<int> pos(1,-1);//为了后续分割方便
int sz=CheckPipe(command,pos);
if(sz==1)
{
step3(command);
return;
}
vector<int> child_id;
vector<pair<int,int>> v;//v[i].first:i号管道的读 second:写
for(int i=0;i<sz-1;i++)//创建sz个进程,sz-1个管道
{
int pipefd[2];
int n=pipe(pipefd);
pid_t id=fork();
if(id==0)
{
close(pipefd[0]);//关闭当前管道的读
int prev_fd_sz=v.size();
for(int j=0;j<prev_fd_sz;j++)
{
if(j<prev_fd_sz-1)
{
//把前面打开的读都关上(除了最近的那一个管道)
close(v[j].first);
}
//把前面打开的管道的写都关上
close(v[j].second);
}
dup2(pipefd[1],1);//当前管道的写重定向到我的1
if(!v.empty()) dup2(v.back().first,0);//上一个管道的读重定向到我的0
step3(command+pos[i]+1);
exit(0);
}
else
{
v.push_back({pipefd[0],pipefd[1]});
child_id.push_back(id);
}
}
//最后一个进程:
pid_t id=fork();
if(id==0)
{
int prev_fd_sz=v.size();
for(int j=0;j<prev_fd_sz;j++)
{
if(j<prev_fd_sz-1)
{
//把前面打开的读都关上(除了最近的那一个管道)
close(v[j].first);
}
//把前面打开的管道的写都关上
close(v[j].second);
}
dup2(v.back().first,0);
step3(command+pos[sz-1]+1);
exit(0);
}
child_id.push_back(id);
for(auto& e:v)
{
//最后的时候父亲关闭所有的读写端
close(e.first);close(e.second);
}
for(auto& e:child_id)
{
pid_t rid=waitpid(e,nullptr,0);
if(rid>0) cout<<"wait success, pid: "<<rid<<endl;
}
}
int main()
{
while(1)
{
step1();
char command[1024]={'\0'};
fgets(command,sizeof(command),stdin);
int len=strlen(command);
command[len-1]='\0';
Execpipe(command);
}
return 0;
}
以上就是Linux 进程间通信 管道系列: 匿名和命名管道,自定义shell当中命令行管道的模拟实现的全部内容,希望能对大家有所帮助!!
