从而就有了包装相比较好的socket来帮我们缓解这么些问题,大家学习socket就是为着完成C/S架构的支出

四、基于tcp的套接字代码实现

  tcp是基于链接的,必须先启动服务端,然后再开行客户端去链接服务端。

  server:

图片 1图片 2

ss = socket() #创建服务器套接字
ss.bind()      #把地址绑定到套接字
ss.listen()      #监听链接
inf_loop:      #服务器无限循环
    cs = ss.accept() #接受客户端链接
    comm_loop:         #通讯循环
        cs.recv()/cs.send() #对话(接收与发送)
    cs.close()    #关闭客户端套接字
ss.close()        #关闭服务器套接字

View Code

  client:

图片 3图片 4

 cs = socket()    # 创建客户套接字
 cs.connect()    # 尝试连接服务器
 comm_loop:        # 通讯循环
     cs.send()/cs.recv()    # 对话(发送/接收)
 cs.close()            # 关闭客户套接字

View Code

  socket通信与打电话的主意很相似:

  server:

图片 5图片 6

#_*_coding:utf-8_*_
import socket
ip_port=('127.0.0.1',8080)#电话卡
s=socket.socket(socket.AF_INET,socket.SOCK_STREAM) #买手机
s.bind(ip_port) #手机插卡
s.listen(5)     #手机待机,监听最多五个

while True:                         #新增接收链接循环,可以不停的接电话
    conn,addr=s.accept()            #手机接电话
    print('接到来自%s的电话' %addr[0])
    while True:                         #新增通信循环,可以不断的通信,收发消息
        msg=conn.recv(BUFSIZE)             #听消息,听话

        # if len(msg) == 0:break        #如果不加,那么正在链接的客户端突然断开,recv便不再阻塞,死循环发生

        print(msg,type(msg))

        conn.send(msg.upper())          #发消息,说话

    conn.close()                    #挂电话

s.close()                       #手机关机

server

  client:

图片 7图片 8

#_*_coding:utf-8_*_
import socket
ip_port=('127.0.0.1',8081)
s=socket.socket(socket.AF_INET,socket.SOCK_STREAM)

s.connect_ex(ip_port)           #拨电话

while True:                             #新增通信循环,客户端可以不断发收消息
    msg=input('>>: ').strip()
    if len(msg) == 0:continue
    s.send(msg.encode('utf-8'))         #发消息,说话(只能发送字节类型)

    feedback=s.recv(BUFSIZE)                           #收消息,听话
    print(feedback.decode('utf-8'))

s.close()                                       #挂电话

client

  在操作的经过中重启服务端可能会油但是生OSError,地址早就在应用了,出现这种题材的案由是因为依据tcp两次挥手并从未为止,所以端口仍被占用,所以需要加入一条socket配置重新使用ip和端口。

图片 9图片 10

phone=socket(AF_INET,SOCK_STREAM)
phone.setsockopt(SOL_SOCKET,SO_REUSEADDR,1) #就是它,在bind前加
phone.bind(('127.0.0.1',8080))

View Code

  我们仍可以够如法炮制ssh实现长途模拟命令:

图片 11图片 12

import socket
import subprocess
phone=socket.socket(socket.AF_INET,socket.SOCK_STREAM)
phone.bind(('127.0.0.1',8080))
phone.listen(5)

print('starting...')
while True:
    conn,client_addr=phone.accept()

    while True:
        try:
            cmd=conn.recv(1024)
            #if not cmd:break #针对linux
            #执行cmd命令,拿到cmd的结果,结果应该是bytes类型
            res = subprocess.Popen(cmd.decode('utf-8'), shell=True,
                                   stdout=subprocess.PIPE,
                                   stderr=subprocess.PIPE)
            stdout=res.stdout.read()
            stderr=res.stderr.read()

            #发送命令的结果
            conn.send(stdout+stderr)
        except Exception:
            break
    conn.close() #挂电话
phone.close() #关机

server

图片 13图片 14

import socket
phone=socket.socket(socket.AF_INET,socket.SOCK_STREAM) 
phone.connect(('127.0.0.1',8080))

while True:
    cmd=input('>>: ').strip()
    if not cmd:continue
    phone.send(cmd.encode('utf-8'))
    cmd_res=phone.recv(1024)
    print(cmd_res.decode('gbk'))
phone.close()

client

  这里我们用到了subprocess模块,允许你去成立一个新的历程让其实践此外的次序,并与它举办通信,获取标准的输入、标准输出、标准错误以及再次回到码等。

  subprocess模块中定义了一个波普n类,通过它可以来创制过程,并与其展开复杂的互动。subprocess模块的结果的编码是以近年来所在的系统为准的,尽管是windows,那么res.stdout.read()读出的就是GBK编码的,在接收端需要用GBK解码。

  他的init函数是这样的:

__init__(self, args, bufsize=0, executable=None, 
stdin=None, stdout=None, stderr=None, preexec_fn=None, 
close_fds=False, shell=False, cwd=None, env=None, 
universal_newlines=False, startupinfo=None, 
creationflags=0)

  args:必须是一个字符串或者连串类型,用于指定进程的可执行文件及其参数。假若是一个体系类型参数,则体系的第一个因素通常都必须是一个可执行文件的不二法门。当然也得以使用executeable参数来指定可执行文件的途径。

  stdin,stdout,stderr:分别代表程序的正式输入、标准输出、标准错误。有效的值可以是PIPE,存在的公文描述符,存在的公文对象或None,假使为None需从父进程继续过来,stdout可以是PIPE,表示对子进程创设一个管道,stderr能够是STDOUT,表示专业错误数据应该从应用程序中抓获并视作专业输出流stdout的公文句柄。

  shell:假使这一个参数被装置为True,程序将因此shell来实施。 
  env:它描述的是子进程的环境变量。假设为None,子进程的环境变量将从父进程继续而来。

res = subprocess.Popen(r'dir', shell=True, stdout=subprocess.PIPE, stderr=subprocess.PIPE)

五、基于udp的套接字

  udp是无链接的,先启动哪一端都不会报错。

ss = socket()   #创建一个服务器的套接字
ss.bind()       #绑定服务器套接字
while True :       #服务器无限循环
    cs = ss.recvfrom()/ss.sendto() # 对话(接收与发送)
ss.close()                         # 关闭服务器套接字

cs = socket()   # 创建客户套接字
while True :      # 通讯循环
    cs.sendto()/cs.recvfrom()   # 对话(发送/接收)
cs.close()                      # 关闭客户套接字

  基于udp套接字的概括示例

图片 15图片 16

import socket
ip_port=('127.0.0.1',9000)
udp_server_client=socket.socket(socket.AF_INET,socket.SOCK_DGRAM)

udp_server_client.bind(ip_port)

while True:
    msg,addr=udp_server_client.recvfrom(1024)
    print(msg,addr)

    udp_server_client.sendto(msg.upper(),addr)

udpserver

图片 17图片 18

from socket import *

udp_cs=socket(AF_INET,SOCK_DGRAM)

while True:
    msg=input('>>: ').strip()
    if not msg:continue
    udp_cs.sendto(msg.encode('utf-8'),('127.0.0.1',9000))
    msg,addr=udp_cs.recvfrom(1024)
    print(msg.decode('utf-8'),addr)

udpclient

  qq聊天就是基于udp完成的,由于udp无连接,所以可以同时多少个客户端去跟服务端通信。

图片 19图片 20

from socket import *

udp_ss=socket(AF_INET,SOCK_DGRAM)
udp_ss.bind(('127.0.0.1',8081))

while True:
    msg,addr=udp_ss.recvfrom(1024)
    print('来自[%s]的一条消息:%s' %(addr,msg.decode('utf-8')))
    msg_b=input('回复消息: ').strip()
    udp_ss.sendto(msg_b.encode('utf-8'),addr)

qqserver

图片 21图片 22

from socket import *

udp_cs = socket(AF_INET,SOCK_DGRAM)

while True :
    msg = input('请输入消息,回车发送: ').strip()
    if msg == 'quit' : break
    if not msg : continue
    udp_cs.sendto(msg.encode('utf-8'),('127.0.0.1',8081))

    back_msg,addr = udp_cs.recvfrom(1024)
    print('来自[%s]的一条消息:%s' %(addr,back_msg.decode('utf-8')))

udp_cs.close()

qqclient

  client可以敞开五个。

  咋样缓解粘包问题?

  客户端每便都把自己的尺寸告诉服务端,这样可以成功不粘包。

图片 23图片 24

#_*_coding:utf-8_*_
import socket,subprocess
ip_port=('127.0.0.1',8080)
s=socket.socket(socket.AF_INET,socket.SOCK_STREAM)
s.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)

s.bind(ip_port)
s.listen(5)

while True:
    conn,addr=s.accept()
    print('客户端',addr)
    while True:
        msg=conn.recv(1024)
        if not msg:break
        res=subprocess.Popen(msg.decode('utf-8'),shell=True,\
                            stdin=subprocess.PIPE,\
                         stderr=subprocess.PIPE,\
                         stdout=subprocess.PIPE)
        err=res.stderr.read()
        if err:
            ret=err
        else:
            ret=res.stdout.read()
        data_length=len(ret)
        conn.send(str(data_length).encode('utf-8'))
        data=conn.recv(1024).decode('utf-8')
        if data == 'recv_ready':
            conn.sendall(ret)
    conn.close()

View Code

图片 25图片 26

import socket,time
s=socket.socket(socket.AF_INET,socket.SOCK_STREAM)
res=s.connect_ex(('127.0.0.1',8080))

while True:
    msg=input('>>: ').strip()
    if len(msg) == 0:continue
    if msg == 'quit':break

    s.send(msg.encode('utf-8'))
    length=int(s.recv(1024).decode('utf-8'))
    s.send('recv_ready'.encode('utf-8'))
    send_size=0
    recv_size=0
    data=b''
    while recv_size < length:
        data+=s.recv(1024)
        recv_size+=len(data)


    print(data.decode('utf-8'))

View Code

  这种办法只是一种缓解问题的法子,实际上并不会这么做,程序的周转速度远快于网络传输速度,所以在殡葬一段字节前,先用send去发送该字节流长度,这种方法会推广网络延迟带来的习性损耗。这里用来赞助大家更好的知道粘包的题材。

  在那些基础上,我们得以考虑将团结的尺寸等信息,写到报头头部,这样接收端拆开报头就能明了长度,就不会生出粘包的景色了。

  我们先要认识一下struct模块。

  该模块可以把一个项目,如数字,转成固定长度的bytes。

图片 27

图片 28图片 29

from socket import *
import subprocess
import struct
ss=socket(AF_INET,SOCK_STREAM)
ss.bind(('127.0.0.1',8082)) 
ss.listen(5)

print('starting...')
while True:
    conn,addr=ss.accept()
    print('-------->',conn,addr)

    while True:
        try:
            cmd=conn.recv(1024)
            res = subprocess.Popen(cmd.decode('utf-8'), shell=True,
                                   stdout=subprocess.PIPE,
                                   stderr=subprocess.PIPE)
            stdout=res.stdout.read()
            stderr=res.stderr.read()

            #先发报头(转成固定长度的bytes类型)
            header = struct.pack('i',len(stdout)+len(stderr))
            conn.send(header)
            #再发送命令的结果
            conn.send(stdout)
            conn.send(stderr)
        except Exception:
            break
    conn.close()
ss.close()

客户端

图片 30图片 31

from socket import *
import struct
cs=socket(AF_INET,SOCK_STREAM)
cs.connect(('127.0.0.1',8082))

while True:
    cmd=input('>>: ').strip()
    if not cmd:continue

    cs.send(cmd.encode('utf-8'))
    #先收报头
    header_struct=cs.recv(4)
    unpack_res = struct.unpack('i', header_struct)
    total_size=unpack_res[0]

    #再收数据
    recv_size=0 #10241=10240+1
    total_data=b''
    while recv_size < total_size:
        recv_data=cs.recv(1024)
        recv_size+=len(recv_data)
        total_data+=recv_data
    print(total_data.decode('gbk'))
cs.close()

服务端

  struct的i模式:

struct.pack('i',11111111)
#struct.error: 'i' format requires -2147483648 <= number <= 2147483647 #这个是范围

  struct.pack用于将Python的值遵照格式符,转换为字符串(因为Python中一贯不字节(Byte)类型)。它的函数原型为:struct.unpack(fmt,
string)。

  struct.unpack做的劳作刚刚与struct.pack相反,用于将字节流转换成python数据类型。它的函数原型为:struct.unpack(fmt,
string),该函数再次来到一个元组。

图片 32图片 33

import json,struct
#假设通过客户端上传1T:1073741824000的文件a.txt

#为避免粘包,必须自定制报头
header={'file_size':1073741824000,'file_name':'/a/b/c/d/e/a.txt','md5':'8f6fbf8347faa4924a76856701edb0f3'} #1T数据,文件路径和md5值

#为了该报头能传送,需要序列化并且转为bytes
head_bytes=bytes(json.dumps(header),encoding='utf-8') #序列化并转成bytes,用于传输

#为了让客户端知道报头的长度,用struck将报头长度这个数字转成固定长度:4个字节
head_len_bytes=struct.pack('i',len(head_bytes)) #这4个字节里只包含了一个数字,该数字是报头的长度

#客户端开始发送
conn.send(head_len_bytes) #先发报头的长度,4个bytes
conn.send(head_bytes) #再发报头的字节格式
conn.sendall(文件内容) #然后发真实内容的字节格式

#服务端开始接收
head_len_bytes=s.recv(4) #先收报头4个bytes,得到报头长度的字节格式
x=struct.unpack('i',head_len_bytes)[0] #提取报头的长度

head_bytes=s.recv(x) #按照报头长度x,收取报头的bytes格式
header=json.loads(json.dumps(header)) #提取报头

#最后根据报头的内容提取真实的数据,比如
real_data_len=s.recv(header['file_size'])
s.recv(real_data_len)

View Code

  使用自定制报头的措施来缓解粘包问题。

图片 34图片 35

import socket,struct,json
import subprocess
phone=socket.socket(socket.AF_INET,socket.SOCK_STREAM)
phone.setsockopt(socket.SOL_SOCKET,socket.SO_REUSEADDR,1) 
phone.bind(('127.0.0.1',8080))

phone.listen(5)

while True:
    conn,addr=phone.accept()
    while True:
        cmd=conn.recv(1024)
        if not cmd:break
        print('cmd: %s' %cmd)

        res=subprocess.Popen(cmd.decode('utf-8'),
                             shell=True,
                             stdout=subprocess.PIPE,
                             stderr=subprocess.PIPE)
        err=res.stderr.read()
        print(err)
        if err:
            back_msg=err
        else:
            back_msg=res.stdout.read()


        conn.send(struct.pack('i',len(back_msg))) #先发back_msg的长度
        conn.sendall(back_msg) #在发真实的内容

    conn.close()

服务端自定制报头

图片 36图片 37

import socket,time,struct

s=socket.socket(socket.AF_INET,socket.SOCK_STREAM)
res=s.connect_ex(('127.0.0.1',8080))

while True:
    msg=input('>>: ').strip()
    if len(msg) == 0:continue
    if msg == 'quit':break

    s.send(msg.encode('utf-8'))

    l=s.recv(4)
    x=struct.unpack('i',l)[0]
    print(type(x),x)
    # print(struct.unpack('I',l))
    r_s=0
    data=b''
    while r_s < x:
        r_d=s.recv(1024)
        data+=r_d
        r_s+=len(r_d)

    # print(data.decode('utf-8'))
    print(data.decode('gbk')) #windows默认gbk编码

客户端自定制报头

  当然大家的报头能够加上更多消息。

  我们把报头做成字典,字典里含有将要发送的真实性数据的详细音讯,然后json体系化,然后用struck将序列化后的数码长度打包成4个字节(4个自己丰硕用了)

  发送时首发报头长度,再编码报头内容然后发送,最终发真实内容。

  接收时先将报头长度,用struct取出来,依据取出的长短收取报头内容,然后解码,反系列化,从反体系化的结果中取出待取数据的详细信息,然后去取真实的数据内容。

图片 38图片 39

from socket import *
import subprocess
import struct
import json
ss = socket(AF_INET,SOCK_STREAM)
ss.setsockopt(SOL_SOCKET,SO_REUSEADDR,1)
ss.bind(('127.0.0.1',8082))
ss.listen(5)

print('starting...')
while True : #链接循环
    conn,addr = ss.accept() #链接,客户的的ip和端口组成的元组
    print('-------->',conn,addr)

    #收,发消息
    while True :#通信循环
        try :
            cmd = conn.recv(1024)
            res = subprocess.Popen(cmd.decode('utf-8'), shell = True,
                                   stdout = subprocess.PIPE,
                                   stderr = subprocess.PIPE)
            stdout = res.stdout.read()
            stderr = res.stderr.read()
            #制作报头
            h_dic = {
                'total_size': len(stdout) + len(stderr),
                'filename': None,
                'md5': None}

            h_json = json.dumps(h_dic)
            h_bytes = h_json.encode('utf-8')
            #发送阶段
            #先发报头长度
            conn.send(struct.pack('i',len(h_bytes)))
            #再发报头
            conn.send(h_bytes)

            #最后发送命令的结果
            conn.send(stdout)
            conn.send(stderr)
        except Exception :
            break
    conn.close()
ss.close()

json连串化报头server

图片 40图片 41

from socket import *
import struct
import json
cs = socket(AF_INET,SOCK_STREAM) #买手机
cs.connect(('127.0.0.1',8082)) #绑定手机卡

#发,收消息
while True :
    cmd = input('>>: ').strip()
    if not cmd : continue

    cs.send(cmd.encode('utf-8'))
    #先收报头的长度
    h_len = struct.unpack('i',cs.recv(4))[0]

    #再收报头
    h_bytes = cs.recv(h_len)
    h_json = h_bytes.decode('utf-8')
    h_dic = json.loads(h_json)
    total_size = h_dic['total_size']

    #最后收数据
    recv_size = 0
    total_data = b''
    while recv_size < total_size :
        recv_data = cs.recv(1024)
        recv_size += len(recv_data)
        total_data += recv_data
    print(total_data.decode('gbk'))
cs.close()

client

 

一、客户端/服务器架设

  网络中处处都应当了C/S架构,我们学习socket就是为了成功C/S架构的开销。

二、scoket与网络协议

  假使想要实现网络通信大家需要对tcpip,http等众多网络文化有相比较长远的读书将来才有这么的能力,然而对于咱们先后开发程序员来说是一件漫长的时刻,所以就有了包装相比好的socket来帮我们缓解这个问题,使得大家的关注点不再是乱套的网络协议等问题。socket已经为大家封装好了,我们只需要遵守socket的规定去编程,写出的顺序自然就是遵照tcp/udp标准的。

  socket是应用层与TCP/IP协议族通信的中级软件抽象层,它是一组接口。在设计格局中,Socket其实就是一个伪装形式,它把复杂的TCP/IP协议族隐藏在socket接口前边,对用户来说,一组简单的接口就是所有,让Socket去社团数据,以符合指定的商事。

图片 42

  简单的话我们得以把socket说成ip+端口,所以标识了互联网中绝无仅有的一个应用程序。

三、套接字

  套接字起源于 20 世纪 70 年代宾夕法尼亚大学伯克利(Berkeley)分校版本的
Unix,即人们所说的 BSD Unix。一起先,套接字被设计用在同
一台主机上两个应用程序之间的简报。套接字有二种(或者叫做有六个种族),分别是基于文件型的和基于网络型的。

  基于文件类型的套接字家族:AF_UNIX

  unix一切皆文件,基于文件的套接字调用的就是底层的文件系统来取数据,五个套接字进程运行在同一机器,可以因而访问同一个文件系统直接完成通信

  基于网络项目标套接字家族:AF_INET

  还有AF_INET6被用于ipv6,还有一些其余的地方家族,AF_INET是运用最广泛的一个,python匡助很多种地址家族,但是出于我们只关心网络编程,所以大部分时候我么只使用AF_INET

  套接字函数:

  1)socket()模块

import socket
获取tcp/ip套接字
tcpSock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)

获取udp/ip套接字
udpSock = socket.socket(socket.AF_INET, socket.SOCK_DGRAM)

  使用 ‘from socket import *’,咱们就把 socket
模块里的持有属性都带到大家的命名空间里了,这样能
大幅减短我们的代码。例如tcpSock = socket(AF_INET, SOCK_STREAM)

2)服务端套接字函数

bind()    绑定(主机,端口号)到套接字
listen()  开始TCP监听
accept()  被动接受TCP客户的连接,(阻塞式)等待连接的到来

3)客户端套接字函数

connect()     主动初始化TCP服务器连接
connect_ex()  connect()函数的扩展版本,出错时返回出错码,而不是抛出异常

4)公共用途的套接字函数

recv()            接收TCP数据
send()            发送TCP数据(send在待发送数据量大于己端缓存区剩余空间时,数据丢失,不会发完)
sendall()         发送完整的TCP数据(本质就是循环调用send,sendall在待发送数据量大于己端缓存区剩余空间时,数据不丢失,循环调用send直到发完)
recvfrom()        接收UDP数据
sendto()          发送UDP数据
getpeername()     连接到当前套接字的远端的地址
getsockname()     当前套接字的地址
getsockopt()      返回指定套接字的参数
setsockopt()      设置指定套接字的参数
close()           关闭套接字

5)面向锁的套接字函数

setblocking()     设置套接字的阻塞与非阻塞模式
settimeout()      设置阻塞套接字操作的超时时间
gettimeout()      得到阻塞套接字操作的超时时间

6)面向文件的套接字函数

fileno()          套接字的文件描述符
makefile()        创建一个与该套接字相关的文件

六、粘包

  粘包现象只会发生在tcp的链接过程中,udp是不会暴发粘包现象的(UDP是面向音信的情商,每个UDP段都是一条消息,应用程序必须以音信为单位领到数据,不可能四次提取任意字节的多寡)。

图片 43

  上图是socket收发信息的规律图,TCP协议是面向流的协商,应用程序得到的多少是一个完整数据流(stream),一条信息有微微字节对于应用程序是不可见的,信息从哪起初到哪停止,应用程序一无所知,这就招致出现粘包问题了。

  粘包问题本质就是因为接收方不通晓音讯之间的尽头,不知晓两遍性领取多少字节的多少所导致的。

   从底层数据报文来看:tcp收发两端(客户端和劳务器端)都要有各个成对的socket,因而,发送端为了将六个发往接收端的包,更实惠的发到对方,使用了优化措施(Nagle算法),将反复区间较小且数据量小的数额,合并成一个大的数据块,然后举办封包。那样,接收端,就寸步难行分辨出来了。而udp帮忙的是一对多的情势,所以接收端的skbuff(套接字缓冲区)采纳了链式结构来记录每一个到达的UDP包,在各种UDP包中就有了音信头(音信来源地址,端口等新闻),这样,对于接收端来说,就容易举行区分处理了。

  因为这一个差别,tcp收发信息都不能为空,在客户端和服务端都要添加空音信处理体制,制止程序卡死。udp不是基于流的数据报,固然你输入的始末是空发出去的数额报或者由连云港注解自己的长度是0。

  udp虽然不粘包可是也有她的弱点,大家都叫她不行靠传输,udp的recvfrom是阻塞的,一个recvfrom(x)必须对唯一一个sendinto(y),收完了x个字节的数量就是完事,假如y>x数据就丢掉,这表示udp根本不会粘包,可是会丢数据,不可靠
 tcp的商议数据不会丢,没有收完包,下次吸纳,会连续上次连续吸纳,己端总是在收受ack时才会消除缓冲区内容。数据是唾手可得的,可是会粘包。

  粘包的二种状态:

  1.在发送端发送数据的流年距离很短,数据本身很小会见到一起发生粘包现象。

  2.客户端发送的数码相比大跨越了服务端五次可以接收的限定,所以服务端只收了一小部分,服务端下次再收的时候仍旧从缓冲区拿上次遗留的多寡,暴发粘包。大的数据报在发送端的缓冲乡长度超越网卡的最大传输数据单元,tcp会将数据拆分成多少个数据包再发送出去。

六、粘包

  粘包现象只会发出在tcp的链接过程中,udp是不会生出粘包现象的(UDP是面向信息的商谈,每个UDP段都是一条音信,应用程序必须以音讯为单位领到数据,不可以两次提取任意字节的数额)。

图片 44

  上图是socket收发音讯的法则图,TCP协议是面向流的情商,应用程序得到的数码是一个完好数据流(stream),一条音信有多少字节对于应用程序是不可见的,音信从哪初始到哪停止,应用程序一无所知,这就造成出现粘包问题了。

  粘包问题本质就是因为接收方不知道信息之间的限度,不晓得五遍性领取多少字节的多少所造成的。

   从底部数据报文来看:tcp收发两端(客户端和劳务器端)都要有各个成对的socket,由此,发送端为了将三个发往接收端的包,更实用的发到对方,使用了优化措施(Nagle算法),将反复区间较小且数据量小的数码,合并成一个大的数据块,然后举行封包。这样,接收端,就寸步难行分辨出来了。而udp帮助的是一对多的形式,所以接收端的skbuff(套接字缓冲区)采用了链式结构来记录每一个到达的UDP包,在每个UDP包中就有了消息头(音信来源地址,端口等音信),这样,对于接收端来说,就容易开展区分处理了。

  因为这几个出入,tcp收发音信都不能够为空,在客户端和服务端都要添加空信息处理机制,避免程序卡死。udp不是基于流的数据报,尽管你输入的内容是空发出去的多少报或者由宁德申明自己的尺寸是0。

  udp即使不粘包可是也有他的缺陷,我们都叫她不可靠传输,udp的recvfrom是阻塞的,一个recvfrom(x)必须对唯一一个sendinto(y),收完了x个字节的数目就是完成,假若y>x数据就丢掉,这象征udp根本不会粘包,可是会丢数据,不可靠
 tcp的商事数据不会丢,没有收完包,下次接收,会延续上次持续接受,己端总是在接到ack时才会免去缓冲区内容。数据是可靠的,可是会粘包。

  粘包的二种情景:

  1.在发送端发送数据的时光间隔很短,数据本身很小会见到一起发出粘包现象。

  2.客户端发送的多少相比较大跨越了服务端一回可以收到的范围,所以服务端只收了一小部分,服务端下次再收的时候还是从缓冲区拿上次遗留的数量,暴发粘包。大的数目报在发送端的缓冲镇长度超过网卡的最大传输数据单元,tcp会将数据拆分成多少个数据包再发送出去。

三、套接字

  套接字起点于 20 世纪 70 年代新罕布什尔大学伯克利(Berkeley)分校版本的
Unix,即人们所说的 BSD Unix。一先河,套接字被规划用在同
一台主机上三个应用程序之间的通讯。套接字有二种(或者叫做有五个种族),分别是按照文件型的和基于网络型的。

  基于文件类型的套接字家族:AF_UNIX

  unix一切皆文件,基于文件的套接字调用的就是底层的文件系统来取数据,五个套接字进程运行在同一机器,可以因此拜访同一个文件系统直接完成通信

  基于网络项目标套接字家族:AF_INET

  还有AF_INET6被用于ipv6,还有局部其他的地址家族,AF_INET是应用最广泛的一个,python协理很多种地址家族,可是出于我们只关注网络编程,所以大部分时候我么只使用AF_INET

  套接字函数:

  1)socket()模块

import socket
获取tcp/ip套接字
tcpSock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)

获取udp/ip套接字
udpSock = socket.socket(socket.AF_INET, socket.SOCK_DGRAM)

  使用 ‘from socket import *’,咱们就把 socket
模块里的装有属性都带到大家的命名空间里了,这样能
大幅减短咱们的代码。例如tcpSock = socket(AF_INET, SOCK_STREAM)

2)服务端套接字函数

bind()    绑定(主机,端口号)到套接字
listen()  开始TCP监听
accept()  被动接受TCP客户的连接,(阻塞式)等待连接的到来

3)客户端套接字函数

connect()     主动初始化TCP服务器连接
connect_ex()  connect()函数的扩展版本,出错时返回出错码,而不是抛出异常

4)公共用途的套接字函数

recv()            接收TCP数据
send()            发送TCP数据(send在待发送数据量大于己端缓存区剩余空间时,数据丢失,不会发完)
sendall()         发送完整的TCP数据(本质就是循环调用send,sendall在待发送数据量大于己端缓存区剩余空间时,数据不丢失,循环调用send直到发完)
recvfrom()        接收UDP数据
sendto()          发送UDP数据
getpeername()     连接到当前套接字的远端的地址
getsockname()     当前套接字的地址
getsockopt()      返回指定套接字的参数
setsockopt()      设置指定套接字的参数
close()           关闭套接字

5)面向锁的套接字函数

setblocking()     设置套接字的阻塞与非阻塞模式
settimeout()      设置阻塞套接字操作的超时时间
gettimeout()      得到阻塞套接字操作的超时时间

6)面向文件的套接字函数

fileno()          套接字的文件描述符
makefile()        创建一个与该套接字相关的文件

  怎样缓解粘包问题?

  客户端每回都把温馨的长短告诉服务端,这样可以完成不粘包。

图片 45图片 46

#_*_coding:utf-8_*_
import socket,subprocess
ip_port=('127.0.0.1',8080)
s=socket.socket(socket.AF_INET,socket.SOCK_STREAM)
s.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)

s.bind(ip_port)
s.listen(5)

while True:
    conn,addr=s.accept()
    print('客户端',addr)
    while True:
        msg=conn.recv(1024)
        if not msg:break
        res=subprocess.Popen(msg.decode('utf-8'),shell=True,\
                            stdin=subprocess.PIPE,\
                         stderr=subprocess.PIPE,\
                         stdout=subprocess.PIPE)
        err=res.stderr.read()
        if err:
            ret=err
        else:
            ret=res.stdout.read()
        data_length=len(ret)
        conn.send(str(data_length).encode('utf-8'))
        data=conn.recv(1024).decode('utf-8')
        if data == 'recv_ready':
            conn.sendall(ret)
    conn.close()

View Code

图片 47图片 48

import socket,time
s=socket.socket(socket.AF_INET,socket.SOCK_STREAM)
res=s.connect_ex(('127.0.0.1',8080))

while True:
    msg=input('>>: ').strip()
    if len(msg) == 0:continue
    if msg == 'quit':break

    s.send(msg.encode('utf-8'))
    length=int(s.recv(1024).decode('utf-8'))
    s.send('recv_ready'.encode('utf-8'))
    send_size=0
    recv_size=0
    data=b''
    while recv_size < length:
        data+=s.recv(1024)
        recv_size+=len(data)


    print(data.decode('utf-8'))

View Code

  这种模式只是一种缓解问题的办法,实际上并不会如此做,程序的运行速度远快于网络传输速度,所以在殡葬一段字节前,先用send去发送该字节流长度,这种艺术会加大网络延迟带来的属性损耗。这里用来增援大家更好的敞亮粘包的题目。

  在这个基础上,我们得以设想将自己的长短等音讯,写到报头头部,这样接收端拆开报头就能知道长度,就不会爆发粘包的现象了。

  大家先要认识一下struct模块。

  该模块能够把一个项目,如数字,转成固定长度的bytes。

图片 49

图片 50图片 51

from socket import *
import subprocess
import struct
ss=socket(AF_INET,SOCK_STREAM)
ss.bind(('127.0.0.1',8082)) 
ss.listen(5)

print('starting...')
while True:
    conn,addr=ss.accept()
    print('-------->',conn,addr)

    while True:
        try:
            cmd=conn.recv(1024)
            res = subprocess.Popen(cmd.decode('utf-8'), shell=True,
                                   stdout=subprocess.PIPE,
                                   stderr=subprocess.PIPE)
            stdout=res.stdout.read()
            stderr=res.stderr.read()

            #先发报头(转成固定长度的bytes类型)
            header = struct.pack('i',len(stdout)+len(stderr))
            conn.send(header)
            #再发送命令的结果
            conn.send(stdout)
            conn.send(stderr)
        except Exception:
            break
    conn.close()
ss.close()

客户端

图片 52图片 53

from socket import *
import struct
cs=socket(AF_INET,SOCK_STREAM)
cs.connect(('127.0.0.1',8082))

while True:
    cmd=input('>>: ').strip()
    if not cmd:continue

    cs.send(cmd.encode('utf-8'))
    #先收报头
    header_struct=cs.recv(4)
    unpack_res = struct.unpack('i', header_struct)
    total_size=unpack_res[0]

    #再收数据
    recv_size=0 #10241=10240+1
    total_data=b''
    while recv_size < total_size:
        recv_data=cs.recv(1024)
        recv_size+=len(recv_data)
        total_data+=recv_data
    print(total_data.decode('gbk'))
cs.close()

服务端

  struct的i模式:

struct.pack('i',11111111)
#struct.error: 'i' format requires -2147483648 <= number <= 2147483647 #这个是范围

  struct.pack用于将Python的值按照格式符,转换为字符串(因为Python中一向不字节(Byte)类型)。它的函数原型为:struct.unpack(fmt,
string)。

  struct.unpack做的干活刚刚与struct.pack相反,用于将字节流转换成python数据类型。它的函数原型为:struct.unpack(fmt,
string),该函数再次来到一个元组。

图片 54图片 55

import json,struct
#假设通过客户端上传1T:1073741824000的文件a.txt

#为避免粘包,必须自定制报头
header={'file_size':1073741824000,'file_name':'/a/b/c/d/e/a.txt','md5':'8f6fbf8347faa4924a76856701edb0f3'} #1T数据,文件路径和md5值

#为了该报头能传送,需要序列化并且转为bytes
head_bytes=bytes(json.dumps(header),encoding='utf-8') #序列化并转成bytes,用于传输

#为了让客户端知道报头的长度,用struck将报头长度这个数字转成固定长度:4个字节
head_len_bytes=struct.pack('i',len(head_bytes)) #这4个字节里只包含了一个数字,该数字是报头的长度

#客户端开始发送
conn.send(head_len_bytes) #先发报头的长度,4个bytes
conn.send(head_bytes) #再发报头的字节格式
conn.sendall(文件内容) #然后发真实内容的字节格式

#服务端开始接收
head_len_bytes=s.recv(4) #先收报头4个bytes,得到报头长度的字节格式
x=struct.unpack('i',head_len_bytes)[0] #提取报头的长度

head_bytes=s.recv(x) #按照报头长度x,收取报头的bytes格式
header=json.loads(json.dumps(header)) #提取报头

#最后根据报头的内容提取真实的数据,比如
real_data_len=s.recv(header['file_size'])
s.recv(real_data_len)

View Code

  使用自定制报头的形式来化解粘包问题。

图片 56图片 57

import socket,struct,json
import subprocess
phone=socket.socket(socket.AF_INET,socket.SOCK_STREAM)
phone.setsockopt(socket.SOL_SOCKET,socket.SO_REUSEADDR,1) 
phone.bind(('127.0.0.1',8080))

phone.listen(5)

while True:
    conn,addr=phone.accept()
    while True:
        cmd=conn.recv(1024)
        if not cmd:break
        print('cmd: %s' %cmd)

        res=subprocess.Popen(cmd.decode('utf-8'),
                             shell=True,
                             stdout=subprocess.PIPE,
                             stderr=subprocess.PIPE)
        err=res.stderr.read()
        print(err)
        if err:
            back_msg=err
        else:
            back_msg=res.stdout.read()


        conn.send(struct.pack('i',len(back_msg))) #先发back_msg的长度
        conn.sendall(back_msg) #在发真实的内容

    conn.close()

服务端自定制报头

图片 58图片 59

import socket,time,struct

s=socket.socket(socket.AF_INET,socket.SOCK_STREAM)
res=s.connect_ex(('127.0.0.1',8080))

while True:
    msg=input('>>: ').strip()
    if len(msg) == 0:continue
    if msg == 'quit':break

    s.send(msg.encode('utf-8'))

    l=s.recv(4)
    x=struct.unpack('i',l)[0]
    print(type(x),x)
    # print(struct.unpack('I',l))
    r_s=0
    data=b''
    while r_s < x:
        r_d=s.recv(1024)
        data+=r_d
        r_s+=len(r_d)

    # print(data.decode('utf-8'))
    print(data.decode('gbk')) #windows默认gbk编码

客户端自定制报头

  当然大家的报头能够增长更多信息。

  我们把报头做成字典,字典里含有将要发送的忠实数据的详细音讯,然后json体系化,然后用struck将连串化后的多长打包成4个字节(4个温馨充裕用了)

  发送时首发报头长度,再编码报头内容然后发送,最终发真实内容。

  接收时先将报头长度,用struct取出来,按照取出的尺寸收取报头内容,然后解码,反体系化,从反体系化的结果中取出待取数据的详细音讯,然后去取真实的数码内容。

图片 60图片 61

from socket import *
import subprocess
import struct
import json
ss = socket(AF_INET,SOCK_STREAM)
ss.setsockopt(SOL_SOCKET,SO_REUSEADDR,1)
ss.bind(('127.0.0.1',8082))
ss.listen(5)

print('starting...')
while True : #链接循环
    conn,addr = ss.accept() #链接,客户的的ip和端口组成的元组
    print('-------->',conn,addr)

    #收,发消息
    while True :#通信循环
        try :
            cmd = conn.recv(1024)
            res = subprocess.Popen(cmd.decode('utf-8'), shell = True,
                                   stdout = subprocess.PIPE,
                                   stderr = subprocess.PIPE)
            stdout = res.stdout.read()
            stderr = res.stderr.read()
            #制作报头
            h_dic = {
                'total_size': len(stdout) + len(stderr),
                'filename': None,
                'md5': None}

            h_json = json.dumps(h_dic)
            h_bytes = h_json.encode('utf-8')
            #发送阶段
            #先发报头长度
            conn.send(struct.pack('i',len(h_bytes)))
            #再发报头
            conn.send(h_bytes)

            #最后发送命令的结果
            conn.send(stdout)
            conn.send(stderr)
        except Exception :
            break
    conn.close()
ss.close()

json序列化报头server

图片 62图片 63

from socket import *
import struct
import json
cs = socket(AF_INET,SOCK_STREAM) #买手机
cs.connect(('127.0.0.1',8082)) #绑定手机卡

#发,收消息
while True :
    cmd = input('>>: ').strip()
    if not cmd : continue

    cs.send(cmd.encode('utf-8'))
    #先收报头的长度
    h_len = struct.unpack('i',cs.recv(4))[0]

    #再收报头
    h_bytes = cs.recv(h_len)
    h_json = h_bytes.decode('utf-8')
    h_dic = json.loads(h_json)
    total_size = h_dic['total_size']

    #最后收数据
    recv_size = 0
    total_data = b''
    while recv_size < total_size :
        recv_data = cs.recv(1024)
        recv_size += len(recv_data)
        total_data += recv_data
    print(total_data.decode('gbk'))
cs.close()

client

 

一、客户端/服务器架设

  网络中处处都应该了C/S架构,大家上学socket就是为着完成C/S架构的开支。

二、scoket与网络协议

  若果想要实现网络通信我们需要对tcpip,http等许多网络知识有相比深入的就学未来才有诸如此类的能力,可是对于我们先后支付程序员来说是一件漫长的大运,所以就有了包装相比好的socket来帮我们缓解那一个问题,使得我们的关注点不再是乱套的网络协议等题材。socket已经为我们封装好了,大家只需要遵照socket的规定去编程,写出的程序自然就是依照tcp/udp标准的。

  socket是应用层与TCP/IP协议族通信的中级软件抽象层,它是一组接口。在设计情势中,Socket其实就是一个伪装形式,它把复杂的TCP/IP协议族隐藏在socket接口后边,对用户来说,一组简单的接口就是全体,让Socket去社团数据,以合乎指定的商议。

图片 64

  简单的话我们可以把socket说成ip+端口,所以标识了互联网中惟一的一个应用程序。

五、基于udp的套接字

  udp是无链接的,先启动哪一端都不会报错。

ss = socket()   #创建一个服务器的套接字
ss.bind()       #绑定服务器套接字
while True :       #服务器无限循环
    cs = ss.recvfrom()/ss.sendto() # 对话(接收与发送)
ss.close()                         # 关闭服务器套接字

cs = socket()   # 创建客户套接字
while True :      # 通讯循环
    cs.sendto()/cs.recvfrom()   # 对话(发送/接收)
cs.close()                      # 关闭客户套接字

  基于udp套接字的简单示例

图片 65图片 66

import socket
ip_port=('127.0.0.1',9000)
udp_server_client=socket.socket(socket.AF_INET,socket.SOCK_DGRAM)

udp_server_client.bind(ip_port)

while True:
    msg,addr=udp_server_client.recvfrom(1024)
    print(msg,addr)

    udp_server_client.sendto(msg.upper(),addr)

udpserver

图片 67图片 68

from socket import *

udp_cs=socket(AF_INET,SOCK_DGRAM)

while True:
    msg=input('>>: ').strip()
    if not msg:continue
    udp_cs.sendto(msg.encode('utf-8'),('127.0.0.1',9000))
    msg,addr=udp_cs.recvfrom(1024)
    print(msg.decode('utf-8'),addr)

udpclient

  qq聊天就是基于udp完成的,由于udp无连接,所以可以而且几个客户端去跟服务端通信。

图片 69图片 70

from socket import *

udp_ss=socket(AF_INET,SOCK_DGRAM)
udp_ss.bind(('127.0.0.1',8081))

while True:
    msg,addr=udp_ss.recvfrom(1024)
    print('来自[%s]的一条消息:%s' %(addr,msg.decode('utf-8')))
    msg_b=input('回复消息: ').strip()
    udp_ss.sendto(msg_b.encode('utf-8'),addr)

qqserver

图片 71图片 72

from socket import *

udp_cs = socket(AF_INET,SOCK_DGRAM)

while True :
    msg = input('请输入消息,回车发送: ').strip()
    if msg == 'quit' : break
    if not msg : continue
    udp_cs.sendto(msg.encode('utf-8'),('127.0.0.1',8081))

    back_msg,addr = udp_cs.recvfrom(1024)
    print('来自[%s]的一条消息:%s' %(addr,back_msg.decode('utf-8')))

udp_cs.close()

qqclient

  client可以拉开多少个。

四、基于tcp的套接字代码实现

  tcp是基于链接的,必须先启动服务端,然后再起步客户端去链接服务端。

  server:

图片 73图片 74

ss = socket() #创建服务器套接字
ss.bind()      #把地址绑定到套接字
ss.listen()      #监听链接
inf_loop:      #服务器无限循环
    cs = ss.accept() #接受客户端链接
    comm_loop:         #通讯循环
        cs.recv()/cs.send() #对话(接收与发送)
    cs.close()    #关闭客户端套接字
ss.close()        #关闭服务器套接字

View Code

  client:

图片 75图片 76

 cs = socket()    # 创建客户套接字
 cs.connect()    # 尝试连接服务器
 comm_loop:        # 通讯循环
     cs.send()/cs.recv()    # 对话(发送/接收)
 cs.close()            # 关闭客户套接字

View Code

  socket通信与打电话的法子很一般:

  server:

图片 77图片 78

#_*_coding:utf-8_*_
import socket
ip_port=('127.0.0.1',8080)#电话卡
s=socket.socket(socket.AF_INET,socket.SOCK_STREAM) #买手机
s.bind(ip_port) #手机插卡
s.listen(5)     #手机待机,监听最多五个

while True:                         #新增接收链接循环,可以不停的接电话
    conn,addr=s.accept()            #手机接电话
    print('接到来自%s的电话' %addr[0])
    while True:                         #新增通信循环,可以不断的通信,收发消息
        msg=conn.recv(BUFSIZE)             #听消息,听话

        # if len(msg) == 0:break        #如果不加,那么正在链接的客户端突然断开,recv便不再阻塞,死循环发生

        print(msg,type(msg))

        conn.send(msg.upper())          #发消息,说话

    conn.close()                    #挂电话

s.close()                       #手机关机

server

  client:

图片 79图片 80

#_*_coding:utf-8_*_
import socket
ip_port=('127.0.0.1',8081)
s=socket.socket(socket.AF_INET,socket.SOCK_STREAM)

s.connect_ex(ip_port)           #拨电话

while True:                             #新增通信循环,客户端可以不断发收消息
    msg=input('>>: ').strip()
    if len(msg) == 0:continue
    s.send(msg.encode('utf-8'))         #发消息,说话(只能发送字节类型)

    feedback=s.recv(BUFSIZE)                           #收消息,听话
    print(feedback.decode('utf-8'))

s.close()                                       #挂电话

client

  在操作的进程中重启服务端可能会油不过生OSError,地址早就在行使了,出现这种题材的因由是因为依照tcp五回挥手并从未结束,所以端口仍被占用,所以需要插手一条socket配置重新使用ip和端口。

图片 81图片 82

phone=socket(AF_INET,SOCK_STREAM)
phone.setsockopt(SOL_SOCKET,SO_REUSEADDR,1) #就是它,在bind前加
phone.bind(('127.0.0.1',8080))

View Code

  我们还足以如法炮制ssh实现长途模拟命令:

图片 83图片 84

import socket
import subprocess
phone=socket.socket(socket.AF_INET,socket.SOCK_STREAM)
phone.bind(('127.0.0.1',8080))
phone.listen(5)

print('starting...')
while True:
    conn,client_addr=phone.accept()

    while True:
        try:
            cmd=conn.recv(1024)
            #if not cmd:break #针对linux
            #执行cmd命令,拿到cmd的结果,结果应该是bytes类型
            res = subprocess.Popen(cmd.decode('utf-8'), shell=True,
                                   stdout=subprocess.PIPE,
                                   stderr=subprocess.PIPE)
            stdout=res.stdout.read()
            stderr=res.stderr.read()

            #发送命令的结果
            conn.send(stdout+stderr)
        except Exception:
            break
    conn.close() #挂电话
phone.close() #关机

server

图片 85图片 86

import socket
phone=socket.socket(socket.AF_INET,socket.SOCK_STREAM) 
phone.connect(('127.0.0.1',8080))

while True:
    cmd=input('>>: ').strip()
    if not cmd:continue
    phone.send(cmd.encode('utf-8'))
    cmd_res=phone.recv(1024)
    print(cmd_res.decode('gbk'))
phone.close()

client

  这里大家用到了subprocess模块,允许你去创立一个新的历程让其履行其它的程序,并与它举办通信,获取标准的输入、标准输出、标准错误以及重返码等。

  subprocess模块中定义了一个波普(Pope)n类,通过它可以来成立过程,并与其举办复杂的竞相。subprocess模块的结果的编码是以如今所在的系统为准的,淌倘诺windows,那么res.stdout.read()读出的就是GBK编码的,在接收端需要用GBK解码。

  他的init函数是如此的:

__init__(self, args, bufsize=0, executable=None, 
stdin=None, stdout=None, stderr=None, preexec_fn=None, 
close_fds=False, shell=False, cwd=None, env=None, 
universal_newlines=False, startupinfo=None, 
creationflags=0)

  args:必须是一个字符串或者系列类型,用于指定进程的可执行文件及其参数。假如若一个行列类型参数,则序列的首先个因素通常都必须是一个可执行文件的门道。当然也足以使用executeable参数来指定可执行文件的路线。

  stdin,stdout,stderr:分别表示程序的正规化输入、标准输出、标准错误。有效的值可以是PIPE,存在的文件描述符,存在的文件对象或None,如果为None需从父进程继续过来,stdout可以是PIPE,表示对子进程创设一个管道,stderr可以是STDOUT,表示业内错误数据应该从应用程序中捕获并作为正式输出流stdout的文件句柄。

  shell:假诺那些参数被装置为True,程序将通过shell来实施。 
  env:它讲述的是子进程的环境变量。假诺为None,子进程的环境变量将从父进程继续而来。

res = subprocess.Popen(r'dir', shell=True, stdout=subprocess.PIPE, stderr=subprocess.PIPE)

相关文章