Example Domain
This domain is for use in illustrative examples in documents. You may use this
domain in literature without prior coordination or asking for permission.
More information...
* Connection #0 to host example.com left intact
````
在我们使用curl时，我们加上了两个额外参数，一个是`--http1.1`，一个是`-v`。`--http1.1`告诉Curl，我们要求它使用1.1版本的HTTP，否则Curl可能会自动选择其它版本的HTTP；`-v`则让Curl展示更详细一点的信息，包括连接服务器和HTTP请求。
让我们来关注``之前以`<`或`>`开头的行：
````
> GET / HTTP/1.1
> Host: example.com
> User-Agent: curl/7.85.0
> Accept: */*
>
< HTTP/1.1 200 OK
< Age: 106060
< Cache-Control: max-age=604800
< Content-Type: text/html; charset=UTF-8
< Date: Sat, 18 Mar 2023 06:39:37 GMT
< Etag: "3147526947+ident"
< Expires: Sat, 25 Mar 2023 06:39:37 GMT
< Last-Modified: Thu, 17 Oct 2019 07:18:26 GMT
< Server: ECS (sab/5707)
< Vary: Accept-Encoding
< X-Cache: HIT
< Content-Length: 1256
<
````
在这里，`>`的意思是发送到服务器，`<`是从服务器接收。我们向服务器发送的是“请求”（Request），而服务器向我们返回“响应”（Response），一次请求-响应是一次“事务”（Transcation）。Curl执行我们对于`example.com`的请求，首先向服务器发送了以下信息：
````
GET / HTTP/1.1
^^^ ~~~~~~~~~~~~ 请求方法 （Request Method）
^ ~~~~~~~~~~ 路径（Path）
^^^^^^^^ ~ 协议（Protocol）
````
这一行可以很容易用大白话说明：“使用HTTP/1.1协议获取（GET）路径‘/’”。
接下来这一段通常被叫作“HTTP头”：
````
Host: example.com
User-Agent: curl/7.85.0
Accept: */*
````
每一行意味着一个键值对，用`Key: Value`的格式。`Host: example.com`告诉服务器我们想请求的域名是`example.com`，其它两个头我们留到稍后再了解。
这些“HTTP头”跟第一行加起来组成了“HTTP请求头部”的数据。但是还没完，这里还有一个空行：
````
````
它标志着“HTTP请求头部”的结束。
另外，还有一个要注意的地方：HTTP的换行是CRLF格式，也就是大多数编程语言中的`\r\n`字符串转义，这个稍后我们自己编写HTTP服务器的时候才会变得重要。
我们接着来看看服务器发回给我们的数据，它跟请求有两点不同，第一个是：
````
HTTP/1.1 200 OK
^^^^^^^^ ~~~~~~~~~~ 协议
^^^ ~~~~~~ 状态码（Status Code）
^^ ~~~ 状态信息
````
通常，状态码和状态信息一一对应，或者说，状态信息只是在解释状态码。在这里，`200`可以说是“成功”的意思。
第二个是，它在空行之后，即”HTTP响应头部“结束之后，带上了我们请求的页面`/`：
````
...
````
如果你的电脑上有[telnet](https://en.wikipedia.org/wiki/Telnet)，你可以亲手发送一个HTTP请求！执行`telnet example.com 80`来连接到服务器的80端口。
````
$ telnet example.com 80
Trying 93.184.216.34...
Connected to example.com.
Escape character is '^]'.
````
输入以下内容。就是上面HTTP请求的简化版，HTTP头只留下`Host`。
````
GET / HTTP/1.1
Host: example.com
````
别忘了空行！不必担心换行格式，telnet默认发送CRLF形式的换行，这跟HTTP的要求是一样的。
## 用词约定
### 套接字和Socket
Socket是一种对于网络逻辑接口的抽象，本文使用Socket一词。在有些资料中这个词被翻译成“套接字”。
### HTTP头部、头
为了尊重使用习惯，本文中的HTTP头和HTTP头部所指的内容是不一样的。为了方便理解，假设有这样的HTTP请求：
````
GET /path/to/page HTTP/1.1
Host: example.com
User-Agent: sample-client/1
````
HTTP头部指的是结束标志（空行）以及之前所有部分，而HTTP头指的是第一行之后、结束标志之前的键值对部分。
### TCP
本文中的TCP是Transmission Control Protocol的缩写，中文翻译是“传输控制协议”。
## 从零开始的HTTP服务器生涯
我们已经了解HTTP请求和响应的结构，从这里开始，我们将使用Python来编写一个简单的HTTP服务器。如果你不会Python，可以看看[Python文档网站上的教程](https://docs.python.org/zh-cn/3/tutorial/index.html)。我们只会使用许多编程语言都具备的概念和特性，用其它编程语言实现应该也不会有太大障碍。
另外提一句，所有代码都在Fedora 37上使用Python 3.11测试，但是程序并没有使用特殊的特性，在其它平台和Python上多半也能正常使用。
你可能没有从零开始写HTTP服务器的经验，让我来为我们将要完成的代码划分几个部分：
1. 监听网络端口，等待连接
2. 从连接读取HTTP请求
3. 生成HTTP响应并返回
````python
def main():
pass
if __name__ == "__main__":
main()
````
### 等待客户端连接
HTTP运行在TCP之上，我们需要打开一个TCP端口，等待客户端创建TCP连接。
我们将使用Python标准库里的[socket](https://docs.python.org/zh-cn/3/library/socket.html)，这个模块应该已经随着你的Python安装了。没用过Socket API也没关系，我将对我们要进行的操作做一个简单介绍。要在一个端口上等待客户端连接，我们大概要进行以下工作：
1. 创建一个Socket（使用socket库里的`socket`类），配置使用TCP（HTTP在TCP上传输）
2. 把一个端口bind到这个Socket上（使用Socket的`bind`方法）
3. 将这个Socket设置为监听（使用Socket的`listen`方法）
完成这些工作后，我们就可以使用Socket的`accept`方法等待一个连接。
在main里添加代码之后：
````python
from socket import socket, AF_INET, SOCK_STREAM # 导入我们需要的值
def main():
# SOCK_STREAM配合AF_INET就是在IPv4上使用TCP的意思，HTTP在TCP上传输
with socket(AF_INET, SOCK_STREAM) as server_port: # with会在运行离开这块代码之后关闭这个Socket
server_port.bind(("127.0.0.1", 8989)) # 将127.0.0.1:8989这个地址绑定到这个Socket上
server_port.listen() # 设置监听
conn, addr = server_port.accept() # conn是相应连接的Socket， addr是地址
````
要实验我们的代码是否有效，我们可以编写一个供telnet使用的Echo服务器。Echo服务器，回声服务器，顾名思义就是一个原样输出收到内容的服务器。以下是包含了这个Echo服务器逻辑的文件内容。
````python
from socket import socket, AF_INET, SOCK_STREAM
def main():
with socket(AF_INET, SOCK_STREAM) as server_port:
server_port.bind(("127.0.0.1", 8989))
server_port.listen()
conn, addr = server_port.accept()
with conn: # 运行离开这个with代码块时，with会帮我们关闭这个Socket
print(f"Accepted {addr}")
conn.settimeout(8)
while True:
data = conn.recv(4096) # 接收最多4096 bytes的数据
if data != b"\r\n": # 如果是一个空行（只包含CRLF换行），就退出循环
conn.send(data)
else:
break
if __name__ == "__main__":
main()
````
假设这个Python脚本的名字叫作`server.py`，我们执行`python server.py`（因为需要Python 3，有些机器可能要使用`python3`代替`python`）。
````
python server.py
````
现在我们可以使用`telnet localhost 8989`连接到我们的Echo服务器。输入一些内容、换行，看看服务器返回的内容。最后用空行退出。
````
$ telnet localhost 8989
Trying ::1...
telnet: connect to address ::1: Connection refused
Trying 127.0.0.1...
Connected to localhost.
Escape character is '^]'.
Hello!
Hello!
Connection closed by foreign host.
````
### 读取HTTP请求
先让我们来总结一下我们之前了解到的内容：一次HTTP事务包括请求和响应，请求和响应发送的数据叫作HTTP信息（Message）。
一个信息包括两部分：头部和主体，一个空行代表头部结束。HTTP请求和响应的头部只有第一行的格式不同，第一行之后都是由键值对组成的HTTP头。
让我们新添加两个函数，分别用于读取HTTP请求和处理HTTP请求：
````python
def read_http_request(conn):
pass
def handle_http_request(conn):
pass
````
> HTTP在TCP连接上传输，TCP提供面向字节流传输，意思是：在同一个Socket上，无论你如何发送数据，TCP都将它们视为同一串数据，不保证它们分开到达目标（你可以试试搜索“TCP粘包问题”，这是一个存在又不存在的问题）。当然，TCP保证数据收到的顺序和发送的顺序一致。这也可以帮助你理解HTTP为何要如此设计。
为了简化代码，我们这里将使用比较简单的方法读取HTTP请求，并将其处理成三个返回值：请求方法、路径、头。请求方法和路径是字符串，头是一个Python字典（`dict`），保存HTTP头键值对。跟Python字典类似功能的东西，在其它编程语言中可能更习惯叫"Map"。
读取HTTP请求时，我们先原样读取出整个头部，存为字符串再解析。读取头部的函数命名为`read_http_request_header_string`。
````python
def read_http_request_header_string(conn: socket):
buffer = bytearray()
while True:
buffer.extend(conn.recv(4096))
header_length = buffer.find(b"\r\n\r\n") # 两个连在一起的CRLF，第二个CRLF就代表空行
if header_length != -1:
return buffer[:header_length]
````
这样我们就可以在`read_http_request`里使用它了，你可以先试着写一写这个`read_http_request`再看完整代码。
逻辑很简单，将读到的字符串按照`\r\n`分开，再分别处理第一行和剩余的行。需要注意的是，我们的`read_http_request_header_string`返回`bytes`（可以简单理解为一块内存），你需要用`decode`方法将其转换为字符串，该方法需要指定一个编码，你可以使用`"ascii"`。
````python
def read_http_request(conn: socket):
s = read_http_request_header_string(conn).decode("ascii")
lines = s.split("\r\n") # 按CRLF切开
# 解析第一行
fstline = lines[0]
method, path, protocol = fstline.split(" ") # 按空格切开第一行
if protocol != "HTTP/1.1":
raise RuntimeError("unknown protocol", protocol)
method = method.lower() # 把方法转换成小写
# 解析头
header = {}
if len(lines) > 1:
for line in lines[1:]:
key, value = line.split(": ")
header[key] = value
return method, path, header
````
### 生成HTTP响应头部
相对于读取请求，生成响应要简单多了，只需要按照格式拼装信息：
````python
STATUS_MESSAGES = {
200: "OK",
400: "Bad Request",
404: "Not Found",
500: "Server Error",
}
def build_http_response_header(status_code, headers):
lines = [
f"HTTP/1.1 {status_code} {STATUS_MESSAGES[status_code]}"
]
for key, value in headers:
lines.append(f"{key}: {value}")
lines.append("") # 别忘了加空行
lines.append("")
return '\r\n'.join(lines).encode('ascii')
````
请注意，这里为了增加空行，使用两次`lines.append("")`增加了两个空字符串。因为`'\r\n'.join`只在两个字符串中间增加分隔符`"\r\n"`。
举个例子：我们有`"A"`、`"B"`两个字符串，每个字符串一行。如果我们不增加空字符串，`'\r\n'.join`只会在A和B之间插入一个换行，结果是`"A\r\nB"`。
如果我们只在列表末尾增加一个空字符串，那么最后就只会是
````
"A\r\nB\r\n"
^ 新增加的空字符串
````
，只是在B和增加的空字符串中间增加了一个换行；如果需要单独的空行，还需要一个额外空字符串，在第一个空字符串和第二个空字符串之间再插入一个换行，才会变为我们需要的`"A\r\nB\r\n\r\n"`。
### 处理HTTP请求
接下来我们正式在`handle_http_request`中处理HTTP请求。首先我们读取HTTP请求，如果请求出错，我们返回400 Bad Request。
````python
def handle_http_request(conn: socket):
try:
method, path, headers = read_http_request(conn)
except Exception as e:
conn.send(build_http_response_header(400, []))
print(f"- - 400 {STATUS_MESSAGES[400]}")
raise e # 把错误重新抛出，方便你看错误堆栈
````
然后我们检查方法是否是`get`，路径是否是`/`或者`/index.html`，满足条件的话我们就返回200 OK和一段HTML内容：
````python
if method == "get" and (path == "/" or path == "/index.html"):
headers = [
("Charset", "UTF-8"),
("Content-Length",str(len(DEFAULT_PAGE_HTML))),
("Connection", "close"),
]
conn.send(build_http_response_header(200, headers))
conn.send(DEFAULT_PAGE_HTML)
print(f"{method.upper()} {path} 200 {STATUS_MESSAGES[200]}")
````
你发现我们在这里设置了三个头，一个是`Charset`，我们将它设置为`UTF-8`，这是提示客户端，我们的内容使用UTF-8编码。我们的`DEFAULT_PAGE_HTML`定义如下：
````python
DEFAULT_PAGE_HTML = """