go
2024年12月29日
System Programming Essentials With Go
Go系统编程精要
System Programming Essentials With Go
本书主要介绍了使用Go语言进行系统级编程的知识。书中涵盖了并发编程、内存管理、性能分析、系统调用、网络编程、以及与硬件交互等多个方面。此外，还包含了命令行工具的开发、日志记录、监控和追踪等内容，并以一个分布式缓存的项目作为案例，展示了如何将所学知识应用于实践。最后，书中还讨论了高效编码技巧和一些些常见问题的避免方法。
本书主要介绍了使用Go语言进行系统级编程的知识。书中涵盖了并发编程、内存管理、性能分析、系统调用、网络编程、以及与硬件交互等多个方面。此外，还包含了命令行工具的开发、日志记录、监控和追踪等内容，并以一个分布式缓存的项目作为案例，展示了如何将所学知识应用于实践。最后，书中还讨论了高效编码技巧和一些常见问题的避免方法。
第一部分：导论
- 本书旨在探讨如何使用 Go 语言进行系统编程，重点在于系统调用、网络、效率和安全实践。
- Go 语言因其简洁、健壮和高效的设计理念，成为系统编程的理想选择。
- 本部分将介绍 Go 的并发模型、与操作系统交互的方式以及跨平台开发工具的使用。
- 书中提供了 GitHub 代码仓库，方便读者获取示例代码。
- 鼓励读者通过邮件或网站反馈意见和报告错误。
第二部分：并发
- Go 语言使用 goroutine 实现并发，通过
go关键字启动。 - sync.WaitGroup 用于同步 goroutine 的执行，
Add()方法添加 goroutine，Done()方法标记完成，Wait()方法等待所有 goroutine 完成. - 原子操作（atomic operations）用于同步和管理 goroutine 之间的并发，例如
sync/atomic包提供的Load,Store,Add和CAS等操作。 - 互斥锁（Mutexes） 用于保护共享数据，确保同一时间只有一个 goroutine 可以访问临界区。
- 通道（Channels） 用于 goroutine 之间的通信，包括无缓冲通道和缓冲通道。
- 通道有三种状态：nil、打开（空或非空）和关闭，读写操作有不同的行为。
- 使用
range循环可以从通道读取数据，直到通道关闭。 - 缓冲通道 可以存储一定数量的数据，发送者在通道满时会阻塞，接收者在通道空时会阻塞。
- select 语句可以监听多个通道的操作，从而实现多路复用。
- Go 语言使用 goroutine 实现并发，通过
第三部分：系统调用与命令行程序
- 系统调用是操作系统提供的接口，允许程序访问内核功能。
- Go 语言的
syscall包提供了与操作系统交互的底层接口，但已被弃用，推荐使用x/sys包。 unix.Syscall()和unix.Syscall6()用于执行系统调用，unix.SYS_*定义了各种系统调用的常量。- 文件操作包括创建、删除文件和目录，以及创建链接。
- 标准输入（stdin）、标准输出（stdout）和标准错误（stderr）是程序启动时继承的三个文件描述符。
- 可以使用
os包中的os.Args获取命令行参数。 - 可以使用
fmt.Fprintf向标准输出和标准错误写入数据。 - 函数式选项（Functional Options）模式可以灵活配置对象，避免多个构造函数参数或配置结构体。
- 使用 io.Writer 接口可以方便地切换输出流。
- 测试可以使用
bytes.Buffer捕获输出，并断言结果。 - 可以使用管道 (
|) 将一个命令的输出作为另一个命令的输入。 - 命名管道（FIFO） 是进程间通信的一种机制。
- 通过
os.Mkfifo创建命名管道，通过os.OpenFile打开和读写。 - 通过
os.RemoveAll()删除命名管道。 - 可以使用
exec.Command执行外部命令，并使用StdoutPipe或Output获取输出。
第四部分：文件与目录操作
- 符号链接（symlink）是指向另一个文件或目录的链接。
os.Readlink()用于读取符号链接的目标，os.Stat()用于检查文件或目录是否存在。- 可以使用
filepath.Walk遍历目录，并处理每个文件。 - 内存映射（mmap）可以将文件映射到内存中，实现高效的文件访问，可以使用
syscall.Mmap和syscall.Munmap实现。 - 通过 fsnotify 可以监听文件系统事件。
- sync.Mutex 可用于同步文件访问。
- 日志轮转涉及关闭当前日志文件、重命名、创建新日志文件.
- 可以使用
context.WithTimeout为命令执行设置超时。 - syscall.FcntlFlock 可以用于文件锁。
第五部分：网络编程
- TCP 是一种可靠的传输协议，确保数据包按顺序到达。
net.Dial用于建立 TCP 连接，net.Listen用于监听 TCP 连接。- HTTP 是一种基于 TCP 的应用层协议，用于传输网页内容。
- HTTP 方法包括 GET、POST、PUT、DELETE 和 PATCH，用于指定对资源的操作。
- HTTP 状态码用于指示 HTTP 请求的结果，例如 200 OK、404 Not Found 和 500 Internal Server Error。
- TLS 用于加密网络连接，
http.ListenAndServeTLS可以启动一个支持 TLS 的 HTTP 服务器。 - UDP 是一种无连接的传输协议，适用于实时应用和广播。
- WebSocket 是一种在单个 TCP 连接上进行全双工通信的协议。
- 使用
ws.UpgradeHTTP将 HTTP 连接升级到 WebSocket 连接。 - 可以使用
wsutil包发送和接收 WebSocket 消息。
第六部分：应用遥测
- 日志 用于记录应用程序的运行状态和事件。
- 结构化日志使用键值对记录数据，方便分析和查询。
- slog 和 zap 是 Go 中常用的日志库。
- 追踪 用于记录请求的执行路径，帮助识别性能瓶颈。
- 指标 用于监控应用程序的性能，例如请求数、错误率和延迟。
- Prometheus 是一个常用的指标监控系统。
- OpenTelemetry（OTel） 旨在提供一个统一的遥测框架，支持多种日志、追踪和指标工具。
第七部分：分布式缓存
- 分布式缓存 用于存储频繁访问的数据，减少延迟和提高读取吞吐量。
- 分布式缓存需要处理一致性、容错和数据过期等问题。
- 可以使用 sync.RWMutex 实现并发安全的缓存。
- Go 标准库中的 list 包可以实现 LRU 缓存淘汰策略。
- 可以使用 HTTP 作为分布式缓存的接口。
- 数据复制 可以确保数据在多个节点之间保持一致。
- 常见的复制方法包括主从复制、对等复制和发布-订阅模式。
- 一致性哈希 可以用于数据分片，将数据均匀分布到多个节点。
- 可以使用
json.Marshal和json.Unmarshal进行 JSON 序列化和反序列化。 - 使用 io.MultiWriter 可以将输出同时写入多个目标。
第八部分：高效的编码实践
- 资源重用 可以减少资源分配和释放的开销，提高性能。
- sync.Pool 可以用于重用临时对象，例如
bytes.Buffer。 - sync.Once 可以确保代码只执行一次，例如初始化全局变量。
- sync.OnceValue 和 sync.OnceValues 是
sync.Once的简化版本。 - singleflight.Group 可以防止重复执行相同的函数调用，减少资源浪费。
- mmap 可以用于高效地访问大文件和实现进程间通信。
- 必须始终确保资源在成功创建后被及时关闭，可以使用
defer关键字
第九部分：硬件自动化
- 程序可以通过监听 USB 设备事件来触发特定操作。
os.MkdirAll创建多级目录，os.Rename用于移动文件。/proc/mounts列出所有挂载的文件系统信息，可用于找到 USB 设备的挂载点。- 可以使用 D-Bus 发送 桌面通知。
- D-Bus
AddMatch用于监听特定信号。 - 程序可以通过读取
/sys/block获取存储设备的信息。
总而言之，本书涵盖了 Go 语言系统编程的多个方面，从并发控制、系统调用、文件操作、网络编程到应用遥测和硬件自动化。通过这些章节的学习，读者可以掌握使用 Go 构建高效、可靠的系统软件所需的技能。