You can not select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.

344 lines
23 KiB

This file contains ambiguous Unicode characters!

This file contains ambiguous Unicode characters that may be confused with others in your current locale. If your use case is intentional and legitimate, you can safely ignore this warning. Use the Escape button to highlight these characters.

# 2018操作系统课程设计最终报告
## Rust OS for x86_64 SMP
计53 王润基 2015011279
2018.05.25
## 摘要
这是清华大学2018年操作系统课的课程设计项目为期约两个月。本项目的初衷是尝试使用Rust这一新兴的系统级编程语言来写OS并利用它主推的内存和线程安全特性进行SMP多核优化。
由于时间有限以及对其复杂度的低估在课程结束时实际完成的工作是用Rust重新实现了uCore教学系统的大部分功能——我们的起点是《Writing an OS in Rust》系列文章的blog_osx86平台相关部分的各个驱动从各种OS中摘取进程管理部分完全重写同时支持运行xv6_x86-64[3]和ucore[4]的用户程序文件系统部分作为单独的模块重写并实现了一个C语言兼容层以对接到ucore中。而SMP部分仅仅做到了启动多核没来得及做深入研究和优化。
整个项目过程为使用Rust编写OS积累了诸多经验。Rust的安全哲学、类型系统、所有权机制对于编写OS大有助益。与C相比在编写Rust时开发者更容易从高层的视角来看待问题这对于控制一个复杂度极高的OS项目是很有帮助的。但是另一方面Rust语言本身不能消除软件固有的复杂度在脱离Rust约束的底层领域依然需要谨慎的设计以防Bug的发生这些是我们需要认识到的局限性。
我们期望这个项目在短期内实现uCore的全部功能未来能够比肩甚至取代C语言版本的uCore成为新一代的教学操作系统使之更加简洁、安全、模块化。
## 目录
[TOC]
## 实验概述
### 实验目标和完成情况
本项目最初的目标是:
在blog_os的基础上移植ucore到Rust然后参考sv6进行SMP优化。
1. 阅读《Writing an OS in Rust》以blog_os为案例学习RustOS的风格。
2. 阅读xv6xv6-x86_64ucore_os_labucore_plus代码学习x86_64下SMP的实现细节。
3. blog_os已经实现了64位下的内存管理和中断还需实现线程、调度、文件系统。
4. 实现SMP参考sv6进行优化使用commuter进行测试。
我们计划在第7-10周和其它Rust组合作完成uCore的移植第11-13周完成SMP的实现和优化。
但是,由于以下原因,项目只完成了预定计划的一半:
* 时间紧张,人手短缺
* 低估了OS的复杂度和Debug消耗的时间
* 初始框架不完善以及OS的高耦合性导致难以组间合作
截止第13周项目移植完成了uCore的整体框架和大部分功能
* 基础驱动:全部完成
* 内存管理:框架完成,一些算法没有实现
* 进程管理:近乎完成,可以正常运行大部分用户程序
* 同步互斥:没写
* 文件系统SFS和VFS作为单独模块实现完毕还没对接到进程中
具体完成过程和内容参见下文,各部分完成情况清单参见[status.md](../status.md)。
### 前期调研情况
最开始时在老师的指示下我们首先调研了Rust for RISCV的可能性。在2017年底才刚刚有了RISCV-Rust-Toolchain也有人成功用它在HiFive上运行。但我们和老师都没法在本机上把这套工具链跑起来而且它刚刚诞生十分不稳定于是我们放弃了RISCV这条道路。
在此项目开始时开源界已经有不少RustOS的项目
* Redox这是目前完成度最高的RustOS微内核架构平台x86_64
* 《Writing an OS in Rust》& blog_os这是一个从零开始写RustOS的教程平台x86_64
* rv6这是一个xv6的Rust移植然而它止步于内存管理并且是完全C风格的
* CS140e这是斯坦福2018年新开的实验性课程用Rust写的教学OS平台arm/RaspberryPi
综合考虑我们决定在blog_os的基础上移植/补全ucore的功能。
在第7周方案报告时我们已经读完了《[Writing an OS in Rust](https://os.phil-opp.com)》第一版的全部10篇博客建立起了开发环境并开始移植一些驱动同时熟悉Rust语言和生态。值得一提的是我们实现了Rust和C语言互操作这使得我们对移植工作多了几分信心。
关于前期调研的其它内容,详见[中期汇报文档](./MidReport.md)。
### 小组成员分工及组间合作情况
由于某些原因我的队友朱书聪同学中途跑路了于是我完成了99%的实际开发工作。
同期进行课程设计的还有两个Rust组
* 第13组ARM组他们的工作基于CS140e的框架把uCore移植到ARM上。
* 第15组驱动组他们和我们一样基于blog_os的框架重点在驱动和内核可加载模块上。
我们三个组之间没有显式地合作,即各自维护独立的代码仓库。
我们在第7周进行过一次讨论结论是很难维护一个主代码。
* 对比ARM组我们双方的起点完全不同CS140e提供了一个完整的OS框架而blog_os只提供了中断和页表管理。并且当时我们对OS刚刚上手完全无法进入对方的平台把框架统一起来。
* 对比驱动组我们基于共同的起点但这个起点太低了难以并行地开发。比如uCore都是每个lab依赖于之前所有lab我们的起点相当于不到lab1。虽然如此但事实上在之后我们两组共享了绝大部分代码其实应该merge一下的……
因此我们之间的合作仅限于互相借鉴把别的组写好的可以复用的部分拿过来用。比如我们借用了驱动组写好的IDE驱动参考了ARM组的进程管理框架。
## 实际完成的工作
在这两个月共8周的时间中前两周主要是调研和熟悉环境后五周完成实际开发。共累计180次commits为此投入了150h以上的精力。没有功劳也有苦劳啊~
以下大致按时间顺序列举了完成的主要工作,详细内容可查看日志:
### 1. 将内核移到高地址区
blog_os的内核位于低地址区它在进入Rust前的汇编中设置了一个将最低1G空间恒等映射的页表并在进入Rust后根据内核实际占用的空间构造了一个新的页表这一操作称为内核重映射目的是防止栈溢出并精细地管理内存。
在此基础上,我做了以下改动:
* 修改linker script将Kernel的虚地址重置到高地址区但实地址不变。
* 修改初始页表将四级页表第510项内核虚地址区也映射到低1GB物理空间。
由于BootLoader开始时还处于32位保护模式不能使用64位的虚地址因此在进入Rust之后才能把页表第0项撤销掉。
* 修改BootLoader使之进入Rust时rip和rsp都使用新的虚地址。
这里遇到了以下问题:
* 链接时由于段名称错误导致属性不正确最终导致了PageFault
* 32位跳转到64位写法不正确链接时报错relocation truncated to fit: R_X86_64_PC32
### 2. 设备和多核的初始化
blog_os只实现了中断处理还没有实现对设备的操作。
我完成了以下设备的初始化:
* ACPI参考xv6 x86_64用Rust重写
* LocalAPIC链接C代码
* IOAPIC参考xv6 x86_64用Rust重写
* PIT时钟复制Redox代码
* IDE后期借用驱动组的成果
* 键盘链接C代码
* 串口复制Redox代码
* VGAblog_os写好了
* 启动多核参考xv6 x86_64用Rust重写
这时基本达到了lab1的程度。
### 3. SFS文件系统
由于文件系统是OS无关的我把它分离出来作为一个Rust库来写[Github](https://github.com/wangrunji0408/SimpleFileSystem-Rust)。
它内部分为四层由低到高硬盘数据结构层SFS层VFS层C兼容层。除此之外还附有单元测试和mksfs命令行工具未完工
目前该模块已经通过C兼容层链接到了uCore上可以替换C语言的实现在RustOS中直接操作VFS层实现了从磁盘中读取用户程序。日后在此框架下可以用Rust实现更多FS只要它们实现Rust的VFS接口就可以同时被RustOS和uCore使用。
这部分的开发主要分为两个阶段SFS层和C兼容层。前者专注于SFS的逻辑几乎不含底层细节用Rust写起来非常顺畅后者则要经常和C语言接口打交道充满了各种unsafe操作实现起来比较艰难此外还需要考虑如何让双方的接口配合起来工作相当有挑战性。
这部分开发过程历时一周实际有效代码约1300行其中C兼容层就占了450行和SFS层相当而代替掉的uCore代码约1000行。并没有比想象中要少。
更多详细内容,参见[SFS移植报告](https://github.com/wangrunji0408/SimpleFileSystem-Rust/blob/master/docs/rust_port_report.md)。
### 4. Re: 从零开始的进程管理
这部分是整个项目中最难的一块。它的复杂度和SFS相当同时又和底层机制紧密耦合依赖于内存管理和中断处理。blog_os在进程管理上是白纸一张需要从头写起。我主要参考了xv6和uCore分阶段完成了这个模块
1. 借用Redox的中断处理入口函数保存下TrapFrame。
2. 建立最简单的进程控制块`Process`和调度器`Processor`为一个内核函数构造TrapFrame通过直接改写中断时的tf使之返回到新的内核线程。
3. 为每个线程分配内核栈中断时不再改写tf而是在中断处理结束时修改rsp来实现线程切换。
4. 仿照Lab1 Challenge新建两个软中断ToU/ToK手动切换内核态和用户态。
5. 将一个xv6二进制用户程序链接到Kernel使用一个ELF解析库读出其各段信息。
6. 在内存管理模块中新增类似mm和vma的内存描述结构`MemorySet`并实现从ELF段信息的转换和它在页表上的映射。
7. 为用户程序构造TrapFrame和页表反复调试直到可以执行用户程序。
8. 实现一个最基础的系统调用使得用户程序可以回到内核态。注意需要在每次进入用户态前在TSS中设置返回内核态时的内核栈rsp。
9. 实现Fork系统调用需要谨慎处理页表切换。
10. 学习x86_64下的32位兼容模式使得可以运行uCore的32位用户程序。
11. 为了方便测试各个用户程序把整个sfs.img链接进来通过之前写好的SFS模块读取所有用户程序。
12. 实现一个简易事件处理器,支持程序的睡眠和唤醒。
13. 为了在用户程序发生异常时中止其运行发现Redox版本的中断处理不统一遂废弃之改用xv6/uCore的实现修改后直接修复了一个长期阴魂不散的Bug。
14. 将散落在各处的对rsp的修改统一到中断处理的最后。
15. 发现sys_wait是一个异步操作需要把`(int*)store`保存下来等到某个程序exit后再赋值。修改后通过了`waitpid`函数的测试。
16. 阅读xv6文档后惊讶地发现它是通过switch函数直接在内核态切换线程来实现调度的这意味着我前四周ucore也没学明白在这种机制下上面的问题就不再是问题了。于是我又引入了switch机制修改了新进程的初始内核栈内容中断处理时就不再修改rsp了。
17. 参考uCore的调度模块实现了RRScheduler和StrideScheduler。
至此RustOS已经支持了绝大多数uCore用户程序的运行具体清单见[status.md](../status.md)。
整个开发过程历时两周。平台无关部分的实际有效代码约800行平台相关部分构造TrapFrame和switch约100行比C语言的代码量少一些syscall 200 + schedule 300 + proc 800 = 1300
现在完成后再回头看,发现其实进程模块的依赖相当少:
* 中断处理部分只需特定平台提供switch函数以及一个新线程的初始内核栈内容。
* 内存管理部分:只需提供页表构造、复制(以及数据的复制)和切换操作。
于是我就想可不可以把进程管理也做成OS无关的独立模块Rust extern crate通过接口提供必要的依赖支持呢……
### 5. 支线任务
以上是这两个月完成的主要工作,接下来列举一些中途穿插完成的小任务,有些是为更好地开发而进行的基础性工作,有些是没有进入主分支的尝试性工作:
#### 5.1 C语言互操作
Rust调用C
* 对于完整的C语言库Rust提供了[Bindgen](https://rust-lang-nursery.github.io/rust-bindgen/)工具来自动生成绑定代码。
* 对于零星的几个函数直接使用extern导入函数符号即可。
C调用Rust
* 在Rust中使用`extern "C"`来定义函数,并加上`#[no_mangle]`禁止改名在库的顶层声明为pub即可导出。
#### 5.2 TravisCI
blog_os自带了一个travis脚本我在此基础上进行了扩展使之支持集成测试。
为了能在travis上运行QEMU并获得结果需要一个从内部退出QEMU的方法
- 运行qemu时加入 -device isa-debug-exit
- 执行outb(0x501, k)会退出qemu错误码为2k+1
#### 5.3 未被整合的内存管理模块
在实现SFS文件系统前我试图把内存管理模块也作为独立的库来写因为貌似除了页表外其它算法都是平台无关的。
于是我新开了[一个库](../crate/memory/)在里面定义了一个页表接口并针对此实现了两个页交换算法。为了对它们单元测试还写了一个假的页表。结果当我想把它引入OS时遇到了阻碍整个OS对现有代码高度依赖很难一口气把它们抽离出去于是不了了之。现在想来这么做是行不通的或许应该渐进式地抽象出接口而不是造出一个空中楼阁硬往里套。
#### 5.4 Copy-on-write
在实现进程Fork时被一个Bug卡了好久于是那天我换了个方向为页表实现了写时复制机制。
本来这个功能也是计划写在上面提到的独立模块里的,但由于合不进来就没敢这么做。
借助Rust的语言支持我可以把与这个拓展相关的全部内容代码、文档、测试写在[一个文件](../src/arch/x86_64/paging/cow.rs)里。由于要为每个物理帧维护额外的引用计数信息还开了一个全局的Map不像uCore对每个帧都建立信息块放在一起
#### 5.5 CLion配合gdb调试 & 调试经验
CLion配合gdb调试的方法详见日志2018.05.18的记录
不过这个方法用得不多。在大部分情况下OS都会触发TripleFault直接重启此时就需要借助QEMU来进行Debug
- 运行QEMU时加入参数-d int即可显示每次中断时的CPU信息
- 发生PageFault时检查RPI出错位置CR2访存目标错误码出错原因
- 在反汇编中查看rip对应的代码可用`make asm`命令)
#### 5.6 日志模块和彩色输出
Log模块是软件开发中一种常用的库它可以支持在程序各处记录不同等级的日志汇总到一起统一输出。我在RustOS中引入了这个库并实现了根据不同日志等级以不同的颜色进行输出还支持在运行前对指定等级的日志进行过滤方便debug。
## 实验总结
在整个移植过程中我并不会直接照搬C语言的实现而是去参考其他RustOS的设计尽量使用Rust的风格和视角去重新审视OS。
接下来列举了一些我感受较深的Rust特性并尝试去分析这些特性是如何帮助OS开发的
#### Rust的安全“哲学”
Rust保证安全的方式是尝试把系统正确性证明整合到语言本身当中来。Rust的类型系统充当了specification的角色而Rust编译器则是进行“证明”的工具。凡是遵守这套规则的代码Rust保证它一定是内存安全的。
另一方面Rust也是一个注重效率和实际的语言因此在某些场合下必须绕过这些约束由于OS中需要直接控制内存这种需求大量存在。针对这一现实Rust提供了unsafe块在它内部可以自由地通过指针访存。这背后的哲学是显式地指出不安全并使用安全封装和管理不安全。
因此在实际操作中应该尽量减少unsafe块的数量并把他们集中封装起来对外提供安全的接口最好还要在文档中论证为什么这样做是安全的。
Rust从不会放松对安全的要求但出于实际考虑它可以允许把编译时约束转移到运行时例如MutexRefCell也允许把安全保证甩锅给程序员unsafe块
unsafe块是一个精妙的设计它总是在你想偷懒破坏安全性的时候给你带来小小的骚扰这种不爽敦促你要赶快消灭它于是程序的安全性就在日常点滴中得到了保证。例如你定义了一个可变的全局变量那么所有对它的访问都需要用unsafe包起来于是你就会考虑能不能不用这个全局变量或者用Mutex把它包起来。在C/C++中可不是这样定义全局变量、忘记访问时加锁就像吃饭喝水一样自然。等一上多线程才发现大事不妙后悔自己当初的放纵。正如知乎某答案所描述“Rust编译时想撞墙C++:调试时想跳楼”。
#### 实现安全的工具:类型系统
为Rust提供安全保证的工具是其强大的类型系统类似Haskell它鼓励开发者使用自定义类型封装各种概念并通过特性`Trait`约束类型的行为以达到类似Coq形式化证明的效果。
一个印象深刻例子是《Writing an OS in Rust》作者实现的x86_64页表它是如此优秀以至于被Redox全盘采用。接下来简单介绍一下它的实现感受一下如何让编译器帮我们防止Bug的发生。
首先我们来列举一下页表中有哪些概念,以及可以做哪些事情:
* 在x86_64的四级页表下一个常用的技巧是将根页表最后一项映射到自己这样就可以通过虚地址访问任意级的页表。如果要编辑一个非活跃的页表I不是CR3所指向的那个需要先将活跃页表A的最后一项指向I编辑过后再恢复回来。在编辑过程中不能修改A本身。也就是根页表最后一项独占所有页表的“编辑权”
* 活跃页表只能有一个在重置CR3后被换上的非活跃页表与原来的活跃页表互换。
* 前三级页表的项指向下一级页表,而最后一级页表项指向被映射的页。
在blog_os中作者定义了若干类型来完成这些约束
* `Mapper`表示一个可以被编辑的页表内部记录了根页表的物理地址实现了各种map/unmap方法。
* `InactivePageTable`:表示一个非活跃页表,内部记录了根页表的物理地址,它没有任何方法。
* `ActivePageTable`表示当前活跃页表内部是一个Mapper。
* 它“继承”DerefMapper的所有方法表明可以直接编辑它。
* 它提供一个switch方法用来和一个非活跃页表互换
```rust
fn switch(&mut self, new_table: InactivePageTable) -> InactivePageTable
```
内部的实现是切换CR3并把自己作为InactivePageTable返回出去。
* 它提供一个with方法用来编辑非活跃页表
```rust
fn with(&mut self, table: &mut InactivePageTable, f: impl FnOnce(&mut Mapper))
```
其中第三项是一个调用者提供的函数在里面可以把table当做Mapper来编辑。
* 在Mapper内部还定义了`Table<Level>`类型其中Level是一个枚举类型的泛型参数可以取1234四种值。对于`Table<2/3/4>`都实现了`next_table`等方法,返回的类型分别是`Table<1/2/3>`,而`Table<1>`就没有。这波操作直接在编译期保证了使用者不会犯错。
更详细的说明可以参阅[《Writing an OS in Rust》post 6](https://os.phil-opp.com/page-tables/) 。
#### 所有权机制与资源管理
Rust将C++中的RAII和移动语义发扬光大形成了所有权机制并衍生出借用机制、生命周期机制在不牺牲性能的情况下保证安全。
由于OS中涉及复杂的资源管理所有权机制在此大有可为。上面提到的页表就是一个例子。除此之外物理页帧、内核栈、内存空间、线程、CPU等等概念都与资源相关。而对于共享资源例如共享内存段Rust中也有现成的解决方案例如Rc引用计数指针Cow写时复制对象。我在写RustOS时就尽量使用资源对象这样就能自动回收资源或在发生泄漏时及时得到警告。
所有权机制导致的另一个结果就是Rust中的对象有严格的层级关系上层拥有下层的所有权。这使得结构更加清晰但丧失了一定的灵活性而且经常出现深层嵌套。
例如锁`Mutex<T>`它就“拥有”里面的具体类型T你想访问里面的内容就必须先从外部开锁`mutex.lock()`,如果此时没有其它人使用,就会返回一个`MutexGuard<T>`这个对象拥有T的“访问权”你可以通过它操作T。当MutexGuard离开作用域销毁时会自动调用析构函数给mutex解锁。
反观C给人的感觉是所有的对象都是平行地散落在内存各处它们之间只是互相引用而要说谁控制谁那只有开发者才知道。假如开发者也糊涂就会出现内存泄漏或是重复释放。C中的锁和被锁对象往往是平级关系上锁这件事需要文档来说明这导致我们经常忘了上锁。
#### 模块化
Rust提供了完善的包管理系统和模块系统可以很方便地实现模块化。C语言由于缺乏完善的接口机制也没有泛型模块化搞起来比较别扭。
但是对于OS这种高度耦合的系统实现模块化仍然相当困难。我在本次实验中进行了模块化的尝试其中文件系统部分成功独立出去进程管理部分看起来有些希望而内存管理部分则困难重重。
不过对于驱动和辅助性代码例如读取ELF使用外部模块是完全可行的。这方面《Writing an OS in Rust》的作者起到了很好的带头作用。他在写blog_os的同时就顺手写了一些库都很好用。他还在GitHub上建立了一个组织[Rust-OSDev](https://github.com/rust-osdev),专门提供各种库。上面提到的页表,马上就会进入下一版的[x86_64库](https://docs.rs/x86_64/0.2.0-alpha-019/x86_64/)届时又可以精简掉RustOS大约500行的代码了
## 后期计划
(如果还干的动的话……)
1. 完成uCore所有8个lab功能的移植
2. 提供完整的文档达到和uCore同样的可用度和可读性
3. 完成xv6所有功能的移植主要是多核运行程序
4. 学习借鉴sv6搞SMP优化
5. 把进程管理和内存管理模块化
6. 尝试和ARM组合并
## 日志
详见[日志文档](./Log.md)
## 参考代码和文献
1. [Writing an OS in Rust](https://os.phil-opp.com/)从零开始用Rust写OS的详细教程
整个项目在此blog第一版[post10](https://github.com/phil-opp/blog_os/releases/tag/post_10)的基础上开发
2. [Redox](https://github.com/redox-os/redox)开源界完成度最高的RustOS
参考了它的代码结构,直接复制了一些设备驱动代码
3. [xv6-x86_64](https://github.com/jserv/xv6-x86_64)xv6的x86_64移植版
[xv6中文文档](https://th0ar.gitbooks.io/xv6-chinese/content/)
4. [ucore_os_lab](https://github.com/chyyuu/ucore_os_lab)
[ucore_os_docs](https://legacy.gitbook.com/book/chyyuu/ucore_os_docs)
5. CS140e