# Tello智能信息处理平台

*若你的浏览器无法加载本页面中的图片，请将VPN软件设置为全局模式*

## 联系我们
Mail：liangguanghui@buaa.edu.cn

## 介绍
1. 此平台基于python语言开发，可用于控制大疆公司的Tello系列无人机，并利用无人机的摄像头、红外等传感器完成一系列视觉功能，包括：目标检测与跟踪（绿色小球与人脸）、手势控制、体态控制等。
也可控制Tello进行拍照、录像，以及做出一些花式动作。
   
<div align=center>
    <img src="https://github.com/Lguanghui/myTelloProject/raw/master/image/mainWin.png"/>
</div>
   
2. 项目文件中，`myScripts`文件夹涵盖了主要的代码文件，包括主程序`main.py`。`UIfile`文件夹涵盖了程序的各窗口初始代码（从`.ui`类型文件转化而来）。
    `ico`文件夹包含了各窗口界面用到的图标。

## 环境和移植方法

开发环境为python + QtDesigner，主要在macOS下进行开发，可移植到其他系统上。

使用到的python库包括：pyQt5,ffmpeg,av,pytorch,baidu-aip,opencv-python等。ffmpeg和av是用来解码视频的

运行我们的代码时，请先确保计算机连接到Tello的Wi-Fi，然后运行main.py。当在终端中使用命令
```shell
python3 main.py
```
直接运行时，可能会出现错误。这时请将`myScripts`文件夹中的内容移动到整个项目的根目录中，再尝试上面的命令。
当直接在PyCharm等IDE中运行时，一般不需要上述操作。

## 功能

### 无人机控制
通过此平台控制Tello无人机的方式有两种，一种是默认的键盘控制，第二种是语音控制。

#### 键盘控制

键盘控制一直处于开启状态。每个键盘键位对应的功能如下：

* `tab:`起飞
* `L/P/G/H:`降落/悬停/抛飞/手上降落
* `W/A/S/D:`向前/左/后/右
* `U/I:`向上/下
* `J/K:`顺/逆时针旋转
* `Z/X/C/V:`前/后/左/右空翻

#### 语音控制

使用语音控制时，还需再将网线连接到计算机上。这是因为，本项目中的语音识别功能使用了百度提供的语音识别API，使用时需联网获取识别结果。

**注意：当你使用语音控制功能时，请在百度智能云上申请一下语音识别技术API，并更改`myScripts/mySpeechRecognition.py`中的APP_ID、API_KEY、SECRET_KEY（我们的已经过期啦）**

有效语音指令如下：

* 起飞；
* 降落；
* 悬停；
* 向前/后/左/右/上/下飞x厘米（x=20~500)；
* 顺时针旋转x度（x=1~360)；
* 向前/后/左/右翻滚；
* 速度设为x厘米每秒（x=10~100)；
* 向前/后/左/右；(不建议，此指令会让无人机一直朝某个方向飞，直到得到“停”指令）；
* 停；

### 视觉功能

#### 人脸跟踪

在菜单栏开启人脸跟踪功能后，无人机会搜寻人脸目标（最好只有一个），然后靠近人脸并保持在一定的安全距离内，且能够随着人脸的移动而移动。

<div align=center>
    <img src="https://github.com/Lguanghui/myTelloProject/raw/master/image/face_track.png"/>
    <br>
    <p style="display: inline-block;border-bottom: 1px solid; color: rgba(145,145,128,0.89)">face_track</p>
</div>

#### 绿球跟踪

与人脸跟踪类似，开启此功能后，无人机能够跟随绿色小球（球不要太小）。

<div align=center>
    <img src="https://github.com/Lguanghui/myTelloProject/raw/master/image/ball_track.png"/>
    <br>
    <p>ball_track</p>
</div>

#### 手势控制

开启此功能后，会显示一个子窗口，并显示计算机摄像头视频流。识别出比划的手势后，无人机会做出相应的动作。为了避免连续识别并发出指令，我们设置了每次跳过一定帧数后再识别一次。

支持的手势如下：
* `双手合十：`启动；
* `大拇指向上：`起飞；
* `大拇指向下：`降落；
* `一/二/三/四/五/六：`向上/下/左/右/前/后飞x厘米；
* `七/八：`顺/逆时针旋转90度；
* `九：`悬停；

飞行速度与飞行步长与主界面中对滑块设置的值有关

与语音识别类似，我们的手势识别功能使用了百度提供的手势识别API，你需要更改`myScripts/myGesture.py`中的APP_ID、API_KEY、SECRET_KEY。

<div align=center>
    <img src="https://github.com/Lguanghui/myTelloProject/raw/master/image/gesture.png"/>
    <br>
    <p>ball_track</p>
</div>

#### 体态控制

我们加入这个功能的初衷是想通过人体的姿势来控制无人机。

<div align=center>
    <img src="https://github.com/Lguanghui/myTelloProject/raw/master/image/pose.png"/>
    <br>
    <p>posture</p>
</div>

但是我们没有时间去训练自己的轻量检测模型。我们寻找到了`AlphaPose`这个开源姿势检测库，并选择其中运行速度较快的一个模型融合进我们的平台中。
尽管如此，检测速度还是无法达到我们的预期。而且由于整个项目是在我的macOS系统上构建，无法使用CUDA加速计算，因此整体检测速度非常慢。

为了避免危险情况发生，我并没有为体态检测结果设置相应的无人机指令，只将体态检测结果显示在主界面上。

如果你感兴趣的话，可以在具备英伟达显卡和CUDA环境的计算机上重新将此功能构建一下，添加每种检测结果对应的无人机指令，主要代码在`myScripts/AlphaPose_control.py`中。

**注意：由于GitHub上传文件大小的限制，AlphaPose的模型文件我们无法上传至本仓库。假如你有需要的话，可以从下面的`AlphaPose`仓库里下载文件，或者联系我们获取。**

### 拍照和录像

在主界面点击拍照后，会将当前无人机原始画面以jpeg格式存储到本地。

点击录像后，程序开始将无人机原始画面以avi格式编码为视频流，再次点击录像按钮后，停止录像并将视频保存到本地。

## 不足

由于项目中使用了av库，我们无法在windows以及macOS系统上通过pyinstaller生成exe等可执行文件。

## 感谢

* [AlphaPose](https://github.com/MVIG-SJTU/AlphaPose)