ptinqsey9
/
for_you
1
0
Fork 1
Code Issues Pull Requests Projects Releases Wiki Activity

123

Browse Source
pull/4/head
songyunzheng 2 years ago
parent 782ca3ce36
commit 2dee5dc169
4 changed files with 0 additions and 82 deletions
Show Stats Download Patch File Download Diff File

27
README.md
Unescape View File

@ -1,27 +0,0 @@
### 工程简介：
#### 工程包括PC端以及android端：其中PC端包括AI运算部分以及Web服务部分，android端包括app以及网页部分。上述除Web服务部分均具有手语翻译功能，且均可实现本地运算与云上运算。
#### android端包括app及网页部分，在设备算力足够的情况下进行本地运算，如果算力不足则可选择云上运算。如果您想为本项目贡献更多，可以分享您的算力为他人提供运算。android端主要模块如下：
```
media_camera()//获取摄像头的视频流
media_pipe()//获取云上视频流，为他人提供运算
hands_recegnation()//对手语进行识别，转化为自然语言
word_show()//在本地输出转化后的自然语言
word_send()//向云端发送转化后的自然语言，为他人提供运算
word_input()//本地输入自然语言转化为手语动画
word_recv()//接收云端的数据转化为手语
hands_translation()//将输入的自然语言转化为手语数据
hands_3d()//根据数据生成3d手语动画
```
#### PC端包括AI运算部分以及Web服务部分，AI部分为其它设备提供算力支持，Web服务部分则进行提供android端网页链接及设备算力共享服务。PC端主要模块如下：
```
包含android所有算力共享服务
nginx-rtmp()//提供视频流传输服务
load_alancing()//负载均衡，为算力共享设备选择提供服务
Webserver()//为网页提供后端支持
```

0
doc/新建文本文档.txt
Unescape View File

0
other/新建文本文档.txt
Unescape View File

55
src/template/hand.html
Unescape View File

@ -1,55 +0,0 @@
<!DOCTYPE html>
<html>
<head>
<meta charset="utf-8">
<script src="https://cdn.jsdelivr.net/npm/@mediapipe/camera_utils/camera_utils.js" crossorigin="anonymous"></script>
<script src="https://cdn.jsdelivr.net/npm/@mediapipe/control_utils/control_utils.js" crossorigin="anonymous"></script>
<script src="https://cdn.jsdelivr.net/npm/@mediapipe/drawing_utils/drawing_utils.js" crossorigin="anonymous"></script>
<script src="https://cdn.jsdelivr.net/npm/@mediapipe/hands/hands.js" crossorigin="anonymous"></script>
</head>
<body>
<div class="container">
<canvas class="output_canvas" width="1280px" height="720px"></canvas>
</div>
<script type="module">
const videoElement = document.createElement("video");
const canvasElement = document.getElementsByClassName('output_canvas')[0];
const canvasCtx = canvasElement.getContext('2d');
function onResults(results) {
canvasCtx.save();
canvasCtx.clearRect(0, 0, canvasElement.width, canvasElement.height);
canvasCtx.drawImage(results.image, 0, 0, canvasElement.width, canvasElement.height);
if (results.multiHandLandmarks) {
for (const landmarks of results.multiHandLandmarks) {
console.log(landmarks)
drawConnectors(canvasCtx, landmarks, HAND_CONNECTIONS,
{color: '#00FF00', lineWidth: 5});
drawLandmarks(canvasCtx, landmarks, {color: '#FF0000', lineWidth: 2});
}
}
canvasCtx.restore();
}
const hands = new Hands({locateFile: (file) => {
return `https://cdn.jsdelivr.net/npm/@mediapipe/hands/${file}`;
}});
hands.setOptions({
maxNumHands: 2,
modelComplexity: 1,
minDetectionConfidence: 0.5,
minTrackingConfidence: 0.5
});
hands.onResults(onResults);
const camera = new Camera(videoElement, {
onFrame: async () => {
await hands.send({image: videoElement});
},
width: 1280,
height: 720
});
camera.start();
</script>
</body>
</html>
Write Preview
Loading…
Cancel
Save