From 38ff16f3cd58241904fd0ab04d95ea9ccee459e3 Mon Sep 17 00:00:00 2001 From: jialin Date: Fri, 14 Mar 2025 16:42:21 +0800 Subject: [PATCH] fix(style): always display offloads info --- src/locales/en-US/models.ts | 2 +- src/locales/ru-RU/models.ts | 65 +++++++++++++------ src/locales/zh-CN/models.ts | 2 +- src/pages/llmodels/components/data-form.tsx | 3 +- .../llmodels/components/deploy-modal.tsx | 11 +++- .../llmodels/components/instance-item.tsx | 1 - .../llmodels/components/update-modal.tsx | 17 ++++- 7 files changed, 72 insertions(+), 29 deletions(-) diff --git a/src/locales/en-US/models.ts b/src/locales/en-US/models.ts index 8f6f6f74..f8939847 100644 --- a/src/locales/en-US/models.ts +++ b/src/locales/en-US/models.ts @@ -115,5 +115,5 @@ export default { 'models.form.backend.warning': 'The backend for GGUF format models uses llama-box.', 'models.form.backend.warning.llamabox': - 'Use the llama-box backend, set the model path to a model file, like /usr/local/models/model.gguf. For Ollama models, use /usr/local/models/model.Ensure the model file format is correct.' + 'Use the llama-box backend, set the absolute model path to the model file, such as /usr/local/models/model.gguf. For sharded models, set the first shard file of the model, such as /usr/local/models/model-00001-of-00004.gguf.' }; diff --git a/src/locales/ru-RU/models.ts b/src/locales/ru-RU/models.ts index b1bfaf35..602241e3 100644 --- a/src/locales/ru-RU/models.ts +++ b/src/locales/ru-RU/models.ts @@ -13,8 +13,10 @@ export default { 'models.form.env': 'Переменные окружения', 'models.form.configurations': 'Конфигурации', 'models.form.s3address': 'S3-адрес', - 'models.form.partialoffload.tips': 'При включении CPU оффлоудинга GPUStack загружает максимум слоев на GPU для производительности. При нехватке ресурсов GPU часть слоев переносится на CPU. Полная CPU-инференция используется только при отсутствии GPU.', - 'models.form.distribution.tips': 'Позволяет распределить вычисления между одним или несколькими удаленными воркерами при нехватке ресурсов одного GPU/воркера.', + 'models.form.partialoffload.tips': + 'При включении CPU оффлоудинга GPUStack загружает максимум слоев на GPU для производительности. При нехватке ресурсов GPU часть слоев переносится на CPU. Полная CPU-инференция используется только при отсутствии GPU.', + 'models.form.distribution.tips': + 'Позволяет распределить вычисления между одним или несколькими удаленными воркерами при нехватке ресурсов одного GPU/воркера.', 'models.openinplayground': 'Открыть в Песочнице', 'models.instances': 'инстансы', 'models.table.replicas.edit': 'Редактировать реплики', @@ -22,7 +24,8 @@ export default { 'model.form.ollamaholder': 'Выберите или введите название модели', 'model.deploy.sort': 'Сортировка', 'model.deploy.search.placeholder': 'Поиск моделей в {source}', - 'model.form.ollamatips': 'Подсказка: ниже представлены предустановленные модели Ollama в GPUStack. Выберите нужную или введите модель для развертывания в поле 【{name}】 справа.', + 'model.form.ollamatips': + 'Подсказка: ниже представлены предустановленные модели Ollama в GPUStack. Выберите нужную или введите модель для развертывания в поле 【{name}】 справа.', 'models.sort.name': 'По имени', 'models.sort.size': 'По размеру', 'models.sort.likes': 'По лайкам', @@ -39,13 +42,16 @@ export default { 'models.search.nofiles': 'Нет доступных файлов', 'models.search.networkerror': 'Ошибка сетевого подключения!', 'models.search.hfvisit': 'Убедитесь, что доступен', - 'models.search.unsupport': 'Модель не поддерживается и может быть нефункциональна после развертывания.', + 'models.search.unsupport': + 'Модель не поддерживается и может быть нефункциональна после развертывания.', 'models.form.scheduletype': 'Тип планирования', 'models.form.categories': 'Категория модели', 'models.form.scheduletype.auto': 'Авто', 'models.form.scheduletype.manual': 'Вручную', - 'models.form.scheduletype.auto.tips': 'Автоматическое развертывание инстансов модели на подходящие GPU/воркеры в зависимости от текущих ресурсов.', - 'models.form.scheduletype.manual.tips': 'Позволяет вручную указать GPU/воркеры для развертывания инстансов модели.', + 'models.form.scheduletype.auto.tips': + 'Автоматическое развертывание инстансов модели на подходящие GPU/воркеры в зависимости от текущих ресурсов.', + 'models.form.scheduletype.manual.tips': + 'Позволяет вручную указать GPU/воркеры для развертывания инстансов модели.', 'models.form.manual.schedule': 'Ручное распределение', 'models.table.gpuindex': 'Индекс GPU', 'models.table.backend': 'Бэкенды', @@ -54,13 +60,19 @@ export default { 'models.table.layers': 'Слои', 'models.form.backend': 'Бэкенд', 'models.form.backend_parameters': 'Параметры бэкенда', - 'models.search.gguf.tips': 'GGUF-модели используют llama-box (поддерживает Linux, macOS и Windows).', - 'models.search.vllm.tips': 'Не-GGUF модели используют vox-box для аудио и vLLM (только x86 Linux) для остальных.', - 'models.search.voxbox.tips': 'Для развертывания аудиомодели снимите отметку GGUF.', + 'models.search.gguf.tips': + 'GGUF-модели используют llama-box (поддерживает Linux, macOS и Windows).', + 'models.search.vllm.tips': + 'Не-GGUF модели используют vox-box для аудио и vLLM (только x86 Linux) для остальных.', + 'models.search.voxbox.tips': + 'Для развертывания аудиомодели снимите отметку GGUF.', 'models.form.ollamalink': 'Больше моделей в библиотеке Ollama', - 'models.form.backend_parameters.llamabox.placeholder': 'например: --ctx-size=8192', - 'models.form.backend_parameters.vllm.placeholder': 'например: --max-model-len=8192', - 'models.form.backend_parameters.vllm.tips': 'Подробнее о параметрах {backend}', + 'models.form.backend_parameters.llamabox.placeholder': + 'например: --ctx-size=8192', + 'models.form.backend_parameters.vllm.placeholder': + 'например: --max-model-len=8192', + 'models.form.backend_parameters.vllm.tips': + 'Подробнее о параметрах {backend}', 'models.logs.pagination.prev': 'Предыдущие {lines} строк', 'models.logs.pagination.next': 'Следующие {lines} строк', 'models.logs.pagination.last': 'Последняя страница', @@ -68,12 +80,15 @@ export default { 'models.form.localPath': 'Локальный путь', 'models.form.filePath': 'Путь к модели', 'models.form.backendVersion': 'Версия бэкенда', - 'models.form.backendVersion.tips': 'Фиксация версии обеспечивает стабильность бэкенда при обновлениях GPUStack.', + 'models.form.backendVersion.tips': + 'Фиксация версии обеспечивает стабильность бэкенда при обновлениях GPUStack.', 'models.form.gpuselector': 'Селектор GPU', - 'models.form.backend.llamabox': 'Для моделей формата GGUF. Поддержка Linux, macOS и Windows.', + 'models.form.backend.llamabox': + 'Для моделей формата GGUF. Поддержка Linux, macOS и Windows.', 'models.form.backend.vllm': 'Для моделей не-GGUF формата. Только x86 Linux.', 'models.form.backend.voxbox': 'Для аудиомоделей не-GGUF формата.', - 'models.form.search.gguftips': 'Для воркеров на macOS/Windows отметьте GGUF (для аудиомоделей снимите).', + 'models.form.search.gguftips': + 'Для воркеров на macOS/Windows отметьте GGUF (для аудиомоделей снимите).', 'models.form.button.addlabel': 'Добавить метку', 'models.filter.category': 'Фильтр по категориям', 'models.list.more.logs': 'Показать больше', @@ -81,14 +96,24 @@ export default { 'models.localpath.gguf.tips.title': 'Модель формата GGUF', 'models.localpat.safe.tips.title': 'Модель формата Safetensors', 'models.localpath.shared.tips.title': 'Шардированная GGUF-модель', - 'models.localpath.gguf.tips': 'Укажите файл модели, например: /usr/local/models/model.gguf.', - 'models.localpath.safe.tips': 'Укажите директорию модели с файлами .safetensors и config.json.', + 'models.localpath.gguf.tips': + 'Укажите файл модели, например: /usr/local/models/model.gguf.', + 'models.localpath.safe.tips': + 'Укажите директорию модели с файлами .safetensors и config.json.', 'models.localpath.chunks.tips': `Укажите первый шард модели, например: /usr/local/models/model-00001-of-00004.gguf.`, - 'models.form.replicas.tips': 'Несколько реплик обеспечивают балансировку нагрузки для { api } запросов.', + 'models.form.replicas.tips': + 'Несколько реплик обеспечивают балансировку нагрузки для { api } запросов.', 'models.table.list.empty': 'Модели отсутствуют!', - 'models.table.list.getStart': 'Начните работу с DeepSeek-R1-Distill-Qwen-1.5B', + 'models.table.list.getStart': + 'Начните работу с DeepSeek-R1-Distill-Qwen-1.5B', 'models.table.llamaAcrossworker': 'Llama-box между воркерами', 'models.table.vllmAcrossworker': 'vLLM между воркерами', 'models.form.releases': 'Релизы', - 'models.form.moreparameters': 'Описание параметров' + 'models.form.moreparameters': 'Описание параметров', + 'models.table.vram.allocated': + 'TODO: Translate key "models.table.vram.allocated"', + 'models.form.backend.warning': + 'TODO: Translate key "models.form.backend.warning"', + 'models.form.backend.warning.llamabox': + "TODO: Translate key 'models.form.backend.warning.llamabox'" }; diff --git a/src/locales/zh-CN/models.ts b/src/locales/zh-CN/models.ts index d310740d..9251732c 100644 --- a/src/locales/zh-CN/models.ts +++ b/src/locales/zh-CN/models.ts @@ -110,5 +110,5 @@ export default { 'models.table.vram.allocated': '分配显存', 'models.form.backend.warning': 'GGUF 格式模型后端用 llama-box。', 'models.form.backend.warning.llamabox': - '使用 llama-box 后端，模型路径需指向 GGUF 文件，如 /usr/local/models/model.gguf，如果是从 Ollama 下载的模型请用 /usr/local/models/model 请确保格式正确。' + '使用 llama-box 后端时，设置模型文件的绝对路径，如 /usr/local/models/model.gguf。对于分片模型，设置模型的第一个分片文件，如 /usr/local/models/model-00001-of-00004.gguf。' }; diff --git a/src/pages/llmodels/components/data-form.tsx b/src/pages/llmodels/components/data-form.tsx index 52f4a2e0..db75b071 100644 --- a/src/pages/llmodels/components/data-form.tsx +++ b/src/pages/llmodels/components/data-form.tsx @@ -217,8 +217,9 @@ const DataForm: React.FC = forwardRef((props, ref) => { return; } const isEndwithGGUF = _.endsWith(value, '.gguf'); + const isBlobFile = value.split('/').pop().includes('sha256'); let backend = backendOptionsMap.llamaBox; - if (!isEndwithGGUF) { + if (!isEndwithGGUF && !isBlobFile) { backend = backendOptionsMap.vllm; } props.onBackendChange?.(backend); diff --git a/src/pages/llmodels/components/deploy-modal.tsx b/src/pages/llmodels/components/deploy-modal.tsx index d9243fef..5f302da2 100644 --- a/src/pages/llmodels/components/deploy-modal.tsx +++ b/src/pages/llmodels/components/deploy-modal.tsx @@ -81,8 +81,15 @@ const AddModal: React.FC = (props) => { const updateShowWarning = (backend: string) => { const localPath = form.current?.getFieldValue?.('local_path'); + const isBlobFile = localPath?.split('/').pop()?.includes('sha256'); - console.log('upateShowWarning', backend, localPath); + if (isBlobFile) { + setWarningStatus({ + show: false, + message: '' + }); + return; + } if (source !== modelSourceMap.local_path_value || !localPath) { return; @@ -233,7 +240,7 @@ const AddModal: React.FC = (props) => { )}
{warningStatus.show && ( diff --git a/src/pages/llmodels/components/instance-item.tsx b/src/pages/llmodels/components/instance-item.tsx index 192e7825..c68604a3 100644 --- a/src/pages/llmodels/components/instance-item.tsx +++ b/src/pages/llmodels/components/instance-item.tsx @@ -364,7 +364,6 @@ const InstanceItem: React.FC = ({ } return ( diff --git a/src/pages/llmodels/components/update-modal.tsx b/src/pages/llmodels/components/update-modal.tsx index bfa50b4a..e29df346 100644 --- a/src/pages/llmodels/components/update-modal.tsx +++ b/src/pages/llmodels/components/update-modal.tsx @@ -98,6 +98,16 @@ const UpdateModal: React.FC = (props) => { const updateShowWarning = (backend: string) => { const localPath = form.getFieldValue?.('local_path'); + const isBlobFile = localPath?.split('/').pop()?.includes('sha256'); + + if (isBlobFile) { + setWarningStatus({ + show: false, + message: '' + }); + return; + } + if (formData?.source !== modelSourceMap.local_path_value || !localPath) { return; } @@ -132,7 +142,7 @@ const UpdateModal: React.FC = (props) => { } form.setFieldValue('backend_version', ''); handleSetGPUIds(val); - updateShowWarning(backend); + updateShowWarning(val); }; const handleOnFocus = () => { @@ -145,8 +155,9 @@ const UpdateModal: React.FC = (props) => { return; } const isEndwithGGUF = _.endsWith(value, '.gguf'); + const isBlobFile = value.split('/').pop().includes('sha256'); let backend = backendOptionsMap.llamaBox; - if (!isEndwithGGUF) { + if (!isEndwithGGUF || !isBlobFile) { backend = backendOptionsMap.vllm; } handleBackendChange?.(backend); @@ -419,7 +430,7 @@ const UpdateModal: React.FC = (props) => { > {warningStatus.show && (