import sys import streamlit as st from PIL import Image import tensorflow import numpy as np import base64 from io import BytesIO import joblib import os from streamlit_drawable_canvas import st_canvas BASE_DIR = os.path.dirname(os.path.abspath(__file__)) # 页面布局 st.set_page_config(page_title="图像分类平台", page_icon="🔬", layout="wide") # 页面布局 st.title('图像分类平台') # 创建两个列，每个列可以放置不同的内容 col1, col2 = st.columns(2) # 在第一个列中放置内容 with col1: st.header('手写数字识别') # 创建画布 canvas = st_canvas( fill_color="#FFFFFF", # 画布背景色 stroke_color="#000000", # 笔触颜色 height=300, # 画布高度 width=300, # 画布宽度 drawing_mode="freedraw", # 绘制模式 key='canvas' ) # 添加提交按钮 user_drew = st.button("提交并预测数字") # 加载模型 model_path = os.path.join(BASE_DIR, "model/number_model.h5") if os.path.isfile(model_path): try: num_model = tensorflow.keras.models.load_model(model_path, compile=True) except Exception as e: st.error(f"加载模型时发生错误: {e}") num_model = None else: st.error(f"模型文件不存在: {model_path}") num_flag = 1 # 执行预测 if user_drew: if canvas is not None and canvas.image_data is not None: try: # 将 NumPy 数组转换为 PIL 图像 image = canvas.image_data # 检查 canvas.image_data 是否是有效的图像数据 print("Canvas image data shape:", canvas.image_data.shape) print("Canvas image data dtype:", canvas.image_data.dtype) if canvas.image_data.shape[-1] == 4: my_image = canvas.image_data[..., 3:] else: my_image = canvas.image_data # 显示用户绘制的图像 st.image(my_image, caption='您绘制的数字') print("my_image shape:", my_image.shape) # 创建一个新的 PIL 图像，模式设置为 'L'（灰度） pil_image = Image.new('L', (my_image.shape[1], my_image.shape[0])) # 将 my_image 的数据复制到 PIL 图像中 pil_image.putdata(my_image.reshape(-1)) image = pil_image.resize((28, 28), Image.Resampling.LANCZOS) # 调整大小 st.image(image, caption='调整大小后') # 归一化图像数据 image_array = np.array(image) / 255.0 image_array = np.expand_dims(image_array, axis=-1) # 添加通道维度 image_array = np.expand_dims(image_array, axis=0) # 添加批次维度 # 显示用户绘制的图像 st.image(image_array[0, :, :, 0], caption='处理后的图像') # 打印图像数组的形状和数据类型 print("Image array shape:", image_array.shape) print("Image array dtype:", image_array.dtype) # 打印最小和最大像素值 print("Min pixel value:", image_array.min()) print("Max pixel value:", image_array.max()) # 使用模型进行预测 num_class_labels = [0, 1, 2, 3, 4, 5, 6, 7, 8, 9] predictions = num_model.predict(image_array)[0] # st.write(f"predictions：{predictions}") predicted_class_index = np.argmax(predictions) # st.write(f"predicted_class_index：{np.argmax(predictions)}") predicted_class = num_class_labels[predicted_class_index] # st.write(f"predicted_class：{num_class_labels[predicted_class_index]}") # 获取预测的概率值 predicted_probabilities = predictions * 100 st.write(f"对于您绘制的数字的预测结果是：") st.write(f"类别：'{predicted_class}' 概率：{predicted_probabilities[predicted_class_index]:.2f}") except Exception as e: # 显示错误信息 st.error("图像处理出错") st.exception(e) num_flag = 0 else: st.warning("没有检测到图像数据。请在画布上绘制数字。") num_flag = 0 # 在第二个列中放置内容 with col2: models = { "动物类别判断": tensorflow.keras.models.load_model(os.path.join(BASE_DIR, "model", "animal_model.h5"), compile=True), "花卉类别判断": tensorflow.keras.models.load_model(os.path.join(BASE_DIR, "model", "flower_model.h5"), compile=True), "风景地点判断": tensorflow.keras.models.load_model(os.path.join(BASE_DIR, "model", "scenery_model.h5"), compile=True), } know_advice = ["动物类别判断", "花卉类别判断"] def generate_report(selected_model, predicted_class, advice, image_data, predicted_probabilities, class_labels): try: image = Image.open(BytesIO(image_data)).convert('RGB') # 使用提供的图像数据打开图像 except Exception as e: st.error("处理图片时出现问题，请确认图片格式和数据。") st.error(f"错误信息: {e}") return # 将图片转换为Base64编码 buffered = BytesIO() image.save(buffered, format="PNG") img_str = base64.b64encode(buffered.getvalue()).decode('utf-8') # 构建HTML代码来显示图片 img_html = f'Uploaded Image' # 构建预测结果和概率信息 predictions_info = "" for i, prob in enumerate(predicted_probabilities): predictions_info += f"{class_labels[i]}: {prob:.2f}%
\n" # 构建报告内容 advice_content = "" for item in advice: advice_content += f"{item}
\n" report_content = f"""

图像分类分析报告

项目 内容
选择的模型分类 {selected_model}
预测结果 {predicted_class}
预测概率 {predictions_info}
简单介绍 {advice_content}
上传的图片 {img_html}

以上结果仅供参考

""" report_filename = f"{selected_model}_diagnosis_report.html" with open(report_filename, "w") as file: file.write(report_content) st.success("报告生成成功！") # 提供下载链接 with open(report_filename, "rb") as file: report_data = file.read() b64 = base64.b64encode(report_data).decode() href = f'点击这里下载报告' st.markdown(href, unsafe_allow_html=True) st.header("选择模型分类并提供图片进行判断") selected_model = st.selectbox("选择模型分类", list(models.keys())) uploaded_image = st.file_uploader("上传一张图片", type=["jpg", "jpeg", "png"]) if uploaded_image is not None: image_data = uploaded_image.read() image = Image.open(BytesIO(image_data)) st.image(image, caption="Uploaded Image", use_column_width=True) model = models[selected_model] input_shape = model.input_shape[1:3] image = image.resize(input_shape) image_array = np.array(image) image_array = image_array / 255.0 if len(model.input_shape) == 4: image_array = np.expand_dims(image_array, axis=0) predictions = model.predict(image_array) predicted_class_index = np.argmax(predictions[0]) class_labels = [] if selected_model == "动物类别判断": class_labels = ["蝴蝶", "猫", "鸡", "牛", "狗", "大象", "马", "羊", "蜘蛛", "松鼠"] advice_dict = { "蝴蝶": ["蝴蝶是昆虫中的一种，属于鳞翅目。", "它们的特点是身体细长，有两对薄而有色的翅膀。", "蝴蝶通常在花朵周围飞舞，以花蜜为食。", "它们在生命周期中经历幼虫、蛹和成虫三个阶段，是自然界中美丽而独特的生物之一。"], "猫": ["猫是家猫的通称，是一种家畜动物，属于哺乳动物。", "猫有着柔软的毛皮和灵活的身体，以及锋利的爪子。", "它们是人类最早驯养的动物之一，广泛分布于世界各地。", "猫通常以捕捉小型啮齿动物和鸟类为生，是人类常见的宠物之一"], "鸡": ["鸡是一种家禽，常见于全世界各地。", "它们是人类最早驯养的动物之一，主要被养殖用于食用和产蛋。", "鸡的特征包括具有羽毛的身体、喙和爪子。", "除了食用肉和蛋外，鸡的叫声也是农村常见的声音之一。"], "牛": ["牛是哺乳动物，属于偶蹄目。", "它们被人类驯养用于提供肉、奶、皮革等各种用途。", "牛的特征包括强壮的身体、角、四蹄和长长的尾巴。", "在许多文化中，牛被视为重要的家畜，承载着农业和经济上的重要角色。"], "狗": ["狗是人类最早驯养的动物之一，属于哺乳动物。", "它们有着各种不同的品种和体型，从小型犬到大型犬不等。", "狗通常被养作宠物，也被用于警戒、搜救、导盲等工作。", "它们以其忠诚、友好和忠诚的品质而受到人类的喜爱。"], "大象": ["大象是世界上最大的陆地动物之一，属于哺乳动物。", "它们有着庞大的身躯、长长的象牙和宽大的耳朵。", "大象通常生活在非洲和亚洲的草原、森林和沙漠地带。", "它们是社会性动物，以群体为单位生活，拥有复杂的社会结构和交流方式。"], "马": ["马是一种家畜动物，属于哺乳动物。", "它们有着优雅的体态、强壮的四肢和长长的尾巴。", "马被广泛用于运输、农业、体育等各种用途。", "它们以其速度、力量和耐力而闻名，是人类历史上重要的伙伴之一。"], "羊": ["羊是一种常见的家畜动物，属于哺乳动物。", "它们有着蓬松的毛皮和弯曲的角。", "羊通常被人类养殖用于提供羊毛、羊肉、羊奶等产品。", "它们是社会性动物，以群体为单位生活，常常在草原和山区地带放牧。"], "蜘蛛": ["蜘蛛是一种节肢动物，属于蜘蛛纲。", "它们有着八只长腿和分节的身体。", "蜘蛛通常以捕食昆虫为生，利用自己编织的网来捕捉猎物。", "它们生活在各种环境中，从森林到城市都有发现。"], "松鼠": ["松鼠是一种啮齿动物，属于松鼠科。", "它们有着灵活的身体和长长的尾巴。", "松鼠通常生活在树上，以坚果、种子和水果为食。", "它们以其活泼好动和敏捷的特点而闻名，是许多人心目中的可爱动物之一。"] } elif selected_model == "花卉类别判断": class_labels = ["洋甘菊", "蒲公英", "玫瑰", "向日葵", "郁金香"] advice_dict = { "洋甘菊": ["洋甘菊是一种常见的花卉，具有淡蓝色或白色的花瓣，中间是黄色的花蕊。", "它们被广泛种植作为园艺植物，并且在医药和美容行业中也很受欢迎。", "洋甘菊被用于制作茶和精油，具有舒缓和放松的效果。", "在花语中，洋甘菊通常象征着友谊、温和和平静。"], "蒲公英": ["蒲公英是一种常见的野生植物，有着带有细小白丝的黄色花朵，成熟后会变成风吹就会飞散的种子。", "它们生长在各种环境中，包括草地、道路边缘和田野。", "蒲公英在草地上常被认为是杂草，但它们也被一些人视为美丽而坚韧的植物。", "在花语中，蒲公英代表着希望、自由和幸福。"], "玫瑰": ["玫瑰是最受欢迎和广泛种植的花之一，有成百上千种不同的品种，颜色和形状各异。", "玫瑰被视为爱情和美丽的象征，是情人节和其他浪漫场合的常见礼物。", "除了作为美丽的花束和花环，玫瑰也被用来提取精油，用于香水和护肤品。", "在花语中，不同颜色的玫瑰代表着不同的情感，例如红色代表热情和爱情，白色代表纯洁和无辜。"], "向日葵": ["向日葵是一种高大的开花植物，以其大而明亮的黄色花朵和特殊的生长习性而闻名。", "它们倾向于朝向太阳，并在一天中跟随太阳的运动而转动，因此得名。", "向日葵象征着阳光、活力和希望，在许多文化中被视为吉祥物。", "它们也是一种重要的农业作物，提供了食用油和饲料。"], "郁金香": ["郁金香是一种多年生草本植物，有着各种各样的颜色和花型，因此在园艺上受到欢迎。", "它们在花园、花坛和花瓶中都很常见。", "郁金香在荷兰尤其著名，被认为是该国的象征之一。", "花语中，郁金香通常代表着爱情、优雅和温柔。"] } elif selected_model == "风景地点判断": class_labels = ["建筑物", "森林", "冰川", "山", "海", "街道"] predictions = model.predict(image_array)[0] predicted_class_index = np.argmax(predictions) predicted_class = class_labels[predicted_class_index] # 获取预测的概率值 predicted_probabilities = predictions * 100 st.write(f"对于选择的模型分类 '{selected_model}' 的预测结果是：") st.write(f"类别：'{predicted_class}' 概率：{predicted_probabilities[predicted_class_index]:.2f}") if selected_model in know_advice: if predicted_class in advice_dict: advice = advice_dict[predicted_class] st.write("建议：") for item in advice: st.write(f"- {item}") advice = advice_dict[predicted_class] if st.button('生成定制化报告'): with st.spinner('正在生成报告...'): generate_report(selected_model, predicted_class, advice, image_data, predicted_probabilities, class_labels)