Tio Boot DocsTio Boot Docs
Home
  • java-db
  • api-table
  • Enjoy
  • Tio Boot Admin
  • ai_agent
  • translator
  • knowlege_base
  • ai-search
  • 案例
Abount
  • Github
  • Gitee
Home
  • java-db
  • api-table
  • Enjoy
  • Tio Boot Admin
  • ai_agent
  • translator
  • knowlege_base
  • ai-search
  • 案例
Abount
  • Github
  • Gitee
  • 01_tio-boot 简介

    • tio-boot:新一代高性能 Java Web 开发框架
    • tio-boot 入门示例
    • Tio-Boot 配置 : 现代化的配置方案
    • tio-boot 整合 Logback
    • tio-boot 整合 hotswap-classloader 实现热加载
    • 自行编译 tio-boot
    • 最新版本
    • 开发规范
  • 02_部署

    • 使用 Maven Profile 实现分环境打包 tio-boot 项目
    • Maven 项目配置详解:依赖与 Profiles 配置
    • tio-boot 打包成 FastJar
    • 使用 GraalVM 构建 tio-boot Native 程序
    • 使用 Docker 部署 tio-boot
    • 部署到 Fly.io
    • 部署到 AWS Lambda
    • 到阿里云云函数
    • 使用 Deploy 工具部署
    • 胖包与瘦包的打包与部署
    • 使用 Jenkins 部署 Tio-Boot 项目
    • 使用 Nginx 反向代理 Tio-Boot
    • 使用 Supervisor 管理 Java 应用
  • 03_配置

    • 配置参数
    • 服务器监听器
    • 内置缓存系统 AbsCache
    • 使用 Redis 作为内部 Cache
    • 静态文件处理器
    • 基于域名的静态资源隔离
    • DecodeExceptionHandler
  • 04_原理

    • 生命周期
    • 请求处理流程
    • 重要的类
  • 05_json

    • Json
    • 接受 JSON 和响应 JSON
    • 响应实体类
  • 06_web

    • 概述
    • 文件上传
    • 接收请求参数
    • 接收日期参数
    • 接收数组参数
    • 返回字符串
    • 返回文本数据
    • 返回网页
    • 请求和响应字节
    • 文件下载
    • 返回视频文件并支持断点续传
    • http Session
    • Cookie
    • HttpRequest
    • HttpResponse
    • Resps
    • RespBodyVo
    • /zh/06_web/19.html
    • 全局异常处理器
    • 异步
    • 动态 返回 CSS 实现
    • 返回图片
    • Transfer-Encoding: chunked 实时音频播放
    • Server-Sent Events (SSE)
    • 接口访问统计
    • 接口请求和响应数据记录
    • 自定义 Handler 转发请求
    • 使用 HttpForwardHandler 转发所有请求
    • 跨域
    • 添加 Controller
    • 常用工具类
    • HTTP Basic 认证
    • WebJars
    • JProtobuf
  • 07_validate

    • 数据紧校验规范
    • 参数校验
  • 08_websocket

    • 使用 tio-boot 搭建 WebSocket 服务
    • WebSocket 聊天室项目示例
  • 09_java-db

    • java‑db
    • 操作数据库入门示例
    • SQL 模板
    • 数据源配置与使用
    • ActiveRecord
    • Model
    • 生成器与 Model
    • Db 工具类
    • 批量操作
    • 数据库事务处理
    • Cache 缓存
    • Dialect 多数据库支持
    • 表关联操作
    • 复合主键
    • Oracle 支持
    • Enjoy SQL 模板
    • Java-DB 整合 Enjoy 模板最佳实践
    • 多数据源支持
    • 独立使用 ActiveRecord
    • 调用存储过程
    • java-db 整合 Guava 的 Striped 锁优化
    • 生成 SQL
    • 通过实体类操作数据库
    • java-db 读写分离
    • Spring Boot 整合 Java-DB
    • like 查询
    • 常用操作示例
    • Druid 监控集成指南
    • SQL 统计
  • 10_api-table

    • ApiTable 概述
    • 使用 ApiTable 连接 SQLite
    • 使用 ApiTable 连接 Mysql
    • 使用 ApiTable 连接 Postgres
    • 使用 ApiTable 连接 TDEngine
    • 使用 api-table 连接 oracle
    • 使用 api-table 连接 mysql and tdengine 多数据源
    • EasyExcel 导出
    • EasyExcel 导入
    • TQL(Table SQL)前端输入规范
    • ApiTable 实现增删改查
    • 数组类型
    • 单独使用 ApiTable
  • 11_aop

    • JFinal-aop
    • Aop 工具类
    • 配置
    • 配置
    • 独立使用 JFinal Aop
    • @AImport
    • 原理解析
  • 12_cache

    • Caffine
    • Jedis-redis
    • hutool RedisDS
    • Redisson
    • Caffeine and redis
    • CacheUtils 工具类
    • 使用 CacheUtils 整合 caffeine 和 redis 实现的两级缓存
    • 使用 java-db 整合 ehcache
    • 使用 java-db 整合 redis
    • Java DB Redis 相关 Api
    • redis 使用示例
  • 13_认证和权限

    • hutool-JWT
    • FixedTokenInterceptor
    • 使用内置 TokenManager 实现登录
    • 用户系统
    • 重置密码
    • 匿名登录
    • Google 登录
    • 权限校验注解
    • Sa-Token
    • sa-token 登录注册
    • StpUtil.isLogin() 源码解析
    • 短信登录
    • 移动端微信登录实现指南
    • 移动端重置密码
  • 14_i18n

    • i18n
  • 15_enjoy

    • tio-boot 整合 Enjoy 模版引擎文档
    • 引擎配置
    • 表达式
    • 指令
    • 注释
    • 原样输出
    • Shared Method 扩展
    • Shared Object 扩展
    • Extension Method 扩展
    • Spring boot 整合
    • 独立使用 Enjoy
    • tio-boot enjoy 自定义指令 localeDate
    • PromptEngine
    • Enjoy 入门示例-擎渲染大模型请求体
    • Enjoy 使用示例
  • 16_定时任务

    • Quartz 定时任务集成指南
    • 分布式定时任务 xxl-jb
    • cron4j 使用指南
  • 17_tests

    • TioBootTest 类
  • 18_tio

    • TioBootServer
    • tio-core
    • 内置 TCP 处理器
    • 独立启动 UDPServer
    • 使用内置 UDPServer
    • t-io 消息处理流程
    • tio-运行原理详解
    • TioConfig
    • ChannelContext
    • Tio 工具类
    • 业务数据绑定
    • 业务数据解绑
    • 发送数据
    • 关闭连接
    • Packet
    • 监控: 心跳
    • 监控: 客户端的流量数据
    • 监控: 单条 TCP 连接的流量数据
    • 监控: 端口的流量数据
    • 单条通道统计: ChannelStat
    • 所有通道统计: GroupStat
    • 资源共享
    • 成员排序
    • ssl
    • DecodeRunnable
    • 使用 AsynchronousSocketChannel 响应数据
    • 拉黑 IP
    • 深入解析 Tio 源码:构建高性能 Java 网络应用
  • 19_aio

    • ByteBuffer
    • AIO HTTP 服务器
    • 自定义和线程池和池化 ByteBuffer
    • AioHttpServer 应用示例 IP 属地查询
    • 手写 AIO Http 服务器
  • 20_netty

    • Netty TCP Server
    • Netty Web Socket Server
    • 使用 protoc 生成 Java 包文件
    • Netty WebSocket Server 二进制数据传输
    • Netty 组件详解
  • 21_netty-boot

    • Netty-Boot
    • 原理解析
    • 整合 Hot Reload
    • 整合 数据库
    • 整合 Redis
    • 整合 Elasticsearch
    • 整合 Dubbo
    • Listener
    • 文件上传
    • 拦截器
    • Spring Boot 整合 Netty-Boot
    • SSL 配置指南
    • ChannelInitializer
    • Reserve
  • 22_MQ

    • Mica-mqtt
    • EMQX
    • Disruptor
  • 23_tio-utils

    • tio-utils
    • HttpUtils
    • Notification
    • 邮箱
    • JSON
    • 读取文件
    • Base64
    • 上传和下载
    • Http
    • Telegram
    • RsaUtils
    • EnvUtils 使用文档
    • 系统监控
    • 毫秒并发 ID (MCID) 生成方案
  • 24_tio-http-server

    • 使用 Tio-Http-Server 搭建简单的 HTTP 服务
    • tio-boot 添加 HttpRequestHandler
    • 在 Android 上使用 tio-boot 运行 HTTP 服务
    • tio-http-server-native
    • handler 常用操作
  • 25_tio-websocket

    • WebSocket 服务器
    • WebSocket Client
  • 26_tio-im

    • 通讯协议文档
    • ChatPacket.proto 文档
    • java protobuf
    • 数据表设计
    • 创建工程
    • 登录
    • 历史消息
    • 发消息
  • 27_mybatis

    • Tio-Boot 整合 MyBatis
    • 使用配置类方式整合 MyBatis
    • 整合数据源
    • 使用 mybatis-plus 整合 tdengine
    • 整合 mybatis-plus
  • 28_mongodb

    • tio-boot 使用 mongo-java-driver 操作 mongodb
  • 29_elastic-search

    • Elasticsearch
    • JavaDB 整合 ElasticSearch
    • Elastic 工具类使用指南
    • Elastic-search 注意事项
    • ES 课程示例文档
  • 30_magic-script

    • tio-boot 整合 magic-script
  • 31_groovy

    • tio-boot 整合 Groovy
  • 32_firebase

    • 整合 google firebase
    • Firebase Storage
    • Firebase Authentication
    • 使用 Firebase Admin SDK 进行匿名用户管理与自定义状态标记
    • 导出用户
    • 注册回调
    • 登录注册
  • 33_文件存储

    • 文件上传数据表
    • 本地存储
    • 使用 AWS S3 存储文件并整合到 Tio-Boot 项目中
    • 存储文件到 腾讯 COS
  • 34_spider

    • jsoup
    • 爬取 z-lib.io 数据
    • 整合 WebMagic
    • WebMagic 示例:爬取学校课程数据
    • Playwright
    • Flexmark (Markdown 处理器)
    • tio-boot 整合 Playwright
    • 缓存网页数据
  • 36_integration_thirty_party

    • tio-boot 整合 okhttp
    • 整合 GrpahQL
    • 集成 Mailjet
    • 整合 ip2region
    • 整合 GeoLite 离线库
    • 整合 Lark 机器人指南
    • 集成 Lark Mail 实现邮件发送
    • Thymeleaf
    • Swagger
    • Clerk 验证
  • 37_dubbo

    • 概述
    • dubbo 2.6.0
    • dubbo 2.6.0 调用过程
    • dubbo 3.2.0
  • 38_spring

    • Spring Boot Web 整合 Tio Boot
    • spring-boot-starter-webflux 整合 tio-boot
    • Tio Boot 整合 Spring Boot Starter
    • Tio Boot 整合 Spring Boot Starter Data Redis 指南
  • 39_spring-cloud

    • tio-boot spring-cloud
  • 40_mysql

    • 使用 Docker 运行 MySQL
    • /zh/42_mysql/02.html
  • 41_postgresql

    • PostgreSQL 安装
    • PostgreSQL 主键自增
    • PostgreSQL 日期类型
    • Postgresql 金融类型
    • PostgreSQL 数组类型
    • PostgreSQL 全文检索
    • PostgreSQL 查询优化
    • 获取字段类型
    • PostgreSQL 向量
    • PostgreSQL 优化向量查询
    • PostgreSQL 其他
  • 43_oceanbase

    • 快速体验 OceanBase 社区版
    • 快速上手 OceanBase 数据库单机部署与管理
    • 诊断集群性能
    • 优化 SQL 性能指南
    • /zh/43_oceanbase/05.html
  • 50_media

    • JAVE 提取视频中的声音
    • Jave 提取视频中的图片
    • /zh/50_media/03.html
  • 51_asr

    • Whisper-JNI
  • 54_native-media

    • java-native-media
    • JNI 入门示例
    • mp3 拆分
    • mp4 转 mp3
    • 使用 libmp3lame 实现高质量 MP3 编码
    • Linux 编译
    • macOS 编译
    • 从 JAR 包中加载本地库文件
    • 支持的音频和视频格式
    • 任意格式转为 mp3
    • 通用格式转换
    • 通用格式拆分
    • 视频合并
    • VideoToHLS
    • split_video_to_hls 支持其他语言
    • 持久化 HLS 会话
  • 55_telegram4j

    • 数据库设计
    • /zh/55_telegram4j/02.html
    • 基于 MTProto 协议开发 Telegram 翻译机器人
    • 过滤旧消息
    • 保存机器人消息
    • 定时推送
    • 增加命令菜单
    • 使用 telegram-Client
    • 使用自定义 StoreLayout
    • 延迟测试
    • Reactor 错误处理
    • Telegram4J 常见错误处理指南
  • 56_telegram-bots

    • TelegramBots 入门指南
    • 使用工具库 telegram-bot-base 开发翻译机器人
  • 60_LLM

    • 简介
    • AI 问答
    • /zh/60_LLM/03.html
    • /zh/60_LLM/04.html
    • 增强检索(RAG)
    • 结构化数据检索
    • 搜索+AI
    • 集成第三方 API
    • 后置处理
    • 推荐问题生成
    • 连接代码执行器
    • 避免 GPT 混乱
    • /zh/60_LLM/13.html
  • 61_ai_agent

    • 数据库设计
    • 示例问题管理
    • 会话管理
    • 历史记录
    • 对接 Perplexity API
    • 意图识别与生成提示词
    • 智能问答模块设计与实现
    • 文件上传与解析文档
    • 翻译
    • 名人搜索功能实现
    • Ai studio gemini youbue 问答使用说明
    • 自建 YouTube 字幕问答系统
    • 自建 获取 youtube 字幕服务
    • 通用搜索
    • /zh/61_ai_agent/15.html
    • 16
    • 17
    • 18
    • 在 tio-boot 应用中整合 ai-agent
    • 16
  • 62_translator

    • 简介
  • 63_knowlege_base

    • 数据库设计
    • 用户登录实现
    • 模型管理
    • 知识库管理
    • 文档拆分
    • 片段向量
    • 命中测试
    • 文档管理
    • 片段管理
    • 问题管理
    • 应用管理
    • 向量检索
    • 推理问答
    • 问答模块
    • 统计分析
    • 用户管理
    • api 管理
    • 存储文件到 S3
    • 文档解析优化
    • 片段汇总
    • 段落分块与检索
    • 多文档解析
    • 对话日志
    • 检索性能优化
    • Milvus
    • 文档解析方案和费用对比
    • 离线运行向量模型
  • 64_ai-search

    • ai-search 项目简介
    • ai-search 数据库文档
    • ai-search SearxNG 搜索引擎
    • ai-search Jina Reader API
    • ai-search Jina Search API
    • ai-search 搜索、重排与读取内容
    • ai-search PDF 文件处理
    • ai-search 推理问答
    • Google Custom Search JSON API
    • ai-search 意图识别
    • ai-search 问题重写
    • ai-search 系统 API 接口 WebSocket 版本
    • ai-search 搜索代码实现 WebSocket 版本
    • ai-search 生成建议问
    • ai-search 生成问题标题
    • ai-search 历史记录
    • Discover API
    • 翻译
    • Tavily Search API 文档
    • 对接 Tavily Search
    • 火山引擎 DeepSeek
    • 对接 火山引擎 DeepSeek
    • ai-search 搜索代码实现 SSE 版本
    • jar 包部署
    • Docker 部署
    • 爬取一个静态网站的所有数据
    • 网页数据预处理
    • 网页数据检索与问答流程整合
  • 65_java-linux

    • Java 执行 python 代码
    • 通过大模型执行 Python 代码
    • MCP 协议
    • Cline 提示词
    • Cline 提示词-中文版本
  • 66_manim

    • 简介
    • Manim 开发环境搭建
    • 生成场景提示词
    • 生成代码
    • 完整脚本示例
    • 语音合成系统
    • Fish.audio TTS 接口说明文档与 Java 客户端封装
    • 整合 fishaudio 到 java-uni-ai-server 项目
    • 执行 Python (Manim) 代码
    • 使用 SSE 流式传输生成进度的实现文档
    • 整合全流程完整文档
    • HLS 动态推流技术文档
    • manim 分场景生成代码
    • 分场景运行代码及流式播放支持
    • 分场景业务端完整实现流程
    • Maiim布局管理器
    • 仅仅生成场景代码
    • 使用 modal 运行 manim 代码
    • Python 使用 Modal GPU 加速渲染
    • Modal 平台 GPU 环境下运行 Manim
    • Modal Manim OpenGL 安装与使用
    • 优化 GPU 加速
    • 生成视频封面流程
    • Java 调用 manim 命令 执行代码 生成封面
    • Manim 图像生成服务客户端文档
    • manim render help
    • 显示 中文公式
    • manimgl
    • EGL
    • /zh/66_manim/30.html
    • /zh/66_manim/31.html
    • 成本核算
    • /zh/66_manim/33.html
  • 70_tio-boot-admin

    • 入门指南
    • 初始化数据
    • token 存储
    • 与前端集成
    • 文件上传
    • 网络请求
    • 图片管理
    • /zh/70_tio-boot-admin/08.html
    • Word 管理
    • PDF 管理
    • 文章管理
    • 富文本编辑器
  • 71_tio-boot

    • /zh/71_tio-boot/01.html
    • Swagger 整合到 Tio-Boot 中的指南
    • HTTP/1.1 Pipelining 性能测试报告
  • 80_性能测试

    • 压力测试 - tio-http-serer
    • 压力测试 - tio-boot
    • 压力测试 - tio-boot-native
    • 压力测试 - netty-boot
    • 性能测试对比
    • TechEmpower FrameworkBenchmarks
    • 压力测试 - tio-boot 12 C 32G
  • 99_案例

    • 封装 IP 查询服务
    • tio-boot 案例 - 全局异常捕获与企业微信群通知
    • tio-boot 案例 - 文件上传和下载
    • tio-boot 案例 - 整合 ant design pro 增删改查
    • tio-boot 案例 - 流失响应
    • tio-boot 案例 - 增强检索
    • tio-boot 案例 - 整合 function call
    • tio-boot 案例 - 定时任务 监控 PostgreSQL、Redis 和 Elasticsearch
    • Tio-Boot 案例:使用 SQLite 整合到登录注册系统
    • tio-boot 案例 - 执行 shell 命令

整合全流程完整文档

  • 1. 数据库设计
    • 1.1 数据表说明
    • 1.2 数据库脚本
  • 2. 数据接口
    • 2.1 接口示例
  • 3. Java 后端代码
    • 3.1 数据传输对象 ExplanationVo
    • 3.2 请求处理类 ExplanationHandler
    • 3.3 核心服务类 ExplanationVideoService
    • 3.4 Linux 代码服务 LinuxService
    • 3.5 定义 Linux 执行结果 ProcessResult
  • 4. 测试类
  • 5. 主要逻辑说明
  • 总结

本文档描述了通过单一代码提示词完成从主题生成、代码生成、代码执行到视频播放的全流程。主要包括数据库设计、数据接口定义、Java 后端逻辑(含大模型调用、Python 代码生成与修复、Linux 服务器代码执行),以及测试用例。下文对每个部分的代码做了详细说明,并解释了其主要逻辑。


1. 数据库设计

该系统主要涉及四张数据表,它们分别用于记录生成视频、生成场景、生成代码以及避免错误的提示词。

1.1 数据表说明

  • ef_ugvideo
    存储生成的视频数据,包含视频时长、视频播放地址、标题、语言、语音设置、播放次数、创建人、创建时间等信息。

  • ef_generate_sence
    存储大模型生成的场景文本(即视频脚本或说明文本),记录了主题、md5 标识、生成的场景提示词以及其他元数据。

  • ef_generate_code
    存储基于主题生成的完整 Python 代码,同时保存相关大模型返回的信息,如错误、生成原因以及视频地址。

  • ef_generate_code_avoid_error_prompt
    当代码执行失败时,系统保存一份“避免错误的提示词”,作为后续再次调用大模型修正代码的参考。

1.2 数据库脚本

drop table if exists ef_ugvideo;
CREATE TABLE ef_ugvideo (
	id BIGINT PRIMARY KEY,
	video_length int4,
	video_url VARCHAR,
	cover_url VARCHAR,
	title VARCHAR,
	"language" VARCHAR,
	voice_id VARCHAR,
	view_count int4 DEFAULT 0 NULL,
	user_id VARCHAR,
	"type" VARCHAR,
	"elapsed" bigint,
	is_public bool DEFAULT FALSE,
	search_ts tsvector,
	"creator" VARCHAR ( 64 ) DEFAULT '',
	"create_time" TIMESTAMP WITH TIME ZONE NOT NULL DEFAULT CURRENT_TIMESTAMP,
	"updater" VARCHAR ( 64 ) DEFAULT '',
	"update_time" TIMESTAMP WITH TIME ZONE NOT NULL DEFAULT CURRENT_TIMESTAMP,
	"deleted" SMALLINT DEFAULT 0,
	"tenant_id" BIGINT NOT NULL DEFAULT 0
);

drop table if exists ef_generate_sence;
CREATE TABLE ef_generate_sence (
  id BIGINT PRIMARY KEY,
  topic VARCHAR,
  md5 VARCHAR,
  sence_prompt text,
  "creator" VARCHAR ( 64 ) DEFAULT '',
  "create_time" TIMESTAMP WITH TIME ZONE NOT NULL DEFAULT CURRENT_TIMESTAMP,
  "updater" VARCHAR ( 64 ) DEFAULT '',
  "update_time" TIMESTAMP WITH TIME ZONE NOT NULL DEFAULT CURRENT_TIMESTAMP,
  "deleted" SMALLINT DEFAULT 0,
  "tenant_id" BIGINT NOT NULL DEFAULT 0
);

drop table if exists ef_generate_code;
CREATE TABLE ef_generate_code (
  id BIGINT PRIMARY KEY,
  topic VARCHAR,
  md5 VARCHAR,
  "language" VARCHAR,
  "voice_provider" VARCHAR,
  "voice_id" VARCHAR,
  sence_prompt text,
  python_code text,
  video_url text,
  error text,
  reason text,
  "creator" VARCHAR ( 64 ) DEFAULT '',
  "create_time" TIMESTAMP WITH TIME ZONE NOT NULL DEFAULT CURRENT_TIMESTAMP,
  "updater" VARCHAR ( 64 ) DEFAULT '',
  "update_time" TIMESTAMP WITH TIME ZONE NOT NULL DEFAULT CURRENT_TIMESTAMP,
  "deleted" SMALLINT DEFAULT 0,
  "tenant_id" BIGINT NOT NULL DEFAULT 0
);

drop table if exists ef_generate_code_avoid_error_prompt;
CREATE TABLE ef_generate_code_avoid_error_prompt (
  id BIGINT PRIMARY KEY,
  final_request_json text,
  prompt VARCHAR,
  "creator" VARCHAR ( 64 ) DEFAULT '',
  "create_time" TIMESTAMP WITH TIME ZONE NOT NULL DEFAULT CURRENT_TIMESTAMP,
  "updater" VARCHAR ( 64 ) DEFAULT '',
  "update_time" TIMESTAMP WITH TIME ZONE NOT NULL DEFAULT CURRENT_TIMESTAMP,
  "deleted" SMALLINT DEFAULT 0,
  "tenant_id" BIGINT NOT NULL DEFAULT 0
);

2. 数据接口

前端通过 /api/explanation/video 接口发送请求,提供内容为包含提示词与语音、语言等配置信息的 JSON 数据,后端通过 SSE(Server-Sent Events)方式返回生成的视频地址以及其他过程状态信息。

2.1 接口示例

{
  "prompt": "Chemistry - Kjeldahl Method",
  "voice_provider": "openai",
  "voice_id": "default_voice",
  "language": "english",
  "user_id": ""
}

后端在返回数据时会依次发送多个 SSE 事件:

  • progress:显示执行过程中产生的状态提示
  • python_code:返回生成的 Python 代码(主要用于调试)
  • main:最后返回生成视频的播放地址,前端据此播放视频

3. Java 后端代码

后端代码采用了 JFinal、Tio 框架以及自定义大模型调用相关模块。接下来分别介绍各个类的作用。

3.1 数据传输对象 ExplanationVo

该类用于封装前端传递的参数。默认设置了“openai”语音供应商、默认语音和语言为英文,支持两种构造函数,满足不同使用场景下的参数传递。

package com.litongjava.manim.vo;

import lombok.AllArgsConstructor;
import lombok.Data;
import lombok.NoArgsConstructor;
import lombok.experimental.Accessors;

@Data
@NoArgsConstructor
@AllArgsConstructor
@Accessors(chain = true)
//"voice_provider": "openai",
//"voice_id": "default_voice",
//"language": "english"
public class ExplanationVo {

  private String prompt;
  private String voice_provider = "openai";
  private String voice_id = "default_voice";
  private String language = "english";
  private String user_id;

  public ExplanationVo(String text) {
    this.prompt = text;
  }

  public ExplanationVo(String user_id, String text) {
    this.user_id = user_id;
    this.prompt = text;
  }
}

3.2 请求处理类 ExplanationHandler

该类用于解析 HTTP 请求,将 JSON 参数转换为 ExplanationVo 对象,然后调用 ExplanationVideoService 执行整个业务逻辑。利用 SSE 推送实时反馈信息给前端,同时开启异步线程执行后续任务。

package com.litongjava.manim.handler;

import com.litongjava.jfinal.aop.Aop;
import com.litongjava.manim.services.ExplanationVideoService;
import com.litongjava.manim.vo.ExplanationVo;
import com.litongjava.tio.boot.http.TioRequestContext;
import com.litongjava.tio.core.Tio;
import com.litongjava.tio.http.common.HttpRequest;
import com.litongjava.tio.http.common.HttpResponse;
import com.litongjava.tio.http.server.util.CORSUtils;
import com.litongjava.tio.utils.json.JsonUtils;
import com.litongjava.tio.utils.thread.TioThreadUtils;

public class ExplanationHandler {

  ExplanationVideoService mainimService = Aop.get(ExplanationVideoService.class);

  public HttpResponse index(HttpRequest request) {
    HttpResponse response = TioRequestContext.getResponse();
    CORSUtils.enableCORS(response);
    response.addServerSentEventsHeader();
    Tio.bSend(request.channelContext, response);
    response.setSend(false);
    String bodyString = request.getBodyString();
    ExplanationVo xplanationVo = JsonUtils.parse(bodyString, ExplanationVo.class);
    request.channelContext.setAttribute("type", "SSE");

    TioThreadUtils.execute(() -> {
      try {
        mainimService.index(xplanationVo, request.channelContext);
      } catch (Exception e) {
        e.printStackTrace();
      }
    });
    return response;
  }
}

3.3 核心服务类 ExplanationVideoService

该服务类封装了整个业务逻辑,主要步骤如下:

  1. 缓存检查:判断当前主题是否已经生成过视频(根据 md5 值、语言、语音参数等),如果命中缓存则直接返回视频地址。
  2. 生成系统提示词:通过读取预先定义好的文件以及数据库中存储的提示词,构造大模型调用用的系统提示词。
  3. 大模型生成代码:调用大模型,传入用户的主题和生成的系统提示词,生成符合要求的 Python 代码。
  4. 发送代码和执行状态:将生成的 Python 代码通过 SSE 事件发送到前端,同时调用 Linux 服务器执行代码。
  5. 错误处理与修复:若代码执行失败,则将错误日志传递给大模型,并请求其修复代码,同时生成一份“避免错误的提示词”再度执行。最多重试 10 次。
  6. 记录结果:执行成功后,将视频播放地址保存到数据库,并返回给前端,由前端播放视频。

下面是详细代码:

package com.litongjava.manim.services;

import java.net.URL;
import java.util.ArrayList;
import java.util.List;
import java.util.concurrent.locks.Lock;

import com.google.common.util.concurrent.Striped;
import com.jfinal.kit.Kv;
import com.jfinal.template.Template;
import com.litongjava.db.activerecord.Db;
import com.litongjava.db.activerecord.Row;
import com.litongjava.gemini.GeminiChatRequestVo;
import com.litongjava.gemini.GeminiChatResponseVo;
import com.litongjava.gemini.GeminiClient;
import com.litongjava.gemini.GoogleGeminiModels;
import com.litongjava.jfinal.aop.Aop;
import com.litongjava.linux.ProcessResult;
import com.litongjava.manim.vo.ExplanationVo;
import com.litongjava.openai.chat.ChatMessage;
import com.litongjava.template.PromptEngine;
import com.litongjava.tio.core.ChannelContext;
import com.litongjava.tio.core.Tio;
import com.litongjava.tio.http.common.sse.SsePacket;
import com.litongjava.tio.http.server.util.SseEmitter;
import com.litongjava.tio.utils.SystemTimer;
import com.litongjava.tio.utils.crypto.Md5Utils;
import com.litongjava.tio.utils.hutool.FileUtil;
import com.litongjava.tio.utils.hutool.ResourceUtil;
import com.litongjava.tio.utils.hutool.StrUtil;
import com.litongjava.tio.utils.json.FastJson2Utils;
import com.litongjava.tio.utils.json.JsonUtils;
import com.litongjava.tio.utils.snowflake.SnowflakeIdUtils;

import lombok.extern.slf4j.Slf4j;

@Slf4j
public class ExplanationVideoService {
  private Striped<Lock> locks = Striped.lock(1024);
  private LinuxService linuxService = Aop.get(LinuxService.class);
  private String video_server_name = "https://manim.collegebot.ai";

  public void index(ExplanationVo explanationVo, ChannelContext channelContext) {
    String user_id = explanationVo.getUser_id();
    String prompt = explanationVo.getPrompt();
    String language = explanationVo.getLanguage();
    long start = SystemTimer.currTime;
    String videoUrl = this.index(explanationVo, false, channelContext);
    long end = SystemTimer.currTime;
    if (videoUrl != null) {
      Row row = Row.by("id", SnowflakeIdUtils.id()).set("video_url", videoUrl).set("title", prompt).set("language", language)
          .set("voice_id", explanationVo.getVoice_id()).set("user_id", user_id).set("elapsed", (end - start));
      Db.save("ef_ugvideo", row);
    }
  }

  public String index(ExplanationVo xplanationVo, boolean isTelegram, ChannelContext channelContext) {
    String topic = xplanationVo.getPrompt();
    String language = xplanationVo.getLanguage();
    String voice_provider = xplanationVo.getVoice_provider();
    String voice_id = xplanationVo.getVoice_id();

    String md5 = Md5Utils.getMD5(topic);

    String sql = "select video_url from ef_generate_code where md5=? and language=? and voice_provider=? and voice_id=?";
    String output = Db.queryStr(sql, md5, language, voice_provider, voice_id);

    if (output != null) {
      log.info("hit cache ef_generate_code");
      String url = video_server_name + output;
      if (channelContext != null) {
        byte[] jsonBytes = FastJson2Utils.toJSONBytes(Kv.by("url", url));
        SsePacket ssePacket = new SsePacket("main", jsonBytes);
        Tio.bSend(channelContext, ssePacket);
        SseEmitter.closeSeeConnection(channelContext);
      }
      return url;
    }

    //    String generatedText = genSence(topic, md5);
    //    if (channelContext != null) {
    //      byte[] jsonBytes = FastJson2Utils.toJSONBytes(Kv.by("sence", generatedText));
    //      SsePacket ssePacket = new SsePacket("sence", jsonBytes);
    //      Tio.bSend(channelContext, ssePacket);
    //    }

    String prompt = getSystemPrompt();

    String sence = topic + "  \r\nThe generated subtitles and narration must use the " + language;
    List<ChatMessage> messages = new ArrayList<>();
    messages.add(new ChatMessage("user", sence));

    //请求类
    GeminiChatRequestVo geminiChatRequestVo = new GeminiChatRequestVo();
    geminiChatRequestVo.setChatMessages(messages);
    geminiChatRequestVo.setSystemPrompt(prompt);

    // log.info("request:{}", JsonUtils.toSkipNullJson(geminiChatRequestVo));

    String value = "Start generate python code";
    log.info("value:{}", value);

    if (channelContext != null) {
      byte[] jsonBytes = FastJson2Utils.toJSONBytes(Kv.by("info", value));
      SsePacket ssePacket = new SsePacket("progress", jsonBytes);
      Tio.bSend(channelContext, ssePacket);
    }

    String code = linuxService.genManaimCode(topic, md5, geminiChatRequestVo);
    if (code == null) {
      String info = "Failed to generate python code";
      log.info(info);
      if (channelContext != null) {
        byte[] jsonBytes = FastJson2Utils.toJSONBytes(Kv.by("error", info));
        SsePacket ssePacket = new SsePacket("error", jsonBytes);
        Tio.bSend(channelContext, ssePacket);
        SseEmitter.closeSeeConnection(channelContext);
      }
    }

    if (channelContext != null) {
      byte[] jsonBytes = FastJson2Utils.toJSONBytes(Kv.by("python_code", code));
      SsePacket ssePacket = new SsePacket("python_code", jsonBytes);
      Tio.bSend(channelContext, ssePacket);
    }

    //log.info("code:{}", code);
    String message = "Start run python code";
    log.info("value:{}", value);

    if (channelContext != null) {
      byte[] jsonBytes = FastJson2Utils.toJSONBytes(Kv.by("info", message));
      SsePacket ssePacket = new SsePacket("progress", jsonBytes);
      Tio.bSend(channelContext, ssePacket);
    }
    ProcessResult executeMainmCode = linuxService.executeCode(code);

    String stdErr = executeMainmCode.getStdErr();

    if (StrUtil.isBlank(executeMainmCode.getOutput())) {
      executeMainmCode = linuxService.fixCodeAndRerun(topic, md5, code, stdErr, messages, geminiChatRequestVo, channelContext);
    }

    if (executeMainmCode != null && StrUtil.isNotBlank(executeMainmCode.getOutput())) {
      output = executeMainmCode.getOutput();
      String url = video_server_name + output;
      if (channelContext != null) {
        byte[] jsonBytes = FastJson2Utils.toJSONBytes(Kv.by("url", url));
        SsePacket ssePacket = new SsePacket("main", jsonBytes);
        Tio.bSend(channelContext, ssePacket);
      }

      Row row = Row.by("id", SnowflakeIdUtils.id());
      row.set("topic", topic).set("md5", md5);
      row.set("video_url", output).set("language", language).set("voice_provider", voice_provider).set("voice_id", voice_id);
      Db.save("ef_generate_code", row);
    }
    log.info("result:{}", output);
    SseEmitter.closeSeeConnection(channelContext);
    return output;
  }

  public String genSence(String text, String md5) {
    String sql = "select sence_prompt from ef_generate_sence where md5=?";
    String generatedText = Db.queryStr(sql, md5);
    if (generatedText != null) {
      log.info("Cache Hit ef_generate_sence");
      return generatedText;
    }

    Lock lock = locks.get(md5);
    lock.lock();

    try {
      // 生成场景
      Template template = PromptEngine.getTemplate("gen_video_sence_en.txt");
      String prompt = template.renderToString();

      String userMessageText = text + " \r\nplease reply use this message language.If English is involved, use English vocabulary instead of Pinyin.";
      List<ChatMessage> messages = new ArrayList<>();
      messages.add(new ChatMessage("user", userMessageText));

      GeminiChatRequestVo geminiChatRequestVo = new GeminiChatRequestVo();
      geminiChatRequestVo.setChatMessages(messages);
      geminiChatRequestVo.setSystemPrompt(prompt);

      log.info("request:{}", JsonUtils.toSkipNullJson(geminiChatRequestVo));

      GeminiChatResponseVo chatResponse = GeminiClient.generate(GoogleGeminiModels.GEMINI_2_0_FLASH, geminiChatRequestVo);
      generatedText = chatResponse.getCandidates().get(0).getContent().getParts().get(0).getText();
      Row row = Row.by("id", SnowflakeIdUtils.id()).set("topic", text).set("md5", md5).set("sence_prompt", generatedText);
      Db.save("ef_generate_sence", row);
      return generatedText;
    } finally {
      lock.unlock();
    }
  }

  public String genSence(String topic) {
    return this.genSence(topic, Md5Utils.getMD5(topic));
  }

  public String getSystemPrompt() {
    // 生成代码
    URL resource = ResourceUtil.getResource("prompts/gen_video_code_en.txt");
    StringBuilder stringBuffer = FileUtil.readURLAsString(resource);

    String sql = "select prompt from ef_generate_code_avoid_error_prompt";
    List<String> prompts = Db.queryListString(sql);
    if (prompts != null && prompts.size() > 0) {
      for (String string : prompts) {
        stringBuffer.append(string).append("\r\n");
      }
    }
    URL code_example_01_url = ResourceUtil.getResource("prompts/code_example_01.txt");
    StringBuilder code_example_01 = FileUtil.readURLAsString(code_example_01_url);

    URL code_example_02_url = ResourceUtil.getResource("prompts/code_example_02.txt");
    StringBuilder code_example_02 = FileUtil.readURLAsString(code_example_02_url);

    URL code_example_03_url = ResourceUtil.getResource("prompts/code_example_03.txt");
    StringBuilder code_example_03 = FileUtil.readURLAsString(code_example_03_url);

    String prompt = stringBuffer.toString() + "\r\n## complete Python code example  \r\n" + "\r\n### Example 1  \r\n" + code_example_01 + "\r\n### Example 2  \r\n" + code_example_02
        + "\r\n### Example 3  \r\n" + code_example_03;
    return prompt;
  }
}

3.4 Linux 代码服务 LinuxService

该类主要负责将大模型生成的 Python 代码发送至 Linux 服务器进行执行,并提供错误修复机制:

  1. executeCode
    调用 LinuxClient 远程执行 Python 代码,并返回执行结果。

  2. fixCodeAndRerun
    如果首次代码执行失败,根据错误日志调用大模型修复代码,最多重试 10 次。每次修复过程会:

    • 将错误日志和当前代码加入消息队列,再次调用大模型生成新的代码;
    • 再次执行生成的代码;
    • 如执行成功则直接返回,否则继续进行修复直到达到最大尝试次数。
  3. genManaimCode
    根据用户的主题与大模型交互,提取生成的 Python 代码。如果返回格式为 Markdown 格式的代码块则提取代码内容;若返回的内容为 JSON 格式,则解析获取代码。

  4. genAvoidPromptCode
    用于生成“避免错误”的提示词,并保存到数据库中,便于后续参考。

下面是完整代码:

package com.litongjava.manim.services;

import java.io.File;
import java.io.IOException;
import java.util.List;

import com.jfinal.kit.Kv;
import com.litongjava.db.activerecord.Db;
import com.litongjava.db.activerecord.Row;
import com.litongjava.gemini.GeminiChatRequestVo;
import com.litongjava.gemini.GeminiChatResponseVo;
import com.litongjava.gemini.GeminiClient;
import com.litongjava.gemini.GeminiGenerationConfigVo;
import com.litongjava.gemini.GoogleGeminiModels;
import com.litongjava.linux.LinuxClient;
import com.litongjava.linux.ProcessResult;
import com.litongjava.openai.chat.ChatMessage;
import com.litongjava.template.PromptEngine;
import com.litongjava.tio.core.ChannelContext;
import com.litongjava.tio.core.Tio;
import com.litongjava.tio.http.common.sse.SsePacket;
import com.litongjava.tio.utils.hutool.FileUtil;
import com.litongjava.tio.utils.hutool.StrUtil;
import com.litongjava.tio.utils.json.FastJson2Utils;
import com.litongjava.tio.utils.json.JsonUtils;
import com.litongjava.tio.utils.snowflake.SnowflakeIdUtils;
import com.litongjava.vo.ToolVo;

import lombok.extern.slf4j.Slf4j;

@Slf4j
public class LinuxService {

  /**
   * 运行代码
   * @param code
   * @return
   */
  public ProcessResult executeCode(String code) {
    String apiBase = "http://13.216.69.13";
    ProcessResult executeMainmCode = LinuxClient.executeMainmCode(apiBase, "123456", code);
    return executeMainmCode;
  }

  /**
   * 最多共会运行时10次
   * @param topic
   * @param code
   * @param stdErr
   * @param messages
   * @param geminiChatRequestVo
   * @param channelContext
   * @return
   */
  public ProcessResult fixCodeAndRerun(final String topic, String md5, String code, String stdErr, List<ChatMessage> messages, GeminiChatRequestVo geminiChatRequestVo, ChannelContext channelContext) {
    // 初始错误日志和 SSE 提示
    log.error("python 代码 第1次执行失败:{}", stdErr);
    if (channelContext != null) {
      byte[] jsonBytes = FastJson2Utils.toJSONBytes(Kv.by("progress", "Python code: 1st execution failed"));
      Tio.bSend(channelContext, new SsePacket("progress", jsonBytes));
    }

    ProcessResult executeMainmCode = null;
    final int maxAttempts = 10;
    for (int attempt = 1; attempt <= maxAttempts; attempt++) {
      //Row row = Row.by("id", SnowflakeIdUtils.id()).set("topic", topic).set("md5", md5).set("python_code", code).set("error", stdErr);
      //Db.save("ef_generate_error_code", row);

      messages.add(new ChatMessage("model", code));
      messages.add(new ChatMessage("user", "代码执行遇到错误,请修复,并输出修复后的代码 " + stdErr));
      geminiChatRequestVo.setChatMessages(messages);

      //log.info("fix request {}: {}", attempt, JsonUtils.toSkipNullJson(geminiChatRequestVo));
      String info = "start fix code " + attempt;
      log.info(info);
      if (channelContext != null) {
        byte[] jsonBytes = FastJson2Utils.toJSONBytes(Kv.by("info", info));
        Tio.bSend(channelContext, new SsePacket("progress", jsonBytes));
      }
      code = genManaimCode(topic, md5, geminiChatRequestVo);

      info = "finish fix code " + attempt;
      log.info(info);
      if (channelContext != null) {
        byte[] jsonBytes = FastJson2Utils.toJSONBytes(Kv.by("info", info));
        Tio.bSend(channelContext, new SsePacket("progress", jsonBytes));
      }
      if (code == null) {
        return null;
      }
      //log.info("修复后的代码: {}", code);

      // 执行修复后的代码
      String message = "start run code " + attempt;
      log.info(message);
      if (channelContext != null) {
        byte[] jsonBytes = FastJson2Utils.toJSONBytes(Kv.by("info", message));
        Tio.bSend(channelContext, new SsePacket("progress", jsonBytes));
      }
      executeMainmCode = executeCode(code);
      stdErr = executeMainmCode.getStdErr();

      message = "run finished " + attempt;
      log.info(message);

      if (channelContext != null) {
        byte[] jsonBytes = FastJson2Utils.toJSONBytes(Kv.by("info ", message));
        Tio.bSend(channelContext, new SsePacket("progress", jsonBytes));
      }

      String codeFixPrompt = PromptEngine.renderToString("code_fix_prompt.txt");
      messages.add(new ChatMessage("model", code));
      messages.add(new ChatMessage("user", codeFixPrompt));
      geminiChatRequestVo.setChatMessages(messages);

      message = "start generate avoid prompt " + attempt;
      log.info(message);
      if (channelContext != null) {
        byte[] jsonBytes = FastJson2Utils.toJSONBytes(Kv.by("info ", message));
        Tio.bSend(channelContext, new SsePacket("progress", jsonBytes));
      }
      String avoidPrompt = genAvoidPromptCode(geminiChatRequestVo);

      message = "finish generate avoid prompt " + attempt;
      log.info(message);
      if (channelContext != null) {
        byte[] jsonBytes = FastJson2Utils.toJSONBytes(Kv.by("info ", message));
        Tio.bSend(channelContext, new SsePacket("progress", jsonBytes));
      }

      message = "start save to ef_generate_code_avoid_error_prompt " + attempt;
      log.info(message);
      String final_request_json = JsonUtils.toJson(geminiChatRequestVo);
      if (channelContext != null) {
        byte[] jsonBytes = FastJson2Utils.toJSONBytes(Kv.by("info ", message));
        Tio.bSend(channelContext, new SsePacket("progress", jsonBytes));
      }

      Row row2 = Row.by("id", SnowflakeIdUtils.id()).set("final_request_json", final_request_json).set("prompt", avoidPrompt);
      Db.save("ef_generate_code_avoid_error_prompt", row2);

      message = "finish save to ef_generate_code_avoid_error_prompt " + attempt;
      log.info(message);
      if (channelContext != null) {
        byte[] jsonBytes = FastJson2Utils.toJSONBytes(Kv.by("info ", message));
        Tio.bSend(channelContext, new SsePacket("progress", jsonBytes));
      }

      messages.add(new ChatMessage("model", avoidPrompt));

      if (StrUtil.isNotBlank(executeMainmCode.getOutput())) {
        String value = "success " + attempt;
        log.info(value);
        if (channelContext != null) {
          byte[] jsonBytes = FastJson2Utils.toJSONBytes(Kv.by("info ", value));
          Tio.bSend(channelContext, new SsePacket("progress", jsonBytes));
        }
        log.info("success :{}:", executeMainmCode.getOutput());
        return executeMainmCode;
      }

      log.error("python {} Failed, error:{}", attempt + 1, stdErr);
      if (channelContext != null) {
        byte[] jsonBytes = FastJson2Utils.toJSONBytes(Kv.by("error", "Python code: 第" + (attempt + 1) + "次执行失败"));
        Tio.bSend(channelContext, new SsePacket("progress", jsonBytes));
      }
    }
    return executeMainmCode;
  }

  private String genAvoidPromptCode(GeminiChatRequestVo geminiChatRequestVo) {
    GeminiChatResponseVo chatResponse = null;
    GeminiGenerationConfigVo geminiGenerationConfigVo = new GeminiGenerationConfigVo();
    //设置参数
    geminiGenerationConfigVo.setTemperature(0d);
    geminiChatRequestVo.setGenerationConfig(geminiGenerationConfigVo);

    try {
      chatResponse = GeminiClient.generate(GoogleGeminiModels.GEMINI_2_5_PRO_PREVIEW_03_25, geminiChatRequestVo);
    } catch (Exception e) {
      log.error("Faile to generate code", e);
      return null;
    }

    String generatedText = chatResponse.getCandidates().get(0).getContent().getParts().get(0).getText();
    return generatedText;
  }

  public String genManaimCode(String topic, String md5, GeminiChatRequestVo geminiChatRequestVo) {
    String sql = "select python_code from ef_generate_code where md5=?";
    String pythonCode = Db.queryStr(sql, md5);
    if (pythonCode != null) {
      return pythonCode;
    }

    GeminiChatResponseVo chatResponse = null;
    GeminiGenerationConfigVo geminiGenerationConfigVo = new GeminiGenerationConfigVo();

    geminiGenerationConfigVo.setTemperature(0d);
    geminiChatRequestVo.setGenerationConfig(geminiGenerationConfigVo);

    try {
      //chatResponse = GeminiClient.generate(GoogleGeminiModels.GEMINI_2_5_PRO_EXP_03_25, geminiChatRequestVo);
      chatResponse = GeminiClient.generate(GoogleGeminiModels.GEMINI_2_5_PRO_PREVIEW_03_25, geminiChatRequestVo);
    } catch (Exception e) {
      log.error("Faile to generate code:{}", JsonUtils.toJson(geminiChatRequestVo), e);
      return null;
    }

    String generatedText = chatResponse.getCandidates().get(0).getContent().getParts().get(0).getText();

    String code = null;
    int indexOf = generatedText.indexOf("```python");

    if (indexOf == -1) {
      if (generatedText.startsWith("{") && generatedText.endsWith("}")) {
        code = generatedText;

        ToolVo toolVo = null;
        try {
          toolVo = JsonUtils.parse(code.trim(), ToolVo.class);
        } catch (Exception e) {
          log.error("Failed to parse Json:{}", code);
          return null;
        }
        return toolVo.getCode();
      } else {
        log.error("No valid JSON data found in the output.:{}", generatedText);
        return null;
      }
    } else {
      int lastIndexOf = generatedText.lastIndexOf("```");
      log.info("index:{},{}", indexOf, lastIndexOf);
      if (lastIndexOf > 9) {
        try {
          code = generatedText.substring(indexOf + 9, lastIndexOf);
        } catch (Exception e) {
          log.error("generated text:{}", generatedText, e);
          return null;
        }
      } else {
        try {
          code = generatedText.substring(indexOf + 9);
        } catch (Exception e) {
          log.error("generated text:{}", generatedText, e);
          return null;
        }
      }
      new File("script").mkdirs();
      try {
        String path = "script/" + SnowflakeIdUtils.id() + ".py";
        log.info("code file:{}", path);
        FileUtil.writeString(code, path, "UTF-8");
      } catch (IOException e) {
        e.printStackTrace();
      }
      return code;
    }
  }
}

3.5 定义 Linux 执行结果 ProcessResult

定义了一个简单的 POJO 类用于封装 Linux 服务器执行 Python 代码的返回结果,包括任务 ID、退出码、标准输出、错误输出、返回的最终输出以及可能的图片、视频列表。

package com.litongjava.linux;

import java.util.List;

import lombok.AllArgsConstructor;
import lombok.Data;
import lombok.NoArgsConstructor;

@Data
@NoArgsConstructor
@AllArgsConstructor
public class ProcessResult {
  private long taskId;
  private int exitCode;
  private String executeCode;
  private String stdOut;
  private String stdErr;
  private String output;
  private List<String> images;
  private List<String> videos;
}

4. 测试类

通过以下测试类可以对系统核心流程进行验证。测试用例覆盖了不同主题的视频生成、语言设置以及系统提示词和场景生成等功能。

package com.litongjava.manim.services;

import org.junit.Test;

import com.litongjava.jfinal.aop.Aop;
import com.litongjava.manim.config.AdminAppConfig;
import com.litongjava.manim.vo.ExplanationVo;
import com.litongjava.tio.boot.testing.TioBootTest;

public class ExplanationVideoServiceTest {

  @Test
  public void test_Kjeldahl() {
    TioBootTest.runWith(AdminAppConfig.class);
    ExplanationVo explanationVo = new ExplanationVo("Chemistry - Kjeldahl Method");
    Aop.get(ExplanationVideoService.class).index(explanationVo, false, null);
  }

  @Test
  public void test_light() {
    TioBootTest.runWith(AdminAppConfig.class);
    ExplanationVo explanationVo = new ExplanationVo("generate a video about refraction of light");
    explanationVo.setLanguage("English");
    Aop.get(ExplanationVideoService.class).index(explanationVo, false, null);
  }

  @Test
  public void trigonometricFunctions() {
    TioBootTest.runWith(AdminAppConfig.class);
    ExplanationVo explanationVo = new ExplanationVo("生成一个三角函数讲解视频");
    Aop.get(ExplanationVideoService.class).index(explanationVo, false, null);
  }

  @Test
  public void getSystemPrompt() {
    TioBootTest.runWith(AdminAppConfig.class);
    String systemPrompt = Aop.get(ExplanationVideoService.class).getSystemPrompt();
    System.out.println(systemPrompt);
  }

  @Test
  public void genSence() {
    TioBootTest.runWith(AdminAppConfig.class);
    Aop.get(ExplanationVideoService.class).genSence("什么是向量");
  }
}

5. 主要逻辑说明

整体流程的主要逻辑如下:

  1. 系统提示词生成
    后端通过 getSystemPrompt() 方法加载存储在文件中的基础系统提示词,同时从数据库加载大模型之前总结的避免错误的提示词,并将多个代码示例追加至提示中,以确保生成的 Python 代码具备完整性。

  2. 调用大模型生成代码
    根据用户提交的主题,构造对话消息(含用户描述和系统提示词),调用大模型(如 Google Gemini 系列)生成 Python 代码。生成代码时支持两种返回格式:

    • 直接返回 Markdown 格式中的代码块
    • 返回 JSON 格式数据,然后解析其中的代码字段
  3. 代码执行及错误处理
    生成的代码通过 LinuxService.executeCode() 发送至 Linux 服务器执行。如果执行过程中发生错误,系统调用 fixCodeAndRerun() 方法,将错误信息反馈给大模型,请求修复代码,并同时生成一份“避免错误提示”保存于数据库。最多重试 10 次直至执行成功。

  4. 结果保存与反馈
    当 Python 代码成功执行后,生成的视频地址(拼接前缀后)通过 SSE 事件发送给前端,前端据此播放视频。同时,将视频信息保存至数据库表 ef_ugvideo 和生成代码记录表 ef_generate_code,以便下次命中缓存,提升响应速度。

  5. 前端响应
    前端通过 SSE 接收到多次事件(包括代码、执行进度、错误提示及最终视频地址),最终在 main 事件中获取到视频地址,并播放视频。


总结

本文档详细介绍了一个整合全流程的系统,从数据库设计、接口定义到后端逻辑实现,每个步骤都经过精心设计和充分考虑异常处理。整个系统利用大模型生成 Python 代码,并通过 Linux 服务器执行代码,形成一个自动化的视频生成与播放流程,同时结合 SSE 实现前后端的实时通信,确保用户可以及时获得反馈信息。

Edit this page
Last Updated:
Contributors: Tong Li
Prev
使用 SSE 流式传输生成进度的实现文档
Next
HLS 动态推流技术文档