Tio Boot DocsTio Boot Docs
Home
  • java-db
  • api-table
  • Enjoy
  • Tio Boot Admin
  • ai_agent
  • translator
  • knowlege_base
  • ai-search
  • 案例
Abount
  • Github
  • Gitee
Home
  • java-db
  • api-table
  • Enjoy
  • Tio Boot Admin
  • ai_agent
  • translator
  • knowlege_base
  • ai-search
  • 案例
Abount
  • Github
  • Gitee
  • 01_tio-boot 简介

    • tio-boot:新一代高性能 Java Web 开发框架
    • tio-boot 入门示例
    • Tio-Boot 配置 : 现代化的配置方案
    • tio-boot 整合 Logback
    • tio-boot 整合 hotswap-classloader 实现热加载
    • 自行编译 tio-boot
    • 最新版本
    • 开发规范
  • 02_部署

    • 使用 Maven Profile 实现分环境打包 tio-boot 项目
    • Maven 项目配置详解:依赖与 Profiles 配置
    • tio-boot 打包成 FastJar
    • 使用 GraalVM 构建 tio-boot Native 程序
    • 使用 Docker 部署 tio-boot
    • 部署到 Fly.io
    • 部署到 AWS Lambda
    • 到阿里云云函数
    • 使用 Deploy 工具部署
    • 胖包与瘦包的打包与部署
    • 使用 Jenkins 部署 Tio-Boot 项目
    • 使用 Nginx 反向代理 Tio-Boot
    • 使用 Supervisor 管理 Java 应用
  • 03_配置

    • 配置参数
    • 服务器监听器
    • 内置缓存系统 AbsCache
    • 使用 Redis 作为内部 Cache
    • 静态文件处理器
    • 基于域名的静态资源隔离
    • DecodeExceptionHandler
  • 04_原理

    • 生命周期
    • 请求处理流程
    • 重要的类
  • 05_json

    • Json
    • 接受 JSON 和响应 JSON
    • 响应实体类
  • 06_web

    • 概述
    • 文件上传
    • 接收请求参数
    • 接收日期参数
    • 接收数组参数
    • 返回字符串
    • 返回文本数据
    • 返回网页
    • 请求和响应字节
    • 文件下载
    • 返回视频文件并支持断点续传
    • http Session
    • Cookie
    • HttpRequest
    • HttpResponse
    • Resps
    • RespBodyVo
    • /zh/06_web/19.html
    • 全局异常处理器
    • 异步
    • 动态 返回 CSS 实现
    • 返回图片
    • Transfer-Encoding: chunked 实时音频播放
    • Server-Sent Events (SSE)
    • 接口访问统计
    • 接口请求和响应数据记录
    • 自定义 Handler 转发请求
    • 使用 HttpForwardHandler 转发所有请求
    • 跨域
    • 添加 Controller
    • 常用工具类
    • HTTP Basic 认证
    • WebJars
    • JProtobuf
  • 07_validate

    • 数据紧校验规范
    • 参数校验
  • 08_websocket

    • 使用 tio-boot 搭建 WebSocket 服务
    • WebSocket 聊天室项目示例
  • 09_java-db

    • java‑db
    • 操作数据库入门示例
    • SQL 模板
    • 数据源配置与使用
    • ActiveRecord
    • Model
    • 生成器与 Model
    • Db 工具类
    • 批量操作
    • 数据库事务处理
    • Cache 缓存
    • Dialect 多数据库支持
    • 表关联操作
    • 复合主键
    • Oracle 支持
    • Enjoy SQL 模板
    • Java-DB 整合 Enjoy 模板最佳实践
    • 多数据源支持
    • 独立使用 ActiveRecord
    • 调用存储过程
    • java-db 整合 Guava 的 Striped 锁优化
    • 生成 SQL
    • 通过实体类操作数据库
    • java-db 读写分离
    • Spring Boot 整合 Java-DB
    • like 查询
    • 常用操作示例
    • Druid 监控集成指南
    • SQL 统计
  • 10_api-table

    • ApiTable 概述
    • 使用 ApiTable 连接 SQLite
    • 使用 ApiTable 连接 Mysql
    • 使用 ApiTable 连接 Postgres
    • 使用 ApiTable 连接 TDEngine
    • 使用 api-table 连接 oracle
    • 使用 api-table 连接 mysql and tdengine 多数据源
    • EasyExcel 导出
    • EasyExcel 导入
    • TQL(Table SQL)前端输入规范
    • ApiTable 实现增删改查
    • 数组类型
    • 单独使用 ApiTable
  • 11_aop

    • JFinal-aop
    • Aop 工具类
    • 配置
    • 配置
    • 独立使用 JFinal Aop
    • @AImport
    • 原理解析
  • 12_cache

    • Caffine
    • Jedis-redis
    • hutool RedisDS
    • Redisson
    • Caffeine and redis
    • CacheUtils 工具类
    • 使用 CacheUtils 整合 caffeine 和 redis 实现的两级缓存
    • 使用 java-db 整合 ehcache
    • 使用 java-db 整合 redis
    • Java DB Redis 相关 Api
    • redis 使用示例
  • 13_认证和权限

    • hutool-JWT
    • FixedTokenInterceptor
    • 使用内置 TokenManager 实现登录
    • 用户系统
    • 重置密码
    • 匿名登录
    • Google 登录
    • 权限校验注解
    • Sa-Token
    • sa-token 登录注册
    • StpUtil.isLogin() 源码解析
    • 短信登录
    • 移动端微信登录实现指南
    • 移动端重置密码
  • 14_i18n

    • i18n
  • 15_enjoy

    • tio-boot 整合 Enjoy 模版引擎文档
    • 引擎配置
    • 表达式
    • 指令
    • 注释
    • 原样输出
    • Shared Method 扩展
    • Shared Object 扩展
    • Extension Method 扩展
    • Spring boot 整合
    • 独立使用 Enjoy
    • tio-boot enjoy 自定义指令 localeDate
    • PromptEngine
    • Enjoy 入门示例-擎渲染大模型请求体
    • Enjoy 使用示例
  • 16_定时任务

    • Quartz 定时任务集成指南
    • 分布式定时任务 xxl-jb
    • cron4j 使用指南
  • 17_tests

    • TioBootTest 类
  • 18_tio

    • TioBootServer
    • tio-core
    • 内置 TCP 处理器
    • 独立启动 UDPServer
    • 使用内置 UDPServer
    • t-io 消息处理流程
    • tio-运行原理详解
    • TioConfig
    • ChannelContext
    • Tio 工具类
    • 业务数据绑定
    • 业务数据解绑
    • 发送数据
    • 关闭连接
    • Packet
    • 监控: 心跳
    • 监控: 客户端的流量数据
    • 监控: 单条 TCP 连接的流量数据
    • 监控: 端口的流量数据
    • 单条通道统计: ChannelStat
    • 所有通道统计: GroupStat
    • 资源共享
    • 成员排序
    • ssl
    • DecodeRunnable
    • 使用 AsynchronousSocketChannel 响应数据
    • 拉黑 IP
    • 深入解析 Tio 源码:构建高性能 Java 网络应用
  • 19_aio

    • ByteBuffer
    • AIO HTTP 服务器
    • 自定义和线程池和池化 ByteBuffer
    • AioHttpServer 应用示例 IP 属地查询
    • 手写 AIO Http 服务器
  • 20_netty

    • Netty TCP Server
    • Netty Web Socket Server
    • 使用 protoc 生成 Java 包文件
    • Netty WebSocket Server 二进制数据传输
    • Netty 组件详解
  • 21_netty-boot

    • Netty-Boot
    • 原理解析
    • 整合 Hot Reload
    • 整合 数据库
    • 整合 Redis
    • 整合 Elasticsearch
    • 整合 Dubbo
    • Listener
    • 文件上传
    • 拦截器
    • Spring Boot 整合 Netty-Boot
    • SSL 配置指南
    • ChannelInitializer
    • Reserve
  • 22_MQ

    • Mica-mqtt
    • EMQX
    • Disruptor
  • 23_tio-utils

    • tio-utils
    • HttpUtils
    • Notification
    • 邮箱
    • JSON
    • 读取文件
    • Base64
    • 上传和下载
    • Http
    • Telegram
    • RsaUtils
    • EnvUtils 使用文档
    • 系统监控
    • 毫秒并发 ID (MCID) 生成方案
  • 24_tio-http-server

    • 使用 Tio-Http-Server 搭建简单的 HTTP 服务
    • tio-boot 添加 HttpRequestHandler
    • 在 Android 上使用 tio-boot 运行 HTTP 服务
    • tio-http-server-native
    • handler 常用操作
  • 25_tio-websocket

    • WebSocket 服务器
    • WebSocket Client
  • 26_tio-im

    • 通讯协议文档
    • ChatPacket.proto 文档
    • java protobuf
    • 数据表设计
    • 创建工程
    • 登录
    • 历史消息
    • 发消息
  • 27_mybatis

    • Tio-Boot 整合 MyBatis
    • 使用配置类方式整合 MyBatis
    • 整合数据源
    • 使用 mybatis-plus 整合 tdengine
    • 整合 mybatis-plus
  • 28_mongodb

    • tio-boot 使用 mongo-java-driver 操作 mongodb
  • 29_elastic-search

    • Elasticsearch
    • JavaDB 整合 ElasticSearch
    • Elastic 工具类使用指南
    • Elastic-search 注意事项
    • ES 课程示例文档
  • 30_magic-script

    • tio-boot 整合 magic-script
  • 31_groovy

    • tio-boot 整合 Groovy
  • 32_firebase

    • 整合 google firebase
    • Firebase Storage
    • Firebase Authentication
    • 使用 Firebase Admin SDK 进行匿名用户管理与自定义状态标记
    • 导出用户
    • 注册回调
    • 登录注册
  • 33_文件存储

    • 文件上传数据表
    • 本地存储
    • 使用 AWS S3 存储文件并整合到 Tio-Boot 项目中
    • 存储文件到 腾讯 COS
  • 34_spider

    • jsoup
    • 爬取 z-lib.io 数据
    • 整合 WebMagic
    • WebMagic 示例:爬取学校课程数据
    • Playwright
    • Flexmark (Markdown 处理器)
    • tio-boot 整合 Playwright
    • 缓存网页数据
  • 36_integration_thirty_party

    • tio-boot 整合 okhttp
    • 整合 GrpahQL
    • 集成 Mailjet
    • 整合 ip2region
    • 整合 GeoLite 离线库
    • 整合 Lark 机器人指南
    • 集成 Lark Mail 实现邮件发送
    • Thymeleaf
    • Swagger
    • Clerk 验证
  • 37_dubbo

    • 概述
    • dubbo 2.6.0
    • dubbo 2.6.0 调用过程
    • dubbo 3.2.0
  • 38_spring

    • Spring Boot Web 整合 Tio Boot
    • spring-boot-starter-webflux 整合 tio-boot
    • Tio Boot 整合 Spring Boot Starter
    • Tio Boot 整合 Spring Boot Starter Data Redis 指南
  • 39_spring-cloud

    • tio-boot spring-cloud
  • 40_mysql

    • 使用 Docker 运行 MySQL
    • /zh/42_mysql/02.html
  • 41_postgresql

    • PostgreSQL 安装
    • PostgreSQL 主键自增
    • PostgreSQL 日期类型
    • Postgresql 金融类型
    • PostgreSQL 数组类型
    • PostgreSQL 全文检索
    • PostgreSQL 查询优化
    • 获取字段类型
    • PostgreSQL 向量
    • PostgreSQL 优化向量查询
    • PostgreSQL 其他
  • 43_oceanbase

    • 快速体验 OceanBase 社区版
    • 快速上手 OceanBase 数据库单机部署与管理
    • 诊断集群性能
    • 优化 SQL 性能指南
    • /zh/43_oceanbase/05.html
  • 50_media

    • JAVE 提取视频中的声音
    • Jave 提取视频中的图片
    • /zh/50_media/03.html
  • 51_asr

    • Whisper-JNI
  • 54_native-media

    • java-native-media
    • JNI 入门示例
    • mp3 拆分
    • mp4 转 mp3
    • 使用 libmp3lame 实现高质量 MP3 编码
    • Linux 编译
    • macOS 编译
    • 从 JAR 包中加载本地库文件
    • 支持的音频和视频格式
    • 任意格式转为 mp3
    • 通用格式转换
    • 通用格式拆分
    • 视频合并
    • VideoToHLS
    • split_video_to_hls 支持其他语言
    • 持久化 HLS 会话
  • 55_telegram4j

    • 数据库设计
    • /zh/55_telegram4j/02.html
    • 基于 MTProto 协议开发 Telegram 翻译机器人
    • 过滤旧消息
    • 保存机器人消息
    • 定时推送
    • 增加命令菜单
    • 使用 telegram-Client
    • 使用自定义 StoreLayout
    • 延迟测试
    • Reactor 错误处理
    • Telegram4J 常见错误处理指南
  • 56_telegram-bots

    • TelegramBots 入门指南
    • 使用工具库 telegram-bot-base 开发翻译机器人
  • 60_LLM

    • 简介
    • AI 问答
    • /zh/60_LLM/03.html
    • /zh/60_LLM/04.html
    • 增强检索(RAG)
    • 结构化数据检索
    • 搜索+AI
    • 集成第三方 API
    • 后置处理
    • 推荐问题生成
    • 连接代码执行器
    • 避免 GPT 混乱
    • /zh/60_LLM/13.html
  • 61_ai_agent

    • 数据库设计
    • 示例问题管理
    • 会话管理
    • 历史记录
    • 对接 Perplexity API
    • 意图识别与生成提示词
    • 智能问答模块设计与实现
    • 文件上传与解析文档
    • 翻译
    • 名人搜索功能实现
    • Ai studio gemini youbue 问答使用说明
    • 自建 YouTube 字幕问答系统
    • 自建 获取 youtube 字幕服务
    • 通用搜索
    • /zh/61_ai_agent/15.html
    • 16
    • 17
    • 18
    • 在 tio-boot 应用中整合 ai-agent
    • 16
  • 62_translator

    • 简介
  • 63_knowlege_base

    • 数据库设计
    • 用户登录实现
    • 模型管理
    • 知识库管理
    • 文档拆分
    • 片段向量
    • 命中测试
    • 文档管理
    • 片段管理
    • 问题管理
    • 应用管理
    • 向量检索
    • 推理问答
    • 问答模块
    • 统计分析
    • 用户管理
    • api 管理
    • 存储文件到 S3
    • 文档解析优化
    • 片段汇总
    • 段落分块与检索
    • 多文档解析
    • 对话日志
    • 检索性能优化
    • Milvus
    • 文档解析方案和费用对比
    • 离线运行向量模型
  • 64_ai-search

    • ai-search 项目简介
    • ai-search 数据库文档
    • ai-search SearxNG 搜索引擎
    • ai-search Jina Reader API
    • ai-search Jina Search API
    • ai-search 搜索、重排与读取内容
    • ai-search PDF 文件处理
    • ai-search 推理问答
    • Google Custom Search JSON API
    • ai-search 意图识别
    • ai-search 问题重写
    • ai-search 系统 API 接口 WebSocket 版本
    • ai-search 搜索代码实现 WebSocket 版本
    • ai-search 生成建议问
    • ai-search 生成问题标题
    • ai-search 历史记录
    • Discover API
    • 翻译
    • Tavily Search API 文档
    • 对接 Tavily Search
    • 火山引擎 DeepSeek
    • 对接 火山引擎 DeepSeek
    • ai-search 搜索代码实现 SSE 版本
    • jar 包部署
    • Docker 部署
    • 爬取一个静态网站的所有数据
    • 网页数据预处理
    • 网页数据检索与问答流程整合
  • 65_java-linux

    • Java 执行 python 代码
    • 通过大模型执行 Python 代码
    • MCP 协议
    • Cline 提示词
    • Cline 提示词-中文版本
  • 66_manim

    • 简介
    • Manim 开发环境搭建
    • 生成场景提示词
    • 生成代码
    • 完整脚本示例
    • 语音合成系统
    • Fish.audio TTS 接口说明文档与 Java 客户端封装
    • 整合 fishaudio 到 java-uni-ai-server 项目
    • 执行 Python (Manim) 代码
    • 使用 SSE 流式传输生成进度的实现文档
    • 整合全流程完整文档
    • HLS 动态推流技术文档
    • manim 分场景生成代码
    • 分场景运行代码及流式播放支持
    • 分场景业务端完整实现流程
    • Maiim布局管理器
    • 仅仅生成场景代码
    • 使用 modal 运行 manim 代码
    • Python 使用 Modal GPU 加速渲染
    • Modal 平台 GPU 环境下运行 Manim
    • Modal Manim OpenGL 安装与使用
    • 优化 GPU 加速
    • 生成视频封面流程
    • Java 调用 manim 命令 执行代码 生成封面
    • Manim 图像生成服务客户端文档
    • manim render help
    • 显示 中文公式
    • manimgl
    • EGL
    • /zh/66_manim/30.html
    • /zh/66_manim/31.html
    • 成本核算
    • /zh/66_manim/33.html
  • 70_tio-boot-admin

    • 入门指南
    • 初始化数据
    • token 存储
    • 与前端集成
    • 文件上传
    • 网络请求
    • 图片管理
    • /zh/70_tio-boot-admin/08.html
    • Word 管理
    • PDF 管理
    • 文章管理
    • 富文本编辑器
  • 71_tio-boot

    • /zh/71_tio-boot/01.html
    • Swagger 整合到 Tio-Boot 中的指南
    • HTTP/1.1 Pipelining 性能测试报告
  • 80_性能测试

    • 压力测试 - tio-http-serer
    • 压力测试 - tio-boot
    • 压力测试 - tio-boot-native
    • 压力测试 - netty-boot
    • 性能测试对比
    • TechEmpower FrameworkBenchmarks
    • 压力测试 - tio-boot 12 C 32G
  • 99_案例

    • 封装 IP 查询服务
    • tio-boot 案例 - 全局异常捕获与企业微信群通知
    • tio-boot 案例 - 文件上传和下载
    • tio-boot 案例 - 整合 ant design pro 增删改查
    • tio-boot 案例 - 流失响应
    • tio-boot 案例 - 增强检索
    • tio-boot 案例 - 整合 function call
    • tio-boot 案例 - 定时任务 监控 PostgreSQL、Redis 和 Elasticsearch
    • Tio-Boot 案例:使用 SQLite 整合到登录注册系统
    • tio-boot 案例 - 执行 shell 命令

jsoup

  • jsoup 基础
    • 1.1 jsoup 入门案例
    • 1.2 jsoup Document 对象
    • 1.3 选择器的语法
    • 1.4 jsoup 获取元素属性案例
  • 案例演示
    • 示例场景: 抓取高校扩招信息
  • 结语

jsoup 是一个用于解析、提取和处理 HTML 的 Java 库。它提供了一个非常方便的 API,可以让开发者轻松地从 URL、文件或字符串中解析 HTML,并提取所需的内容。本文将带你深入了解 jsoup 的基础知识、核心对象以及常用的选择器语法,并通过实际案例演示其应用。

jsoup 基础

1.1 jsoup 入门案例

1.1.1 创建工程 se-jsoup-demo1

首先,创建一个新的 Maven 工程,命名为se-jsoup-demo1。在项目的pom.xml文件中添加 jsoup 的依赖:

<dependency>
  <groupId>org.jsoup</groupId>
  <artifactId>jsoup</artifactId>
  <version>1.12.1</version>
</dependency>

1.1.2 获取网页源码

在爬取网页时,通常会使用HttpClient等框架获取网页源码。获取到源码后,需要从中提取所需的内容,这时就可以使用 jsoup 这样的 HTML 解析器来实现。jsoup 支持解析 HTML 字符串、URL 和文件,并将其转换为org.jsoup.nodes.Document对象,方便进一步操作。

以下是一个简单的示例,展示如何获取网页的标题:

import java.io.IOException;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;

public class JsoupExampleGetTitle {
  public static void main(String[] args) {
    Document doc = null;
    try {
      doc = Jsoup.connect("http://www.baidu.com/").get();
    } catch (IOException e) {
      e.printStackTrace();
    }
    String title = doc.title();
    System.out.println(title);
  }
}

输出结果:

百度一下,你就知道

接下来是一个获取网页源码的示例:

package com.uairobot.bill.study.jsoup;

import java.io.IOException;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;

public class JsonSourceContent {
  public static void main(String[] args) {
    Document document = null;
    try {
      document = Jsoup.connect("http://www.baidu.com").get();
    } catch (IOException e) {
      e.printStackTrace();
    }
    String text = document.text();
    String outerHtml = document.outerHtml();
    System.out.println("text");
    System.out.println(text);
    System.out.println("outerHtml");
    System.out.println(outerHtml);
  }
}

获取网页内容的方法:

  • Element.text(): 获取元素中的纯文本。
  • Element.html() 或 Node.outerHtml(): 获取元素中的 HTML 内容。
  • Node.attr(String key): 获取元素的属性值,例如获取<a href="">中的href值。

1.1.3 登录获取 cookie

有时需要模拟登录操作并获取返回的 cookie。以下示例展示了如何通过 jsoup 连接并获取登录后的 cookie:

package com.uairobot.bill.study.jsoup;

import java.io.IOException;
import java.util.Map;
import org.jsoup.Connection;
import org.jsoup.Connection.Response;
import org.jsoup.Jsoup;

public class JsonLogin {
  public static void main(String[] args) {
    String url = "http://www.iotcloud168.com:8083/user/login?username=181228001&password=123";
    Connection connect = Jsoup.connect(url);
    Response execute = null;
    try {
      execute = connect.execute();
    } catch (IOException e) {
      e.printStackTrace();
    }
    Map<String, String> cookies = execute.cookies();
    System.out.println(cookies);
  }
}

1.2 jsoup Document 对象

1.2.1 获取 Document 对象

获取Document对象的方法主要有以下几种:

  • 从 URL 获取 HTML 解析:

    Document doc = Jsoup.connect("http://www.baidu.com/").get();
    

    Jsoup.connect("xxx")方法返回一个org.jsoup.Connection对象。在执行请求前,可以通过该对象设置请求信息,如头信息、cookie、超时时间、代理等,以模拟浏览器行为。例如:

    Document doc = Jsoup.connect("http://example.com")
      .data("query", "Java")
      .userAgent("Mozilla")
      .cookie("auth", "token")
      .timeout(3000)
      .post();
    
  • 从文件获取 HTML 解析:

    String addr = "http://zszcba.haedu.gov.cn/result/query";
    File input = new File("example.html");
    try {
      Document parse = Jsoup.parse(input, "UTF-8", addr);
    } catch (IOException e) {
      e.printStackTrace();
    }
    

1.2.2 从 Document 获取指定的元素

Document对象提供了多种方法来获取指定的 HTML 元素:

  • 通过 DOM 方式获取:

    • getElementById(String id): 通过 ID 获取元素。
    • getElementsByTag(String tagName): 通过标签名获取元素。
    • getElementsByClass(String className): 通过类名获取元素。
    • getElementsByAttribute(String key): 通过属性名获取元素。
    • getElementsByAttributeValue(String key, String value): 通过指定的属性名和值获取元素。
    • getAllElements(): 获取所有元素。
  • 通过选择器语法获取:

    使用类似 CSS 或 jQuery 的选择器,通过Element类的select方法来查找元素。例如:

    File input = new File("/tmp/input.html");
    Document doc = Jsoup.parse(input, "UTF-8", "http://example.com/");
    Elements links = doc.select("a[href]"); // 选择所有带有href属性的a标签
    Elements pngs = doc.select("img[src$=.png]"); // 选择所有扩展名为.png的图片
    Element masthead = doc.select("div.masthead").first(); // 选择class为masthead的div标签
    Elements resultLinks = doc.select("h3.r > a"); // 选择h3标签内的a标签
    

1.3 选择器的语法

选择器是 jsoup 中非常强大的功能,允许开发者通过类似 CSS 的语法来查找和过滤元素。

1.3.1 通过标签查找元素

选择器语法支持多种方式通过标签查找元素:

  • 标签名: a - 选择所有<a>标签。
  • 命名空间标签: ns|tag - 例如,fb|name选择<fb:name>元素。
  • ID 选择器: #id - 例如,#logo选择 ID 为logo的元素。
  • 类选择器: .class - 例如,.masthead选择所有类名包含masthead的元素。
  • 属性选择器:
    • [attribute] - 选择拥有指定属性的元素,例如 [href]。
    • [attr=value] - 选择属性值等于指定值的元素,例如 [width=500]。
    • [attr^=value], [attr$=value], [attr*=value] - 分别选择属性值以指定值开头、结尾或包含指定值的元素。
    • [attr~=regex] - 选择属性值匹配指定正则表达式的元素,例如 img[src~=(?i).(png|jpe?g)]。
  • 通配符: * - 匹配所有元素。

组合使用选择器:

  • el#id: 元素加 ID,例如 div#logo。
  • el.class: 元素加类,例如 div.masthead。
  • el[attr]: 元素加属性,例如 a[href]。
  • 多种选择器组合,例如 a[href].highlight。
  • 层级关系选择器:
    • ancestor child: 选择某元素下的子元素,例如 .body p选择.body元素下的所有<p>元素。
    • parent > child: 选择父元素的直接子元素,例如 div.content > p。
    • siblingA + siblingB: 选择紧接在siblingA之后的同级元素siblingB,例如 div.head + div。
    • siblingA ~ siblingX: 选择siblingA之前的所有同级元素siblingX,例如 h1 ~ p。
  • 多个选择器: el, el, el - 选择匹配任一选择器的元素,例如 div.masthead, div.logo。

1.3.2 伪选择器

jsoup 支持多种伪选择器,用于进一步过滤元素:

  • :lt(n): 选择同级索引值小于 n 的元素,例如 td:lt(3)选择前三个<td>元素。
  • :gt(n): 选择同级索引值大于 n 的元素,例如 div p:gt(2)选择包含超过两个<p>元素的<div>。
  • :eq(n): 选择同级索引值等于 n 的元素,例如 form input:eq(1)选择表单中的第二个<input>元素。
  • :has(selector): 选择包含匹配选择器的子元素的元素,例如 div:has(p)选择包含<p>元素的所有<div>。
  • :not(selector): 选择不匹配选择器的元素,例如 div:not(.logo)选择所有不包含class="logo"的<div>元素。
  • :contains(text): 选择包含指定文本的元素,搜索不区分大小写,例如 p:contains(jsoup)。
  • :containsOwn(text): 选择直接包含指定文本的元素。
  • :matches(regex): 选择文本匹配指定正则表达式的元素,例如 div:matches((?i)login)。
  • :matchesOwn(regex): 选择自身文本匹配指定正则表达式的元素。

注意: 伪选择器中的索引从 0 开始,第一个元素索引为 0,第二个为 1,以此类推。

1.3.3 获取 Element 对象内容

从Element对象中提取内容常用的方法包括:

  • 获取文本: Element.text()
    String text = element.text();
    
  • 获取 HTML 内容: Element.html() 或 Node.outerHtml()
    String htmlContent = element.html();
    String outerHtml = element.outerHtml();
    
  • 获取属性值: Node.attr(String key)
    String href = element.attr("href");
    

1.4 jsoup 获取元素属性案例

1.4.1 获取 A 标签的链接

以下示例展示了如何使用 jsoup 获取特定条件下的<a>标签链接:

package com.litong.jsoup.demo;

import java.io.IOException;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
import lombok.extern.slf4j.Slf4j;

/**
 * @author
 * @date 2020年11月12日
 * @version 1.0
 * @desc 获取所有2020年高职扩招的学校
 */
@Slf4j
public class GetAllSchoolName {
  public static void main(String[] args) throws IOException {
    String httpUrl = "http://xxx/result/query";
    for (int i = 1; i < 6; i++) {
      // 连接并获取HTML文档
      Document document = Jsoup.connect(httpUrl + "?page=" + i).get();
      log.info("爬取第" + i + "页");

      // 使用选择器获取包含特定文本的a标签
      Elements select1 = document.select("td a[href]:contains(2020年高职扩招)");
      Elements select2 = document.select("td a[href]:contains(2020年扩招)");

      // 合并两个Elements对象
      select1.addAll(select2);
      log.info("共有学校" + select1.size() + "个");

      // 获取学校的名称和链接
      if (select1.size() > 0) {
        for (Element element : select1) {
          String text = element.text();
          String value = element.attr("href");
          log.info("获取到学校的名称: {}, 学校的连接: {}", text, value);
        }
      }
    }
  }
}

说明:

  • 连接与获取文档: 使用Jsoup.connect(url).get()连接指定 URL 并获取 HTML 文档。
  • 选择器使用: 使用select方法结合contains伪选择器,筛选出包含特定文本的<a>标签。
  • 合并元素: 将两个Elements对象合并,避免遗漏任何符合条件的元素。
  • 提取内容: 遍历Elements,提取每个<a>标签的文本和href属性值。

案例演示

通过上述内容,我们已经了解了 jsoup 的基础用法。接下来,我们将结合实际场景,展示如何使用 jsoup 进行网页数据的抓取与解析。

示例场景: 抓取高校扩招信息

假设我们需要抓取某教育网站上 2020 年高职扩招的所有学校名称及其链接。以下是详细步骤:

  1. 确定目标 URL: http://xxx/result/query?page=1 到 http://xxx/result/query?page=5
  2. 分析网页结构: 通过浏览器的开发者工具,确定目标数据所在的 HTML 标签及其属性。
  3. 编写爬虫代码: 使用 jsoup 连接每一页,提取目标数据。

完整代码示例:

package com.litong.jsoup.demo;

import java.io.IOException;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
import lombok.extern.slf4j.Slf4j;

/**
 * 获取所有2020年高职扩招的学校
 */
@Slf4j
public class GetAllSchoolName {
  public static void main(String[] args) throws IOException {
    String httpUrl = "http://xxx/result/query";
    for (int i = 1; i < 6; i++) {
      // 连接并获取HTML文档
      Document document = Jsoup.connect(httpUrl + "?page=" + i).get();
      log.info("爬取第" + i + "页");

      // 使用选择器获取包含特定文本的a标签
      Elements select1 = document.select("td a[href]:contains(2020年高职扩招)");
      Elements select2 = document.select("td a[href]:contains(2020年扩招)");

      // 合并两个Elements对象
      select1.addAll(select2);
      log.info("共有学校" + select1.size() + "个");

      // 提取学校名称和链接
      if (select1.size() > 0) {
        for (Element element : select1) {
          String text = element.text();
          String value = element.attr("href");
          log.info("获取到学校的名称: {}, 学校的连接: {}", text, value);
        }
      }
    }
  }
}

运行结果:

INFO  爬取第1页
INFO  共有学校5个
INFO  获取到学校的名称: XXX大学, 学校的连接: http://xxx/school/xxx
...
INFO  爬取第5页
INFO  共有学校4个
INFO  获取到学校的名称: YYY学院, 学校的连接: http://xxx/school/yyy
...

总结:

通过以上示例,我们展示了如何使用 jsoup 进行网页数据的抓取与解析。jsoup 强大的选择器语法和简洁的 API 使得 HTML 解析变得非常高效和便捷。无论是简单的网页抓取,还是复杂的数据提取任务,jsoup 都能胜任。

结语

jsoup 是 Java 开发中处理 HTML 的强大工具。本文介绍了 jsoup 的基础用法,包括如何获取Document对象、使用选择器语法查找元素以及提取元素内容和属性。通过实际案例,我们进一步展示了 jsoup 在数据抓取中的应用。希望本指南能帮助你更好地掌握 jsoup,提升网页数据处理的效率。


参考资源:

  • jsoup 官网
  • 中文文档
  • jsoup 选择器语法参考
Edit this page
Last Updated:
Contributors: Tong Li
Next
爬取 z-lib.io 数据