WebFlux的探索与实战 - r2dbc的多表查询
在一个有数据库的项目中,条件查询与多表查询总是同幽灵般如影随形。
好久不见朋友们。 本篇文章会以我的 个人经验 来介绍下如何在 Spring WebFlux 中使用 Spring Data R2DBC 进行多表查询。
这次我会以一个自己写的项目作为基础来为各位介绍。如果你想了解如何创建一个 Spring WebFlux 项目,以及如何定义实体类、Repository类等,可以看 上一篇文章,这里便不会重点介 绍了。
前排免责:
对于 'r2dbc的多表查询' 这个主题,我不能保证已完全参透或已经给出非常全面的应用场景,因此本文仅供参考。如果你有更好的使用案例、解决方案,欢迎在评论区留言交流讨论😘。
既然是以一个我写的某个项目为基础进行介绍,那么我需要先交代一下这个项目的一些信息,比如涉及的表、实体类和简单的功能介绍。
可能会为了便于编撰文章而简化部分细节
这是一个简单的用户认证服务,用来登录、注册、签发token等。
数据库使用的 MySQL。
它的表包括了 账户 - 角色 - 权限 - 资源 4张表,以及连接它们的3张中间表,总共7张表。
表结构
这里是通过工具生成的DDL:
create table fa_account
(
id int auto_increment
primary key,
username varchar(200) not null,
zone_id varchar(255) not null comment '时区ID值',
email varchar(254) null,
password varchar(254) null,
status tinyint default 0 not null,
create_time datetime not null,
last_modified_time datetime not null,
version int default 0 not null,
constraint fa_account_email_uindex
unique (email)
)
comment '账户表';
create table fa_permission
(
id int auto_increment
primary key,
name varchar(100) not null,
category varchar(100) null,
enable tinyint default 1 not null,
status tinyint default 0 not null,
create_time datetime not null,
last_modified_time datetime not null,
version int default 0 not null
)
comment '权限表';
create table fa_resource
(
id int not null
primary key,
pattern varchar(500) not null,
type tinyint not null,
remark varchar(500) null,
enable tinyint default 1 not null,
status tinyint default 0 not null,
category varchar(100) null,
create_time datetime not null,
last_modified_time datetime not null,
version int default 0 not null,
constraint fa_resource_pattern_uindex
unique (pattern)
)
comment '资源表';
create table fa_permission_resource
(
permission_id int not null,
resource_id int not null,
remark varchar(500) null,
enable tinyint default 1 not null,
method int not null,
create_time datetime not null,
last_modified_time datetime not null,
version int default 0 not null,
primary key (permission_id, resource_id),
constraint fa_permission_resource_fa_permission_id_fk
foreign key (permission_id) references fa_permission (id)
on update cascade on delete cascade,
constraint fa_permission_resource_fa_resource_id_fk
foreign key (resource_id) references fa_resource (id)
on update cascade on delete cascade
)
comment '权限-资源关联表';
create table fa_role
(
id int auto_increment
primary key,
name varchar(100) not null,
is_default tinyint default 0 not null,
is_init tinyint default 0 not null,
category varchar(100) null,
enable tinyint default 1 not null,
status tinyint default 0 not null,
color int null,
create_time datetime not null,
last_modified_time datetime not null,
version int default 0 not null
)
comment '角色表';
create table fa_account_role
(
account_id int not null,
role_id int not null,
enable tinyint default 0 not null,
create_time datetime not null,
last_modified_time datetime not null,
version int default 0 not null,
primary key (account_id, role_id),
constraint fa_account_role_fa_account_id_fk
foreign key (account_id) references fa_account (id)
on update cascade on delete cascade,
constraint fa_account_role_fa_role_id_fk
foreign key (role_id) references fa_role (id)
on update cascade on delete cascade
)
comment '账户-权限表';
create table fa_role_permission
(
role_id int not null,
permission_id int not null,
enable tinyint default 0 not null,
create_time datetime not null,
last_modified_time datetime not null,
version int not null,
primary key (role_id, permission_id),
constraint fa_role_permission_fa_permission_id_fk
foreign key (permission_id) references fa_permission (id)
on update cascade on delete cascade,
constraint fa_role_permission_fa_role_id_fk
foreign key (role_id) references fa_role (id)
on update cascade on delete cascade
)
comment '角色-权限关联表';
你可以观察到一些特点:
- 每个表都会以
fa_开头。这是它们的一个统一的表前缀。 - 每个表都包括了
create_time、last_modified_time、version字段。它们通过 Spring Data R2DBC: Auditing 来实现一些审计(自动填充、更新之类的)能力。在 Spring Data JPA 里也有它们的身影。 - 每个表都有
enable字段。这些表都被设计为可以进行"开关"的, 也包括那些中间表。
实体类
这些表都各自需要一个实体类,也包括那些中间表。
它们的实体类大概是如下的样子(会经过部分简化,并使用了 Lombok):
// BaseAuditingEntity.java
/**
* 公共抽象类,但是没有 ID
*/
@Getter
@Setter
@ToString
public class BaseAuditingEntity {
@CreatedDate
private Instant createTime;
@LastModifiedDate
private Instant lastModifiedTime;
@Version
@JsonIgnore
private Integer version;
}
// BaseEntity.java
/**
* 公共抽象类。
*/
@Getter
@Setter
@ToString
public class BaseAuditingEntity {
public static final String TABLE_NAME_PREFIX = "fa_";
@Id
private Long id;
}
// Account.java
/**
* 账户信息
*/
@Table(Account.TABLE_NAME)
@Getter
@Setter
@ToString
public class Account extends BaseEntity {
public static final String BASE_TABLE_NAME = "account";
public static final String TABLE_NAME = BaseEntity.TABLE_NAME_PREFIX + BASE_TABLE_NAME;
private String username;
private String email;
@JsonIgnore
private String password;
private Integer status;
private ZoneId zoneId;
}
// Role.java
/**
* 角色信息
*/
@Table(Role.TABLE_NAME)
@Getter
@Setter
@ToString
public class Role extends BaseEntity {
public static final String BASE_TABLE_NAME = "role";
public static final String TABLE_NAME = BaseEntity.TABLE_NAME_PREFIX + BASE_TABLE_NAME;
private String name;
private String category;
@Column("is_default")
private Boolean defaultValue; // = false,
@Column("is_init")
private Boolean init; // = false,
private Boolean enable; // = true,
private Integer status; // = 0,
private Integer color;
}
// AccountRole.java
/**
* account - role 中间表
*/
@Table(AccountRole.TABLE_NAME)
@Getter
@Setter
@ToString
public class AccountRole extends BaseAuditingEntity {
public static final String BASE_TABLE_NAME = Account.BASE_TABLE_NAME + "_" + Role.BASE_TABLE_NAME;
public static final String TABLE_NAME = BaseEntity.TABLE_NAME_PREFIX + BASE_TABLE_NAME;
private Long accountId;
private Long roleId;
private Boolean enable;
}
// Permission.java
/**
* 权限信息
*/
@Table(Permission.TABLE_NAME)
@Getter
@Setter
@ToString
public class Permission extends BaseEntity {
public static final String BASE_TABLE_NAME = "permission";
public static final String TABLE_NAME = BaseEntity.TABLE_NAME_PREFIX + BASE_TABLE_NAME;
private String name;
private Boolean enable;
private String category;
private Integer status;
}
// RolePermission.java
/**
* role - permission 中间表
*/
@Table(RolePermission.TABLE_NAME)
@Getter
@Setter
@ToString
public class RolePermission extends BaseAuditingEntity {
public static final String BASE_TABLE_NAME = Role.BASE_TABLE_NAME + "_" + Permission.BASE_TABLE_NAME;
public static final String TABLE_NAME = BaseEntity.TABLE_NAME_PREFIX + BASE_TABLE_NAME;
private Long roleId;
private Long permissionId;
private Boolean enable;
}
// Resource.java
/**
* 资源信息
*/
@Table(Resource.TABLE_NAME)
@Getter
@Setter
@ToString
public class Resource extends BaseEntity {
public static final String BASE_TABLE_NAME = "resource";
public static final String TABLE_NAME = BaseEntity.TABLE_NAME_PREFIX + BASE_TABLE_NAME;
private String pattern;
private String remark;
private Integer type;
private Boolean enable;
private Integer status;
private String category;
}
// PermissionResource.java
/**
* permission - resource 中间表
*/
@Table(PermissionResource.TABLE_NAME)
@Getter
@Setter
@ToString
public class PermissionResource extends BaseAuditingEntity {
public static final String BASE_TABLE_NAME = Permission.BASE_TABLE_NAME + "_" + Resource.BASE_TABLE_NAME;
public static final String TABLE_NAME = BaseEntity.TABLE_NAME_PREFIX + BASE_TABLE_NAME;
private Long permissionId;
private Long resourceId;
private String remark;
private Boolean enable;
private Integer method;
}
如果你熟悉 JPA,那么你可能发现了:在 R2DBC 中,并没有什么 @ManyToOne、@ManyToMany 之类的关系注解给你用。在实体类中,你能做的便是定义与数据库基本一致的字段,然后选择性的添加一些注解(例如 @Id, @Version),就这么多。
换言之,首先你要明白:R2DBC 不支持关联查询。不过有关这个问题我们稍后再说。
场景重现
接下来,让我们先根据几个查询场景来看看我是如何实现的。
1. 分步查询: 某账户的全量信息
上文我们提到,表结构中共有四级:账户 - 角色 - 权限 - 资源,它们都是互相多对多的,因此一个 全量 的账户信息,可以大概表示为如下形式(扁平化后):
public record AccountFullView(
Account account,
List<Role> roles,
List<Permission> permissions,
List<Resource> resources
) {
}
那么接下来,准备一个 Service, 来实现根据某个 account_id 来查询对应账户的全量信息。
首先,简单交代一下思路。由于 R2DBC 本身并不支持直接进行关联查询,那么我们只能退而求其次, 将这些数据分步查询。也就是说,我们:
- 先查询账户(
Account)信息 - 根据账户信息,查询所有角色(
Role)信息 - 根据这些角色信息(
Set<role_id>),查询所有权限(Permission)信息 - 根据这些权限信息(
Set<permission_id>),查询所有资源(Resource)信息
在这其中:
- 假设不会有大集合数据(比如一个用户关联的角色最多100个)
- 由于只是一种单纯的查询,不考虑严格的数据一致性,因此不加事务
那么让我们来准备好这个 Service:
@Service
@RequiredArgsConstructor
public class AccountService {
private final AccountRepository accountRepository;
private final RoleRepository roleRepository;
private final PermissionRepository permissionRepository;
private final ResourceRepository resourceRepository;
public Mono<AccountFullView> full(Long accountId) {
// TODO 实现...
return null;
}
}
然后接下来在 full 中实现逻辑。
回顾上述的步骤,先进行最简单的一步:查询用户信息:
@Service
@RequiredArgsConstructor
public class AccountService {
private final AccountRepository accountRepository;
private final RoleRepository roleRepository;
private final PermissionRepository permissionRepository;
private final ResourceRepository resourceRepository;
private static class AccountFullViewContext {
Account account = null;
List<Role> roles = Collections.emptyList();
Set<Long> roleIds = Collections.emptySet();
List<Permission> permissions = Collections.emptyList();
Set<Long> permissionIds = Collections.emptySet();
List<Resource> resources = Collections.emptyList();
AccountFullView toView() {
return new AccountFullView(account, roles, permissions, resources);
}
}
public Mono<AccountFullView> full(Long accountId) {
// 准备一个 context
final var context = new AccountFullViewContext();
final var accountMono = accountRepository.findById(accountId)
.switchIfEmpty(Mono.error(new NoSuchElementException("Account(id=" + accountId + ")")));
// TODO 实现...
return null;
}
}
上面代码中的 AccountFullViewContext 是一个供 full 内的数据流流转使用的一个 "上下文" 类型,
它会随着流程的一步步推进而逐步完善其内部的各属性,并在最终通过 toView 将结果转化为 AccountFullView。
当然,你也可以选择不使用这种上下文的形式而是拆分出各个阶段的结果或者其他更好的方式,如何实现都是可以的。
不得不说,在 Java 中用响应式编程,一个简单的逻辑就可以把你的代码塞得满满当当的... 照着这股劲,将剩下的步骤继续完成!
...
...
是的,接下来便是 R2DBC 的地狱了。 首先回顾一下,我们说过,R2DBC 不支持关联查询,同时在一开始我们提到过,这几个表之间的关系都是多对多的,换言之,想查询"用户的所有角色",就需要关联它们的中间表才能做到。
为了贯彻这一小节中我们说的 "分步" 查询,我们接下来要做的是:
- 从中间表,查询对应
account_id的所有role_id - 根据这些
role_id,再去查询所有角色
那么,我们继 续!
要完成这个任务,我们首先得需要一个 AccountRoleRepository, 也就是查询中间表实体 AccountRole 的仓库。我们来创建一个:
public interface AccountRoleRepository extends Repository<AccountRole, Long> {
/**
* 根据 account id 查询 AccountRole集
*/
Flux<AccountRole> findAllByAccountId(Long accountId);
}
也许你注意到了,对于一个中间表实体的持久化仓库,我直接使用了 Repository 而不是 R2dbcRepository。这是为什么呢? R2dbcRepository 中提供的那些方法都是基于一个主键ID的,而作为一个中间表,它并没有一个具体的主键字段,所以我们也就不需要那些方法了。
如果你熟悉 JPA, 那么你可能会想要去尝试使用
@Embedded和@Id来实现一个组合式的复合主键类型。而在你准备尝试之前,也许你可以先去看看 spring-projects/spring-data-relational#574,来提前了解它为什么还不支持,以及大家围绕这个问题展开的讨论。
@Service
@RequiredArgsConstructor
public class AccountService {
private final AccountRepository accountRepository;
private final AccountRoleRepository accountRoleRepository;
private final RoleRepository roleRepository;
private final PermissionRepository permissionRepository;
private final ResourceRepository resourceRepository;
private static class AccountFullViewContext {
...
}
public Mono<AccountFullView> full(Long accountId) {
// 准备一个 context
final var context = new AccountFullViewContext();
final var accountMono = accountRepository.findById(accountId)
.switchIfEmpty(Mono.error(new NoSuchElementException("Account(id=" + accountId + ")")));
accountMono.flatMap(account -> {
// 初始化 account
context.account = account;
// 查询得到 roles
var contextMono = accountRoles(context, account);
// TODO permissions
return null;
});
// TODO 实现...
return null;
}
private Mono<AccountFullViewContext> accountRoles(AccountFullViewContext context, Account account) {
return accountRoleRepository.findAllByAccountId(account.getId())
.map(AccountRole::getRoleId)
// 将 AccountRole.roleId 收集为 Set.
.collect(Collectors.toSet())
.flatMap(roleIdSet -> {
// 查询所有的角色
return roleRepository.findAllById(roleIdSet)
.collectList()
.map(roles -> {
// 初始化 context 中的属性
context.roles = roles;
context.roleIds = roleIdSet;
return context;
});
});
}
}
又是一小步,这样我们便完成了对 Role 的查询。接下来如法炮制,完成剩下的、对 Permission 和 Resource 的查询吧!
最终完整的 Service 内实现大概是这个样子的:
@Service
@RequiredArgsConstructor
public class AccountService {
private final AccountRepository accountRepository;
private final AccountRoleRepository accountRoleRepository;
private final RoleRepository roleRepository;
private final RolePermissionRepository rolePermissionRepository;
private final PermissionRepository permissionRepository;
private final PermissionResourceRepository permissionResourceRepository;
private final ResourceRepository resourceRepository;
private static class AccountFullViewContext {
Account account = null;
List<Role> roles = Collections.emptyList();
Set<Long> roleIds = Collections.emptySet();
List<Permission> permissions = Collections.emptyList();
Set<Long> permissionIds = Collections.emptySet();
List<Resource> resources = Collections.emptyList();
AccountFullView toView() {
return new AccountFullView(account, roles, permissions, resources);
}
}
/**
* 查询并获取用户的全量'扁平化'信息.
*/
public Mono<AccountFullView> full(Long accountId) {
// 准备一个 context
final var context = new AccountFullViewContext();
final var accountMono = accountRepository.findById(accountId)
.switchIfEmpty(Mono.error(new NoSuchElementException("Account(id=" + accountId + ")")));
return accountMono.flatMap(account -> {
// 初始化 account
context.account = account;
// 查询各结果并合并
return accountRoles(context, account)
.flatMap(this::rolePermissions)
.flatMap(this::permissionResources)
.map(AccountFullViewContext::toView);
});
}
private Mono<AccountFullViewContext> accountRoles(AccountFullViewContext context, Account account) { // 实际上 account 也能省略
return accountRoleRepository.findAllByAccountId(account.getId())
.map(AccountRole::getRoleId)
// 将 AccountRole.roleId 收集为 Set.
.collect(Collectors.toSet())
.flatMap(roleIdSet -> {
// 查询所有的角色
return roleRepository.findAllById(roleIdSet)
.collectList()
.map(roles -> {
// 初始化 context 中的属性
context.roles = roles;
context.roleIds = roleIdSet;
return context;
});
});
}
private Mono<AccountFullViewContext> rolePermissions(AccountFullViewContext context) {
return rolePermissionRepository.findAllByRoleIdIn(context.roleIds)
.map(RolePermission::getPermissionId)
.collect(Collectors.toSet())
.flatMap(permissionIdSet -> {
// 查询所有的权限
return permissionRepository.findAllById(permissionIdSet)
.collectList()
.map(permissions -> {
context.permissionIds = permissionIdSet;
context.permissions = permissions;
return context;
});
});
}
private Mono<AccountFullViewContext> permissionResources(AccountFullViewContext context) {
var resourceIds = permissionResourceRepository.findAllByPermissionIdIn(context.permissionIds)
.map(PermissionResource::getResourceId);
// 查询所有资源
return resourceRepository.findAllById(resourceIds)
.collectList()
.map(resources -> {
context.resources = resources;
return context;
});
}
}