CosId 通用、灵活、高性能的分布式 ID 生成器
CosId 通用、灵活、高性能的分布式 ID 生成器
介绍
CosId 旨在提供通用、灵活、高性能的分布式系统 ID 生成器。 目前提供了俩大类 ID 生成器：SnowflakeId （单机 TPS
性能：409W JMH 基准测试）、RedisIdGenerator (单机 TPS 性能(步长 1000)：1268W JMH 基准测试)。
SnowflakeId
SnowflakeId 使用
Long（64 bits） 位分区来生成 ID 的一种分布式 ID 算法。
通用的位分配方案为：timestamp(41 bits) +machineId(10 bits) +sequence(12 bits) = 63 bits 。
41 位
timestamp= (1L<<41)/(1000/3600/365) 约可以存储 69 年的时间戳，即可以使用的绝对时间为EPOCH+ 69 年，一般我们需要自定义EPOCH为产品开发时间，另外还可以通过压缩其他区域的分配位数，来增加时间戳位数来延长可用时间。10 位
machineId= (1L<<10) = 1024 即相同业务可以部署 1024 个副本 (在 Kubernetes 概念里没有主从副本之分，这里直接沿用 Kubernetes 的定义) 实例，一般情况下没有必要使用这么多位，所以会根据部署规模需要重新定义。12 位
sequence= (1L<<12) * 1000 = 4096000 即单机每秒可生成约 409W 的 ID，全局同业务集群可产生 4096000*1024=419430W=41.9亿(TPS)。
从 SnowflakeId 设计上可以看出:
????
timestamp在高位，所以 SnowflakeId 是本机单调递增的，受全局时钟同步影响 SnowflakeId 是全局趋势递增的。???? SnowflakeId 不对任何第三方中间件有强依赖关系，并且性能也非常高。
???? 位分配方案可以按照业务系统需要灵活配置，来达到最优使用效果。
???? 强依赖本机时钟，潜在的时钟回拨问题会导致 ID 重复。
????
machineId需要手动设置，实际部署时如果采用手动分配machineId，会非常低效。
CosId-SnowflakeId
主要解决 SnowflakeId 俩大问题：机器号分配问题、时钟回拨问题。 并且提供更加友好、灵活的使用体验。
MachineIdDistributor (MachineId 分配器)
目前 CosId 提供了以下三种
MachineId分配器。
ManualMachineIdDistributor
cosid: snowflake: manual: enabled: true machine-id: 1
手动分配
MachineId
StatefulSetMachineIdDistributor
cosid: snowflake: stateful-set: enabled: true
使用
Kubernetes的StatefulSet提供的稳定的标识 ID 作为机器号。
RedisMachineIdDistributor
cosid: snowflake: redis: enabled: true
使用
Redis作为机器号的分发存储。
ClockBackwardsSynchronizer (时钟回拨同步器)
默认提供的 DefaultClockBackwardsSynchronizer 时钟回拨同步器使用主动等待同步策略，spinThreshold(默认值 20 毫秒) 用于设置自旋等待阈值， 当大于spinThreshold
时使用线程休眠等待时钟同步，如果超过brokenThreshold(默认值 2 秒)时会直接抛出ClockTooManyBackwardsException异常。
LocalMachineState (本地机器状态存储)
public class MachineState { public static final MachineState NOT_FOUND = of(-1, -1); private final int machineId; private final long lastTimeStamp; public MachineState(int machineId, long lastTimeStamp) { this.machineId = machineId; this.lastTimeStamp = lastTimeStamp;
} public int getMachineId() { return machineId;
} public long getLastTimeStamp() { return lastTimeStamp;
} public static MachineState of(int machineId, long lastStamp) { return new MachineState(machineId, lastStamp);
}
}默认提供的 FileLocalMachineState 本地机器状态存储，使用本地文件存储机器号、最近一次时间戳，用作 MachineState 缓存。
ClockSyncSnowflakeId (主动时钟同步 SnowflakeId)
默认 SnowflakeId 当发生时钟回拨时会直接抛出 ClockBackwardsException 异常，而使用 ClockSyncSnowflakeId 会使用 ClockBackwardsSynchronizer
主动等待时钟同步来重新生成 ID，提供更加友好的使用体验。
SafeJavaScriptSnowflakeId (JavaScript 安全的 SnowflakeId)
SnowflakeId snowflakeId = SafeJavaScriptSnowflakeId.ofMillisecond(1);
JavaScript 的 Number.MAX_SAFE_INTEGER 只有 53 位，如果直接将 63 位的 SnowflakeId 返回给前端，那么会值溢出的情况，通常我们可以将SnowflakeId转换为
String 类型或者自定义 SnowflakeId 位分配来缩短 SnowflakeId 的位数 使 ID 提供给前端时不溢出。
SnowflakeIdStateParser (可以将 SnowflakeId 解析成可读性更好的 SnowflakeIdState )
public class SnowflakeIdState { private final long id; private final int machineId; private final long sequence; private final LocalDateTime timestamp; /**
* {@link #timestamp}-{@link #machineId}-{@link #sequence}
*/
private final String friendlyId;
}SnowflakeIdState idState=snowflakeIdStateParser.parse(id); idState.getFriendlyId(); //20210623131730192-1-0
RedisIdGenerator
单机 Redis 的 TPS 性能极限大概在 10W+ 左右，如果在部分场景下我们对性能有更高的要求，那么可以选择使用增加每次ID分发步长来降低网络IO请求频次，提高 IdGenerator 性能，使用RedisIdGenerator生成ID TPS 极限约等于 10+W * Step。
IdGeneratorProvider
cosid: snowflake: provider: bizA: # epoch: # timestamp-bit: # machine-bit: sequence-bit: 12 bizB: # epoch: # timestamp-bit: # machine-bit: sequence-bit: 12
在实际使用中我们一般不会所有业务服务使用同一个 IdGenerator ，而是不同的业务使用不同的 IdGenerator，那么 IdGeneratorProvider 就是为了解决这个问题而存在的，他是 IdGenerator 的容器，可以通过业务名来获取相应的 IdGenerator。
Examples
CosId-Examples
安装
Gradle
Kotlin DSL
val cosidVersion = "0.8.3";
implementation("me.ahoo.cosid:spring-boot-starter-cosid:${cosidVersion}")Maven
<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<artifactId>demo</artifactId>
<properties>
<cosid.version>0.8.3</cosid.version>
</properties>
<dependencies>
<dependency>
<groupId>me.ahoo.cosid</groupId>
<artifactId>spring-boot-starter-cosid</artifactId>
<version>${cosid.version}</version>
</dependency>
</dependencies></project>application.yaml
cosid:
namespace: ${spring.application.name}
snowflake:
# stateful-set:
# enabled: true
# manual:
# enabled: true
# machine-id: 1
redis:
enabled: true
provider:
order:
# epoch:
# timestamp-bit:
# machine-bit:
sequence-bit: 12
user:
# epoch:
# timestamp-bit:
# machine-bit:
sequence-bit: 12
enabled: false
redis:
enabled: true
provider:
order:
step: 100JMH-Benchmark
SnowflakeId
Benchmark Mode Cnt Score Error UnitsSnowflakeIdBenchmark.millisecondSnowflakeId_generate thrpt 4093924.313 ops/sSnowflakeIdBenchmark.safeJsMillisecondSnowflakeId_generate thrpt 511542.292 ops/sSnowflakeIdBenchmark.safeJsSecondSnowflakeId_generate thrpt 511939.629 ops/sSnowflakeIdBenchmark.secondSnowflakeId_generate thrpt 4204761.870 ops/s
RedisIdGenerator
Benchmark Mode Cnt Score Error UnitsRedisIdGeneratorBenchmark.step_1 thrpt 86243.935 ops/sRedisIdGeneratorBenchmark.step_100 thrpt 1718229.010 ops/sRedisIdGeneratorBenchmark.step_1000 thrpt 12688174.755 ops/sRedisIdGeneratorBenchmark.step_10000 thrpt 13995195.387 ops/s
作者：Ahoo Wang (阿虎)
Github: https://github.com/Ahoo-Wang/
SmartSql(高性能、高生产力，超轻量级的ORM！): https://github.com/Ahoo-Wang/SmartSql
SmartCode(不只是代码生成器！): https://github.com/Ahoo-Wang/SmartCode
CoSky 高性能、低成本微服务治理平台 : https://github.com/Ahoo-Wang/CoSky
CosId 通用、灵活、高性能的分布式 ID 生成器 : https://github.com/Ahoo-Wang/CosId
Govern EventBus 历经多年生产环境验证的事件驱动架构框架: https://github.com/Ahoo-Wang/govern-eventbus
本文版权归作者和博客园共有，欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明显位置给出原文连接，否则保留追究法律责任的权利。
来源https://www.cnblogs.com/Ahoo-Wang/p/cosid.html