Skip to content

Releases: qlangtech/plugins

Release v5.0.0

25 Dec 07:18
@baisui1981 baisui1981
v5.0.0
2d1eaf7

Choose a tag to compare

View all tags
Release v5.0.0 Latest
Latest

Abstract

TIS的v5.0.0版本终于完成了开发，v5.0.0在以下几方面进行了功能加强和升级。https://github.com/datavane/tis/milestone/11?closed=1

TIS v5.0.0 版本主要功能说明

1. TIS AI Agent - 让数据管道"说人话"

TIS v5.0.0 引入了国内首个大数据领域的原生AI Agent，支持通过自然语言对话快速创建数据管道。用户只需用中文描述需求（如"将MySQL同步到Doris"）
，AI Agent即可自动完成数据源配置、插件选择、管道创建、增量同步启动等全流程操作。相比传统方式需要15-20分钟的手工配置，AI Agent将操作时间缩短至2分钟以内。
基于TIS多年积累的领域模型和插件体系，采用Plan-and-Execute架构深度整合，支持DeepSeek、通义千问等国产大模型，真正实现了"开箱即用"的智能化数据集成体验。

2. CDC启动前智能预验证机制

例如：针对PostgreSQL实时数据同步任务启动失败的痛点，TIS v5.0.0实现了7个维度的预验证机制，在Flink CDC任务启动前即可发现潜在问题：包括PostgreSQL版本检查、WAL配置验证、用户权限校验、系统表存在性检测、复制槽状态监控、解码插件验证和表结构检查。将原本需要在运行时才能发现的错误（如版本不兼容、配置缺失）提前到配置阶段，问题发现时间从数小时缩短到数秒，大幅降低用户排查成本。区分错误和警告两级提示，既能快速定位致命问题，又能提供优化建议，有效防止WAL日志堆积等生产环境隐患。

其他源端，如：MySQL、Oracle等CDC任务启动时候也都加入的先验校功能

3. Flink Job实时告警监控系统

TIS v5.0.0为运行中的Flink实时同步任务增加了完善的告警监控能力。系统通过定时轮询机制自动监控Flink Job的运行状态，当任务因异常终止或被手动停止时，可通过多种渠道及时通知相关人员，支持邮件、钉钉、企业微信、飞书、HTTP回调等5种告警方式。用户可灵活配置告警渠道和自定义消息模板，确保数据同步任务的异常能够第一时间被发现和处理，避免因任务中断导致的数据延迟或丢失，显著提升生产环境的稳定性和可靠性。

4. HTTP正向代理支持

为解决企业内网环境下访问外部数据源的网络隔离问题,TIS v5.0.0新增了HTTP正向代理功能。用户可在系统中配置代理服务器地址、端口及认证信息,TIS在访问外部HTTP/HTTPS资源时将自动通过代理转发请求。该功能特别适用于需要从公网抓取数据但服务器无法直接访问互联网的场景,也支持通过企业统一代理网关进行安全审计。配置简单灵活,支持基本认证和匿名代理两种模式,有效打通了数据集成的"最后一公里"。

New Feature

  • 希望Transformer可以加一个 “常量值算子”#480
  • postgresql 9 实时同步数据到 mysql5.7异常#470
  • Kafka Reader topic tag 关注表需要支持通配符#468
  • 为TIS设置内网代理功能#431
  • 全自动pipeline执行机器人实现#413
  • 增量实例支持告警功能#218

Bug Fix

  • flink-cdc启动如mysql 数据库的binlog没有开启 gtid功能 就会报异常#477
  • 执行tdfs端到mysql点击预览功能出错#476
  • KingbaseV9 flinkcdc实时同步到doris,全量同步阶段出现日期转换错误java.lang.UnsupportedOperationException: null#474
  • kingbase中在mysql模式下如果有integer字段类型则执行增量cdc会将字段过滤掉#473
  • MySQL v8版本在分库分表模型是运行部分分表的监听会跳过#471
  • Form Datetime时间控件保存时间与所在zone真实事件慢8小时#469
  • 编辑模式下切换两个pipeline会出现冲突#467

Installation

Related Projects

Assets 2
Loading

Release v4.3.0

19 Aug 08:08
@baisui1981 baisui1981
v4.3.0
f42939f

Choose a tag to compare

View all tags
Release v4.3.0

Abstract

TIS的v4.3.0版本终于完成了开发，v4.3.0在以下几方面进行了功能加强和升级。https://github.com/datavane/tis/milestone/9?closed=1

  1. 增加Apache Paimon数据端的批量与实时写入能力
  2. 第三方开源依赖包版本升级
    • Flink版本升级到v1.20.1
    • Flink-CDC版本升级到v3.4.0
  3. 实时同步管道增加执行状态可视化功能项，提供提供实时任务限流&暂停&泄洪功能可以应对数据流上游突发需求，例如：DBA夜晚大批量订正业务数据，导致大量数据堆积，TIS的实时同步管道会进行限流，防止数据积压，从而保证数据正常同步。
  4. 增加 新人引导功能，当第一安装使用TIS的用户进入TIS控制台，可以用过该指南快速地熟悉TIS操作流程。

New Feature

  • 增加Doris DataX批量Reader Connector连接器#458
  • MySQL数据源无法选择UTC 0 所对应的时区#452
  • 用户初次打开安装TIS成功后进入TIS 显示新人引导对话框#448
  • 升级TIS 依赖的flink依赖版本#446
  • 去除异常类：com.dtstack.chunjun.throwable.NoRestartException#441
  • 数据管道添加-选择导入表，筛选功能优化建议。#419
  • 增加paimon数据源支持批量写与实时写#416
  • 数据管道导入实时导入可视化增强#353
  • 【建议】添加datax 实例任务 纵览报表#301

Others

  • 提供实时任务限流&执行状态可视化功能#397

Bug Fix

  • kingbase->kingbase 开启增量同步，脚本使用Flink SQL模式提交报告'connector'='tis-kingbase-x'无法找到#465
  • MySQL CDC Source 启动->停止->再启动 不消费最的event事件#463
  • 使用kingbase cdc只能同步public模式下的表,其他模式无法设置#460
  • mongo to starrocks批量构建，如果mongo表的object类型的字段值有空值，会构建失败#456
  • mongodb 作为源端同步时有异常出现#455
  • mongodb 同步到 starrock 可以正常同步，但是等待一段时间后会挂掉#454
  • 从starrocks同步到odps，在构建建表DDL时会报错#453

Installation

Related Projects

Loading

Release v4.2.1

13 May 04:50
@baisui1981 baisui1981
v4.2.1
3485a72

Choose a tag to compare

View all tags
Release v4.2.1

Abstract

TIS的v4.2.0版本终于完成了开发，v4.2.0在以下几方面进行了功能加强和升级。https://github.com/datavane/tis/milestone/8?closed=1

  1. 在v4.1.0发布后，用户使用过程中发现的一些bug及缺陷进行修复
  2. 针对本地CSV文件导入到hive数仓中无法设置主键这一问题进行改造，添加了自动生成主键的Transformer功能
  3. 对离线分析功能进行了完善，由于之前版本中添加了别名表及Transformer功能，并且由于离线分析EMR没有进行全面回归测试，在v4.1.0版本中不可用，在此版本中进行了修复并且成功经过全链路集成测试
  4. 针对SqlServer数据库监听获取到的同步时间会比数据库实际时间晚8个小时进行了改造，确保两者时间一致。

New Feature

  • 非RDBMS->RDBMS，如果原表中无主键，添加一个功能：自动生成一个自增主键#433
  • TDFS(Local Files) 同步数据到 Hive 任务报错#432
  • 建议优化DataX脚本、Table DDL Script的展示列表#430
  • 单个DataX执行任务可设置超时时间#427
  • DS调度tis任务时，出现OOM错误#417
  • 实时同步希望增加过滤（例如：filter delete类型事件）某类事件功能#415
  • com.microsoft.sqlserver.jdbc.SQLServerException: 不支持“variant”数据类型#412
  • 版本4.0.0，MSSql-->doris，多个任务在同一时间的定时同步任务均会失败。#394

Bug Fix

  • 在开启powerjob分布式执行器的情况下，点击触发数据分析EMR（doExecuteWorkflow）执行报错 datavane/tis#442
  • SqlServer -> MySQL 增量，起始位点使用Initial，报异常：Caused by: java.lang.IllegalStateException: invalid op:READ#438
  • 从sqlserver2016增量数据同步到pg13时，时间列会加8小时。#437
  • 创建 Hive数据源时时候，支持指定路径HDFS路径与dbName不一致#436
  • 建表任务和DataX任务都执行成功，但是表中没数据，报错：table ftp_datax shall have create in 'createPreExecuteTask'#435
  • 4.1.0上使用离线分析时，出现异常#429
  • Oracle ->Doris设置了dataMasking Transformer执行出错#425
  • 迁移oracle数据源设置时区设置#424
  • MySQL同步StarRocks，批量构建同步，设置执行presql报错#423
  • Oracle->Doris 增量实时同步失败#421
  • MySQL同步StarRocks，创建实时任务报错。#418
  • [Bug][Tis]任务描述：执行Hive2Doris导入，传递SelectedTab的cols结构体中type: null，导致校验不通过，无法创建同步管道任务。#391

Installation

Related Projects

Loading

Release v4.2.0

07 May 08:49
@baisui1981 baisui1981
v4.2.0
27ad297

Choose a tag to compare

View all tags
Release v4.2.0

Abstract

TIS的v4.2.0版本终于完成了开发，v4.2.0在以下几方面进行了功能加强和升级。https://github.com/datavane/tis/milestone/8?closed=1

  1. 在v4.1.0发布后，用户使用过程中发现的一些bug及缺陷进行修复
  2. 针对本地CSV文件导入到hive数仓中无法设置主键这一问题进行改造，添加了自动生成主键的Transformer功能
  3. 对离线分析功能进行了完善，由于之前版本中添加了别名表及Transformer功能，并且由于离线分析EMR没有进行全面回归测试，在v4.1.0版本中不可用，在此版本中进行了修复并且成功经过全链路集成测试
  4. 针对SqlServer数据库监听获取到的同步时间会比数据库实际时间晚8个小时进行了改造，确保两者时间一致。

New Feature

  • 非RDBMS->RDBMS，如果原表中无主键，添加一个功能：自动生成一个自增主键#433
  • TDFS(Local Files) 同步数据到 Hive 任务报错#432
  • 建议优化DataX脚本、Table DDL Script的展示列表#430
  • 单个DataX执行任务可设置超时时间#427
  • DS调度tis任务时，出现OOM错误#417
  • 实时同步希望增加过滤（例如：filter delete类型事件）某类事件功能#415
  • com.microsoft.sqlserver.jdbc.SQLServerException: 不支持“variant”数据类型#412
  • 版本4.0.0，MSSql-->doris，多个任务在同一时间的定时同步任务均会失败。#394

Bug Fix

  • SqlServer -> MySQL 增量，起始位点使用Initial，报异常：Caused by: java.lang.IllegalStateException: invalid op:READ#438
  • 从sqlserver2016增量数据同步到pg13时，时间列会加8小时。#437
  • 创建 Hive数据源时时候，支持指定路径HDFS路径与dbName不一致#436
  • 建表任务和DataX任务都执行成功，但是表中没数据，报错：table ftp_datax shall have create in 'createPreExecuteTask'#435
  • 4.1.0上使用离线分析时，出现异常#429
  • Oracle ->Doris设置了dataMasking Transformer执行出错#425
  • 迁移oracle数据源设置时区设置#424
  • MySQL同步StarRocks，批量构建同步，设置执行presql报错#423
  • Oracle->Doris 增量实时同步失败#421
  • MySQL同步StarRocks，创建实时任务报错。#418
  • [Bug][Tis]任务描述：执行Hive2Doris导入，传递SelectedTab的cols结构体中type: null，导致校验不通过，无法创建同步管道任务。#391

Installation

Related Projects

Loading

Release v4.1.0

27 Feb 08:48
@baisui1981 baisui1981
v4.1.0
0285fdc

Choose a tag to compare

View all tags
Release v4.1.0

Abstract

TIS的v4.1.0版本终于要与大家见面了，v4.1.0在以下几方面进行了功能加强和升级。

  1. 扩展TIS生态，新增多个实时 CDC Connector，如SqlServer，MongoDB，Oracle，人大金仓KingBase，Kafka，PostgreSQL。
  2. 支持源表列注释同步到目标表列，该功能在AI Chat-DB的场景中尤为重要。例如，用户将数据同步到 OLAP 库Doris中，Chat-DB需要依赖目标表的列注释来自动生成SQL，如用户手动同步会非常繁琐。
  3. 为Doris 添加了多个实用的功能，支持Doris 同步目标表DDL自动生成参数化，如：用户可以指定副本数、分桶数，另外，用户可批量添加目标表前缀，如：“ods_”
  4. 优化了Hive表导入、导出功能，增加了多种主流文件格式，如：Parquet、OCR、HFile，并且支持非分区表读取。
  5. 为了繁荣TIS生态构建，实现TIS社区良性发展，引入众包协作机制，让第三方开发者与TIS的用户有效互动、相互协助，TIS实现社区协作机制 https://tis.pub/community-collaboration
  6. 去除了之前添加的Zeppelin Notebook相关功能模块，实际使用下来使用者寥寥，切会增大TIS发布包体积，因此在该版本中将其去除。

Bug Fix

  • 由于flink 类更改导致序列化版本不一致错误，而客户端界面无法感知到错误#406
  • 利用FTP将CSV文件导入doris 配置流程出错#404
  • 4.0.1版本MySQL--> Doris，数据管道中的 Writer部分的 maxBatchSize 参数修改不生效#392
  • 使用JSON Splitter拆分记录中的JSON字段内容出错#390
  • 使用sqlserver2008创建数据源时，出现报错java.lang.RuntimeException: java.lang.NoClassDefFoundError: javax/xml/bind/DatatypeConverter#381
  • MongoDB作为数据源不支持Transformer功能#371
  • MongoDB 作为source源执行预览查看报错#370

Others

  • mysql 主键不在第一行，增量导入doris会报错#400

New Feature

  • 建议“数据管道添加“，支持批量修改StarRocks目标表名称，设置目标表属性，新增目标表字段。#410
  • 人大金仓批量增量支持#408
  • 删除Zeppelin Notebook相关功能模块#395
  • SqlServer数据库需支持基于chunjun实时写connector#386
  • PG增量复制需要源端Replica FULL，对源端性能影响严重#384
  • mongoDB 基于flink-cdc的实时读Connector实现#375
  • Oracle 基于logminer实时读 Connector 实现#374
  • 增加建表列字段的comments信息#351
  • Kafka 实现实时读#344
  • SqlServer数据库需支持基于flink-cdc实时读connector#340
  • 社区协作插件改造#317
  • 【UI】Table DDL Script名称过长问题#305

Installation

Related Projects

Loading

Release V4.0.1

21 Oct 03:39
@baisui1981 baisui1981
V4.0.1
7979b59

Choose a tag to compare

View all tags
Release V4.0.1

Abstract

TIS的v4.0.1版本终于要与大家见面了，v4.0.1在以下几方面进行了功能加强和升级。

发布汇报：https://www.bilibili.com/video/BV1rXC1YjECW

  1. 添加Transformer功能：通过在TIS流程中设置Transformer功能逻辑，可实现在ETL数仓功能中，在E（数据抽取）阶段即可高效实现各种字段值转换功能，如：字段脱敏，字段拼接，取子字符串等功能。
  2. 为了配合以上Transformer数据处理功能，当用户完成Transformer功能设置后，需要第一时间验证Transformer处理逻辑是否正确。基于此需求，TIS提供了数据ReView功能，可以在ReView数据页面直观查看数据表中真实的数据和被Transformer处理逻辑执行过的数据。
  3. 丰富Hadoop/Hive生态支持力度，提供Cloudera版本的Hadoop/Hive实现插件支持。
  4. 优化MongoDB数据源字段分析功能，由于MongoDB是Schemaless，一般以MongoDB作为数据源导入，需要手动为MongoDB 的Collection设置Schema，这是一件烦冗且容易出错的事儿。TIS提供了基于Collection中的存量数据自动分析对应的Schema结构，大大提高了MongoDB作为源的数据管道配置效率。
  5. 增加数据管道、数据源的克隆功能。用户在业务系统中需要添加大量类似的配置源，例如：多个MySQL数据库，只是数据库名称不一样，其他：host、用户名、密码都一样，因此用户不想没个数据源都从新开始配置，只需配置一个数据源，其他数据库实例只需克隆该实例，然后改一下克隆出来的数据库实例的数据库名就行，从而提高了添加数据源实例的效率。
  6. 为响应用户多次提出TIS与DolphinScheduler整合方案的需要，在版本提供了TIS与DolphinScheduler整合方案插件，事先在TIS中配置数据管道，验证无误后，通过在相应的配置插件页面，一键同步需要同步表任务到DolphinScheduler平台，即可在DS平台中事先轻松拉起数据同步任务，全程不需要编写一行配置代码。
    如果你在DolphinScheduler平台中，厌倦了烦冗枯燥且容易出错的DataX、SeaTunnel的JSON配置脚本编写。您可以尝试一下TIS新提供的与DolphinScheduler整合插件，一定会有惊喜。
  7. 优化增量实时同步任务启动速度：当用户选择整库数据表同步任务执行，启动时间过慢。原因是有大量表执行启动任务时，需要针对每个表创建JDBC Connection实例，这样是非常耗时的。优化方案是，实现了Connection实例复用技术，大大加快了整库表同步增量任务启动速度。
  8. 添加MariaDB的Source/Sink Connector连接器，支持MariaDB的批量读/写、实时增量读/写功能。
  9. 单机版本设置多同步任务并发执行，为了充分挖掘单机版机器CPU并发执行的潜力，在TIS单机版部署模式下可以设置多个同步任务并发执行，可以大幅提高单机版数据同步的吞吐率。

Bug Fix

  • flink 启动立即失败，报告无法分配足够slot资源#362
  • 修改分表识别自定义规则没有生效#361
  • 通过savepoint或者checkpoint恢复增量任务执行有误#356
  • 达梦数据库最新版本有找不到表的情况#354
  • psgql同步到doris由于数据类型为geometry导致错误#333
  • MySQL创建增量通道到ES时，部署报错#332
  • K8S 环境中利用Powerjob启动执行器，打开datax执行器报错#330
  • 增量同步mysql到doris null值被转换成了\N#328
  • mongo->mysql通道构建发生报错#326
  • 使用Oracle作为流式管道Source当指定schema时存在错误#322

New Feature

  • 优化TIS Flink实时增量通道启动速度#366
  • aliyun ACK 测试flink-application模式增量通部署失败，须将TIS的JDK版本升级到JDK11#365
  • Make flink-cdc for mysql source connector support tableName matcher with regex pattern#360
  • DORIS date类型不能作为联合主键的第一个#359
  • 数据源添加Mongodb数据库名称无法使用符号-#352
  • 批量数据同步设置任务触发参数#347
  • TIS 与 dolphinscheduler 整合方案实现#345
  • Transformer中使用上下文绑定参数#342
  • 实现数据预览#338
  • MySQL版本:'10.5.21 使用哪种插件安装#337
  • 由于用户的MySQL服务器在美国导致启动时候checkTimeZone出错#327
  • Hive Haddop 增加Cloudera的版本支持#323
  • 尝试在生产环境中使用NodePort 作为服务暴露的方式#321
  • tis-k8s/src/main/filters/tis-console.yaml 中ConfigMap tis.host配置对应的Namespace冲突#320
  • K8S中以ReplicationController发布的资源需要改造成为 deployment类型#319
  • MariaDB数据库支持...#307
  • 增加任务实例和数据源复制功能#303
  • [feat]需要定义数据同步可自定义表列映射#225

Installation

Related Projects

Loading

Release v4.0.0

21 May 04:01
@baisui1981 baisui1981
v4.0.0
7363904

Choose a tag to compare

View all tags
Release v4.0.0

Abstract

TIS的v4.0.0版本终于要与大家见面了，v4.0.0在以下几方面进行了功能加强和升级。

发布报告：https://www.bilibili.com/video/BV1eD421V78u/

  1. flink及相关组件全面升级到1.18版本，flink-cdc升级到3.0.1,chunjun也做相应版本升级
  2. 单节点执行方式扩展为分布式,
    利用powerjob将单点datax任务扩展为分布式执行方式，支持同一时间在分布式环境中多个datax任务并行执行，从而大幅提升数据同步管道的执行效率， 并且提供基于powerjob的crontab定时任务触发方式，完美支持T+1离线数据采集任务。
  3. 分布式执行基础上将TIS全面支持kubernetes的CloudNative的部署模式，支持私有云和各大公有云场景下的部署。
  4. 优化了部署流程，TIS内操作涉及长时间等待操作，例如，发布基于flink的流式计算任务，包括多个子过程，如编译、打包、发布、等待等环节，需要等待一段时间。在新版本中引入了发布流程可视化的机制，将各个步骤的执行状态直观展示给用户。

New Feature

  • mongodb 数据源认证方式#311
  • Flink K8S Cluster启动附加loadbalance service Flink JobMaster报WARN信息#310
  • TIS 整体部署容器化部署方案#309
  • 将flink-cdc的MySQL校验MySqlValidator.checkVersion前置#306
  • 添加flink连接同步timeout#298
  • 添加基于Flink-cdc 实现的 Postgresql source端实现#291
  • 实时同步无法使用“批量创建“#284
  • 为TIS 各种端提供图标显示支持#275
  • 建议在批量构建功能中增加定时任务，可以实现datax的定时全量和增量同步#255
  • [feature] 添加flink 实例一览页面#213
  • 升级flink相关组件到最新版本#168
  • 支持批量任务分布式执行#157
  • 支持TIS Flink 在K8S上运行#156
  • 离线T+1 怎么定时？#97

Bug Fix

  • 管道创建流程中更改端类型会出错#312
  • k8s application 模式下SQL模式执行flink Job 出错#308
  • 无法识别VARBINARY类型的字段列#296
  • 终止任务bug#294
  • [tis-flink-cdc-postgresql-plugin] java.lang.ClassCastException: java.sql.Timestamp cannot be cast to java.time.Instant#293
  • 写入clickhosue时自动建表bug#292
  • FTP方式找不到对应匹配的文件#289
  • mysql->doris 增量执行streamload出错#285
  • 分库分表同步报找不到表#283
  • 整库同步时个别表有json类型字段下游create table ddl报错#280
  • plugin 进行校验过程中错误被遮蔽#277
  • MySQL CDC Source 异常恢复消费位点异常#274
  • flink rest api client 解析服务端返回的结果有类无法反序列化#268

Installation

Related Projects

Loading

Release v4.0.0-rc1

08 May 10:08
@baisui1981 baisui1981
v4.0.0-rc1
b728488

Choose a tag to compare

View all tags
Release v4.0.0-rc1

Abstract

Bug Fix

  • 管道创建流程中更改端类型会出错#312
  • k8s application 模式下SQL模式执行flink Job 出错#308
  • 无法识别VARBINARY类型的字段列#296
  • 终止任务bug#294
  • [tis-flink-cdc-postgresql-plugin] java.lang.ClassCastException: java.sql.Timestamp cannot be cast to java.time.Instant#293
  • 写入clickhosue时自动建表bug#292
  • FTP方式找不到对应匹配的文件#289
  • mysql->doris 增量执行streamload出错#285
  • 分库分表同步报找不到表#283
  • 整库同步时个别表有json类型字段下游create table ddl报错#280
  • plugin 进行校验过程中错误被遮蔽#277
  • MySQL CDC Source 异常恢复消费位点异常#274
  • flink rest api client 解析服务端返回的结果有类无法反序列化#268

New Feature

  • Flink K8S Cluster启动附加loadbalance service Flink JobMaster报WARN信息#310
  • TIS 整体部署容器化部署方案#309
  • 将flink-cdc的MySQL校验MySqlValidator.checkVersion前置#306
  • 添加flink连接同步timeout#298
  • 添加基于Flink-cdc 实现的 Postgresql source端实现#291
  • 实时同步无法使用“批量创建“#284
  • 为TIS 各种端提供图标显示支持#275
  • 建议在批量构建功能中增加定时任务，可以实现datax的定时全量和增量同步#255
  • [feature] 添加flink 实例一览页面#213
  • 升级flink相关组件到最新版本#168
  • 支持批量任务分布式执行#157
  • 支持TIS Flink 在K8S上运行#156
  • 离线T+1 怎么定时？#97

Installation

Related Projects

Loading

Release v3.8.0

25 Oct 03:54
@baisui1981 baisui1981
v3.8.0
22a8276

Choose a tag to compare

View all tags
Release v3.8.0

Abstract

TIS的v3.8.0版本终于要与大家见面了，v3.8.0着重在以下几方面进行了功能加强和升级。

  1. 支持利用Flink Checkpoint恢复因意外宕机而中断的Flink Job任务

    用户运行的Flink Job 任务经常会因为各种原因导致意外停止，例如：机房断电等。如需要恢复中断的Flink
    Job需要用户事先手动触发Savepoint存储来恢复。而机房断电属于不可预测事件，用户无法提前预测，所以只能对中断的Flink Job进行重新部署，这个流程特别费时，且之前保存的StateBackend也会丢失。

    因此，在TIS中提供了通过Flink Checkpoint机制来恢复Job的方式，用户只需要在部署Flink
    Job过程中，开启Checkpoint机制、并设置持久化StatebackEnd，就可以方便恢复因意外中断的Flink Job任务。datavane/tis#224

  2. 与Doris最新版本的兼容性提升

    使用Doris最新版本2.0.1与TIS兼容性优化，对Sequence列模型与批量删除的设置体验进行优化，为用户提供整库导入Doris实现实时数仓方案提供了最佳技术手段。

  3. 提供TIS插件开发工具

    随着TIS功能不断壮大，会有越来越多的开发者加入到TIS的生态构建中来。 TIS内部使用了微内核架构设计，践行OCP原则（对修改封闭，对新加功能开放），为了让用户愉快地加入到TIS生态构建中来，从v3.8. 0版本开始，会陆续提供一系列工具和技术分享文档，让用户可以独立地开发新的大数据集成插件，或者完善既有的TIS插件功能以满足自己的业务需求。

    新添加的插件参考文档：

    1. 插件实现开发详细说明
    2. 插件开发流程说明
    3. 插件工具类参考

  4. Hive Reader 支持

    T+1离线分析会将计算结果导入Hive的分布式文件系统中。本版本（v3.8.0）提供Hive Reader用户可以通过简单设置 将Hive中的数据导入到Doris、ElasticSearch、StarRocks、各种关系型数据库中。

  5. 重构 Aliyun OSS、FTP、HDFS

    针对分布式文件端类型的支持，之前在TIS中对以上各种类型的数据端是各自实现的，但是在实现过程发现，每种数据类型都有压缩，数据Format（CSV、TEXT）的逻辑在需要重复实现，不同的仅仅是每种类型的文件流的获取方式。
    在本版本（v3.8.0）中，将文件流获取的方式单独抽取出来，其他执行逻辑实现重用。这样有利于在TIS中对分布式式文件类型端的维护，也可大大简化今后在TIS中接入同类型数据端的复杂程度。datavane/tis#253

  6. 重构MongoDB Reader功能

    • 支持MongoDB，多Collection选择，
    • 针对MongoDB没有固定Schema的特性，TIS中加入了预判MongoDB Colection Scheam的功能，原理是预先从MongoDB
      Collection中读取一定数量的记录数，TIS中会针对记录各Column值来猜测列类型，最终再由用户来确定类型进行微调。这样可以免去用户为MongoDB
      Collection设置Schema的繁琐流程，从而大大提高部署效率。
    • 针对MongoDB Collection的 提供给用户拆解Document类型的字段的途径、手段。可以将Document字段中的内容，打平、Sink到下游数据端中。

    datavane/tis#254

  7. 优化Kerberos认证支持

    优化TIS中kerberos认证的支持，支持Hive、HDFS等数据端 datavane/tis#127

  8. 云原生方面的支持

    支持Aliyun HDFS 的JindoFS类型的导入方式，通过 JindoFS类型的导入方式，性能比传统HDFS效率高3倍。

  9. 添加达梦数据库支持

    支持在TIS中对达梦数据库批量读取，和批量/增量写入功能

Bug Fix

  • [bug] elastic java.sql.Timestamp 写入失败#272
  • [doris] 类型com.qlangtech.tis.plugin.datax.seq.SeqKey转型错误#270
  • mysql到mysql端实时同步问题，修改源表字段内容，目标表不会更新源表修改的内容，而是重新生成一条新的记录#267
  • mysql_to_doris构建实时同步任务失败#261
  • [bug]构建MySQL到StarRocks， Flink实时同步时，decimal-> 类型值为NULL#243
  • [bug]目标端为StarRocks，目标端为MySQL内有 decmial 字段同步到 有误#242
  • [BUG] hiveserver2连接配置数据库名无法携带参数#240
  • [bug] doris create table DDL error with sequence_col#239
  • [bug] Flink reserved key led to error 源数据库的表中存在flink保留字段，导致创建增量同步时异常#238
  • [feat]希望可以删除界面无用的实例信息数据，避免干扰#237
  • TIS Action执行失败 导致线程绑定资源没有被回收#236
  • [bug] 使用flink-cdc的snapshot快照功能得到的date datatime类型的值有问题#232
  • [mysql->doris] debezium中连接 mysql8服务端报 #203
  • FTP Source map to MySQL create table DDL error#151

Others

  • 替换Doris DDL Date 类型#266
  • Clickhouse 执行全量数据同步初始化数据表出错#258
  • 添加MongoDB数据源报错，MongoDB版本号为5.01.2#254
  • 支持利用checkpoint来恢复(restore)Flink job#229

New Feature

  • Doris增量实时通道主键设置流程去除#265
  • 支持达梦数据库读写支持#262
  • FTP、OSS、HDFS统一成T-DFS#253
  • [feat] 实现CSV文档Sink写入#241
  • [feat] SinkTabPropsExtends 主键候选列修改#235
  • [feat] 提供TIS 插件开发者工具#233
  • 支持doris sequence列模型#230
  • [feat]Flink任务由于机房停电长时间宕机再次启动丢失数据#224
  • [feat]增量实例需要添加一个 刷新按钮#220
  • 实现一个hive Reader插件#201
  • [bug]添加sql server数据源，校验失败#186
  • upgrade fastjson version for security issue#152
  • [SUPPORT] 希望连接hdfs和hive等组件支持kerberos认证#127

Installation

Related Projects

Loading

Release v3.7.2

01 Jun 06:31
@baisui1981 baisui1981
v3.7.2
935cae1

Choose a tag to compare

View all tags
Release v3.7.2

Abstract

TIS的v3.7.2版本终于与大家见面了，v3.7.2在v3.7.1之上作了几处小修改

Bug Fix

  • mysql=>hive全量同步，校验hive数据源报错#223
  • 构建MySQL到StarRocks， Flink实时同步时，timestamp->datetime类型值为NULL#222
  • [bug] MySQL -> ElasticSearch 源表过大DataX 批量导入直接卡死#221

New Feature

  • [feat] 重构将 tis-datax-executor 迁移到 datax工程中#215
  • TIS 增量同步很慢，一个表需要10秒+多以上才能处理完，希望优化下这个速度#126

Installation

Related Projects

Loading