数据集成

1. 图形化操作界面

数据集成提供全流程编排可视化操作，基于BS架构兼容多种设备和浏览器访问，提供基于SWT的数据抽取、数据处理、数据加载工具，开发人员只需要在图形化界面中通过托拉拽的方式就可以轻松实现复杂的任务配置，不需做任何编码，业务人员即可轻松掌控数据流向，系统提供超过70个数据处理组件，应对各种负责数据处理，降低数据集成难度及使用门槛。

2. 海量数据源

对诸如数据库连接，ETL过程，大数据集群相关配置项等常用的资源做到一次配置，多地多次使用，支持数据源如下：

• 支持读取、解析半结构化如Excel、CSV、XML、JSON等文件并集成；

• 支持通用关系型数据库接口，如DB2、SAP HANA、Oracle、SQLServer、MySQL、PostgreSQL、MongoDB、Redis、达梦等数据库等；

• 支持MPP数据库接口，如Teradata、Greenplum、Vertica、BDP等；

• 支持Hadoop，满足HDFS、Hive、HBase、Kafka、ElasticSearch等类型数据的适配；

• 支持FTP、SFTP文件数据的抽取；

• 支持WebService、Restful、MQTT；

• 支持JDBC和ODBC数据库连接标准API等。

3. 强化数据处理

支持批量(离线)同步、实时同步、增量同步、全库迁移能力。基于分布式数据流的数据处理模型，更大程度的发挥各步骤的处理能力；同时支持多实例并行执行。提供超过七十种数据处理转换组件集合，支持数据多样化性能处理，简化大批量数据集成中的人工操作。

4. 作业统一调度

作业调度支持多时间维度(天、小时、分钟)的任务定时调度，只需要简单几步便可完成数据增量抽取，配置简单、灵活、易用，支持灵活的、多角度的模型作业调度机制，包括实时调度、定时调度、时间间隔循环调度等，通过系统整合优化最终实现All-in-One的统一自动化调度管理。

5. 全面的运行监控

系统提供了可视化的多维度作业运行监控，使得极佳的易用性获得更大限度的推广，提供运行环境多个执行器的资源监控，包括CPU占用、内存使用、磁盘空间等，通过统一监控，可合理分配任务的调度，提高数据处理效率。同时，当任务出现错误、执行器负载过高等场景时，数据集成支持通过预定义的方式告知用户实时告警信息。

6. 异常容忍机制

无论是服务端还是客户端的异常终止，都不影响到非异常部分的正常工作。例如，服务端异常终止后，执行器作为作业（任务链）执行容器将继续执行已下发的作业，并在服务启动后，将执行结果等信息反馈给服务端。

消息集成

1. 安全可靠的消息传输机制

兼容原生的Kafka特性，具备原生Kafka所有消息处理特性，支持安全的消息传输，通过Sasl认证，消息存储加密等措施加强网络访问控制，支持消息数据高可靠，支持消息持久化，多副本存储机制。

2. 高性能准实时消息处理

消息集成作为数据存储的中间环节，提供高吞吐量的消息处理服务，延迟可缩小到毫秒ms级别。Kafka原生客户端没有提供查看Topic消息内容的机制，消息集成为用户提供了Web页面，可实时查看所有Topic中所有分区的任意偏移量的消息正文。消息查询主要提供毫秒级、可视化的Kafka集群中的消息查询能力，支持按照分区和生产时间进行过滤。

3. 消费进度

对于较大数据量的Topic的消费进程，用户可以通过消息集成提供的Web页面实时查看消费者组消费的所有Topic的具体分区的消费进度。

4. Topic重分配

在Kafka集群资源使用已超出系统配置的资源时，需要通过扩容Kafka节点来实现Kafka集群的资源扩容。新增的Kafka节点，只有在创建新的Topic才会参与工作，对于之前其他Broker节点上的分区是不会自动均衡的，不能达到负载的效果。当Kafka集群扩容以后，为了减轻原Broker节点的负载压力，通过消息集成的Topic重分配功能将Topic的所有分区重新分配到扩容后的所有节点完成负载均衡。消息集成可以自动生成重分配建议，同时也支持用户手工调整。

5. 全方位消息指标监控

消息集成提供Kafka集群的各种监控指标，包括Topic堆积量，消息数量，消息容量，生产/消费请求失败数，被拒绝的字节数，消息转换数量，生产/消费请求数量等。

服务集成

1. 零编码生成API

平台提供了向导式API注册发布，零编码生成服务，操作方便快捷，易用性强。

2. 跨网接口发布

平台提供的API网关可以接入不同网络的接口，支持跨网、跨系统的API开放，帮助企业快速实现多网络协作。

3. 服务编排

将已经接入的API通过画布方式进行托拉拽串并联关系编排，提供了过滤组件、合并组件以解决特定业务场景。

编排流程处理：支持将多个API的执行顺序，包括先后关系、并列关系，进行依赖关系处理

编排参数解析：将多个API的返回结果进行解析，以实现前面API的返回结果作为后面API的输入或者整个编排后的API的输出

编排流程控制：根据某个API的返回结果（可以处理的类型包括：数值、字符串、日期、数组）决定后续执行流程分支。

编排结果组合：将两个API返回结果（List类型）按照某两个字段的值进行组合

编排结果选择：从某些API中挑选编排后的API的返回值，可以从API组件、合并组件中选择

4. 南向认证

平台支持接入第三方带动态认证的接口，可以通过界面配置的方式，快速的解决认证问题，在用户访问API时，只需要通过平台的API网关认证，对第三方接口的认证无感知。

5. 容器化运维管理

平台采用容器化集群部署，灵活的容器编排、自动化构建部署，提升了开发运维效率和资源利用率，提供弹性伸缩、资源隔离、容灾恢复、负载均衡等多元化、全方位服务，帮助企业构建复杂业务场景下的服务高可用和安全可控机制。