Flink1.7.2 Source、Window数据交互源码分析

  • 时间:
  • 浏览:1
  • 来源:大发5分6合_大发5分6合官方

getBufferBuilder(targetChannel)通过channel,得到BufferBuilder,可是我 得到当前的partition写入数据对象BufferBuilder,其实可是我 操作ResultPartition.subPartitions

每个partition写入的数据,对应到本人 的window,原来 就实现了,在source端将数据分区,对应的window出理 source对应的分区数据

通知Window,有数据产生了,都里能 结束英语 消费了(出理 数据)

这是有一一个 阻塞的措施,读取Source中对应的partition中的数据,调用BarrierTracker.getNextNonBlocked()

record进行序列化,数据长度写进ByteBuffer lengthBuffer,数据写进ByteBuffer dataBuffer;

经调试,按key,hash % 并行度,分配的数据如下