]> source.dussan.org Git - tigervnc.git/commit
Enhanced ComparingUpdateTracker to crop changed blocks 1031/head
authorMark Mielke <mark.mielke@gmail.com>
Mon, 22 Jun 2020 03:54:55 +0000 (23:54 -0400)
committerMark Mielke <mark.mielke@gmail.com>
Thu, 23 Jul 2020 01:27:34 +0000 (21:27 -0400)
commitae38d967ea4aac937e6fce5c0aa00a4fc552b637
treef8a3404595fd3ce87ffc4a91cb5bd0bf28ffdb23
parent0102acc61e40cb5dd6f0dfa4466bf628e7924da6
Enhanced ComparingUpdateTracker to crop changed blocks

64x64 changed block can be large for fine changes such as cursor
movement and typing in terminal windows, or an update to a clock.

If the block can be efficiently cropped, this will reduce latency
and bandwidth. Every pixel cropped is a pixel less to analyze, encode,
transmit, and decode.

The previous code already detected the top of the change in order
to determine if the block had changed. However, it did not use
this information to reduce the size of the change rectangle, nor
did it calculate any of the other edges.

The new code introduces detection of the other edges, and uses
the information to build a reduced area change rectangle. This
has the additional effect of reducing the number of discrete pixel
values in the change block which may allow a more efficient
encoding algorithm to be selected.

As this section of code is performance sensitive, the method
of detecting the edges has been optimized to quickly fall back
to pessimistic values as soon as a single comparison fails on
each edge. In the case that full 64x64 block are changing,
there will be three extra comparisons per block.

In cases where the change rectangle can be reduced from 64x64,
the reduced size of the change rectangle represents reduced
effort to encode, transfer, and decode the contained pixels.

In the case of images with high frequency changes, which
specifically includes text, the lossy JPEG encoding can be
highly distorted, especially with JPEG level 6 or less. The
quick flash from a distorted JPEG to a lossless JPEG can
appear as a flickering to some people. This effect was more
obvious when the surrounding area is not expected to change,
but is being distorted anyways due to being part of the 64x64
blocking algorithm.

In the case of a user typing in a terminal window, this change
may commonly reduce the number of pixels updated with every
character typed from 4096 pixels (64x64) to 640 pixels (32x20)
or less.
common/rfb/ComparingUpdateTracker.cxx