PackWriter: make PackWriter.writeIndex() take a PackIndexWriter

Previously, the PackWriter implementation required that indexes and
their extensions be writable to an OutputStream with a fixed binary
format.  To support more general index storage formats, allow
PackWriter to accept an PackIndexWriter interface which accepts only
the objects to store. This allows implementors to choose their storage
format.

The implementation will be provided by the DfsObjectDatabase. The
DfsObjectDatabase is already responsible for providing the OutputStream
that was previously used to write indexes. Having it provide a writing
interface would be a natural generalization.

This idea was previously implemented for PackBitmapIndex writing in
https://gerrithub.io/c/eclipse-jgit/jgit/+/1177722.

Change-Id: I582d2f3d25d6adb2da243d6d0d7bc405a97d6183

PackIndexWriter: create interface to write indexes

PackWriter assumes that the primary index goes to a file in a well-known
format. This cannot accomodate implementations in other storages or
formats (e.g. in a database).

Create an interface to write the index (PackIndexWriter). This interface
will be implemented by the existing pack index writer classes
(PackIndexWriterV1 etc.).

As the "PackIndexWriter" name was used by the previous superclass of the
file writers, we rename that class to "BasePackIndexWriter".

Change-Id: Ia7348395315e458fc7adc75a8db5dcb903e2a4a1

dfs: add configurable name to block cache table stats

The addition of a name will help show statistics broken down per inner
cache table when more than one cache table is used.

The name configuration is obtained from the config subsection name
prefixed by `dfs`, or `dfs` for the base case.

Change-Id: Ia16c794f094d756441b779e3b1f1a3c992443509

Merge "DfsBlockCache: use PackExtBlockCacheTable when configured"

DfsBlockCache: use PackExtBlockCacheTable when configured

Adds the usage of PackExtBlockCacheTable to the
DfsBlockCache, replacing the current DfsBlockCacheTable
when PackExtCacheConfigurations exists.
When no PackExtCacheConfigurations exists the current
DfsBlockCacheTable implementation will be used.

Change-Id: I42222a0cb43785baba907a49077dd9874d19d891

LfsConnectionFactoryTest: remove unnecessary cast

Change-Id: I08ed51b13aa269a4f6b64ac723b6bd7649c6591c

JSchSshProtocol2Test: remove unnecessary cast

Change-Id: Id3767f43cbbfd0c05f9a7f0d5620943da874df92

ApacheSshProtocol2Test: remove unnecessary cast

Change-Id: Ie8e7b097e48342a9cda6873e8595146a1b3f1427

NoteMapMerger: remove unnecessary cast

Change-Id: I3be4963f506529bbadc5b6dfc0b625ee85effc1f

Update mockito to 5.14.1

Change-Id: I6da7acb4fb8188a5bd32382eca12593febff29b7

Update jna to 5.15.0

Change-Id: I164964b2173ee285d35d6d3a29caf30c0b8a6f95

Update bytebuddy to 1.15.3

Change-Id: Ib17b92d6f413f706ff97fb4ccf07847f4b5808ad

Update commons-io:commons-io to 2.17.0

Change-Id: Ib3030b917ffb1a02115345e9050180313efdc19b

Merge "Record failing paths in recursive merge."

Merge "FileRepository: Remove unnecessary setConfig call"

Merge "DfsInserter: Create PackConfig from repo instead of repo.conf"

FileRepository: Remove unnecessary setConfig call

The constructor of GC sets exactly the same config. Remove this
set to make clearer from where the config is coming.

Change-Id: Idb71c7827f180923092ef5392545df81960ee93a

Merge branch 'stable-7.0'

* stable-7.0:
  AdvertisedRequestValidator: fix WantNotValidException caused by race

Change-Id: If885f81c5273693c0c9c6efcfe4b646ab936cefe

Merge branch 'stable-6.10' into stable-7.0

* stable-6.10:
  AdvertisedRequestValidator: fix WantNotValidException caused by race

Change-Id: I22ec79d91136f8209a3799465db5593d83f7bea9

Merge branch 'stable-6.9' into stable-6.10

* stable-6.9:
  AdvertisedRequestValidator: fix WantNotValidException caused by race

Change-Id: I662c7a76470cedf0d4c975c50c3981c1c86245f2

Merge branch 'stable-6.8' into stable-6.9

* stable-6.8:
  AdvertisedRequestValidator: fix WantNotValidException caused by race

Change-Id: Ia5a0a4f0e900d96fa638bb9f97988ac66f4b7068

Merge branch 'stable-6.7' into stable-6.8

* stable-6.7:
  AdvertisedRequestValidator: fix WantNotValidException caused by race

Change-Id: I1e485422608cf55373c1d86c4c0d50c9f9f49f20

Merge branch 'stable-6.6' into stable-6.7

* stable-6.6:
  AdvertisedRequestValidator: fix WantNotValidException caused by race

Change-Id: I5b7b097a4b57ec48a3ee20fc25cb0d080cc1af80

AdvertisedRequestValidator: fix WantNotValidException caused by race

Fetch with protocol V2 failed under the following conditions
- fetch uses bidirectional protocol (git, ssh) which uses a shortcut
  to determine invalid wants
- not all wants are advertised
- race condition: wanted ref is updated during fetch by another thread
  after the thread serving upload-pack determined wants and before it
  checks not advertised wants

Fix this by calling
`new ReachableCommitRequestValidator().checkWants(up, wants)`
instead of throwing WantNotValidException in [1]
if this race happened in the same way like it's done for unidirectional
protocols (http) [2].

[1] https://github.com/eclipse-jgit/jgit/blob/stable-6.10/org.eclipse.jgit/src/org/eclipse/jgit/transport/UploadPack.java#L2002
[2] https://github.com/eclipse-jgit/jgit/blob/stable-6.10/org.eclipse.jgit/src/org/eclipse/jgit/transport/UploadPack.java#L2000

Bug: jgit-48
Change-Id: I32f28502923815dc49781aab5d810c9afbe7e7e6

DfsInserter: Create PackConfig from repo instead of repo.conf

PackConfig can be constructed from the repo or from a config. While
browing the code, it is easier to follow the provenance of the
configuration when using the repository constructor.

Use the PackConfig(Repository) constructor in the
DfsInserter. Internally it calls PackConfig(repo.getConfig()) so this
should be a noop.

Change-Id: Ifce5bc87404ca8ec9a821d28253d489056faad9a

Record failing paths in recursive merge.

This is meant to help diagnose LOCK_FAILURE errors, which otherwise provides
very little information in
https://eclipse.googlesource.com/jgit/jgit/+/refs/heads/master/org.eclipse.jgit/src/org/eclipse/jgit/lib/BatchRefUpdate.java#731.

Change-Id: I3d544c899fe66effbd107ea2f38d73f6f253a7e6

Merge "DfsReader: Fallback to regular size read if size index throws"

PackIndex: Add protected setters to populate the MutableEntry

Implementations of the iterator out of package receive a MutableEntry but they don't have a way to set data into it.

Add setters to the MutableEntry via protected methods in the iterator. This way, only implementors of the Iterator can modify the entry (cannot be modified e.g. by callers).

Change-Id: Id50c69d8be230ebdb8108acc47df13abcad0af0a

DfsReader: Fallback to regular size read if size index throws

The reader can get IOException when reading the object size index, but
that index is an optimization, the size should still be available in
the pack.

Use the regular #getObjectSize() as a fallback when we get an
IOException from the object size index.

Change-Id: Ic5ec2cfc7c698aa94c6cfd5960cbab6c129f595a

PackWriter: Remove constructor with only Reader as param

At construction time, PackWriter receives the PackConfig as a
parameter or reads it from the repository. The only exception is when
the constructor receives only a reader (no repo nor conf
provided?!).

Remove PackWriter(Reader) and let callers be explicit what conf to
use. This makes clearer the flow of conf in the PackWriter.

Change-Id: If12e122797ffc8c44fc3c435ca1b000ca016645b

PackIndex: Simplify Iterator/MutableEntry interaction

The iterator keeps the current position in the index and the MutableEntry reads data from there on-demand, but the iterator needs to know about the entry and this creates a complicated interaction.

Make MutableEntry a simple data object and let the iterator iterate and populate it before returning it. Code is clearer and implementors only needs to worry about the iterator.

This fixes also MutableEntry visibility, that was preventing subclassing from out of the package.

Change-Id: I35010d1f80237e421dd51b8d3d61a8ecb03e0d01

Update org.mockito:mockito-core to 5.13.0

Change-Id: I7aa2a3ee8e5ad107992309ea1fd82eaa73bf59d6

Update to jetty 12.0.13

Change-Id: I05772a87c351fed631d386c034e01fca9ec38fb1

Update org.apache.commons:commons-lang3 to 3.17.0

Change-Id: I27a657a424050f0d7cacaec0f504c00f2c77b62a

Update bytebuddy to 1.15.1

Change-Id: I244dab5dec191497ad794cd16884f2392d0fa3b8

Add 4.34 target platform for Eclipse 2024-12

and update org.apache.ant to 1.10.15 since Orbit updated to Ant 1.10.15.
See https://download.eclipse.org/tools/orbit/simrel/orbit-aggregation/2024-12/

Change-Id: I865decbad55f0b7ca998b37cafa6c0a1eb183734

Use 2024-09 release repository in 4.33 target platform

Change-Id: I30e6d8cf0690184f081d7f39d5733d4e46b86e0c

PackReverseIndex: Fix javadoc in position methods

Position in the API refers to reverse-index position
(offset order), not primary index position (sha1 order)

Change-Id: I7dbe314dac1b3a128dd1c4ed93b9be28fd0802cc

Replace custom encoder `Constants#encode` by JDK implementation

Using the implementation provided in the JDK since Java 1.6 by
`String#getBytes(Charset)` reduces JGit maintenance effort and improves
performance.

The method Constants#encode was implemented when JGit still used Java
1.5. See [1].

Kudos to Marcin for proposing to use this improvement in RefWriter [2].
I think it should be used generally.

[1] https://repo.or.cz/jgit.git?a=commit;h=bfa3da225f198b19061158499b1135aff07d85b3
[2] https://eclipse.gerrithub.io/c/eclipse-jgit/jgit/+/1195180

Also-By: Marcin Czech <maczech@gmail.com>
Change-Id: I361ed6286b98351a315b8a8ffc3cb845831d35b2

[releng] Bump japicmp base version to 7.0.0.202409031743-r

Change-Id: I5245a8b095174946abcbbb899f9c0a7dfd504cb4
Signed-off-by: Thomas Wolf <twolf@apache.org>

Prepare 7.1.0-SNAPSHOT builds

Change-Id: Iba206a2d4645fc275cd2cd1cb3ae965b8ceafb28

Merge branch 'stable-7.0'

* stable-7.0:
  Prepare 7.0.1-SNAPSHOT builds
  JGit v7.0.0.202409031743-r
  Revert "Remove deprecated LocalDiskRepositoryTestCase#create(boolean,boolean)"
  Remove deprecated JschSession#getSftpChannel method
  Remove deprecated AutoLFInputStream constructors
  Remove deprecated RawParseUtils#UTF8_CHARSET
  Remove deprecated FS#setAsyncFileStoreAttributes method
  FS, FS_Posix: remove deprecated #createNewFile(File) method
  Remove deprecated lastModified methods using long
  UserAgent: remove deprecated #getAgent, #hasAgent methods
  Remove deprecated Transport#getFilterBlobLimit methods
  Remove deprecated RefAdvertiser#send(Map<String, Ref>) method
  Remove deprecated ReceivePack#setEchoCommandFailures method
  Remove deprecated class ReceivePack.FirstLine
  PacketLineIn: make deprecated #END and #DELIM private
  WindowCacheStats: remove deprecated #getOpenFiles, #getOpenBytes
  Remove deprecated PatchApplier#applyPatch(InputStream)
  Remove deprecated MergeMessageFormatter#formatWithConflicts
  Remove deprecated MergeFormatter#formatMerge using charset name
  Remove deprecated MergeFormatter#formatMerge using charset name
  Remove deprecated TagBuilder#toByteArray method
  Remove deprecated Repository#hasObject(AnyObjectId) method
  Make deprecated Repository#peel(Ref) private
  Remove deprecated RefDatabase#getRef(String) method
  CoreConfig: remove deprecated #isLogAllRefUpdates method
  Constants: remove deprecated #CHARSET and #CHARACTER_ENCODING
  Remove deprecated ConfigConstants#CONFIG_KEY_STREAM_FILE_TRESHOLD
  Remove deprecated CommitBuilder#setEncoding(String) method
  Remove deprecated static #equals(AnyObjectId, AnyObjectId) method
  Remove deprecated FileSnapshot.save(long) method
  Remove deprecated lastModified accessors returning long
  Remove deprecated PackInvalidException constructors
  DirCacheEntry: remove deprecated methods
  Remove deprecated DirCacheCheckout#checkoutEntry methods
  Remove deprecated StashApplyCommand#setApplyUntracked method
  Remove deprecated StashApplyCommand#setApplyIndex method
  Remove deprecated RemoteSetUrlCommand#setUri method
  Remove deprecated RemoteSetUrlCommand#setPush method
  Remove deprecated RemoteSetUrlCommand#setName method
  Remove deprecated RemoteRemoveCommand#setName method
  Remove deprecated CheckoutCommand#setForce method
  Remove deprecated CheckoutCommand#setForce method
  Remove deprecated static AnyLongObjectId#equals method
  Remove deprecated LocalDiskRepositoryTestCase#create(boolean,boolean)
  Remove unused API warning filters
  ObjectDirectoryTest: ensure WindowCursor is closed
  PackExtBlockCacheTableTest: fix empty block warning
  PackExtBlockCacheTableTest: suppress unchecked conversion warnings
  PackObjectSizeIndexV1: fix boxing warnings
  PackExtBlockCacheTableTest: suppress boxing warning on test class
  DfsBlockCacheConfigTest: suppress boxing warning on test class
  Suppress non-externalized string warnings
  Update jakarta.servlet:jakarta.servlet-api to 6.1.0
  Update org.apache.commons:commons-compress to 1.27.1
  Update org.tukaani:xz to 1.10
  Update org.assertj:assertj-core to 3.26.3
  Update org.apache.commons:commons-lang3 to 3.16.0
  Update bytebuddy to 1.15.0
  Update commons-logging:commons-logging to 1.3.4
  Update commons-codec:commons-codec to 1.17.1
  Update jetty to 12.0.12
  Prepare 7.0.0-SNAPSHOT builds
  JGit v7.0.0.202408271414-rc1
  Prepare 7.0.0-SNAPSHOT builds
  JGit v7.0.0.202408202050-m3
  JGit v7.0.0.202408201547-m3
  JGit v7.0.0.202409201410-m3

Change-Id: Ia2913076aa8ecdfa0c51752a6076658505f6736e

Prepare 7.0.1-SNAPSHOT builds

Change-Id: I5a6a9e398d8b81bf7bd0afbd6c82116d4472a349

JGit v7.0.0.202409031743-r

Signed-off-by: Matthias Sohn <matthias.sohn@sap.com>
Change-Id: I86507936091e6f7af7588835722672ff2668a205

Revert "Remove deprecated
LocalDiskRepositoryTestCase#create(boolean,boolean)"

This reverts commit 3682611cef41ade46cf5ac194f0674b46367a395.

Reason: removing this deprecated method caused a ton of warnings about
closing an already closed Repository when running tests.

Change-Id: I3e9f224c55c167f92dad39caabfab5e43cf54cfb

Remove deprecated JschSession#getSftpChannel method

Change-Id: I5b5d3cbc6b0e5f85df26fe6c288c973cf5609296

Remove deprecated AutoLFInputStream constructors

Change-Id: I00241e45d947582886658fa528cc20a961fed9e6

Remove deprecated RawParseUtils#UTF8_CHARSET

Change-Id: I4b3f1344f77a575b2d0e00462806eddb4e9a6b80

Remove deprecated FS#setAsyncFileStoreAttributes method

Change-Id: Iea9f61fd65772ab247b382c93035e3c9974705aa

FS, FS_Posix: remove deprecated #createNewFile(File) method

Change-Id: Id34a0be998eee360e69f74b469c4990afa153c1b

Remove deprecated lastModified methods using long

from
- FileUtils#lastModified
- FileUtils#setLastModified
- FS#getLastModifiedTime
- FS#lastModified
- FS#setLastModified
- FileTreeIterator.Entry#getEntryLastModified
- WorkingTreeIterator#getEntryLastModified
- WorkingTreeIterator.Entry#getEntryLastModified

Change-Id: I5073f05c32f8f626383a91048470c79332983121

UserAgent: remove deprecated #getAgent, #hasAgent methods

Change-Id: Ib53de6dabea7f73ecfde85cb30f49fa05ee48551

Remove deprecated Transport#getFilterBlobLimit methods

Change-Id: Ia72cc228b0acaa8df8f405bd224916cc76eadd22

Remove deprecated RefAdvertiser#send(Map<String, Ref>) method

Change-Id: Ifffcfa6bf9baf9f6879a5a7e0f05d317347983f6

Remove deprecated ReceivePack#setEchoCommandFailures method

Change-Id: Ieeeb33b8b3dc8272023af5d47b3330f4a94c5b96

Remove deprecated class ReceivePack.FirstLine

Change-Id: I1143612088dba4fdced8f14c97293d17ff9658bb

PacketLineIn: make deprecated #END and #DELIM private

Change-Id: I1b7ba9f7e3dffe54313fc5d27051ad56a02a05b9

WindowCacheStats: remove deprecated #getOpenFiles, #getOpenBytes

Change-Id: If254177fd7914cb1f909f6620032bb4016208855

Remove deprecated PatchApplier#applyPatch(InputStream)

Change-Id: I79923b95861af983b676d436938aaeebe8c5b658

Remove deprecated MergeMessageFormatter#formatWithConflicts

Change-Id: I3040f655318c47f268433294720a99325ae78863

Remove deprecated MergeFormatter#formatMerge using charset name

Change-Id: I7d0bdb61a8698e94bb40c22fe1c40c70cec65dfc

Remove deprecated MergeFormatter#formatMerge using charset name

Change-Id: Id2bdcb865203ed192fea35cfcf82c34667710726

Remove deprecated TagBuilder#toByteArray method

Change-Id: I14e78bcd4bbdb491bcc44a53ff19609b79c0831b

Remove deprecated Repository#hasObject(AnyObjectId) method

Change-Id: I473dff6bdc23cfb126d22e18c168390a0e21301d

Make deprecated Repository#peel(Ref) private

Change-Id: I1c16196bba00a5d0f54c10261cc08185305ba4a3

Remove deprecated RefDatabase#getRef(String) method

Change-Id: I89f42db2b9dabee18d4220457436b9f9b6340f50

CoreConfig: remove deprecated #isLogAllRefUpdates method

Change-Id: I4e5f96696b57512488f48e66a82760b2e8671878

Constants: remove deprecated #CHARSET and #CHARACTER_ENCODING

Change-Id: If2d3c1a96560e0bc5e352bdbcab4c191cbed1a42

Remove deprecated ConfigConstants#CONFIG_KEY_STREAM_FILE_TRESHOLD

Change-Id: I3521ba8f8456160bd18ccb22c7d4a131aaac4ff2

Remove deprecated CommitBuilder#setEncoding(String) method

Change-Id: I5bd8d0c292151bfa58325d51ef51928715871cf1

Remove deprecated static #equals(AnyObjectId, AnyObjectId) method

Change-Id: I72544d2b3c85b8f96c2b8f94b86fb9b362f09475

Remove deprecated FileSnapshot.save(long) method

Change-Id: I9b77142127cc96ee6658e85a6cf0586d941c5c0c

Remove deprecated lastModified accessors returning long

- FileSnapshot#lastModified
- LockFile#getCommmitLastModified

Change-Id: I6962166ca5decbb332dfb25851c93debfe2ca90c

Remove deprecated PackInvalidException constructors

Change-Id: I8db6b1dd8e39811ebde676389833dbc906106452

DirCacheEntry: remove deprecated methods

- boolean mightBeRacilyClean(int, int)
- long getLastModified()
- void setLastModified(long)

Change-Id: I428fbb2109e13e80b8655622531c10e55a922a6f

Remove deprecated DirCacheCheckout#checkoutEntry methods

Change-Id: I28d00d7a70af0fbb76e237dd77b929508720ecdb

Remove deprecated StashApplyCommand#setApplyUntracked method

Change-Id: I23e3ed3259edad3a22b59cca938f041b39ebf0cb

Remove deprecated StashApplyCommand#setApplyIndex method

Change-Id: I2183285f6ccba1b62a318e711f2451df5d083ca1

Remove deprecated RemoteSetUrlCommand#setUri method

Change-Id: Ib9041be0d88dd837aa68eda2b00f3aa9ebc54c27

Remove deprecated RemoteSetUrlCommand#setPush method

Change-Id: I4026531148a7560179dae89c05424f256e6600d2

Remove deprecated RemoteSetUrlCommand#setName method

Change-Id: I769e999b5990f83719e3c638da9dfd0be4c5b826

Remove deprecated RemoteRemoveCommand#setName method

Change-Id: I2bd2a213b4642283b11f787ffcbab29916e2c5e7

Merge "Remove deprecated CheckoutCommand#setForce method" into stable-7.0

Remove deprecated CheckoutCommand#setForce method

Change-Id: Ie0b59ec21fc8dbe18242bbb52cb794e5a02c1ed5

Remove deprecated CheckoutCommand#setForce method

Change-Id: I39cfbeba0171c66e0f03b7b3785313da55b1dcac

Remove deprecated static AnyLongObjectId#equals method

Change-Id: Ie67b9a4a5e1972ec3aebf50e058a9aabf5a20099

Remove deprecated LocalDiskRepositoryTestCase#create(boolean,boolean)

Change-Id: I9eff2d405b5302753ff2ec1d0eab431bdba69fe0

Merge branch 'master' into stable-7.0

* master:
  walks: Remove deprecated #createReachabilityChecker() method
  RepoCommand.RemoteReader: Remove @Deprecated method
  ReachabilityChecker: Remove @Deprecated method
  UploadPack: Remove @Deprecated classes and methods
  ObjectId: Add method to read an ObjectId from a ByteBuffer
  DfsPackFile: re-add metrics for bitmap index loads

Change-Id: I383c9784ced95dfd58f01454fd13b086b180d462

walks: Remove deprecated #createReachabilityChecker() method

Change-Id: If9375ac49fa82e988e0708d89f0f929495e6e7cc

RepoCommand.RemoteReader: Remove @Deprecated method

Cleaning up before 7.0 release.

Change-Id: I83db715a8170a54957dd5bcf38df5b0911a12107

ReachabilityChecker: Remove @Deprecated method

Cleaning up before 7.0 release.

Change-Id: I620c3a485785b3d1efc950317fe552b8465a479e

UploadPack: Remove @Deprecated classes and methods

The coming 7.0 release is a chance to clean up these deprecated
classes and methods.

Change-Id: I23d263c9244c1e0096eb7c96c290213c9e668a03

ObjectId: Add method to read an ObjectId from a ByteBuffer

Some storages return data in a convenient ByteBuffer wrapper, but
there is no straigh-forward method to read ObjectIds from it.

Add ObjectId#fromRaw(ByteBuffer) to read object ids from byte buffers.

Change-Id: Ia3b244005e4d9a613294f5ad9dab3b8e7bc3d7df

Remove unused API warning filters

Change-Id: If5cfd8963db0699669be3594e844e14d38f97943

ObjectDirectoryTest: ensure WindowCursor is closed

Change-Id: I75b7d36181a0d404d4e3dca17b9e436892d97b42

PackExtBlockCacheTableTest: fix empty block warning

Change-Id: I35e7527c6c555cd57fce14889412fa2fd6beab88

PackExtBlockCacheTableTest: suppress unchecked conversion warnings

Change-Id: I5fcad7a824c4a320683d11da52c4e2035231f85d

PackObjectSizeIndexV1: fix boxing warnings

Change-Id: I25e6194fb8bf09dcac1613cec8349c3893a4f81a

PackExtBlockCacheTableTest: suppress boxing warning on test class

Change-Id: Ie9d5da0c065ba0118927d530ed589952fb3b2c2b

DfsBlockCacheConfigTest: suppress boxing warning on test class

Change-Id: Ibe7edc5e53c3d467e0e6144a3f8a32989f1ac6af