clean code smells (unused import)

SONAR-14061 Azure DevOps settings validation

Update orchestrator version to 3.34

By default this version is disabling force authentication for 8.6 and greater.
Also it allows to enable default behaviour, which will be used.

SONAR-14159 enforce user authentication by default

SONAR-14160 Raise awareness about authentication being enabled by default

remove code smells

SONAR-14101 Update SonarScanner for MSBuild doc to reflect new 5.0 version. (#3309)

* Update SonarScanner for MSBuild doc to relfect new 5.0 version.

DOCS SONAR-14155 Update monitoring docs for formatting, grammar, and rewording for emphasis

DOCS SONAR-14155 Update JVM resource being costly with heap resizing and oxford comma

DOCS SONAR-14155 Emphasize tone of heap resizing

SONAR-14057 Highlight search query in results

SONAR-14057 realign API

SONAR-14057 Set sqProjectKey and sqProjectName

SONAR-14057 Mark Azure projects previously imported

SONAR-14059 Enable import of Azure repositories

SONAR-14057 Update List AzDo projects Action

SONAR-14133 Add identifying fields to azure project binding

SONAR-14057 Enable Search for Azure Repositories

SONAR-14133 add parameters to set_azure_binding

SONAR-14057 Display Azure Projects and Repositories

SONAR-14133 add warning when ado project and repo are not set

SONAR-14133 update get_binding changelog

SONAR-14057 Search Ado repos

SONAR-14057 Add PAT form for azure onboarding

SONAR-14057 list ado projects

[DOCS] document azdo agent bug

Co-authored-by: MikeBirnstiehl <michael.birnstiehl@sonarsource.com>

SONAR-13992 Upgrade Apache httpclient to 4.5.13

SONAR-14058 add url to list endpoint

Fixing missing ITs (thank you Cirrus)

Adding mandatory params to Gitlab related ITs + making sure tests run

SONAR-14058 add url to list_definitions endpoint

SONAR-14058 Add URL to azure config form

SONAR-14058 add url to update_azure endpoint

SONAR-14058 add url to create_azure endpoint

SONAR-14174, SONAR-14150, SONAR-14148, SONAR-14151, SONAR-14163,
SONAR-14164, SONAR-14149, SONAR-14153, SONAR-14152, SONAR-14173, SONAR-14174 Language plugin upgrade for 8.6.

BUILD enable weekly owasp scan for latest release

SONAR-14015 Create GitHub ALM Integration page

SONAR-14016 Create GitLab ALM integration page

SONAR-14018 Create Bitbucket ALM integration page

SONAR-14026 Clean up old references to ALM integration info

SONAR-14017 Create Azure DevOps ALM integration page

Fixing codesmell

SONAR-14047 Remove delete button on app console.

Fix frontend duplication.

BUILD Add slack notification for SonarQube repo

BUILD Fix unauthorized builds with artifactory repo

Due to a misbehavior in artifactory, the wrong http status code is returned and the build will stop immediately. This happens if you access a virtual repository which contains a repository which requires authentication.

As a workaround a virtual repository is used, which does not include non-public repositories.

https://www.jfrog.com/jira/browse/RTFACT-13797

Fix tag filtering docs for the WS api/components/search_projects

SONAR-13991 Fix SSF-128

SONAR-12686 turn off Elasticsearch client deprecation logging

SONAR-13975 Update ES configuration on DCE docs

SONAR-13976 update ports description and raise security awareness for ES upgrade

SONAR-13974 Add upgrade notes for new ES configuration

SONAR-12686 Fix Elasticsearch properties for a single node
- https://www.elastic.co/guide/en/elasticsearch/reference/7.x/breaking-changes-7.0.html#_discovery_configuration_is_required_in_production

SONAR-14039 replace 'sonar.search.transportPort' with 'sonar.es.port' on non-DCE

SONAR-13972 Remove 'sonar.search.httpPort' property

SONAR-13979 Fail when sonar.search.host or sonar.search.port are defined in DCE
- Orchestrator upgrade was required as by default it was setting these properties

SONAR-13971 Add properties to configure ES network in DCE

DOCS update for ES 7.9.3 upgrade

SONAR-12686 upgrade es client to 7.9.3 and move to HTTP

- add should minimum match eq 1 to user index queries
ES 7.X changed behaviour in case filter query with bool it defaults to '0'
https://www.elastic.co/guide/en/elasticsearch/reference/7.x/breaking-changes-7.0.html#_the_filter_context_has_been_removed

- fix issue index routing param
ES 7.X helped discover this bug as new setting has been auto configured which is 'index.number_of_routing_shards'.
This has changed how documents are distributed across shards depending on how many shards the index has.

Without that change issues docs has been incorrectly routed to the same shard hash as projects and it worked no matter what routing key you used projectUuid or auth_projectUuid.

- update ngram and edge_ngram names to match with es 7.x
nGram and edgeNgram has been deprecated in favour of ngram and edge_ngram
https://www.elastic.co/guide/en/elasticsearch/reference/current/breaking-changes-7.0.html#deprecated-ngram-edgengram-token-filter-cannot-be-used

- remove `_all : enabled` usage from UT
This field was already deprecated in 6.X, now it has been removed.
https://www.elastic.co/guide/en/elasticsearch/reference/current/breaking-changes-7.0.html#all-meta-field-removed

- add Elasticsearch High Level REST client dependency

- use sonar.search.port for ES HTTP

- main process use ES Rest client to check ES status

- sonar.cluster.search.hosts has HTTP ports on APP nodes
also sonar.search.port and sonar.search.host MUST be configured on each Search node with the host and HTTP port of the current node

- use Elasticsearch high level rest client

- use in EsTester

- use as primary es client

- use indices api to get all indices name instead of cluster api

- use cluster health api to check cluster state

- support raw requests for 'nodes/_stats' and '_cluster/stats'

- support raw requests for 'indices/_stats'

- leave netty4plugin as testCompile dependency it is used in UTs

- all ES non-test calls go through EsClient class

- add rest client ES profiling

SONAR-12686 enforce index rebuilding by changing ES data directory

SONAR-12686 replace deprecated setting transport.tcp.port by transport.port

SONAR-12686 fix ES discovery settings in cluster mode

deprecated "discovery.zen.ping.unicast.hosts" has been removed, "discovery.seed_hosts" should be used instead
"discovery.zen.minimum_master_nodes" is ignored now: stop setting it and drop sonar property "sonar.search.minimumMasterNodes"

SONAR-12686 add mandatory cluster configuration property cluster.initial_master_nodes

ES 7.5.1 refuses to start without this option

SONAR-12686 use node.store.allow_mmap instead of node.store.allow_mmapfs

node.store.allow_mmapfs was deprecated and is now dropped in 7.5.1

SONAR-12686 MaxDirectMemorySize JVM option should be defined for ES

This option was set by default in ES 6.X already but we had missed it.
ES sets it to half the max heap from Java code (see class JvmErgonomics)

To not have to get into the complexity of interpreting options to know what is the configured max heap,
we just add this option to the defaults and document it

SONAR-12686 update JVM options to match defaults in ES 7.X

Elastic introduced "system" JVM settings in 7.X:
 * "system" settings are set from Java code (class SystemJvmOptions)
 * which means these JVM settings are not defined in "jvm.options" file anymore

SONAR-12686 update elasticsearch-patch and packaging exclusions for 7.X

SONAR-12686 increase zip size

SONAR-12686 upgrade ES server binaries to 7.9.3

new sources unpack from ElasticSearch 7.9.3 artifact for Linux OSS only (without bundled JDK and under Apache 2.0 license)
https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-oss-7.9.3-no-jdk-linux-x86_64.tar.gz

SONAR-12686 use Jetty for TCP ElasticSearch transport in unit tests

LocalTransport is dropped in ElasticSearch 7.X

increase validate task allowed memory

SONAR-13988 better handle errors

SONAR-13996 Add warning when configuring second instance

SONAR-13987 Display validation for Bitbucket server

SONAR-13978 validate gitlab alm settings

SONAR-13978 Display validation for GitLab

SONAR-13988 - GitHub ALM settings validation

SONAR-13988 Display validation status for GitHub integration

SONAR-13122 Reduce Log Level of rule indexing warnings on startup

Add VSCode extension recommendations for sonar-web

The recommended extensions are the ones mentioned in the SQ Frontend Guidelines.

SONAR-13913 Remove tables and indexes clean up used in Integration Tests

Execute OWASP task on every config update

Update node version used by gradle

Move OWASP suppression files to private folder

SONAR-14001 SONAR-14010 SONAR-14030 SONAR-14032 SONAR-14050 SONAR-14052 SONAR-14053 SONAR-14054 SONAR-14055 SONAR-14056 Upgrade analyzers

DOCS fix link to Generate Reports post

SONAR-13913 Upgrade Orchestrator version to 3.31

DOCS add release notes link to upgrade notes

SONAR-14044 update mybatis

SONAR-13941 Move and adapt application CE processor

SONAR-13950 Move Application UI logic to DE

SONAR-13941 Add or modify ITs to test applications in developer edition

SONAR-13941 Copy "api/views/refresh" to "api/applications/refresh"

SONAR-13941 move api/views/app endpoint to DE and rename to api/metrics/user_metrics

SONAR-13941 Make applications WS available in developer edition

SONAR-14009 SVN configuration in SQ server does not work

SONAR-14003 Fix SSF-129

SONAR-13937 Upgrade sonar-css to 1.3.1.1642

Revert "SONAR-13913 Remove tables and indexes clean up used in Integration Tests"

This reverts commit 6d13dd2f

DOCS Fix Scanner for Gradle doc about properties

Improve validation build logging

SONAR-13913 Remove tables and indexes clean up used in Integration Tests

* SONAR-13913 Remove usage of Orchestrator#resetData

* Remove ProjectAnalysisRule

* Upgrade to Orchestrator 3.31

* SONAR-13913 Remove BackendCleanup class

* Remove code related to no more existing tables

SONAR-13936 Fix issues sidebar search where in some case we trigger wrong API call.

[DOCS] added correct LimitNOFILE to systemd template