SONAR-13975 Update ES configuration on DCE docs

SONAR-13976 update ports description and raise security awareness for ES upgrade

SONAR-13974 Add upgrade notes for new ES configuration

SONAR-12686 Fix Elasticsearch properties for a single node
- https://www.elastic.co/guide/en/elasticsearch/reference/7.x/breaking-changes-7.0.html#_discovery_configuration_is_required_in_production

SONAR-14039 replace 'sonar.search.transportPort' with 'sonar.es.port' on non-DCE

SONAR-13972 Remove 'sonar.search.httpPort' property

SONAR-13979 Fail when sonar.search.host or sonar.search.port are defined in DCE
- Orchestrator upgrade was required as by default it was setting these properties

SONAR-13971 Add properties to configure ES network in DCE

DOCS update for ES 7.9.3 upgrade

SONAR-12686 upgrade es client to 7.9.3 and move to HTTP

- add should minimum match eq 1 to user index queries
ES 7.X changed behaviour in case filter query with bool it defaults to '0'
https://www.elastic.co/guide/en/elasticsearch/reference/7.x/breaking-changes-7.0.html#_the_filter_context_has_been_removed

- fix issue index routing param
ES 7.X helped discover this bug as new setting has been auto configured which is 'index.number_of_routing_shards'.
This has changed how documents are distributed across shards depending on how many shards the index has.

Without that change issues docs has been incorrectly routed to the same shard hash as projects and it worked no matter what routing key you used projectUuid or auth_projectUuid.

- update ngram and edge_ngram names to match with es 7.x
nGram and edgeNgram has been deprecated in favour of ngram and edge_ngram
https://www.elastic.co/guide/en/elasticsearch/reference/current/breaking-changes-7.0.html#deprecated-ngram-edgengram-token-filter-cannot-be-used

- remove `_all : enabled` usage from UT
This field was already deprecated in 6.X, now it has been removed.
https://www.elastic.co/guide/en/elasticsearch/reference/current/breaking-changes-7.0.html#all-meta-field-removed

- add Elasticsearch High Level REST client dependency

- use sonar.search.port for ES HTTP

- main process use ES Rest client to check ES status

- sonar.cluster.search.hosts has HTTP ports on APP nodes
also sonar.search.port and sonar.search.host MUST be configured on each Search node with the host and HTTP port of the current node

- use Elasticsearch high level rest client

- use in EsTester

- use as primary es client

- use indices api to get all indices name instead of cluster api

- use cluster health api to check cluster state

- support raw requests for 'nodes/_stats' and '_cluster/stats'

- support raw requests for 'indices/_stats'

- leave netty4plugin as testCompile dependency it is used in UTs

- all ES non-test calls go through EsClient class

- add rest client ES profiling

SONAR-12686 enforce index rebuilding by changing ES data directory

SONAR-12686 replace deprecated setting transport.tcp.port by transport.port

SONAR-12686 fix ES discovery settings in cluster mode

deprecated "discovery.zen.ping.unicast.hosts" has been removed, "discovery.seed_hosts" should be used instead
"discovery.zen.minimum_master_nodes" is ignored now: stop setting it and drop sonar property "sonar.search.minimumMasterNodes"

SONAR-12686 add mandatory cluster configuration property cluster.initial_master_nodes

ES 7.5.1 refuses to start without this option

SONAR-12686 use node.store.allow_mmap instead of node.store.allow_mmapfs

node.store.allow_mmapfs was deprecated and is now dropped in 7.5.1

SONAR-12686 MaxDirectMemorySize JVM option should be defined for ES

This option was set by default in ES 6.X already but we had missed it.
ES sets it to half the max heap from Java code (see class JvmErgonomics)

To not have to get into the complexity of interpreting options to know what is the configured max heap,
we just add this option to the defaults and document it

SONAR-12686 update JVM options to match defaults in ES 7.X

Elastic introduced "system" JVM settings in 7.X:
 * "system" settings are set from Java code (class SystemJvmOptions)
 * which means these JVM settings are not defined in "jvm.options" file anymore

SONAR-12686 update elasticsearch-patch and packaging exclusions for 7.X

SONAR-12686 increase zip size

SONAR-12686 upgrade ES server binaries to 7.9.3

new sources unpack from ElasticSearch 7.9.3 artifact for Linux OSS only (without bundled JDK and under Apache 2.0 license)
https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-oss-7.9.3-no-jdk-linux-x86_64.tar.gz

SONAR-12686 use Jetty for TCP ElasticSearch transport in unit tests

LocalTransport is dropped in ElasticSearch 7.X

increase validate task allowed memory

SONAR-13988 better handle errors

SONAR-13996 Add warning when configuring second instance

SONAR-13987 Display validation for Bitbucket server

SONAR-13978 validate gitlab alm settings

SONAR-13978 Display validation for GitLab

SONAR-13988 - GitHub ALM settings validation

SONAR-13988 Display validation status for GitHub integration

SONAR-13122 Reduce Log Level of rule indexing warnings on startup

Add VSCode extension recommendations for sonar-web

The recommended extensions are the ones mentioned in the SQ Frontend Guidelines.

SONAR-13913 Remove tables and indexes clean up used in Integration Tests

Execute OWASP task on every config update

Update node version used by gradle

Move OWASP suppression files to private folder

SONAR-14001 SONAR-14010 SONAR-14030 SONAR-14032 SONAR-14050 SONAR-14052 SONAR-14053 SONAR-14054 SONAR-14055 SONAR-14056 Upgrade analyzers

DOCS fix link to Generate Reports post

SONAR-13913 Upgrade Orchestrator version to 3.31

DOCS add release notes link to upgrade notes

SONAR-14044 update mybatis

SONAR-13941 Move and adapt application CE processor

SONAR-13950 Move Application UI logic to DE

SONAR-13941 Add or modify ITs to test applications in developer edition

SONAR-13941 Copy "api/views/refresh" to "api/applications/refresh"

SONAR-13941 move api/views/app endpoint to DE and rename to api/metrics/user_metrics

SONAR-13941 Make applications WS available in developer edition

SONAR-14009 SVN configuration in SQ server does not work

SONAR-14003 Fix SSF-129

SONAR-13937 Upgrade sonar-css to 1.3.1.1642

Revert "SONAR-13913 Remove tables and indexes clean up used in Integration Tests"

This reverts commit 6d13dd2f

DOCS Fix Scanner for Gradle doc about properties

Improve validation build logging

SONAR-13913 Remove tables and indexes clean up used in Integration Tests

* SONAR-13913 Remove usage of Orchestrator#resetData

* Remove ProjectAnalysisRule

* Upgrade to Orchestrator 3.31

* SONAR-13913 Remove BackendCleanup class

* Remove code related to no more existing tables

SONAR-13936 Fix issues sidebar search where in some case we trigger wrong API call.

[DOCS] added correct LimitNOFILE to systemd template

Update sonar-properties.md (#3233)

Fix broken link to Apache doc page on entropy sources for faster startup

SONAR-13937 Fix SSF-126

SONAR-13936 Fix quality flaws after merge to master

SONAR-13936 cleanup

SONAR-13936 Rename OrganizationPermission to GlobalPermission

SONAR-13936 Move default permission templates to internal properties

SONAR-13936 Remove org on user and group API front-end.

SONAR-13936 Remove use of organizations in Groups

SONAR-13936 Remove use of organizations in Permissions WS and DB

* SONAR-13936 Remove organization parameters from permissions WS

* SONAR-13936 Remove organization_uuid column from user_roles table

* SONAR-13936 Fix developer ITs

* SONAR-13936 Remove organization_uuid column from group_roles table

* SONAR-13936 Remove organization_uuid column from permission_templates table

SONAR-13936 Remove organization parameter from Users

* SONAR-13936 Remove organization parameter from api/users/groups
* SONAR-13936 Remove organization_uuid column from users table

SONAR-13936 Drop some Organization code related to Users/Groups/Permission

SONAR-13965 Update column 'change_data' of 'qprofile_changes' table to use ruleUuid instead of ruleId

BUILD-843 reproducible bitbucket ITs

SONAR-13948 fix migrations to drop default constraints when dropping column for mssql

Cirrus Cron Invocation

* nightly cron: only owasp scan on master
* weekly-lts cron: only owasp scan on current lts branch

SONAR-13834 SONAR-13939 SONAR-13938 Cleanup and update tutorials, remove organizations

SONAR-13943 Hotspots filter dropdowns truncated for anonymous users

SONAR-13925 Do not truncate Rules search field at 200 chars

Update sonar-ui-common to 1.0.25

SONAR-13980 upgrade postgresql jdbc driver version to 42.2.17

SONAR-13985 Drop associated index with primary key on Oracle DB

SONAR-13912 OWASP notifications on failure only

Update owasp-suppressions.xml

SONAR-13921 Delete upgrade plugin github action

added responsible disclosure guide to README.md

SONAR-13966 filter new code period issues for application using 'branch' field instead 'project'

SONAR-13921 Drop upgrade plugins gh action

SONAR-13733 Upgrade lodash

SONAR-13944 Upgrade RPG analyzer

SONAR-13940 Add missing translation key for zero GitLab instances

SONAR-11063 Add 'Always use the Default' option at project level for QP

SONAR-13856 Add 'Always use the Default' option at project level for QG

Deprecate gateId parameter for /api/qualitygates/search

SONAR-13931 SONAR-13932 SONAR-13933 Upgrade analyzers for java, php and flex

SONAR-13566 Display hotspots of a specific category

SONAR-13566 Add security standards filters to hotspot search WS

SONAR-13903 move to v86 & add organization_uuid index deletion from quality_profile table

Increase memory for OWASP dependency check task.

increase maximum size of the archive

upgrade okhttp library version to latest

SONAR-13903 Remove use of organizations in Quality Profiles and Active Rules

Upgrade to 8.6

SONAR-13688 Fix SSF-116

Suppress false positive match of alm-gallery-client

SONAR-13622 Standard access to keyboard shortcuts