[BUILD] removed nvd cache from owasp task

DOCS update links to SonarScanner for MSBuild

SONAR-14181 Fix SSF-136

SONAR-14125 Fix BBS Onboarding search results

SONAR-13793 improve ncloc count performance by using projects instead of components

DOCS update ALM integration pages

SONAR-14167 Improve Azure DevOps integration page

SONAR-14079 Add Azure Pipelines tutorial for Azure DevOps Server

SSF-134 Fail to parse jwt using 'none' algorithm

SONAR-14176 Move warning from web.log to sonar.log

SONAR-14176 Send email to admins when default admin credential is detected

SONAR-14175 Redirect when 'reset_password' is set

SONAR-14175 Adding the reset password form.

SONAR-14175 Update doc about admin password reset

* SONAR-14175 Add upgrade note about default admin credentials usage
* SONAR-14175 Update docs to set reset_password to true in the resetting admin password SQL

SONAR-14175 SONAR-14176 Detect usage of admin account with default credential

SONAR-14175 Add a startup task to detect admin default credential usage and set reset_password flag to true
SONAR-14176 Warn administrators when default admin credential is detected

SONAR-14175 Add 'reset_password' column to 'users' table

 - add and populate 'reset_password' column in users table
 - add boolean 'resetPassword' to UserDto

SONAR-14175 Prevent using same password as before in api/users/change_password

* Prevent using same password as before in api/users/change_password
* Improve UT
- Replace usage of ExpectedException by assertThatThrownBy
- Add expected message when exceptions are thrown (help me to detect that some UTs were not covering the correct use case)
- Use generated values as much as possible

SONAR-14033 fix migration for applications with no projects

Speed up unit tests by improving indexing in unit tests

* Unit tests no longer use the LargeSizeHandler for indexing. This handler is designed for indexing large amounts of data and is slower for the data sets used in unit tests.
* Insert all data in DB before indexing in unit tests (there is a huge overhead in each call to index)

Fix cache of MyBatis configuration extensions in unit tests

The cache used a map with an ineffective key, that changed in every call. It now depends on the set of extensions being loaded.

SONAR-14156 Handle time in createdAfter issue filter

SONAR-14091 handle indexation tasks bound to an orphan branch

SONAR-14033 Refactor storage of applications

SONAR-14043 Write End-to-End tests for Applications

DOCS SONAR-14170 Document security hotspot "Open in IDE" feature

SONAR-14113 Make hotspot show WS public, add line hash of primary location

SONAR-14111 Allow user to select IDE when several ones are detected

SONAR-14110 Add "Open in IDE" button to Security Hotspots page

clean code smells (unused import)

SONAR-14061 Azure DevOps settings validation

Update orchestrator version to 3.34

By default this version is disabling force authentication for 8.6 and greater.
Also it allows to enable default behaviour, which will be used.

SONAR-14159 enforce user authentication by default

SONAR-14160 Raise awareness about authentication being enabled by default

remove code smells

SONAR-14101 Update SonarScanner for MSBuild doc to reflect new 5.0 version. (#3309)

* Update SonarScanner for MSBuild doc to relfect new 5.0 version.

DOCS SONAR-14155 Update monitoring docs for formatting, grammar, and rewording for emphasis

DOCS SONAR-14155 Update JVM resource being costly with heap resizing and oxford comma

DOCS SONAR-14155 Emphasize tone of heap resizing

SONAR-14057 Highlight search query in results

SONAR-14057 realign API

SONAR-14057 Set sqProjectKey and sqProjectName

SONAR-14057 Mark Azure projects previously imported

SONAR-14059 Enable import of Azure repositories

SONAR-14057 Update List AzDo projects Action

SONAR-14133 Add identifying fields to azure project binding

SONAR-14057 Enable Search for Azure Repositories

SONAR-14133 add parameters to set_azure_binding

SONAR-14057 Display Azure Projects and Repositories

SONAR-14133 add warning when ado project and repo are not set

SONAR-14133 update get_binding changelog

SONAR-14057 Search Ado repos

SONAR-14057 Add PAT form for azure onboarding

SONAR-14057 list ado projects

[DOCS] document azdo agent bug

Co-authored-by: MikeBirnstiehl <michael.birnstiehl@sonarsource.com>

SONAR-13992 Upgrade Apache httpclient to 4.5.13

SONAR-14058 add url to list endpoint

Fixing missing ITs (thank you Cirrus)

Adding mandatory params to Gitlab related ITs + making sure tests run

SONAR-14058 add url to list_definitions endpoint

SONAR-14058 Add URL to azure config form

SONAR-14058 add url to update_azure endpoint

SONAR-14058 add url to create_azure endpoint

SONAR-14174, SONAR-14150, SONAR-14148, SONAR-14151, SONAR-14163,
SONAR-14164, SONAR-14149, SONAR-14153, SONAR-14152, SONAR-14173, SONAR-14174 Language plugin upgrade for 8.6.

BUILD enable weekly owasp scan for latest release

SONAR-14015 Create GitHub ALM Integration page

SONAR-14016 Create GitLab ALM integration page

SONAR-14018 Create Bitbucket ALM integration page

SONAR-14026 Clean up old references to ALM integration info

SONAR-14017 Create Azure DevOps ALM integration page

Fixing codesmell

SONAR-14047 Remove delete button on app console.

Fix frontend duplication.

BUILD Add slack notification for SonarQube repo

BUILD Fix unauthorized builds with artifactory repo

Due to a misbehavior in artifactory, the wrong http status code is returned and the build will stop immediately. This happens if you access a virtual repository which contains a repository which requires authentication.

As a workaround a virtual repository is used, which does not include non-public repositories.

https://www.jfrog.com/jira/browse/RTFACT-13797

Fix tag filtering docs for the WS api/components/search_projects

SONAR-13991 Fix SSF-128

SONAR-12686 turn off Elasticsearch client deprecation logging

SONAR-13975 Update ES configuration on DCE docs

SONAR-13976 update ports description and raise security awareness for ES upgrade

SONAR-13974 Add upgrade notes for new ES configuration

SONAR-12686 Fix Elasticsearch properties for a single node
- https://www.elastic.co/guide/en/elasticsearch/reference/7.x/breaking-changes-7.0.html#_discovery_configuration_is_required_in_production

SONAR-14039 replace 'sonar.search.transportPort' with 'sonar.es.port' on non-DCE

SONAR-13972 Remove 'sonar.search.httpPort' property

SONAR-13979 Fail when sonar.search.host or sonar.search.port are defined in DCE
- Orchestrator upgrade was required as by default it was setting these properties

SONAR-13971 Add properties to configure ES network in DCE

DOCS update for ES 7.9.3 upgrade

SONAR-12686 upgrade es client to 7.9.3 and move to HTTP

- add should minimum match eq 1 to user index queries
ES 7.X changed behaviour in case filter query with bool it defaults to '0'
https://www.elastic.co/guide/en/elasticsearch/reference/7.x/breaking-changes-7.0.html#_the_filter_context_has_been_removed

- fix issue index routing param
ES 7.X helped discover this bug as new setting has been auto configured which is 'index.number_of_routing_shards'.
This has changed how documents are distributed across shards depending on how many shards the index has.

Without that change issues docs has been incorrectly routed to the same shard hash as projects and it worked no matter what routing key you used projectUuid or auth_projectUuid.

- update ngram and edge_ngram names to match with es 7.x
nGram and edgeNgram has been deprecated in favour of ngram and edge_ngram
https://www.elastic.co/guide/en/elasticsearch/reference/current/breaking-changes-7.0.html#deprecated-ngram-edgengram-token-filter-cannot-be-used

- remove `_all : enabled` usage from UT
This field was already deprecated in 6.X, now it has been removed.
https://www.elastic.co/guide/en/elasticsearch/reference/current/breaking-changes-7.0.html#all-meta-field-removed

- add Elasticsearch High Level REST client dependency

- use sonar.search.port for ES HTTP

- main process use ES Rest client to check ES status

- sonar.cluster.search.hosts has HTTP ports on APP nodes
also sonar.search.port and sonar.search.host MUST be configured on each Search node with the host and HTTP port of the current node

- use Elasticsearch high level rest client

- use in EsTester

- use as primary es client

- use indices api to get all indices name instead of cluster api

- use cluster health api to check cluster state

- support raw requests for 'nodes/_stats' and '_cluster/stats'

- support raw requests for 'indices/_stats'

- leave netty4plugin as testCompile dependency it is used in UTs

- all ES non-test calls go through EsClient class

- add rest client ES profiling

SONAR-12686 enforce index rebuilding by changing ES data directory

SONAR-12686 replace deprecated setting transport.tcp.port by transport.port

SONAR-12686 fix ES discovery settings in cluster mode

deprecated "discovery.zen.ping.unicast.hosts" has been removed, "discovery.seed_hosts" should be used instead
"discovery.zen.minimum_master_nodes" is ignored now: stop setting it and drop sonar property "sonar.search.minimumMasterNodes"

SONAR-12686 add mandatory cluster configuration property cluster.initial_master_nodes

ES 7.5.1 refuses to start without this option

SONAR-12686 use node.store.allow_mmap instead of node.store.allow_mmapfs

node.store.allow_mmapfs was deprecated and is now dropped in 7.5.1

SONAR-12686 MaxDirectMemorySize JVM option should be defined for ES

This option was set by default in ES 6.X already but we had missed it.
ES sets it to half the max heap from Java code (see class JvmErgonomics)

To not have to get into the complexity of interpreting options to know what is the configured max heap,
we just add this option to the defaults and document it

SONAR-12686 update JVM options to match defaults in ES 7.X

Elastic introduced "system" JVM settings in 7.X:
 * "system" settings are set from Java code (class SystemJvmOptions)
 * which means these JVM settings are not defined in "jvm.options" file anymore

SONAR-12686 update elasticsearch-patch and packaging exclusions for 7.X

SONAR-12686 increase zip size

SONAR-12686 upgrade ES server binaries to 7.9.3

new sources unpack from ElasticSearch 7.9.3 artifact for Linux OSS only (without bundled JDK and under Apache 2.0 license)
https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-oss-7.9.3-no-jdk-linux-x86_64.tar.gz

SONAR-12686 use Jetty for TCP ElasticSearch transport in unit tests

LocalTransport is dropped in ElasticSearch 7.X

increase validate task allowed memory

SONAR-13988 better handle errors

SONAR-13996 Add warning when configuring second instance

SONAR-13987 Display validation for Bitbucket server

SONAR-13978 validate gitlab alm settings

SONAR-13978 Display validation for GitLab