source.dussan.org Git - sonarqube.git/blob

   1 /*
   2  * SonarQube
   3  * Copyright (C) 2009-2022 SonarSource SA
   4  * mailto:info AT sonarsource DOT com
   5  *
   6  * This program is free software; you can redistribute it and/or
   7  * modify it under the terms of the GNU Lesser General Public
   8  * License as published by the Free Software Foundation; either
   9  * version 3 of the License, or (at your option) any later version.
  10  *
  11  * This program is distributed in the hope that it will be useful,
  12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  14  * Lesser General Public License for more details.
  15  *
  16  * You should have received a copy of the GNU Lesser General Public License
  17  * along with this program; if not, write to the Free Software Foundation,
  18  * Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02110-1301, USA.
  19  */
  20 package org.sonar.ce.task.projectanalysis.issue;
  21
  22 import java.util.HashMap;
  23 import java.util.LinkedList;
  24 import java.util.List;
  25 import java.util.Map;
  26 import java.util.regex.Pattern;
  27 import org.apache.commons.codec.digest.DigestUtils;
  28 import org.sonar.ce.task.projectanalysis.component.Component;
  29 import org.sonar.ce.task.projectanalysis.component.TreeRootHolder;
  30 import org.sonar.ce.task.projectanalysis.source.SourceLinesRepository;
  31 import org.sonar.core.issue.DefaultIssue;
  32 import org.sonar.core.util.CloseableIterator;
  33 import org.sonar.db.protobuf.DbCommons;
  34 import org.sonar.db.protobuf.DbIssues;
  35 import org.sonar.server.issue.TaintChecker;
  36
  37 import static org.apache.commons.lang.StringUtils.defaultIfEmpty;
  38
  39 /**
  40  * This visitor will update the locations field of issues, by filling the hashes for all locations.
  41  * It only applies to issues that are taint vulnerabilities and that are new or were changed.
  42  * For performance reasons, it will read each source code file once and feed the lines to all locations in that file.
  43  */
  44 public class ComputeLocationHashesVisitor extends IssueVisitor {
  45   private static final Pattern MATCH_ALL_WHITESPACES = Pattern.compile("\\s");
  46   private final List<DefaultIssue> issues = new LinkedList<>();
  47   private final SourceLinesRepository sourceLinesRepository;
  48   private final TreeRootHolder treeRootHolder;
  49   private final TaintChecker taintChecker;
  50
  51   public ComputeLocationHashesVisitor(TaintChecker taintChecker, SourceLinesRepository sourceLinesRepository, TreeRootHolder treeRootHolder) {
  52     this.taintChecker = taintChecker;
  53     this.sourceLinesRepository = sourceLinesRepository;
  54     this.treeRootHolder = treeRootHolder;
  55   }
  56
  57   @Override
  58   public void beforeComponent(Component component) {
  59     issues.clear();
  60   }
  61
  62   @Override
  63   public void onIssue(Component component, DefaultIssue issue) {
  64     if (taintChecker.isTaintVulnerability(issue) && !issue.isFromExternalRuleEngine() && (issue.isNew() || issue.locationsChanged())) {
  65       issues.add(issue);
  66     }
  67   }
  68
  69   @Override
  70   public void afterComponent(Component component) {
  71     Map<Component, List<Location>> locationsByComponent = new HashMap<>();
  72     List<LocationToSet> locationsToSet = new LinkedList<>();
  73
  74     for (DefaultIssue issue : issues) {
  75       if (issue.getLocations() == null) {
  76         continue;
  77       }
  78
  79       DbIssues.Locations.Builder primaryLocationBuilder = ((DbIssues.Locations) issue.getLocations()).toBuilder();
  80       boolean hasTextRange = addLocations(component, issue, locationsByComponent, primaryLocationBuilder);
  81
  82       // If any location was added (because it had a text range), we'll need to update the issue at the end with the new object containing the hashes
  83       if (hasTextRange) {
  84         locationsToSet.add(new LocationToSet(issue, primaryLocationBuilder));
  85       }
  86     }
  87
  88     // Feed lines to locations, component by component
  89     locationsByComponent.forEach(this::updateLocationsInComponent);
  90
  91     // Finalize by setting hashes
  92     locationsByComponent.values().forEach(list -> list.forEach(Location::afterAllLines));
  93
  94     // set new locations to issues
  95     locationsToSet.forEach(LocationToSet::set);
  96
  97     issues.clear();
  98   }
  99
 100   private boolean addLocations(Component component, DefaultIssue issue, Map<Component, List<Location>> locationsByComponent, DbIssues.Locations.Builder primaryLocationBuilder) {
 101     boolean hasTextRange = false;
 102
 103     // Add primary location
 104     if (primaryLocationBuilder.hasTextRange()) {
 105       hasTextRange = true;
 106       PrimaryLocation primaryLocation = new PrimaryLocation(primaryLocationBuilder);
 107       locationsByComponent.computeIfAbsent(component, c -> new LinkedList<>()).add(primaryLocation);
 108     }
 109
 110     // Add secondary locations
 111     for (DbIssues.Flow.Builder flowBuilder : primaryLocationBuilder.getFlowBuilderList()) {
 112       for (DbIssues.Location.Builder locationBuilder : flowBuilder.getLocationBuilderList()) {
 113         if (locationBuilder.hasTextRange()) {
 114           hasTextRange = true;
 115           var componentUuid = defaultIfEmpty(locationBuilder.getComponentId(), issue.componentUuid());
 116           Component locationComponent = treeRootHolder.getComponentByUuid(componentUuid);
 117           locationsByComponent.computeIfAbsent(locationComponent, c -> new LinkedList<>()).add(new SecondaryLocation(locationBuilder));
 118         }
 119       }
 120     }
 121
 122     return hasTextRange;
 123   }
 124
 125   private void updateLocationsInComponent(Component component, List<Location> locations) {
 126     try (CloseableIterator<String> linesIterator = sourceLinesRepository.readLines(component)) {
 127       int lineNumber = 1;
 128       while (linesIterator.hasNext()) {
 129         String line = linesIterator.next();
 130         for (Location location : locations) {
 131           location.processLine(lineNumber, line);
 132         }
 133         lineNumber++;
 134       }
 135     }
 136   }
 137
 138   private static class LocationToSet {
 139     private final DefaultIssue issue;
 140     private final DbIssues.Locations.Builder locationsBuilder;
 141
 142     public LocationToSet(DefaultIssue issue, DbIssues.Locations.Builder locationsBuilder) {
 143       this.issue = issue;
 144       this.locationsBuilder = locationsBuilder;
 145     }
 146
 147     void set() {
 148       issue.setLocations(locationsBuilder.build());
 149     }
 150   }
 151
 152   private static class PrimaryLocation extends Location {
 153     private final DbIssues.Locations.Builder locationsBuilder;
 154
 155     public PrimaryLocation(DbIssues.Locations.Builder locationsBuilder) {
 156       this.locationsBuilder = locationsBuilder;
 157     }
 158
 159     @Override
 160     DbCommons.TextRange getTextRange() {
 161       return locationsBuilder.getTextRange();
 162     }
 163
 164     @Override
 165     void setHash(String hash) {
 166       locationsBuilder.setChecksum(hash);
 167     }
 168   }
 169
 170   private static class SecondaryLocation extends Location {
 171     private final DbIssues.Location.Builder locationBuilder;
 172
 173     public SecondaryLocation(DbIssues.Location.Builder locationBuilder) {
 174       this.locationBuilder = locationBuilder;
 175     }
 176
 177     @Override
 178     DbCommons.TextRange getTextRange() {
 179       return locationBuilder.getTextRange();
 180     }
 181
 182     @Override
 183     void setHash(String hash) {
 184       locationBuilder.setChecksum(hash);
 185     }
 186   }
 187
 188   private abstract static class Location {
 189     private final StringBuilder hashBuilder = new StringBuilder();
 190
 191     abstract DbCommons.TextRange getTextRange();
 192
 193     abstract void setHash(String hash);
 194
 195     public void processLine(int lineNumber, String line) {
 196       DbCommons.TextRange textRange = getTextRange();
 197       if (lineNumber > textRange.getEndLine() || lineNumber < textRange.getStartLine()) {
 198         return;
 199       }
 200
 201       if (lineNumber == textRange.getStartLine() && lineNumber == textRange.getEndLine()) {
 202         hashBuilder.append(line, textRange.getStartOffset(), textRange.getEndOffset());
 203       } else if (lineNumber == textRange.getStartLine()) {
 204         hashBuilder.append(line, textRange.getStartOffset(), line.length());
 205       } else if (lineNumber < textRange.getEndLine()) {
 206         hashBuilder.append(line);
 207       } else {
 208         hashBuilder.append(line, 0, textRange.getEndOffset());
 209       }
 210     }
 211
 212     void afterAllLines() {
 213       String issueContentWithoutWhitespaces = MATCH_ALL_WHITESPACES.matcher(hashBuilder.toString()).replaceAll("");
 214       String hash = DigestUtils.md5Hex(issueContentWithoutWhitespaces);
 215       setHash(hash);
 216     }
 217   }
 218 }