source.dussan.org Git - archiva.git/blob

   1 package org.apache.archiva.reports.consumers;
   2
   3 /*
   4  * Licensed to the Apache Software Foundation (ASF) under one
   5  * or more contributor license agreements.  See the NOTICE file
   6  * distributed with this work for additional information
   7  * regarding copyright ownership.  The ASF licenses this file
   8  * to you under the Apache License, Version 2.0 (the
   9  * "License"); you may not use this file except in compliance
  10  * with the License.  You may obtain a copy of the License at
  11  *
  12  *  http://www.apache.org/licenses/LICENSE-2.0
  13  *
  14  * Unless required by applicable law or agreed to in writing,
  15  * software distributed under the License is distributed on an
  16  * "AS IS" BASIS, WITHOUT WARRANTIES OR CONDITIONS OF ANY
  17  * KIND, either express or implied.  See the License for the
  18  * specific language governing permissions and limitations
  19  * under the License.
  20  */
  21
  22 import org.apache.archiva.checksum.ChecksumAlgorithm;
  23 import org.apache.archiva.checksum.ChecksummedFile;
  24 import org.apache.archiva.configuration.ArchivaConfiguration;
  25 import org.apache.archiva.configuration.ConfigurationNames;
  26 import org.apache.archiva.configuration.FileTypes;
  27 import org.apache.archiva.consumers.AbstractMonitoredConsumer;
  28 import org.apache.archiva.consumers.ConsumerException;
  29 import org.apache.archiva.consumers.KnownRepositoryContentConsumer;
  30 import org.apache.archiva.metadata.model.ArtifactMetadata;
  31 import org.apache.archiva.metadata.model.facets.RepositoryProblemFacet;
  32 import org.apache.archiva.metadata.repository.MetadataRepository;
  33 import org.apache.archiva.metadata.repository.MetadataRepositoryException;
  34 import org.apache.archiva.metadata.repository.RepositorySession;
  35 import org.apache.archiva.metadata.repository.RepositorySessionFactory;
  36 import org.apache.archiva.metadata.repository.storage.RepositoryPathTranslator;
  37 import org.apache.archiva.redback.components.registry.Registry;
  38 import org.apache.archiva.redback.components.registry.RegistryListener;
  39 import org.apache.archiva.repository.ManagedRepository;
  40 import org.apache.commons.collections.CollectionUtils;
  41 import org.slf4j.Logger;
  42 import org.slf4j.LoggerFactory;
  43 import org.springframework.context.annotation.Scope;
  44 import org.springframework.stereotype.Service;
  45
  46 import javax.annotation.PostConstruct;
  47 import javax.inject.Inject;
  48 import javax.inject.Named;
  49 import java.io.IOException;
  50 import java.nio.file.Path;
  51 import java.nio.file.Paths;
  52 import java.util.ArrayList;
  53 import java.util.Collection;
  54 import java.util.Collections;
  55 import java.util.Date;
  56 import java.util.List;
  57
  58 /**
  59  * Search the artifact repository of known SHA1 Checksums for potential duplicate artifacts.
  60  * <p>
  61  * TODO: no need for this to be a scanner - we can just query the database / content repository to get a full list
  62  */
  63 @Service ( "knownRepositoryContentConsumer#duplicate-artifacts" )
  64 @Scope ( "prototype" )
  65 public class DuplicateArtifactsConsumer
  66     extends AbstractMonitoredConsumer
  67     implements KnownRepositoryContentConsumer, RegistryListener
  68 {
  69     private Logger log = LoggerFactory.getLogger( DuplicateArtifactsConsumer.class );
  70
  71     private String id = "duplicate-artifacts";
  72
  73     private String description = "Check for Duplicate Artifacts via SHA1 Checksums";
  74
  75     @Inject
  76     private ArchivaConfiguration configuration;
  77
  78     @Inject
  79     private FileTypes filetypes;
  80
  81     /**
  82      * FIXME: this could be multiple implementations and needs to be configured.
  83      */
  84     @Inject
  85     private RepositorySessionFactory repositorySessionFactory;
  86
  87     private List<String> includes = new ArrayList<>();
  88
  89     private Path repositoryDir;
  90
  91     private String repoId;
  92
  93     /**
  94      * FIXME: needs to be selected based on the repository in question
  95      */
  96     @Inject
  97     @Named ( value = "repositoryPathTranslator#maven2" )
  98     private RepositoryPathTranslator pathTranslator;
  99
 100     private RepositorySession repositorySession;
 101
 102     @Override
 103     public String getId()
 104     {
 105         return id;
 106     }
 107
 108     @Override
 109     public String getDescription()
 110     {
 111         return description;
 112     }
 113
 114     @Override
 115     public List<String> getIncludes()
 116     {
 117         return includes;
 118     }
 119
 120     @Override
 121     public List<String> getExcludes()
 122     {
 123         return Collections.emptyList();
 124     }
 125
 126     @Override
 127     public void beginScan( ManagedRepository repo, Date whenGathered )
 128         throws ConsumerException
 129     {
 130         repoId = repo.getId();
 131         this.repositoryDir = Paths.get( repo.getLocation() );
 132         repositorySession = repositorySessionFactory.createSession();
 133     }
 134
 135     @Override
 136     public void beginScan( ManagedRepository repo, Date whenGathered, boolean executeOnEntireRepo )
 137         throws ConsumerException
 138     {
 139         beginScan( repo, whenGathered );
 140     }
 141
 142     @Override
 143     public void processFile( String path )
 144         throws ConsumerException
 145     {
 146         Path artifactFile = this.repositoryDir.resolve( path );
 147
 148         // TODO: would be quicker to somehow make sure it ran after the update database consumer, or as a part of that
 149         //  perhaps could use an artifact context that is retained for all consumers? First in can set the SHA-1
 150         //  alternatively this could come straight from the storage resolver, which could populate the artifact metadata
 151         //  in the later parse call with the desired checksum and use that
 152         String checksumSha1;
 153         ChecksummedFile checksummedFile = new ChecksummedFile( artifactFile);
 154         try
 155         {
 156             checksumSha1 = checksummedFile.calculateChecksum( ChecksumAlgorithm.SHA1 );
 157         }
 158         catch ( IOException e )
 159         {
 160             throw new ConsumerException( e.getMessage(), e );
 161         }
 162
 163         MetadataRepository metadataRepository = repositorySession.getRepository();
 164
 165         Collection<ArtifactMetadata> results;
 166         try
 167         {
 168             results = metadataRepository.getArtifactsByChecksum( repoId, checksumSha1 );
 169         }
 170         catch ( MetadataRepositoryException e )
 171         {
 172             repositorySession.close();
 173             throw new ConsumerException( e.getMessage(), e );
 174         }
 175
 176         if ( CollectionUtils.isNotEmpty( results ) )
 177         {
 178             ArtifactMetadata originalArtifact;
 179             try
 180             {
 181                 originalArtifact = pathTranslator.getArtifactForPath( repoId, path );
 182             }
 183             catch ( Exception e )
 184             {
 185                 log.warn( "Not reporting problem for invalid artifact in checksum check: {}", e.getMessage() );
 186                 return;
 187             }
 188
 189             for ( ArtifactMetadata dupArtifact : results )
 190             {
 191                 String id = path.substring( path.lastIndexOf( '/' ) + 1 );
 192                 if ( dupArtifact.getId().equals( id ) && dupArtifact.getNamespace().equals(
 193                     originalArtifact.getNamespace() ) && dupArtifact.getProject().equals(
 194                     originalArtifact.getProject() ) && dupArtifact.getVersion().equals(
 195                     originalArtifact.getVersion() ) )
 196                 {
 197                     // Skip reference to itself.
 198
 199                     log.debug( "Not counting duplicate for artifact {} for path {}", dupArtifact, path );
 200
 201                     continue;
 202                 }
 203
 204                 RepositoryProblemFacet problem = new RepositoryProblemFacet();
 205                 problem.setRepositoryId( repoId );
 206                 problem.setNamespace( originalArtifact.getNamespace() );
 207                 problem.setProject( originalArtifact.getProject() );
 208                 problem.setVersion( originalArtifact.getVersion() );
 209                 problem.setId( id );
 210                 // FIXME: need to get the right storage resolver for the repository the dupe artifact is in, it might be
 211                 //       a different type
 212                 // FIXME: we need the project version here, not the artifact version
 213                 problem.setMessage( "Duplicate Artifact Detected: " + path + " <--> " + pathTranslator.toPath(
 214                     dupArtifact.getNamespace(), dupArtifact.getProject(), dupArtifact.getVersion(),
 215                     dupArtifact.getId() ) );
 216                 problem.setProblem( "duplicate-artifact" );
 217
 218                 try
 219                 {
 220                     metadataRepository.addMetadataFacet( repoId, problem );
 221                 }
 222                 catch ( MetadataRepositoryException e )
 223                 {
 224                     throw new ConsumerException( e.getMessage(), e );
 225                 }
 226             }
 227         }
 228     }
 229
 230     @Override
 231     public void processFile( String path, boolean executeOnEntireRepo )
 232         throws ConsumerException
 233     {
 234         processFile( path );
 235     }
 236
 237     @Override
 238     public void completeScan()
 239     {
 240         repositorySession.close();
 241     }
 242
 243     @Override
 244     public void completeScan( boolean executeOnEntireRepo )
 245     {
 246         completeScan();
 247     }
 248
 249     @Override
 250     public void afterConfigurationChange( Registry registry, String propertyName, Object propertyValue )
 251     {
 252         if ( ConfigurationNames.isRepositoryScanning( propertyName ) )
 253         {
 254             initIncludes();
 255         }
 256     }
 257
 258     @Override
 259     public void beforeConfigurationChange( Registry registry, String propertyName, Object propertyValue )
 260     {
 261         /* do nothing */
 262     }
 263
 264     private void initIncludes()
 265     {
 266         includes.clear();
 267
 268         includes.addAll( filetypes.getFileTypePatterns( FileTypes.ARTIFACTS ) );
 269     }
 270
 271     @PostConstruct
 272     public void initialize()
 273     {
 274         initIncludes();
 275         configuration.addChangeListener( this );
 276     }
 277 }