source.dussan.org Git - archiva.git/blob

   1 package org.apache.archiva.consumers.core.repository;
   2
   3 /*
   4  * Licensed to the Apache Software Foundation (ASF) under one
   5  * or more contributor license agreements.  See the NOTICE file
   6  * distributed with this work for additional information
   7  * regarding copyright ownership.  The ASF licenses this file
   8  * to you under the Apache License, Version 2.0 (the
   9  * "License"); you may not use this file except in compliance
  10  * with the License.  You may obtain a copy of the License at
  11  *
  12  *  http://www.apache.org/licenses/LICENSE-2.0
  13  *
  14  * Unless required by applicable law or agreed to in writing,
  15  * software distributed under the License is distributed on an
  16  * "AS IS" BASIS, WITHOUT WARRANTIES OR CONDITIONS OF ANY
  17  * KIND, either express or implied.  See the License for the
  18  * specific language governing permissions and limitations
  19  * under the License.
  20  */
  21
  22 import org.apache.archiva.metadata.model.facets.AuditEvent;
  23 import org.apache.archiva.common.utils.VersionUtil;
  24 import org.apache.archiva.metadata.model.ArtifactMetadata;
  25 import org.apache.archiva.metadata.model.maven2.MavenArtifactFacet;
  26 import org.apache.archiva.metadata.repository.MetadataRepository;
  27 import org.apache.archiva.metadata.repository.MetadataRepositoryException;
  28 import org.apache.archiva.metadata.repository.MetadataResolutionException;
  29 import org.apache.archiva.metadata.repository.RepositorySession;
  30 import org.apache.archiva.model.ArtifactReference;
  31 import org.apache.archiva.repository.ContentNotFoundException;
  32 import org.apache.archiva.repository.ManagedRepositoryContent;
  33 import org.apache.archiva.repository.events.RepositoryListener;
  34 import org.apache.commons.lang.StringUtils;
  35 import org.slf4j.Logger;
  36 import org.slf4j.LoggerFactory;
  37
  38 import java.io.File;
  39 import java.io.FilenameFilter;
  40 import java.io.IOException;
  41 import java.nio.file.Files;
  42 import java.nio.file.Path;
  43 import java.util.*;
  44 import java.util.stream.Collectors;
  45
  46 /**
  47  * Base class for all repository purge tasks.
  48  */
  49 public abstract class AbstractRepositoryPurge
  50     implements RepositoryPurge
  51 {
  52     protected Logger log = LoggerFactory.getLogger( getClass( ) );
  53
  54     protected final ManagedRepositoryContent repository;
  55
  56     protected final RepositorySession repositorySession;
  57
  58     protected final List<RepositoryListener> listeners;
  59
  60     private Logger logger = LoggerFactory.getLogger( "org.apache.archiva.AuditLog" );
  61
  62     private static final char DELIM = ' ';
  63
  64     public AbstractRepositoryPurge( ManagedRepositoryContent repository, RepositorySession repositorySession,
  65                                     List<RepositoryListener> listeners )
  66     {
  67         this.repository = repository;
  68         this.repositorySession = repositorySession;
  69         this.listeners = listeners;
  70     }
  71
  72     /*
  73      * We have to track namespace, project, project version, artifact version and classifier
  74      * There is no metadata class that contains all these properties.
  75      */
  76     class ArtifactInfo
  77     {
  78         final String namespace;
  79         final String name;
  80         final String projectVersion;
  81         String version;
  82         String classifier;
  83
  84         ArtifactInfo( String namespace, String name, String projectVersion, String version )
  85         {
  86             this.namespace = namespace;
  87             this.name = name;
  88             this.projectVersion = projectVersion;
  89             this.version = version;
  90         }
  91
  92         ArtifactInfo( String namespace, String name, String projectVersion )
  93         {
  94             this.namespace = namespace;
  95             this.name = name;
  96             this.projectVersion = projectVersion;
  97         }
  98
  99         /*
 100          * Creates a info object without version and classifier
 101          */
 102         ArtifactInfo projectVersionLevel( )
 103         {
 104             return new ArtifactInfo( this.namespace, this.name, this.projectVersion );
 105         }
 106
 107         public void setClassifier( String classifier )
 108         {
 109             this.classifier = classifier;
 110         }
 111
 112         public String getNamespace( )
 113         {
 114             return namespace;
 115         }
 116
 117         public String getName( )
 118         {
 119             return name;
 120         }
 121
 122         public String getProjectVersion( )
 123         {
 124             return projectVersion;
 125         }
 126
 127         public String getVersion( )
 128         {
 129             return version;
 130         }
 131
 132         public String getClassifier( )
 133         {
 134             return classifier;
 135         }
 136
 137         public boolean hasClassifier( )
 138         {
 139             return classifier != null && !"".equals( classifier );
 140         }
 141
 142         @Override
 143         public boolean equals( Object o )
 144         {
 145             if ( this == o ) return true;
 146             if ( o == null || getClass( ) != o.getClass( ) ) return false;
 147
 148             ArtifactInfo that = (ArtifactInfo) o;
 149
 150             if ( !namespace.equals( that.namespace ) ) return false;
 151             if ( !name.equals( that.name ) ) return false;
 152             if ( !projectVersion.equals( that.projectVersion ) ) return false;
 153             if ( !( version != null ? version.equals( that.version ) : that.version == null ) ) return false;
 154             return classifier != null ? classifier.equals( that.classifier ) : that.classifier == null;
 155         }
 156
 157         @Override
 158         public int hashCode( )
 159         {
 160             int result = namespace.hashCode( );
 161             result = 31 * result + name.hashCode( );
 162             result = 31 * result + projectVersion.hashCode( );
 163             result = 31 * result + ( version != null ? version.hashCode( ) : 0 );
 164             result = 31 * result + ( classifier != null ? classifier.hashCode( ) : 0 );
 165             return result;
 166         }
 167
 168         @Override
 169         public String toString( )
 170         {
 171             final StringBuilder sb = new StringBuilder( "ArtifactInfo{" );
 172             sb.append( "namespace='" ).append( namespace ).append( '\'' );
 173             sb.append( ", name='" ).append( name ).append( '\'' );
 174             sb.append( ", projectVersion='" ).append( projectVersion ).append( '\'' );
 175             sb.append( ", version='" ).append( version ).append( '\'' );
 176             sb.append( ", classifier='" ).append( classifier ).append( '\'' );
 177             sb.append( '}' );
 178             return sb.toString( );
 179         }
 180     }
 181
 182     /**
 183      * Purge the repo. Update db and index of removed artifacts.
 184      *
 185      * @param references
 186      */
 187     protected void purge( Set<ArtifactReference> references )
 188     {
 189         if ( references != null && !references.isEmpty( ) )
 190         {
 191             MetadataRepository metadataRepository = repositorySession.getRepository( );
 192             Map<ArtifactInfo, ArtifactMetadata> metaRemovalList = new HashMap<>( );
 193             Map<String, Collection<ArtifactMetadata>> metaResolved = new HashMap<>( );
 194             for ( ArtifactReference reference : references )
 195             {
 196                 String baseVersion = VersionUtil.getBaseVersion( reference.getVersion( ) );
 197                 // Needed for tracking in the hashmap
 198                 String metaBaseId = reference.getGroupId( ) + "/" + reference.getArtifactId( ) + "/" + baseVersion;
 199
 200                 if ( !metaResolved.containsKey( metaBaseId ) )
 201                 {
 202                     try
 203                     {
 204                         metaResolved.put( metaBaseId, metadataRepository.getArtifacts( repository.getId( ), reference.getGroupId( ),
 205                             reference.getArtifactId( ), baseVersion ) );
 206                     }
 207                     catch ( MetadataResolutionException e )
 208                     {
 209                         log.error( "Error during metadata retrieval {}: {}", metaBaseId, e.getMessage( ) );
 210                     }
 211                 }
 212                 Path artifactFile = repository.toFile( reference ).toPath( );
 213
 214                 for ( RepositoryListener listener : listeners )
 215                 {
 216                     listener.deleteArtifact( metadataRepository, repository.getId( ), reference.getGroupId( ),
 217                         reference.getArtifactId( ), reference.getVersion( ),
 218                         artifactFile.getFileName( ).toString( ) );
 219                 }
 220                 try
 221                 {
 222                     Files.delete( artifactFile );
 223                     log.debug( "File deleted: {}", artifactFile.toAbsolutePath( ) );
 224                 }
 225                 catch ( IOException e )
 226                 {
 227                     log.error( "Could not delete file {}: {}", artifactFile.toAbsolutePath( ), e.getMessage( ), e );
 228                     continue;
 229                 }
 230                 try
 231                 {
 232                     repository.deleteArtifact( reference );
 233                 }
 234                 catch ( ContentNotFoundException e )
 235                 {
 236                     log.warn( "skip error deleting artifact {}: {}", reference, e.getMessage( ) );
 237                 }
 238
 239                 boolean snapshotVersion = VersionUtil.isSnapshot( reference.getVersion( ) );
 240
 241
 242                 // If this is a snapshot we have to search for artifacts with the same version. And remove all of them.
 243                 if ( snapshotVersion )
 244                 {
 245                     Collection<ArtifactMetadata> artifacts =
 246                         metaResolved.get( metaBaseId );
 247                     if ( artifacts != null )
 248                     {
 249                         // cleanup snapshots metadata
 250                         for ( ArtifactMetadata artifactMetadata : artifacts )
 251                         {
 252                             // Artifact metadata and reference version should match.
 253                             if ( artifactMetadata.getVersion( ).equals( reference.getVersion( ) ) )
 254                             {
 255                                 ArtifactInfo info = new ArtifactInfo( artifactMetadata.getNamespace( ), artifactMetadata.getProject( ), artifactMetadata.getProjectVersion( ), artifactMetadata.getVersion( ) );
 256                                 if ( StringUtils.isNotBlank( reference.getClassifier( ) ) )
 257                                 {
 258                                     info.setClassifier( reference.getClassifier( ) );
 259                                     metaRemovalList.put( info, artifactMetadata );
 260                                 }
 261                                 else
 262                                 {
 263                                     // metadataRepository.removeArtifact( artifactMetadata, baseVersion );
 264                                     metaRemovalList.put( info, artifactMetadata );
 265                                 }
 266                             }
 267                         }
 268                     }
 269                 }
 270                 else // otherwise we delete the artifact version
 271                 {
 272                     ArtifactInfo info = new ArtifactInfo( reference.getGroupId( ), reference.getArtifactId( ), baseVersion, reference.getVersion( ) );
 273                     for ( ArtifactMetadata metadata : metaResolved.get( metaBaseId ) )
 274                     {
 275                         metaRemovalList.put( info, metadata );
 276                     }
 277                 }
 278                 triggerAuditEvent( repository.getRepository( ).getId( ), ArtifactReference.toKey( reference ),
 279                     AuditEvent.PURGE_ARTIFACT );
 280                 purgeSupportFiles( artifactFile );
 281             }
 282             purgeMetadata( metadataRepository, metaRemovalList );
 283             repositorySession.save( );
 284
 285         }
 286     }
 287
 288     /*
 289      * Purges the metadata. First removes the artifacts. After that empty versions will be removed.
 290      */
 291     private void purgeMetadata( MetadataRepository metadataRepository, Map<ArtifactInfo, ArtifactMetadata> dataList )
 292     {
 293         Set<ArtifactInfo> projectLevelMetadata = new HashSet<>( );
 294         for ( Map.Entry<ArtifactInfo, ArtifactMetadata> infoEntry : dataList.entrySet( ) )
 295         {
 296             ArtifactInfo info = infoEntry.getKey( );
 297             try
 298             {
 299                 removeArtifact( metadataRepository, info, infoEntry.getValue( ) );
 300                 log.debug( "Removed artifact from MetadataRepository {}", info );
 301             }
 302             catch ( MetadataRepositoryException e )
 303             {
 304                 log.error( "Could not remove artifact from MetadataRepository {}: {}", info, e.getMessage( ), e );
 305             }
 306             projectLevelMetadata.add( info.projectVersionLevel( ) );
 307         }
 308         metadataRepository.save( );
 309         Collection<ArtifactMetadata> artifacts = null;
 310         // Get remaining artifacts and remove project if empty
 311         for ( ArtifactInfo info : projectLevelMetadata )
 312         {
 313             try
 314             {
 315                 artifacts = metadataRepository.getArtifacts( repository.getId( ), info.getNamespace( ), info.getName( ),
 316                     info.getProjectVersion( ) );
 317                 if ( artifacts.size( ) == 0 )
 318                 {
 319                     metadataRepository.removeProjectVersion( repository.getId( ), info.getNamespace( ),
 320                         info.getName( ), info.getProjectVersion( ) );
 321                     log.debug( "Removed project version from MetadataRepository {}", info );
 322                 }
 323             }
 324             catch ( MetadataResolutionException | MetadataRepositoryException e )
 325             {
 326                 log.error( "Could not remove project version from MetadataRepository {}: {}", info, e.getMessage( ), e );
 327             }
 328         }
 329         metadataRepository.save( );
 330
 331     }
 332
 333     /*
 334      * Removes the artifact from the metadataRepository. If a classifier is set, the facet will be removed.
 335      */
 336     private void removeArtifact( MetadataRepository metadataRepository, ArtifactInfo artifactInfo, ArtifactMetadata artifactMetadata ) throws MetadataRepositoryException
 337     {
 338         if ( artifactInfo.hasClassifier( ) )
 339         {
 340             // cleanup facet which contains classifier information
 341             MavenArtifactFacet mavenArtifactFacet =
 342                 (MavenArtifactFacet) artifactMetadata.getFacet(
 343                     MavenArtifactFacet.FACET_ID );
 344
 345             if ( StringUtils.equals( artifactInfo.classifier,
 346                 mavenArtifactFacet.getClassifier( ) ) )
 347             {
 348                 artifactMetadata.removeFacet( MavenArtifactFacet.FACET_ID );
 349                 String groupId = artifactInfo.getNamespace( ), artifactId =
 350                     artifactInfo.getName( ),
 351                     version = artifactInfo.getProjectVersion( );
 352                 MavenArtifactFacet mavenArtifactFacetToCompare = new MavenArtifactFacet( );
 353                 mavenArtifactFacetToCompare.setClassifier( artifactInfo.getClassifier( ) );
 354                 metadataRepository.removeArtifact( repository.getId( ), groupId, artifactId,
 355                     version, mavenArtifactFacetToCompare );
 356                 metadataRepository.save( );
 357             }
 358         }
 359         else
 360         {
 361             metadataRepository.removeArtifact( artifactMetadata, artifactInfo.getProjectVersion( ) );
 362         }
 363     }
 364
 365     private void deleteSilently(Path path) {
 366         try
 367         {
 368             Files.deleteIfExists( path );
 369             triggerAuditEvent( repository.getRepository( ).getId( ), path.toString(), AuditEvent.PURGE_FILE );
 370         }
 371         catch ( IOException e )
 372         {
 373             log.error("Error occured during file deletion {}: {} ",path,e.getMessage(), e);
 374         }
 375     }
 376
 377     /**
 378      * <p>
 379      * This find support files for the artifactFile and deletes them.
 380      * </p>
 381      * <p>
 382      * Support Files are things like ".sha1", ".md5", ".asc", etc.
 383      * </p>
 384      *
 385      * @param artifactFile the file to base off of.
 386      */
 387     private void purgeSupportFiles( Path artifactFile )
 388     {
 389         Path parentDir = artifactFile.getParent();
 390
 391         if ( !Files.exists(parentDir) )
 392         {
 393             return;
 394         }
 395
 396         final String artifactName = artifactFile.getFileName().toString();
 397
 398         try
 399         {
 400             Files.find(parentDir, 3,
 401                 ( path, basicFileAttributes ) -> path.getFileName().toString().startsWith(artifactName)
 402                     && Files.isRegularFile( path )     ).forEach( this::deleteSilently );
 403         }
 404         catch ( IOException e )
 405         {
 406             log.error("Purge of support files failed {}: {}", artifactFile, e.getMessage(), e);
 407         }
 408
 409     }
 410
 411     private void triggerAuditEvent( String repoId, String resource, String action )
 412     {
 413         String msg =
 414             repoId + DELIM + "<system-purge>" + DELIM + "<system>" + DELIM + '\"' + resource + '\"' + DELIM + '\"' +
 415                 action + '\"';
 416
 417         logger.info( msg );
 418     }
 419 }