source.dussan.org Git - archiva.git/blob

   1 package org.apache.archiva.consumers.core;
   2
   3 /*
   4  * Licensed to the Apache Software Foundation (ASF) under one
   5  * or more contributor license agreements.  See the NOTICE file
   6  * distributed with this work for additional information
   7  * regarding copyright ownership.  The ASF licenses this file
   8  * to you under the Apache License, Version 2.0 (the
   9  * "License"); you may not use this file except in compliance
  10  * with the License.  You may obtain a copy of the License at
  11  *
  12  *  http://www.apache.org/licenses/LICENSE-2.0
  13  *
  14  * Unless required by applicable law or agreed to in writing,
  15  * software distributed under the License is distributed on an
  16  * "AS IS" BASIS, WITHOUT WARRANTIES OR CONDITIONS OF ANY
  17  * KIND, either express or implied.  See the License for the
  18  * specific language governing permissions and limitations
  19  * under the License.
  20  */
  21
  22 import org.apache.archiva.configuration.ArchivaConfiguration;
  23 import org.apache.archiva.configuration.FileTypes;
  24 import org.apache.archiva.consumers.AbstractMonitoredConsumer;
  25 import org.apache.archiva.consumers.ConsumerException;
  26 import org.apache.archiva.consumers.KnownRepositoryContentConsumer;
  27 import org.apache.archiva.model.ArtifactReference;
  28 import org.apache.archiva.model.ProjectReference;
  29 import org.apache.archiva.model.VersionedReference;
  30 import org.apache.archiva.repository.ContentNotFoundException;
  31 import org.apache.archiva.repository.ManagedRepository;
  32 import org.apache.archiva.repository.ManagedRepositoryContent;
  33 import org.apache.archiva.repository.RepositoryException;
  34 import org.apache.archiva.repository.RepositoryNotFoundException;
  35 import org.apache.archiva.repository.RepositoryRegistry;
  36 import org.apache.archiva.repository.layout.LayoutException;
  37 import org.apache.archiva.repository.metadata.MetadataTools;
  38 import org.apache.archiva.repository.metadata.RepositoryMetadataException;
  39 import org.slf4j.Logger;
  40 import org.slf4j.LoggerFactory;
  41 import org.springframework.context.annotation.Scope;
  42 import org.springframework.stereotype.Service;
  43
  44 import javax.annotation.PostConstruct;
  45 import javax.inject.Inject;
  46 import java.io.IOException;
  47 import java.nio.file.Files;
  48 import java.nio.file.Path;
  49 import java.nio.file.Paths;
  50 import java.util.ArrayList;
  51 import java.util.Date;
  52 import java.util.List;
  53
  54 /**
  55  * MetadataUpdaterConsumer will create and update the metadata present within the repository.
  56  */
  57 @Service( "knownRepositoryContentConsumer#metadata-updater" )
  58 @Scope( "prototype" )
  59 public class MetadataUpdaterConsumer
  60     extends AbstractMonitoredConsumer
  61     implements KnownRepositoryContentConsumer
  62     // it's prototype bean so we assume configuration won't change during a run
  63     //, RegistryListener
  64 {
  65     private Logger log = LoggerFactory.getLogger( MetadataUpdaterConsumer.class );
  66
  67     /**
  68      * default-value="metadata-updater"
  69      */
  70     private String id = "metadata-updater";
  71
  72     private String description = "Update / Create maven-metadata.xml files";
  73
  74     @Inject
  75     private RepositoryRegistry repositoryRegistry;
  76
  77     @Inject
  78     private MetadataTools metadataTools;
  79
  80     @Inject
  81     private ArchivaConfiguration configuration;
  82
  83     @Inject
  84     private FileTypes filetypes;
  85
  86     private static final String TYPE_METADATA_BAD_INTERNAL_REF = "metadata-bad-internal-ref";
  87
  88     private static final String TYPE_METADATA_WRITE_FAILURE = "metadata-write-failure";
  89
  90     private static final String TYPE_METADATA_IO = "metadata-io-warning";
  91
  92     private ManagedRepositoryContent repository;
  93
  94     private Path repositoryDir;
  95
  96     private List<String> includes = new ArrayList<>( 0 );
  97
  98     private long scanStartTimestamp = 0;
  99
 100     @Override
 101     public String getDescription( )
 102     {
 103         return description;
 104     }
 105
 106     @Override
 107     public String getId( )
 108     {
 109         return id;
 110     }
 111
 112     public void setIncludes( List<String> includes )
 113     {
 114         this.includes = includes;
 115     }
 116
 117     @Override
 118     public void beginScan( ManagedRepository repoConfig, Date whenGathered )
 119         throws ConsumerException
 120     {
 121         try
 122         {
 123             ManagedRepository repo = repositoryRegistry.getManagedRepository( repoConfig.getId( ) );
 124             if (repo==null) {
 125                 throw new RepositoryNotFoundException( "Repository not found: "+repoConfig.getId() );
 126             }
 127             this.repository = repo.getContent();
 128             if (this.repository==null) {
 129                 throw new RepositoryNotFoundException( "Repository content not found: "+repoConfig.getId() );
 130             }
 131             this.repositoryDir = Paths.get( repository.getRepoRoot( ) );
 132             this.scanStartTimestamp = System.currentTimeMillis( );
 133         }
 134         catch ( RepositoryNotFoundException e )
 135         {
 136             throw new ConsumerException( e.getMessage( ), e );
 137         }
 138         catch ( RepositoryException e )
 139         {
 140             throw new ConsumerException( e.getMessage( ), e );
 141         }
 142     }
 143
 144     @Override
 145     public void beginScan( ManagedRepository repository, Date whenGathered, boolean executeOnEntireRepo )
 146         throws ConsumerException
 147     {
 148         beginScan( repository, whenGathered );
 149     }
 150
 151     @Override
 152     public void completeScan( )
 153     {
 154         /* do nothing here */
 155     }
 156
 157     @Override
 158     public void completeScan( boolean executeOnEntireRepo )
 159     {
 160         completeScan( );
 161     }
 162
 163     @Override
 164     public List<String> getExcludes( )
 165     {
 166         return getDefaultArtifactExclusions( );
 167     }
 168
 169     @Override
 170     public List<String> getIncludes( )
 171     {
 172         return this.includes;
 173     }
 174
 175     @Override
 176     public void processFile( String path )
 177         throws ConsumerException
 178     {
 179         // Ignore paths like .index etc
 180         if ( !path.startsWith( "." ) )
 181         {
 182             try
 183             {
 184                 ArtifactReference artifact = repository.toArtifactReference( path );
 185                 updateVersionMetadata( artifact, path );
 186                 updateProjectMetadata( artifact, path );
 187             }
 188             catch ( LayoutException e )
 189             {
 190                 log.info( "Not processing path that is not an artifact: {} ({})", path, e.getMessage( ) );
 191             }
 192         }
 193     }
 194
 195     @Override
 196     public void processFile( String path, boolean executeOnEntireRepo )
 197         throws Exception
 198     {
 199         processFile( path );
 200     }
 201
 202     private void updateProjectMetadata( ArtifactReference artifact, String path )
 203     {
 204         ProjectReference projectRef = new ProjectReference( );
 205         projectRef.setGroupId( artifact.getGroupId( ) );
 206         projectRef.setArtifactId( artifact.getArtifactId( ) );
 207
 208         try
 209         {
 210             String metadataPath = this.metadataTools.toPath( projectRef );
 211
 212             Path projectMetadata = this.repositoryDir.resolve( metadataPath );
 213
 214             if ( Files.exists(projectMetadata) && ( Files.getLastModifiedTime( projectMetadata).toMillis() >= this.scanStartTimestamp ) )
 215             {
 216                 // This metadata is up to date. skip it.
 217                 log.debug( "Skipping uptodate metadata: {}", this.metadataTools.toPath( projectRef ) );
 218                 return;
 219             }
 220
 221             metadataTools.updateMetadata( this.repository, projectRef );
 222             log.debug( "Updated metadata: {}", this.metadataTools.toPath( projectRef ) );
 223         }
 224         catch ( LayoutException e )
 225         {
 226             log.warn( "Unable to convert path [{}] to an internal project reference: ", path, e );
 227             triggerConsumerWarning( TYPE_METADATA_BAD_INTERNAL_REF,
 228                 "Unable to convert path [" + path + "] to an internal project reference: "
 229                     + e.getMessage( ) );
 230         }
 231         catch ( RepositoryMetadataException e )
 232         {
 233             log.error( "Unable to write project metadat for artifact [{}]:", path, e );
 234             triggerConsumerError( TYPE_METADATA_WRITE_FAILURE,
 235                 "Unable to write project metadata for artifact [" + path + "]: " + e.getMessage( ) );
 236         }
 237         catch ( IOException e )
 238         {
 239             log.warn( "Project metadata not written due to IO warning: ", e );
 240             triggerConsumerWarning( TYPE_METADATA_IO,
 241                 "Project metadata not written due to IO warning: " + e.getMessage( ) );
 242         }
 243         catch ( ContentNotFoundException e )
 244         {
 245             log.warn( "Project metadata not written because no versions were found to update: ", e );
 246             triggerConsumerWarning( TYPE_METADATA_IO,
 247                 "Project metadata not written because no versions were found to update: "
 248                     + e.getMessage( ) );
 249         }
 250     }
 251
 252     private void updateVersionMetadata( ArtifactReference artifact, String path )
 253     {
 254         VersionedReference versionRef = new VersionedReference( );
 255         versionRef.setGroupId( artifact.getGroupId( ) );
 256         versionRef.setArtifactId( artifact.getArtifactId( ) );
 257         versionRef.setVersion( artifact.getVersion( ) );
 258
 259         try
 260         {
 261             String metadataPath = this.metadataTools.toPath( versionRef );
 262
 263             Path projectMetadata = this.repositoryDir.resolve( metadataPath );
 264
 265             if ( Files.exists(projectMetadata) && ( Files.getLastModifiedTime( projectMetadata ).toMillis() >= this.scanStartTimestamp ) )
 266             {
 267                 // This metadata is up to date. skip it.
 268                 log.debug( "Skipping uptodate metadata: {}", this.metadataTools.toPath( versionRef ) );
 269                 return;
 270             }
 271
 272             metadataTools.updateMetadata( this.repository, versionRef );
 273             log.debug( "Updated metadata: {}", this.metadataTools.toPath( versionRef ) );
 274         }
 275         catch ( LayoutException e )
 276         {
 277             log.warn( "Unable to convert path [{}] to an internal version reference: ", path, e );
 278             triggerConsumerWarning( TYPE_METADATA_BAD_INTERNAL_REF,
 279                 "Unable to convert path [" + path + "] to an internal version reference: "
 280                     + e.getMessage( ) );
 281         }
 282         catch ( RepositoryMetadataException e )
 283         {
 284             log.error( "Unable to write version metadata for artifact [{}]: ", path, e );
 285             triggerConsumerError( TYPE_METADATA_WRITE_FAILURE,
 286                 "Unable to write version metadata for artifact [" + path + "]: " + e.getMessage( ) );
 287         }
 288         catch ( IOException e )
 289         {
 290             log.warn( "Version metadata not written due to IO warning: ", e );
 291             triggerConsumerWarning( TYPE_METADATA_IO,
 292                 "Version metadata not written due to IO warning: " + e.getMessage( ) );
 293         }
 294         catch ( ContentNotFoundException e )
 295         {
 296             log.warn( "Version metadata not written because no versions were found to update: ", e );
 297             triggerConsumerWarning( TYPE_METADATA_IO,
 298                 "Version metadata not written because no versions were found to update: "
 299                     + e.getMessage( ) );
 300         }
 301     }
 302
 303     /*
 304     @Override
 305     public void afterConfigurationChange( Registry registry, String propertyName, Object propertyValue )
 306     {
 307         if ( ConfigurationNames.isRepositoryScanning( propertyName ) )
 308         {
 309             initIncludes();
 310         }
 311     }
 312
 313     @Override
 314     public void beforeConfigurationChange( Registry registry, String propertyName, Object propertyValue )
 315     {
 316         // do nothing here
 317     }
 318     */
 319
 320     private void initIncludes( )
 321     {
 322         includes = new ArrayList<>( filetypes.getFileTypePatterns( FileTypes.ARTIFACTS ) );
 323     }
 324
 325     @PostConstruct
 326     public void initialize( )
 327     {
 328         //configuration.addChangeListener( this );
 329
 330         initIncludes( );
 331     }
 332 }