source.dussan.org Git - archiva.git/blob

   1 package org.apache.archiva.rest.services;
   2
   3 /*
   4  * Licensed to the Apache Software Foundation (ASF) under one
   5  * or more contributor license agreements.  See the NOTICE file
   6  * distributed with this work for additional information
   7  * regarding copyright ownership.  The ASF licenses this file
   8  * to you under the Apache License, Version 2.0 (the
   9  * "License"); you may not use this file except in compliance
  10  * with the License.  You may obtain a copy of the License at
  11  *
  12  *   http://www.apache.org/licenses/LICENSE-2.0
  13  *
  14  * Unless required by applicable law or agreed to in writing,
  15  * software distributed under the License is distributed on an
  16  * "AS IS" BASIS, WITHOUT WARRANTIES OR CONDITIONS OF ANY
  17  * KIND, either express or implied.  See the License for the
  18  * specific language governing permissions and limitations
  19  * under the License.
  20  */
  21
  22 import org.apache.archiva.admin.model.RepositoryAdminException;
  23 import org.apache.archiva.admin.model.admin.ArchivaAdministration;
  24 import org.apache.archiva.checksum.ChecksumAlgorithm;
  25 import org.apache.archiva.checksum.ChecksummedFile;
  26 import org.apache.archiva.common.utils.VersionComparator;
  27 import org.apache.archiva.common.utils.VersionUtil;
  28 import org.apache.archiva.maven2.model.Artifact;
  29 import org.apache.archiva.metadata.model.ArtifactMetadata;
  30 import org.apache.archiva.metadata.model.facets.AuditEvent;
  31 import org.apache.archiva.metadata.maven.model.MavenArtifactFacet;
  32 import org.apache.archiva.metadata.repository.*;
  33 import org.apache.archiva.model.ArchivaRepositoryMetadata;
  34 import org.apache.archiva.model.ArtifactReference;
  35 import org.apache.archiva.model.VersionedReference;
  36 import org.apache.archiva.redback.authentication.AuthenticationResult;
  37 import org.apache.archiva.redback.authorization.AuthorizationException;
  38 import org.apache.archiva.components.cache.Cache;
  39 import org.apache.archiva.components.taskqueue.TaskQueueException;
  40 import org.apache.archiva.redback.system.DefaultSecuritySession;
  41 import org.apache.archiva.redback.system.SecuritySession;
  42 import org.apache.archiva.redback.system.SecuritySystem;
  43 import org.apache.archiva.redback.users.User;
  44 import org.apache.archiva.redback.users.UserManagerException;
  45 import org.apache.archiva.redback.users.UserNotFoundException;
  46 import org.apache.archiva.repository.ContentNotFoundException;
  47 import org.apache.archiva.repository.LayoutException;
  48 import org.apache.archiva.repository.ManagedRepository;
  49 import org.apache.archiva.repository.ManagedRepositoryContent;
  50 import org.apache.archiva.repository.RepositoryException;
  51 import org.apache.archiva.repository.RepositoryNotFoundException;
  52 import org.apache.archiva.repository.RepositoryRegistry;
  53 import org.apache.archiva.repository.RepositoryType;
  54 import org.apache.archiva.repository.storage.fs.FsStorageUtil;
  55 import org.apache.archiva.repository.storage.RepositoryStorage;
  56 import org.apache.archiva.repository.storage.StorageAsset;
  57 import org.apache.archiva.metadata.audit.RepositoryListener;
  58 import org.apache.archiva.repository.metadata.base.MetadataTools;
  59 import org.apache.archiva.repository.metadata.RepositoryMetadataException;
  60 import org.apache.archiva.repository.metadata.base.RepositoryMetadataWriter;
  61 import org.apache.archiva.repository.scanner.RepositoryScanStatistics;
  62 import org.apache.archiva.repository.scanner.RepositoryScanner;
  63 import org.apache.archiva.repository.scanner.RepositoryScannerException;
  64 import org.apache.archiva.repository.scanner.RepositoryScannerInstance;
  65 import org.apache.archiva.rest.api.model.ArtifactTransferRequest;
  66 import org.apache.archiva.rest.api.model.StringList;
  67 import org.apache.archiva.rest.api.services.ArchivaRestServiceException;
  68 import org.apache.archiva.rest.api.services.RepositoriesService;
  69 import org.apache.archiva.scheduler.ArchivaTaskScheduler;
  70 import org.apache.archiva.scheduler.indexing.maven.ArchivaIndexingTaskExecutor;
  71 import org.apache.archiva.scheduler.indexing.ArtifactIndexingTask;
  72 import org.apache.archiva.scheduler.indexing.DownloadRemoteIndexException;
  73 import org.apache.archiva.scheduler.indexing.DownloadRemoteIndexScheduler;
  74 import org.apache.archiva.scheduler.repository.model.RepositoryTask;
  75 import org.apache.archiva.security.ArchivaSecurityException;
  76 import org.apache.archiva.security.common.ArchivaRoleConstants;
  77 import org.apache.commons.io.FilenameUtils;
  78 import org.apache.commons.lang3.StringUtils;
  79 import org.slf4j.Logger;
  80 import org.slf4j.LoggerFactory;
  81 import org.springframework.beans.factory.annotation.Autowired;
  82 import org.springframework.stereotype.Service;
  83
  84 import javax.inject.Inject;
  85 import javax.inject.Named;
  86 import javax.ws.rs.core.Response;
  87 import java.io.IOException;
  88 import java.io.OutputStreamWriter;
  89 import java.nio.file.Path;
  90 import java.text.DateFormat;
  91 import java.text.SimpleDateFormat;
  92 import java.util.ArrayList;
  93 import java.util.Arrays;
  94 import java.util.Calendar;
  95 import java.util.Collection;
  96 import java.util.Collections;
  97 import java.util.Date;
  98 import java.util.List;
  99 import java.util.TimeZone;
 100
 101 /**
 102  * @author Olivier Lamy
 103  * @since 1.4-M1
 104  */
 105 @Service("repositoriesService#rest")
 106 public class DefaultRepositoriesService
 107     extends AbstractRestService
 108     implements RepositoriesService
 109 {
 110     private Logger log = LoggerFactory.getLogger( getClass() );
 111
 112     @Inject
 113     @Named(value = "taskExecutor#indexing")
 114     private ArchivaIndexingTaskExecutor archivaIndexingTaskExecutor;
 115
 116     @Inject
 117     private RepositoryRegistry repositoryRegistry;
 118
 119     @Inject
 120     private SecuritySystem securitySystem;
 121
 122     @Inject
 123     @Named(value = "archivaTaskScheduler#repository")
 124     private ArchivaTaskScheduler<RepositoryTask> scheduler;
 125
 126     @Inject
 127     private DownloadRemoteIndexScheduler downloadRemoteIndexScheduler;
 128
 129     @Inject
 130     @Named(value = "repositorySessionFactory")
 131     protected RepositorySessionFactory repositorySessionFactory;
 132
 133     @Inject
 134     @Autowired(required = false)
 135     protected List<RepositoryListener> listeners = new ArrayList<RepositoryListener>();
 136
 137     @Inject
 138     private RepositoryScanner repoScanner;
 139
 140     /**
 141      * Cache used for namespaces
 142      */
 143     @Inject
 144     @Named(value = "cache#namespaces")
 145     private Cache<String, Collection<String>> namespacesCache;
 146
 147     private List<ChecksumAlgorithm> algorithms = Arrays.asList(ChecksumAlgorithm.SHA256, ChecksumAlgorithm.SHA1, ChecksumAlgorithm.MD5 );
 148
 149     @Override
 150     public Boolean scanRepository( String repositoryId, boolean fullScan )
 151     {
 152         return doScanRepository( repositoryId, fullScan );
 153     }
 154
 155     @Override
 156     public Boolean alreadyScanning( String repositoryId )
 157     {
 158         // check queue first to make sure it doesn't get dequeued between calls
 159         if ( repositoryTaskScheduler.isProcessingRepositoryTask( repositoryId ) )
 160         {
 161             return true;
 162         }
 163         for ( RepositoryScannerInstance scan : repoScanner.getInProgressScans() )
 164         {
 165             if ( scan.getRepository().getId().equals( repositoryId ) )
 166             {
 167                 return true;
 168             }
 169         }
 170         return false;
 171     }
 172
 173     @Override
 174     public Boolean removeScanningTaskFromQueue( String repositoryId )
 175     {
 176         RepositoryTask task = new RepositoryTask();
 177         task.setRepositoryId( repositoryId );
 178         try
 179         {
 180             return repositoryTaskScheduler.unQueueTask( task );
 181         }
 182         catch ( TaskQueueException e )
 183         {
 184             log.error( "failed to unschedule scanning of repo with id {}", repositoryId, e );
 185             return false;
 186         }
 187     }
 188
 189     private ManagedRepositoryContent getManagedRepositoryContent(String id) throws RepositoryException
 190     {
 191         org.apache.archiva.repository.ManagedRepository repo = repositoryRegistry.getManagedRepository( id );
 192         if (repo==null) {
 193             throw new RepositoryException( "Repository not found "+id );
 194         }
 195         return repo.getContent();
 196     }
 197
 198     @Override
 199     public Boolean scanRepositoryNow( String repositoryId, boolean fullScan )
 200         throws ArchivaRestServiceException
 201     {
 202
 203         try
 204         {
 205
 206             org.apache.archiva.repository.ManagedRepository repository = repositoryRegistry.getManagedRepository( repositoryId );
 207
 208
 209             ArtifactIndexingTask task =
 210                 new ArtifactIndexingTask( repository, null, ArtifactIndexingTask.Action.FINISH, repository.getIndexingContext() );
 211
 212             task.setExecuteOnEntireRepo( true );
 213             task.setOnlyUpdate( !fullScan );
 214
 215             archivaIndexingTaskExecutor.executeTask( task );
 216
 217             scheduler.queueTask( new RepositoryTask( repositoryId, fullScan ) );
 218
 219             return Boolean.TRUE;
 220         }
 221         catch ( Exception e )
 222         {
 223             log.error( e.getMessage(), e );
 224             throw new ArchivaRestServiceException( e.getMessage(), e );
 225         }
 226     }
 227
 228     @Override
 229     public Boolean scheduleDownloadRemoteIndex( String repositoryId, boolean now, boolean fullDownload )
 230         throws ArchivaRestServiceException
 231     {
 232         try
 233         {
 234             downloadRemoteIndexScheduler.scheduleDownloadRemote( repositoryId, now, fullDownload );
 235         }
 236         catch ( DownloadRemoteIndexException e )
 237         {
 238             log.error( e.getMessage(), e );
 239             throw new ArchivaRestServiceException( e.getMessage(), e );
 240         }
 241         return Boolean.TRUE;
 242     }
 243
 244     @Override
 245     public Boolean copyArtifact( ArtifactTransferRequest artifactTransferRequest )
 246         throws ArchivaRestServiceException
 247     {
 248         // check parameters
 249         String userName = getAuditInformation().getUser().getUsername();
 250         if ( StringUtils.isBlank( userName ) )
 251         {
 252             throw new ArchivaRestServiceException( "copyArtifact call: userName not found", null );
 253         }
 254
 255         if ( StringUtils.isBlank( artifactTransferRequest.getRepositoryId() ) )
 256         {
 257             throw new ArchivaRestServiceException( "copyArtifact call: sourceRepositoryId cannot be null", null );
 258         }
 259
 260         if ( StringUtils.isBlank( artifactTransferRequest.getTargetRepositoryId() ) )
 261         {
 262             throw new ArchivaRestServiceException( "copyArtifact call: targetRepositoryId cannot be null", null );
 263         }
 264
 265         ManagedRepository source = null;
 266         source = repositoryRegistry.getManagedRepository( artifactTransferRequest.getRepositoryId() );
 267
 268         if ( source == null )
 269         {
 270             throw new ArchivaRestServiceException(
 271                 "cannot find repository with id " + artifactTransferRequest.getRepositoryId(), null );
 272         }
 273
 274         ManagedRepository target = null;
 275         target = repositoryRegistry.getManagedRepository( artifactTransferRequest.getTargetRepositoryId() );
 276
 277         if ( target == null )
 278         {
 279             throw new ArchivaRestServiceException(
 280                 "cannot find repository with id " + artifactTransferRequest.getTargetRepositoryId(), null );
 281         }
 282
 283         if ( StringUtils.isBlank( artifactTransferRequest.getGroupId() ) )
 284         {
 285             throw new ArchivaRestServiceException( "groupId is mandatory", null );
 286         }
 287
 288         if ( StringUtils.isBlank( artifactTransferRequest.getArtifactId() ) )
 289         {
 290             throw new ArchivaRestServiceException( "artifactId is mandatory", null );
 291         }
 292
 293         if ( StringUtils.isBlank( artifactTransferRequest.getVersion() ) )
 294         {
 295             throw new ArchivaRestServiceException( "version is mandatory", null );
 296         }
 297
 298         if ( VersionUtil.isSnapshot( artifactTransferRequest.getVersion() ) )
 299         {
 300             throw new ArchivaRestServiceException( "copy of SNAPSHOT not supported", null );
 301         }
 302
 303         // end check parameters
 304
 305         User user = null;
 306         try
 307         {
 308             user = securitySystem.getUserManager().findUser( userName );
 309         }
 310         catch ( UserNotFoundException e )
 311         {
 312             throw new ArchivaRestServiceException( "user " + userName + " not found", e );
 313         }
 314         catch ( UserManagerException e )
 315         {
 316             throw new ArchivaRestServiceException( "ArchivaRestServiceException:" + e.getMessage(), e );
 317         }
 318
 319         // check karma on source : read
 320         AuthenticationResult authn = new AuthenticationResult( true, userName, null );
 321         SecuritySession securitySession = new DefaultSecuritySession( authn, user );
 322         try
 323         {
 324             boolean authz =
 325                 securitySystem.isAuthorized( securitySession, ArchivaRoleConstants.OPERATION_REPOSITORY_ACCESS,
 326                                              artifactTransferRequest.getRepositoryId() );
 327             if ( !authz )
 328             {
 329                 throw new ArchivaRestServiceException(
 330                     "not authorized to access repo:" + artifactTransferRequest.getRepositoryId(), null );
 331             }
 332         }
 333         catch ( AuthorizationException e )
 334         {
 335             log.error( "error reading permission: {}", e.getMessage(), e );
 336             throw new ArchivaRestServiceException( e.getMessage(), e );
 337         }
 338
 339         // check karma on target: write
 340         try
 341         {
 342             boolean authz =
 343                 securitySystem.isAuthorized( securitySession, ArchivaRoleConstants.OPERATION_REPOSITORY_UPLOAD,
 344                                              artifactTransferRequest.getTargetRepositoryId() );
 345             if ( !authz )
 346             {
 347                 throw new ArchivaRestServiceException(
 348                     "not authorized to write to repo:" + artifactTransferRequest.getTargetRepositoryId(), null );
 349             }
 350         }
 351         catch ( AuthorizationException e )
 352         {
 353             log.error( "error reading permission: {}", e.getMessage(), e );
 354             throw new ArchivaRestServiceException( e.getMessage(), e );
 355         }
 356
 357         // sounds good we can continue !
 358
 359         ArtifactReference artifactReference = new ArtifactReference();
 360         artifactReference.setArtifactId( artifactTransferRequest.getArtifactId() );
 361         artifactReference.setGroupId( artifactTransferRequest.getGroupId() );
 362         artifactReference.setVersion( artifactTransferRequest.getVersion() );
 363         artifactReference.setClassifier( artifactTransferRequest.getClassifier() );
 364         String packaging = StringUtils.trim( artifactTransferRequest.getPackaging() );
 365         artifactReference.setType( StringUtils.isEmpty( packaging ) ? "jar" : packaging );
 366
 367         try
 368         {
 369
 370             ManagedRepositoryContent sourceRepository =
 371                 getManagedRepositoryContent( artifactTransferRequest.getRepositoryId() );
 372
 373             String artifactSourcePath = sourceRepository.toPath( artifactReference );
 374
 375             if ( StringUtils.isEmpty( artifactSourcePath ) )
 376             {
 377                 log.error( "cannot find artifact {}", artifactTransferRequest );
 378                 throw new ArchivaRestServiceException( "cannot find artifact " + artifactTransferRequest.toString(),
 379                                                        null );
 380             }
 381
 382             StorageAsset artifactFile = source.getAsset( artifactSourcePath );
 383
 384             if ( !artifactFile.exists() )
 385             {
 386                 log.error( "cannot find artifact {}", artifactTransferRequest );
 387                 throw new ArchivaRestServiceException( "cannot find artifact " + artifactTransferRequest.toString(),
 388                                                        null );
 389             }
 390
 391             ManagedRepositoryContent targetRepository =
 392                 getManagedRepositoryContent( artifactTransferRequest.getTargetRepositoryId() );
 393
 394             String artifactPath = targetRepository.toPath( artifactReference );
 395
 396             int lastIndex = artifactPath.lastIndexOf( '/' );
 397
 398             String path = artifactPath.substring( 0, lastIndex );
 399             StorageAsset targetDir = target.getAsset( path );
 400
 401             Date lastUpdatedTimestamp = Calendar.getInstance().getTime();
 402             int newBuildNumber = 1;
 403             String timestamp = null;
 404
 405             StorageAsset versionMetadataFile = target.getAsset(path + "/" + MetadataTools.MAVEN_METADATA );
 406             /* unused */ getMetadata( targetRepository.getRepository().getType(), versionMetadataFile );
 407
 408             if ( !targetDir.exists() )
 409             {
 410                 targetDir = target.addAsset(targetDir.getPath(), true);
 411                 targetDir.create();
 412             }
 413
 414             String filename = artifactPath.substring( lastIndex + 1 );
 415
 416             boolean fixChecksums =
 417                 !( archivaAdministration.getKnownContentConsumers().contains( "create-missing-checksums" ) );
 418
 419             StorageAsset targetFile = target.getAsset(targetDir.getPath() + "/" + filename );
 420             if ( targetFile.exists() && target.blocksRedeployments())
 421             {
 422                 throw new ArchivaRestServiceException(
 423                     "artifact already exists in target repo: " + artifactTransferRequest.getTargetRepositoryId()
 424                         + " and redeployment blocked", null
 425                 );
 426             }
 427             else
 428             {
 429                 copyFile(artifactFile, targetFile, fixChecksums );
 430                 queueRepositoryTask( target.getId(), targetFile );
 431             }
 432
 433             // copy source pom to target repo
 434             String pomFilename = filename;
 435             if ( StringUtils.isNotBlank( artifactTransferRequest.getClassifier() ) )
 436             {
 437                 pomFilename = StringUtils.remove( pomFilename, "-" + artifactTransferRequest.getClassifier() );
 438             }
 439             pomFilename = FilenameUtils.removeExtension( pomFilename ) + ".pom";
 440
 441             StorageAsset pomFile = source.getAsset(
 442                 artifactSourcePath.substring( 0, artifactPath.lastIndexOf( '/' ) )+"/"+ pomFilename );
 443
 444             if ( pomFile != null && pomFile.exists() )
 445             {
 446                 StorageAsset targetPomFile = target.getAsset( targetDir.getPath() + "/" + pomFilename );
 447                 copyFile(pomFile, targetPomFile, fixChecksums );
 448                 queueRepositoryTask( target.getId(), targetPomFile );
 449
 450
 451             }
 452
 453             // explicitly update only if metadata-updater consumer is not enabled!
 454             if ( !archivaAdministration.getKnownContentConsumers().contains( "metadata-updater" ) )
 455             {
 456                 updateProjectMetadata( target.getType(), target, targetDir, lastUpdatedTimestamp, timestamp, newBuildNumber,
 457                                        fixChecksums, artifactTransferRequest );
 458
 459
 460             }
 461
 462             String msg =
 463                 "Artifact \'" + artifactTransferRequest.getGroupId() + ":" + artifactTransferRequest.getArtifactId()
 464                     + ":" + artifactTransferRequest.getVersion() + "\' was successfully deployed to repository \'"
 465                     + artifactTransferRequest.getTargetRepositoryId() + "\'";
 466             log.debug("copyArtifact {}", msg);
 467
 468         }
 469         catch ( RepositoryException e )
 470         {
 471             log.error( "RepositoryException: {}", e.getMessage(), e );
 472             throw new ArchivaRestServiceException( e.getMessage(), e );
 473         }
 474         catch ( RepositoryAdminException e )
 475         {
 476             log.error( "RepositoryAdminException: {}", e.getMessage(), e );
 477             throw new ArchivaRestServiceException( e.getMessage(), e );
 478         }
 479         catch ( IOException e )
 480         {
 481             log.error( "IOException: {}", e.getMessage(), e );
 482             throw new ArchivaRestServiceException( e.getMessage(), e );
 483         }
 484         return true;
 485     }
 486
 487     private void queueRepositoryTask( String repositoryId, StorageAsset localFile )
 488     {
 489
 490         RepositoryTask task = new RepositoryTask();
 491         task.setRepositoryId( repositoryId );
 492         task.setResourceFile( localFile );
 493         task.setUpdateRelatedArtifacts( true );
 494         //task.setScanAll( true );
 495
 496         try
 497         {
 498             scheduler.queueTask( task );
 499         }
 500         catch ( TaskQueueException e )
 501         {
 502             log.error( "Unable to queue repository task to execute consumers on resource file ['{}"
 503                            + "'].", localFile.getName());
 504         }
 505     }
 506
 507     private ArchivaRepositoryMetadata getMetadata( RepositoryType repositoryType, StorageAsset metadataFile )
 508         throws RepositoryMetadataException
 509     {
 510         ArchivaRepositoryMetadata metadata = new ArchivaRepositoryMetadata();
 511         if ( metadataFile.exists() )
 512         {
 513             metadata = repositoryRegistry.getMetadataReader( repositoryType ).read( metadataFile );
 514         }
 515         return metadata;
 516     }
 517
 518     private StorageAsset getMetadata( RepositoryStorage storage, String targetPath )
 519     {
 520         return storage.getAsset( targetPath + "/" + MetadataTools.MAVEN_METADATA );
 521
 522     }
 523
 524     /*
 525      * Copies the asset to the new target.
 526      */
 527     private void copyFile(StorageAsset sourceFile, StorageAsset targetPath, boolean fixChecksums)
 528         throws IOException
 529     {
 530
 531         FsStorageUtil.copyAsset( sourceFile, targetPath, true );
 532         if ( fixChecksums )
 533         {
 534             fixChecksums( targetPath );
 535         }
 536     }
 537
 538     private void fixChecksums( StorageAsset file )
 539     {
 540         Path destinationFile = file.getFilePath();
 541         if (destinationFile!=null)
 542         {
 543             ChecksummedFile checksum = new ChecksummedFile( destinationFile );
 544             checksum.fixChecksums( algorithms );
 545         }
 546     }
 547
 548     private void updateProjectMetadata( RepositoryType repositoryType, RepositoryStorage storage, StorageAsset targetPath, Date lastUpdatedTimestamp, String timestamp, int buildNumber,
 549                                         boolean fixChecksums, ArtifactTransferRequest artifactTransferRequest )
 550         throws RepositoryMetadataException
 551     {
 552         List<String> availableVersions = new ArrayList<>();
 553         String latestVersion = artifactTransferRequest.getVersion();
 554
 555         StorageAsset projectDir = targetPath.getParent();
 556         StorageAsset projectMetadataFile = storage.getAsset( projectDir.getPath()+"/"+MetadataTools.MAVEN_METADATA );
 557
 558         ArchivaRepositoryMetadata projectMetadata = getMetadata( repositoryType, projectMetadataFile );
 559
 560         if ( projectMetadataFile.exists() )
 561         {
 562             availableVersions = projectMetadata.getAvailableVersions();
 563
 564             Collections.sort( availableVersions, VersionComparator.getInstance() );
 565
 566             if ( !availableVersions.contains( artifactTransferRequest.getVersion() ) )
 567             {
 568                 availableVersions.add( artifactTransferRequest.getVersion() );
 569             }
 570
 571             latestVersion = availableVersions.get( availableVersions.size() - 1 );
 572         }
 573         else
 574         {
 575             availableVersions.add( artifactTransferRequest.getVersion() );
 576
 577             projectMetadata.setGroupId( artifactTransferRequest.getGroupId() );
 578             projectMetadata.setArtifactId( artifactTransferRequest.getArtifactId() );
 579         }
 580
 581         if ( projectMetadata.getGroupId() == null )
 582         {
 583             projectMetadata.setGroupId( artifactTransferRequest.getGroupId() );
 584         }
 585
 586         if ( projectMetadata.getArtifactId() == null )
 587         {
 588             projectMetadata.setArtifactId( artifactTransferRequest.getArtifactId() );
 589         }
 590
 591         projectMetadata.setLatestVersion( latestVersion );
 592         projectMetadata.setLastUpdatedTimestamp( lastUpdatedTimestamp );
 593         projectMetadata.setAvailableVersions( availableVersions );
 594
 595         if ( !VersionUtil.isSnapshot( artifactTransferRequest.getVersion() ) )
 596         {
 597             projectMetadata.setReleasedVersion( latestVersion );
 598         }
 599
 600         try(OutputStreamWriter writer = new OutputStreamWriter(projectMetadataFile.getWriteStream(true))) {
 601             RepositoryMetadataWriter.write(projectMetadata, writer);
 602         } catch (IOException e) {
 603             throw new RepositoryMetadataException(e);
 604         }
 605
 606         if ( fixChecksums )
 607         {
 608             fixChecksums( projectMetadataFile );
 609         }
 610     }
 611
 612     @Override
 613     public Boolean removeProjectVersion( String repositoryId, String namespace, String projectId, String version )
 614         throws ArchivaRestServiceException
 615     {
 616         // if not a generic we can use the standard way to delete artifact
 617         if ( !VersionUtil.isGenericSnapshot( version ) )
 618         {
 619             Artifact artifact = new Artifact( namespace, projectId, version );
 620             artifact.setRepositoryId( repositoryId );
 621             artifact.setContext( repositoryId );
 622             return deleteArtifact( artifact );
 623         }
 624
 625         if ( StringUtils.isEmpty( repositoryId ) )
 626         {
 627             throw new ArchivaRestServiceException( "repositoryId cannot be null", 400, null );
 628         }
 629
 630         if ( !isAuthorizedToDeleteArtifacts( repositoryId ) )
 631         {
 632             throw new ArchivaRestServiceException( "not authorized to delete artifacts", 403, null );
 633         }
 634
 635         if ( StringUtils.isEmpty( namespace ) )
 636         {
 637             throw new ArchivaRestServiceException( "groupId cannot be null", 400, null );
 638         }
 639
 640         if ( StringUtils.isEmpty( projectId ) )
 641         {
 642             throw new ArchivaRestServiceException( "artifactId cannot be null", 400, null );
 643         }
 644
 645         if ( StringUtils.isEmpty( version ) )
 646         {
 647             throw new ArchivaRestServiceException( "version cannot be null", 400, null );
 648         }
 649
 650         RepositorySession repositorySession = null;
 651         try
 652         {
 653             repositorySession = repositorySessionFactory.createSession();
 654         }
 655         catch ( MetadataRepositoryException e )
 656         {
 657             e.printStackTrace( );
 658         }
 659
 660         try
 661         {
 662             ManagedRepositoryContent repository = getManagedRepositoryContent( repositoryId );
 663
 664             VersionedReference ref = new VersionedReference();
 665             ref.setArtifactId( projectId );
 666             ref.setGroupId( namespace );
 667             ref.setVersion( version );
 668
 669             repository.deleteVersion( ref );
 670
 671
 672             ArtifactReference artifactReference = new ArtifactReference();
 673             artifactReference.setGroupId( namespace );
 674             artifactReference.setArtifactId( projectId );
 675             artifactReference.setVersion( version );
 676
 677             MetadataRepository metadataRepository = repositorySession.getRepository();
 678
 679             List<ArtifactReference> related = repository.getRelatedArtifacts( repository.toVersion(artifactReference) );
 680             log.debug( "related: {}", related );
 681             for ( ArtifactReference artifactRef : related )
 682             {
 683                 repository.deleteArtifact( artifactRef );
 684             }
 685
 686             Collection<ArtifactMetadata> artifacts =
 687                 metadataRepository.getArtifacts(repositorySession , repositoryId, namespace, projectId, version );
 688
 689             for ( ArtifactMetadata artifactMetadata : artifacts )
 690             {
 691                 metadataRepository.removeTimestampedArtifact(repositorySession , artifactMetadata, version );
 692             }
 693
 694             metadataRepository.removeProjectVersion(repositorySession , repositoryId, namespace, projectId, version );
 695         }
 696         catch ( MetadataRepositoryException | MetadataResolutionException | RepositoryException | LayoutException e )
 697         {
 698             throw new ArchivaRestServiceException( "Repository exception: " + e.getMessage(), 500, e );
 699         }
 700         finally
 701         {
 702
 703             try {
 704                 repositorySession.save();
 705             } catch (MetadataSessionException e) {
 706                 log.error("Session save failed {}", e.getMessage());
 707             }
 708
 709             repositorySession.close();
 710         }
 711
 712
 713         return Boolean.TRUE;
 714     }
 715
 716     @Override
 717     public Boolean deleteArtifact( Artifact artifact )
 718         throws ArchivaRestServiceException
 719     {
 720
 721         String repositoryId = artifact.getContext();
 722         // some rest call can use context or repositoryId
 723         // so try both!!
 724         if ( StringUtils.isEmpty( repositoryId ) )
 725         {
 726             repositoryId = artifact.getRepositoryId();
 727         }
 728         if ( StringUtils.isEmpty( repositoryId ) )
 729         {
 730             throw new ArchivaRestServiceException( "repositoryId cannot be null", 400, null );
 731         }
 732
 733         if ( !isAuthorizedToDeleteArtifacts( repositoryId ) )
 734         {
 735             throw new ArchivaRestServiceException( "not authorized to delete artifacts", 403, null );
 736         }
 737
 738         if ( artifact == null )
 739         {
 740             throw new ArchivaRestServiceException( "artifact cannot be null", 400, null );
 741         }
 742
 743         if ( StringUtils.isEmpty( artifact.getGroupId() ) )
 744         {
 745             throw new ArchivaRestServiceException( "artifact.groupId cannot be null", 400, null );
 746         }
 747
 748         if ( StringUtils.isEmpty( artifact.getArtifactId() ) )
 749         {
 750             throw new ArchivaRestServiceException( "artifact.artifactId cannot be null", 400, null );
 751         }
 752
 753         // TODO more control on artifact fields
 754
 755         boolean snapshotVersion =
 756             VersionUtil.isSnapshot( artifact.getVersion() ) | VersionUtil.isGenericSnapshot( artifact.getVersion() );
 757
 758         RepositorySession repositorySession = null;
 759         try
 760         {
 761             repositorySession = repositorySessionFactory.createSession();
 762         }
 763         catch ( MetadataRepositoryException e )
 764         {
 765             e.printStackTrace( );
 766         }
 767         try
 768         {
 769             Date lastUpdatedTimestamp = Calendar.getInstance().getTime();
 770
 771             TimeZone timezone = TimeZone.getTimeZone( "UTC" );
 772             DateFormat fmt = new SimpleDateFormat( "yyyyMMdd.HHmmss" );
 773             fmt.setTimeZone( timezone );
 774             ManagedRepository repo = repositoryRegistry.getManagedRepository( repositoryId );
 775
 776             VersionedReference ref = new VersionedReference();
 777             ref.setArtifactId( artifact.getArtifactId() );
 778             ref.setGroupId( artifact.getGroupId() );
 779             ref.setVersion( artifact.getVersion() );
 780
 781             ManagedRepositoryContent repository = getManagedRepositoryContent( repositoryId );
 782
 783             ArtifactReference artifactReference = new ArtifactReference();
 784             artifactReference.setArtifactId( artifact.getArtifactId() );
 785             artifactReference.setGroupId( artifact.getGroupId() );
 786             artifactReference.setVersion( artifact.getVersion() );
 787             artifactReference.setClassifier( artifact.getClassifier() );
 788             artifactReference.setType( artifact.getType() );
 789
 790             MetadataRepository metadataRepository = repositorySession.getRepository();
 791
 792             String path = repository.toMetadataPath( ref );
 793
 794             if ( StringUtils.isNotBlank( artifact.getClassifier() ) )
 795             {
 796                 if ( StringUtils.isBlank( artifact.getPackaging() ) )
 797                 {
 798                     throw new ArchivaRestServiceException( "You must configure a type/packaging when using classifier",
 799                                                            400, null );
 800                 }
 801                 List<ArtifactReference> artifacts = repository.getRelatedArtifacts( artifactReference );
 802                 for (ArtifactReference aRef : artifacts ) {
 803                     repository.deleteArtifact( aRef );
 804                 }
 805
 806             }
 807             else
 808             {
 809
 810                 int index = path.lastIndexOf( '/' );
 811                 path = path.substring( 0, index );
 812                 StorageAsset targetPath = repo.getAsset( path );
 813
 814                 if ( !targetPath.exists() )
 815                 {
 816                     //throw new ContentNotFoundException(
 817                     //    artifact.getNamespace() + ":" + artifact.getArtifactId() + ":" + artifact.getVersion() );
 818                     log.warn( "targetPath {} not found skip file deletion", targetPath );
 819                     return false;
 820                 }
 821
 822                 // TODO: this should be in the storage mechanism so that it is all tied together
 823                 // delete from file system
 824                 if ( !snapshotVersion )
 825                 {
 826                     repository.deleteVersion( ref );
 827                 }
 828                 else
 829                 {
 830                     // We are deleting all version related artifacts for a snapshot version
 831                     VersionedReference versionRef = repository.toVersion( artifactReference );
 832                     List<ArtifactReference> related = repository.getRelatedArtifacts( versionRef );
 833                     log.debug( "related: {}", related );
 834                     for ( ArtifactReference artifactRef : related )
 835                     {
 836                         try
 837                         {
 838                             repository.deleteArtifact( artifactRef );
 839                         } catch (ContentNotFoundException e) {
 840                             log.warn( "Artifact that should be deleted, was not found: {}", artifactRef );
 841                         }
 842                     }
 843                     StorageAsset metadataFile = getMetadata( repo, targetPath.getPath() );
 844                     ArchivaRepositoryMetadata metadata = getMetadata( repository.getRepository().getType(), metadataFile );
 845
 846                     updateMetadata( metadata, metadataFile, lastUpdatedTimestamp, artifact );
 847                 }
 848             }
 849             Collection<ArtifactMetadata> artifacts = Collections.emptyList();
 850
 851             if ( snapshotVersion )
 852             {
 853                 String baseVersion = VersionUtil.getBaseVersion( artifact.getVersion() );
 854                 artifacts =
 855                     metadataRepository.getArtifacts(repositorySession , repositoryId, artifact.getGroupId(),
 856                         artifact.getArtifactId(), baseVersion );
 857             }
 858             else
 859             {
 860                 artifacts =
 861                     metadataRepository.getArtifacts(repositorySession , repositoryId, artifact.getGroupId(),
 862                         artifact.getArtifactId(), artifact.getVersion() );
 863             }
 864
 865             log.debug( "artifacts: {}", artifacts );
 866
 867             if ( artifacts.isEmpty() )
 868             {
 869                 if ( !snapshotVersion )
 870                 {
 871                     // verify metata repository doesn't contains anymore the version
 872                     Collection<String> projectVersions =
 873                         metadataRepository.getProjectVersions(repositorySession , repositoryId,
 874                             artifact.getGroupId(), artifact.getArtifactId() );
 875
 876                     if ( projectVersions.contains( artifact.getVersion() ) )
 877                     {
 878                         log.warn( "artifact not found when deleted but version still here ! so force cleanup" );
 879                         metadataRepository.removeProjectVersion(repositorySession , repositoryId,
 880                             artifact.getGroupId(), artifact.getArtifactId(), artifact.getVersion() );
 881                     }
 882
 883                 }
 884             }
 885
 886             for ( ArtifactMetadata artifactMetadata : artifacts )
 887             {
 888
 889                 // TODO: mismatch between artifact (snapshot) version and project (base) version here
 890                 if ( artifactMetadata.getVersion().equals( artifact.getVersion() ) )
 891                 {
 892                     if ( StringUtils.isNotBlank( artifact.getClassifier() ) )
 893                     {
 894                         if ( StringUtils.isBlank( artifact.getPackaging() ) )
 895                         {
 896                             throw new ArchivaRestServiceException(
 897                                 "You must configure a type/packaging when using classifier", 400, null );
 898                         }
 899                         // cleanup facet which contains classifier information
 900                         MavenArtifactFacet mavenArtifactFacet =
 901                             (MavenArtifactFacet) artifactMetadata.getFacet( MavenArtifactFacet.FACET_ID );
 902
 903                         if ( StringUtils.equals( artifact.getClassifier(), mavenArtifactFacet.getClassifier() ) )
 904                         {
 905                             artifactMetadata.removeFacet( MavenArtifactFacet.FACET_ID );
 906                             String groupId = artifact.getGroupId(), artifactId = artifact.getArtifactId(), version =
 907                                 artifact.getVersion();
 908                             MavenArtifactFacet mavenArtifactFacetToCompare = new MavenArtifactFacet();
 909                             mavenArtifactFacetToCompare.setClassifier( artifact.getClassifier() );
 910                             metadataRepository.removeFacetFromArtifact(repositorySession , repositoryId, groupId, artifactId,
 911                                 version, mavenArtifactFacetToCompare );
 912                             repositorySession.save();
 913                         }
 914
 915                     }
 916                     else
 917                     {
 918                         if ( snapshotVersion )
 919                         {
 920                             metadataRepository.removeTimestampedArtifact(repositorySession ,
 921                                 artifactMetadata, VersionUtil.getBaseVersion( artifact.getVersion() ) );
 922                         }
 923                         else
 924                         {
 925                             metadataRepository.removeArtifact(repositorySession ,
 926                                 artifactMetadata.getRepositoryId(),
 927                                 artifactMetadata.getNamespace(), artifactMetadata.getProject(),
 928                                 artifact.getVersion(), artifactMetadata.getId() );
 929                         }
 930                     }
 931                     // TODO: move into the metadata repository proper - need to differentiate attachment of
 932                     //       repository metadata to an artifact
 933                     for ( RepositoryListener listener : listeners )
 934                     {
 935                         listener.deleteArtifact( metadataRepository, repository.getId(),
 936                                                  artifactMetadata.getNamespace(), artifactMetadata.getProject(),
 937                                                  artifactMetadata.getVersion(), artifactMetadata.getId() );
 938                     }
 939
 940                     triggerAuditEvent( repositoryId, path, AuditEvent.REMOVE_FILE );
 941                 }
 942             }
 943         }
 944         catch ( ContentNotFoundException e )
 945         {
 946             throw new ArchivaRestServiceException( "Artifact does not exist: " + e.getMessage(), 400, e );
 947         }
 948         catch ( RepositoryNotFoundException e )
 949         {
 950             throw new ArchivaRestServiceException( "Target repository cannot be found: " + e.getMessage(), 400, e );
 951         }
 952         catch ( RepositoryException e )
 953         {
 954             throw new ArchivaRestServiceException( "Repository exception: " + e.getMessage(), 500, e );
 955         }
 956         catch (MetadataResolutionException | MetadataSessionException | MetadataRepositoryException | LayoutException e )
 957         {
 958             throw new ArchivaRestServiceException( "Repository exception: " + e.getMessage(), 500, e );
 959         }
 960         finally
 961         {
 962
 963             try {
 964                 repositorySession.save();
 965             } catch (MetadataSessionException e) {
 966                 log.error("Could not save sesion {}", e.getMessage());
 967             }
 968
 969             repositorySession.close();
 970         }
 971         return Boolean.TRUE;
 972     }
 973
 974     @Override
 975     public Boolean deleteGroupId( String groupId, String repositoryId )
 976         throws ArchivaRestServiceException
 977     {
 978         if ( StringUtils.isEmpty( repositoryId ) )
 979         {
 980             throw new ArchivaRestServiceException( "repositoryId cannot be null", 400, null );
 981         }
 982
 983         if ( !isAuthorizedToDeleteArtifacts( repositoryId ) )
 984         {
 985             throw new ArchivaRestServiceException( "not authorized to delete artifacts", 403, null );
 986         }
 987
 988         if ( StringUtils.isEmpty( groupId ) )
 989         {
 990             throw new ArchivaRestServiceException( "groupId cannot be null", 400, null );
 991         }
 992
 993         RepositorySession repositorySession = null;
 994         try
 995         {
 996             repositorySession = repositorySessionFactory.createSession();
 997         }
 998         catch ( MetadataRepositoryException e )
 999         {
1000             e.printStackTrace( );
1001         }
1002
1003         try
1004         {
1005             ManagedRepositoryContent repository = getManagedRepositoryContent( repositoryId );
1006
1007             repository.deleteGroupId( groupId );
1008
1009             MetadataRepository metadataRepository = repositorySession.getRepository();
1010
1011             metadataRepository.removeNamespace(repositorySession , repositoryId, groupId );
1012
1013             // just invalidate cache entry
1014             String cacheKey = repositoryId + "-" + groupId;
1015             namespacesCache.remove( cacheKey );
1016             namespacesCache.remove( repositoryId );
1017
1018             repositorySession.save();
1019         }
1020         catch (MetadataRepositoryException | MetadataSessionException e )
1021         {
1022             log.error( e.getMessage(), e );
1023             throw new ArchivaRestServiceException( "Repository exception: " + e.getMessage(), 500, e );
1024         }
1025         catch ( RepositoryException e )
1026         {
1027             log.error( e.getMessage(), e );
1028             throw new ArchivaRestServiceException( "Repository exception: " + e.getMessage(), 500, e );
1029         }
1030         finally
1031         {
1032
1033             repositorySession.close();
1034         }
1035         return true;
1036     }
1037
1038     @Override
1039     public Boolean deleteProject( String groupId, String projectId, String repositoryId )
1040         throws ArchivaRestServiceException
1041     {
1042         if ( StringUtils.isEmpty( repositoryId ) )
1043         {
1044             throw new ArchivaRestServiceException( "repositoryId cannot be null", 400, null );
1045         }
1046
1047         if ( !isAuthorizedToDeleteArtifacts( repositoryId ) )
1048         {
1049             throw new ArchivaRestServiceException( "not authorized to delete artifacts", 403, null );
1050         }
1051
1052         if ( StringUtils.isEmpty( groupId ) )
1053         {
1054             throw new ArchivaRestServiceException( "groupId cannot be null", 400, null );
1055         }
1056
1057         if ( StringUtils.isEmpty( projectId ) )
1058         {
1059             throw new ArchivaRestServiceException( "artifactId cannot be null", 400, null );
1060         }
1061
1062         RepositorySession repositorySession = null;
1063         try
1064         {
1065             repositorySession = repositorySessionFactory.createSession();
1066         }
1067         catch ( MetadataRepositoryException e )
1068         {
1069             e.printStackTrace( );
1070         }
1071
1072         try
1073         {
1074             ManagedRepositoryContent repository = getManagedRepositoryContent( repositoryId );
1075
1076             repository.deleteProject( groupId, projectId );
1077         }
1078         catch ( ContentNotFoundException e )
1079         {
1080             log.warn( "skip ContentNotFoundException: {}", e.getMessage() );
1081         }
1082         catch ( RepositoryException e )
1083         {
1084             log.error( e.getMessage(), e );
1085             throw new ArchivaRestServiceException( "Repository exception: " + e.getMessage(), 500, e );
1086         }
1087
1088         try
1089         {
1090
1091             MetadataRepository metadataRepository = repositorySession.getRepository();
1092
1093             metadataRepository.removeProject(repositorySession , repositoryId, groupId, projectId );
1094
1095             repositorySession.save();
1096         }
1097         catch (MetadataRepositoryException | MetadataSessionException e )
1098         {
1099             log.error( e.getMessage(), e );
1100             throw new ArchivaRestServiceException( "Repository exception: " + e.getMessage(), 500, e );
1101         }
1102         finally
1103         {
1104
1105             repositorySession.close();
1106         }
1107         return true;
1108
1109     }
1110
1111     @Override
1112     public Boolean isAuthorizedToDeleteArtifacts( String repoId )
1113         throws ArchivaRestServiceException
1114     {
1115         String userName =
1116             getAuditInformation().getUser() == null ? "guest" : getAuditInformation().getUser().getUsername();
1117
1118         try
1119         {
1120             return userRepositories.isAuthorizedToDeleteArtifacts( userName, repoId );
1121         }
1122         catch ( ArchivaSecurityException e )
1123         {
1124             throw new ArchivaRestServiceException( e.getMessage(),
1125                                                    Response.Status.INTERNAL_SERVER_ERROR.getStatusCode(), e );
1126         }
1127     }
1128
1129     @Override
1130     public RepositoryScanStatistics scanRepositoryDirectoriesNow( String repositoryId )
1131         throws ArchivaRestServiceException
1132     {
1133         long sinceWhen = RepositoryScanner.FRESH_SCAN;
1134         try
1135         {
1136             return repoScanner.scan( repositoryRegistry.getManagedRepository( repositoryId ), sinceWhen );
1137         }
1138         catch ( RepositoryScannerException e )
1139         {
1140             log.error( e.getMessage(), e );
1141             throw new ArchivaRestServiceException( "RepositoryScannerException exception: " + e.getMessage(), 500, e );
1142         }
1143     }
1144
1145     /**
1146      * Update artifact level metadata. Creates one if metadata does not exist after artifact deletion.
1147      *
1148      * @param metadata
1149      */
1150     private void updateMetadata( ArchivaRepositoryMetadata metadata, StorageAsset metadataFile, Date lastUpdatedTimestamp,
1151                                  Artifact artifact )
1152         throws RepositoryMetadataException
1153     {
1154         List<String> availableVersions = new ArrayList<>();
1155         String latestVersion = "";
1156
1157         if ( metadataFile.exists() )
1158         {
1159             if ( metadata.getAvailableVersions() != null )
1160             {
1161                 availableVersions = metadata.getAvailableVersions();
1162
1163                 if ( availableVersions.size() > 0 )
1164                 {
1165                     Collections.sort( availableVersions, VersionComparator.getInstance() );
1166
1167                     if ( availableVersions.contains( artifact.getVersion() ) )
1168                     {
1169                         availableVersions.remove( availableVersions.indexOf( artifact.getVersion() ) );
1170                     }
1171                     if ( availableVersions.size() > 0 )
1172                     {
1173                         latestVersion = availableVersions.get( availableVersions.size() - 1 );
1174                     }
1175                 }
1176             }
1177         }
1178
1179         if ( metadata.getGroupId() == null )
1180         {
1181             metadata.setGroupId( artifact.getGroupId() );
1182         }
1183         if ( metadata.getArtifactId() == null )
1184         {
1185             metadata.setArtifactId( artifact.getArtifactId() );
1186         }
1187
1188         if ( !VersionUtil.isSnapshot( artifact.getVersion() ) )
1189         {
1190             if ( metadata.getReleasedVersion() != null && metadata.getReleasedVersion().equals(
1191                 artifact.getVersion() ) )
1192             {
1193                 metadata.setReleasedVersion( latestVersion );
1194             }
1195         }
1196
1197         metadata.setLatestVersion( latestVersion );
1198         metadata.setLastUpdatedTimestamp( lastUpdatedTimestamp );
1199         metadata.setAvailableVersions( availableVersions );
1200
1201         try (OutputStreamWriter writer = new OutputStreamWriter(metadataFile.getWriteStream(true))) {
1202             RepositoryMetadataWriter.write(metadata, writer);
1203         } catch (IOException e) {
1204             throw new RepositoryMetadataException(e);
1205         }
1206         ChecksummedFile checksum = new ChecksummedFile( metadataFile.getFilePath() );
1207         checksum.fixChecksums( algorithms );
1208     }
1209
1210     @Override
1211     public StringList getRunningRemoteDownloadIds()
1212     {
1213         return new StringList( downloadRemoteIndexScheduler.getRunningRemoteDownloadIds() );
1214     }
1215
1216     public RepositorySessionFactory getRepositorySessionFactory()
1217     {
1218         return repositorySessionFactory;
1219     }
1220
1221     public void setRepositorySessionFactory( RepositorySessionFactory repositorySessionFactory )
1222     {
1223         this.repositorySessionFactory = repositorySessionFactory;
1224     }
1225
1226     public List<RepositoryListener> getListeners()
1227     {
1228         return listeners;
1229     }
1230
1231     public void setListeners( List<RepositoryListener> listeners )
1232     {
1233         this.listeners = listeners;
1234     }
1235
1236     public ArchivaAdministration getArchivaAdministration()
1237     {
1238         return archivaAdministration;
1239     }
1240
1241     public void setArchivaAdministration( ArchivaAdministration archivaAdministration )
1242     {
1243         this.archivaAdministration = archivaAdministration;
1244     }
1245 }
1246
1247