]> source.dussan.org Git - archiva.git/blob
cfb5dfc30ede2809d843e30b51bf1825de209e38
[archiva.git] /
1 package org.apache.archiva.rest.services;
2
3 /*
4  * Licensed to the Apache Software Foundation (ASF) under one
5  * or more contributor license agreements.  See the NOTICE file
6  * distributed with this work for additional information
7  * regarding copyright ownership.  The ASF licenses this file
8  * to you under the Apache License, Version 2.0 (the
9  * "License"); you may not use this file except in compliance
10  * with the License.  You may obtain a copy of the License at
11  *
12  *   http://www.apache.org/licenses/LICENSE-2.0
13  *
14  * Unless required by applicable law or agreed to in writing,
15  * software distributed under the License is distributed on an
16  * "AS IS" BASIS, WITHOUT WARRANTIES OR CONDITIONS OF ANY
17  * KIND, either express or implied.  See the License for the
18  * specific language governing permissions and limitations
19  * under the License.
20  */
21
22 import org.apache.archiva.admin.model.RepositoryAdminException;
23 import org.apache.archiva.admin.model.admin.ArchivaAdministration;
24 import org.apache.archiva.checksum.ChecksumAlgorithm;
25 import org.apache.archiva.checksum.ChecksummedFile;
26 import org.apache.archiva.common.utils.VersionComparator;
27 import org.apache.archiva.common.utils.VersionUtil;
28 import org.apache.archiva.maven2.model.Artifact;
29 import org.apache.archiva.metadata.model.ArtifactMetadata;
30 import org.apache.archiva.metadata.model.facets.AuditEvent;
31 import org.apache.archiva.metadata.maven.model.MavenArtifactFacet;
32 import org.apache.archiva.metadata.repository.*;
33 import org.apache.archiva.model.ArchivaRepositoryMetadata;
34 import org.apache.archiva.model.ArtifactReference;
35 import org.apache.archiva.model.VersionedReference;
36 import org.apache.archiva.redback.authentication.AuthenticationResult;
37 import org.apache.archiva.redback.authorization.AuthorizationException;
38 import org.apache.archiva.components.cache.Cache;
39 import org.apache.archiva.components.taskqueue.TaskQueueException;
40 import org.apache.archiva.redback.system.DefaultSecuritySession;
41 import org.apache.archiva.redback.system.SecuritySession;
42 import org.apache.archiva.redback.system.SecuritySystem;
43 import org.apache.archiva.redback.users.User;
44 import org.apache.archiva.redback.users.UserManagerException;
45 import org.apache.archiva.redback.users.UserNotFoundException;
46 import org.apache.archiva.repository.ContentNotFoundException;
47 import org.apache.archiva.repository.ManagedRepositoryContent;
48 import org.apache.archiva.repository.LayoutException;
49 import org.apache.archiva.repository.ManagedRepository;
50 import org.apache.archiva.repository.BaseRepositoryContentLayout;
51 import org.apache.archiva.repository.RepositoryException;
52 import org.apache.archiva.repository.RepositoryNotFoundException;
53 import org.apache.archiva.repository.RepositoryRegistry;
54 import org.apache.archiva.repository.RepositoryType;
55 import org.apache.archiva.repository.content.ContentItem;
56 import org.apache.archiva.repository.content.ItemNotFoundException;
57 import org.apache.archiva.repository.content.Version;
58 import org.apache.archiva.repository.content.base.ArchivaItemSelector;
59 import org.apache.archiva.repository.storage.fs.FsStorageUtil;
60 import org.apache.archiva.repository.storage.RepositoryStorage;
61 import org.apache.archiva.repository.storage.StorageAsset;
62 import org.apache.archiva.metadata.audit.RepositoryListener;
63 import org.apache.archiva.repository.metadata.base.MetadataTools;
64 import org.apache.archiva.repository.metadata.RepositoryMetadataException;
65 import org.apache.archiva.repository.metadata.base.RepositoryMetadataWriter;
66 import org.apache.archiva.repository.scanner.RepositoryScanStatistics;
67 import org.apache.archiva.repository.scanner.RepositoryScanner;
68 import org.apache.archiva.repository.scanner.RepositoryScannerException;
69 import org.apache.archiva.repository.scanner.RepositoryScannerInstance;
70 import org.apache.archiva.rest.api.model.ArtifactTransferRequest;
71 import org.apache.archiva.rest.api.model.StringList;
72 import org.apache.archiva.rest.api.services.ArchivaRestServiceException;
73 import org.apache.archiva.rest.api.services.RepositoriesService;
74 import org.apache.archiva.scheduler.ArchivaTaskScheduler;
75 import org.apache.archiva.scheduler.indexing.maven.ArchivaIndexingTaskExecutor;
76 import org.apache.archiva.scheduler.indexing.ArtifactIndexingTask;
77 import org.apache.archiva.scheduler.indexing.DownloadRemoteIndexException;
78 import org.apache.archiva.scheduler.indexing.DownloadRemoteIndexScheduler;
79 import org.apache.archiva.scheduler.repository.model.RepositoryTask;
80 import org.apache.archiva.security.ArchivaSecurityException;
81 import org.apache.archiva.security.common.ArchivaRoleConstants;
82 import org.apache.commons.io.FilenameUtils;
83 import org.apache.commons.lang3.StringUtils;
84 import org.slf4j.Logger;
85 import org.slf4j.LoggerFactory;
86 import org.springframework.beans.factory.annotation.Autowired;
87 import org.springframework.stereotype.Service;
88
89 import javax.inject.Inject;
90 import javax.inject.Named;
91 import javax.ws.rs.core.Response;
92 import java.io.IOException;
93 import java.io.OutputStreamWriter;
94 import java.nio.file.Path;
95 import java.text.DateFormat;
96 import java.text.SimpleDateFormat;
97 import java.util.ArrayList;
98 import java.util.Arrays;
99 import java.util.Calendar;
100 import java.util.Collection;
101 import java.util.Collections;
102 import java.util.Date;
103 import java.util.List;
104 import java.util.TimeZone;
105
106 /**
107  * @author Olivier Lamy
108  * @since 1.4-M1
109  */
110 @Service("repositoriesService#rest")
111 public class DefaultRepositoriesService
112     extends AbstractRestService
113     implements RepositoriesService
114 {
115     private Logger log = LoggerFactory.getLogger( getClass() );
116
117     @Inject
118     @Named(value = "taskExecutor#indexing")
119     private ArchivaIndexingTaskExecutor archivaIndexingTaskExecutor;
120
121     @Inject
122     private RepositoryRegistry repositoryRegistry;
123
124     @Inject
125     private SecuritySystem securitySystem;
126
127     @Inject
128     @Named(value = "archivaTaskScheduler#repository")
129     private ArchivaTaskScheduler<RepositoryTask> scheduler;
130
131     @Inject
132     private DownloadRemoteIndexScheduler downloadRemoteIndexScheduler;
133
134     @Inject
135     @Named(value = "repositorySessionFactory")
136     protected RepositorySessionFactory repositorySessionFactory;
137
138     @Inject
139     @Autowired(required = false)
140     protected List<RepositoryListener> listeners = new ArrayList<RepositoryListener>();
141
142     @Inject
143     private RepositoryScanner repoScanner;
144
145     /**
146      * Cache used for namespaces
147      */
148     @Inject
149     @Named(value = "cache#namespaces")
150     private Cache<String, Collection<String>> namespacesCache;
151
152     private List<ChecksumAlgorithm> algorithms = Arrays.asList(ChecksumAlgorithm.SHA256, ChecksumAlgorithm.SHA1, ChecksumAlgorithm.MD5 );
153
154     @Override
155     public Boolean scanRepository( String repositoryId, boolean fullScan )
156     {
157         return doScanRepository( repositoryId, fullScan );
158     }
159
160     @Override
161     public Boolean alreadyScanning( String repositoryId )
162     {
163         // check queue first to make sure it doesn't get dequeued between calls
164         if ( repositoryTaskScheduler.isProcessingRepositoryTask( repositoryId ) )
165         {
166             return true;
167         }
168         for ( RepositoryScannerInstance scan : repoScanner.getInProgressScans() )
169         {
170             if ( scan.getRepository().getId().equals( repositoryId ) )
171             {
172                 return true;
173             }
174         }
175         return false;
176     }
177
178     @Override
179     public Boolean removeScanningTaskFromQueue( String repositoryId )
180     {
181         RepositoryTask task = new RepositoryTask();
182         task.setRepositoryId( repositoryId );
183         try
184         {
185             return repositoryTaskScheduler.unQueueTask( task );
186         }
187         catch ( TaskQueueException e )
188         {
189             log.error( "failed to unschedule scanning of repo with id {}", repositoryId, e );
190             return false;
191         }
192     }
193
194     private ManagedRepositoryContent getManagedRepositoryContent( String id) throws RepositoryException
195     {
196         org.apache.archiva.repository.ManagedRepository repo = repositoryRegistry.getManagedRepository( id );
197         if (repo==null) {
198             throw new RepositoryException( "Repository not found "+id );
199         }
200         return repo.getContent();
201     }
202
203     @Override
204     public Boolean scanRepositoryNow( String repositoryId, boolean fullScan )
205         throws ArchivaRestServiceException
206     {
207
208         try
209         {
210
211             org.apache.archiva.repository.ManagedRepository repository = repositoryRegistry.getManagedRepository( repositoryId );
212
213
214             ArtifactIndexingTask task =
215                 new ArtifactIndexingTask( repository, null, ArtifactIndexingTask.Action.FINISH, repository.getIndexingContext() );
216
217             task.setExecuteOnEntireRepo( true );
218             task.setOnlyUpdate( !fullScan );
219
220             archivaIndexingTaskExecutor.executeTask( task );
221
222             scheduler.queueTask( new RepositoryTask( repositoryId, fullScan ) );
223
224             return Boolean.TRUE;
225         }
226         catch ( Exception e )
227         {
228             log.error( e.getMessage(), e );
229             throw new ArchivaRestServiceException( e.getMessage(), e );
230         }
231     }
232
233     @Override
234     public Boolean scheduleDownloadRemoteIndex( String repositoryId, boolean now, boolean fullDownload )
235         throws ArchivaRestServiceException
236     {
237         try
238         {
239             downloadRemoteIndexScheduler.scheduleDownloadRemote( repositoryId, now, fullDownload );
240         }
241         catch ( DownloadRemoteIndexException e )
242         {
243             log.error( e.getMessage(), e );
244             throw new ArchivaRestServiceException( e.getMessage(), e );
245         }
246         return Boolean.TRUE;
247     }
248
249     @Override
250     public Boolean copyArtifact( ArtifactTransferRequest artifactTransferRequest )
251         throws ArchivaRestServiceException
252     {
253         // check parameters
254         String userName = getAuditInformation().getUser().getUsername();
255         if ( StringUtils.isBlank( userName ) )
256         {
257             throw new ArchivaRestServiceException( "copyArtifact call: userName not found", null );
258         }
259
260         if ( StringUtils.isBlank( artifactTransferRequest.getRepositoryId() ) )
261         {
262             throw new ArchivaRestServiceException( "copyArtifact call: sourceRepositoryId cannot be null", null );
263         }
264
265         if ( StringUtils.isBlank( artifactTransferRequest.getTargetRepositoryId() ) )
266         {
267             throw new ArchivaRestServiceException( "copyArtifact call: targetRepositoryId cannot be null", null );
268         }
269
270         ManagedRepository source = null;
271         source = repositoryRegistry.getManagedRepository( artifactTransferRequest.getRepositoryId() );
272
273         if ( source == null )
274         {
275             throw new ArchivaRestServiceException(
276                 "cannot find repository with id " + artifactTransferRequest.getRepositoryId(), null );
277         }
278
279         ManagedRepository target = null;
280         target = repositoryRegistry.getManagedRepository( artifactTransferRequest.getTargetRepositoryId() );
281
282         if ( target == null )
283         {
284             throw new ArchivaRestServiceException(
285                 "cannot find repository with id " + artifactTransferRequest.getTargetRepositoryId(), null );
286         }
287
288         if ( StringUtils.isBlank( artifactTransferRequest.getGroupId() ) )
289         {
290             throw new ArchivaRestServiceException( "groupId is mandatory", null );
291         }
292
293         if ( StringUtils.isBlank( artifactTransferRequest.getArtifactId() ) )
294         {
295             throw new ArchivaRestServiceException( "artifactId is mandatory", null );
296         }
297
298         if ( StringUtils.isBlank( artifactTransferRequest.getVersion() ) )
299         {
300             throw new ArchivaRestServiceException( "version is mandatory", null );
301         }
302
303         if ( VersionUtil.isSnapshot( artifactTransferRequest.getVersion() ) )
304         {
305             throw new ArchivaRestServiceException( "copy of SNAPSHOT not supported", null );
306         }
307
308         // end check parameters
309
310         User user = null;
311         try
312         {
313             user = securitySystem.getUserManager().findUser( userName );
314         }
315         catch ( UserNotFoundException e )
316         {
317             throw new ArchivaRestServiceException( "user " + userName + " not found", e );
318         }
319         catch ( UserManagerException e )
320         {
321             throw new ArchivaRestServiceException( "ArchivaRestServiceException:" + e.getMessage(), e );
322         }
323
324         // check karma on source : read
325         AuthenticationResult authn = new AuthenticationResult( true, userName, null );
326         SecuritySession securitySession = new DefaultSecuritySession( authn, user );
327         try
328         {
329             boolean authz =
330                 securitySystem.isAuthorized( securitySession, ArchivaRoleConstants.OPERATION_REPOSITORY_ACCESS,
331                                              artifactTransferRequest.getRepositoryId() );
332             if ( !authz )
333             {
334                 throw new ArchivaRestServiceException(
335                     "not authorized to access repo:" + artifactTransferRequest.getRepositoryId(), null );
336             }
337         }
338         catch ( AuthorizationException e )
339         {
340             log.error( "error reading permission: {}", e.getMessage(), e );
341             throw new ArchivaRestServiceException( e.getMessage(), e );
342         }
343
344         // check karma on target: write
345         try
346         {
347             boolean authz =
348                 securitySystem.isAuthorized( securitySession, ArchivaRoleConstants.OPERATION_REPOSITORY_UPLOAD,
349                                              artifactTransferRequest.getTargetRepositoryId() );
350             if ( !authz )
351             {
352                 throw new ArchivaRestServiceException(
353                     "not authorized to write to repo:" + artifactTransferRequest.getTargetRepositoryId(), null );
354             }
355         }
356         catch ( AuthorizationException e )
357         {
358             log.error( "error reading permission: {}", e.getMessage(), e );
359             throw new ArchivaRestServiceException( e.getMessage(), e );
360         }
361
362         // sounds good we can continue !
363
364         ArtifactReference artifactReference = new ArtifactReference();
365         artifactReference.setArtifactId( artifactTransferRequest.getArtifactId() );
366         artifactReference.setGroupId( artifactTransferRequest.getGroupId() );
367         artifactReference.setVersion( artifactTransferRequest.getVersion() );
368         artifactReference.setClassifier( artifactTransferRequest.getClassifier() );
369         String packaging = StringUtils.trim( artifactTransferRequest.getPackaging() );
370         artifactReference.setType( StringUtils.isEmpty( packaging ) ? "jar" : packaging );
371
372         try
373         {
374
375             ManagedRepositoryContent sourceRepository =
376                 getManagedRepositoryContent( artifactTransferRequest.getRepositoryId() );
377             BaseRepositoryContentLayout layout = sourceRepository.getLayout( BaseRepositoryContentLayout.class );
378             String artifactSourcePath = sourceRepository.toPath( artifactReference );
379
380             if ( StringUtils.isEmpty( artifactSourcePath ) )
381             {
382                 log.error( "cannot find artifact {}", artifactTransferRequest );
383                 throw new ArchivaRestServiceException( "cannot find artifact " + artifactTransferRequest.toString(),
384                                                        null );
385             }
386
387             StorageAsset artifactFile = source.getAsset( artifactSourcePath );
388
389             if ( !artifactFile.exists() )
390             {
391                 log.error( "cannot find artifact {}", artifactTransferRequest );
392                 throw new ArchivaRestServiceException( "cannot find artifact " + artifactTransferRequest.toString(),
393                                                        null );
394             }
395
396             ManagedRepositoryContent targetRepository =
397                 getManagedRepositoryContent( artifactTransferRequest.getTargetRepositoryId() );
398
399             String artifactPath = sourceRepository.toPath( artifactReference );
400
401             int lastIndex = artifactPath.lastIndexOf( '/' );
402
403             String path = artifactPath.substring( 0, lastIndex );
404             StorageAsset targetDir = target.getAsset( path );
405
406             Date lastUpdatedTimestamp = Calendar.getInstance().getTime();
407             int newBuildNumber = 1;
408             String timestamp = null;
409
410             StorageAsset versionMetadataFile = target.getAsset(path + "/" + MetadataTools.MAVEN_METADATA );
411             /* unused */ getMetadata( targetRepository.getRepository().getType(), versionMetadataFile );
412
413             if ( !targetDir.exists() )
414             {
415                 targetDir = target.addAsset(targetDir.getPath(), true);
416                 targetDir.create();
417             }
418
419             String filename = artifactPath.substring( lastIndex + 1 );
420
421             boolean fixChecksums =
422                 !( archivaAdministration.getKnownContentConsumers().contains( "create-missing-checksums" ) );
423
424             StorageAsset targetFile = target.getAsset(targetDir.getPath() + "/" + filename );
425             if ( targetFile.exists() && target.blocksRedeployments())
426             {
427                 throw new ArchivaRestServiceException(
428                     "artifact already exists in target repo: " + artifactTransferRequest.getTargetRepositoryId()
429                         + " and redeployment blocked", null
430                 );
431             }
432             else
433             {
434                 copyFile(artifactFile, targetFile, fixChecksums );
435                 queueRepositoryTask( target.getId(), targetFile );
436             }
437
438             // copy source pom to target repo
439             String pomFilename = filename;
440             if ( StringUtils.isNotBlank( artifactTransferRequest.getClassifier() ) )
441             {
442                 pomFilename = StringUtils.remove( pomFilename, "-" + artifactTransferRequest.getClassifier() );
443             }
444             pomFilename = FilenameUtils.removeExtension( pomFilename ) + ".pom";
445
446             StorageAsset pomFile = source.getAsset(
447                 artifactSourcePath.substring( 0, artifactPath.lastIndexOf( '/' ) )+"/"+ pomFilename );
448
449             if ( pomFile != null && pomFile.exists() )
450             {
451                 StorageAsset targetPomFile = target.getAsset( targetDir.getPath() + "/" + pomFilename );
452                 copyFile(pomFile, targetPomFile, fixChecksums );
453                 queueRepositoryTask( target.getId(), targetPomFile );
454
455
456             }
457
458             // explicitly update only if metadata-updater consumer is not enabled!
459             if ( !archivaAdministration.getKnownContentConsumers().contains( "metadata-updater" ) )
460             {
461                 updateProjectMetadata( target.getType(), target, targetDir, lastUpdatedTimestamp, timestamp, newBuildNumber,
462                                        fixChecksums, artifactTransferRequest );
463
464
465             }
466
467             String msg =
468                 "Artifact \'" + artifactTransferRequest.getGroupId() + ":" + artifactTransferRequest.getArtifactId()
469                     + ":" + artifactTransferRequest.getVersion() + "\' was successfully deployed to repository \'"
470                     + artifactTransferRequest.getTargetRepositoryId() + "\'";
471             log.debug("copyArtifact {}", msg);
472
473         }
474         catch ( RepositoryException | LayoutException e )
475         {
476             log.error( "RepositoryException: {}", e.getMessage(), e );
477             throw new ArchivaRestServiceException( e.getMessage(), e );
478         }
479         catch ( RepositoryAdminException e )
480         {
481             log.error( "RepositoryAdminException: {}", e.getMessage(), e );
482             throw new ArchivaRestServiceException( e.getMessage(), e );
483         }
484         catch ( IOException e )
485         {
486             log.error( "IOException: {}", e.getMessage(), e );
487             throw new ArchivaRestServiceException( e.getMessage(), e );
488         }
489         return true;
490     }
491
492     private void queueRepositoryTask( String repositoryId, StorageAsset localFile )
493     {
494
495         RepositoryTask task = new RepositoryTask();
496         task.setRepositoryId( repositoryId );
497         task.setResourceFile( localFile );
498         task.setUpdateRelatedArtifacts( true );
499         //task.setScanAll( true );
500
501         try
502         {
503             scheduler.queueTask( task );
504         }
505         catch ( TaskQueueException e )
506         {
507             log.error( "Unable to queue repository task to execute consumers on resource file ['{}"
508                            + "'].", localFile.getName());
509         }
510     }
511
512     private ArchivaRepositoryMetadata getMetadata( RepositoryType repositoryType, StorageAsset metadataFile )
513         throws RepositoryMetadataException
514     {
515         ArchivaRepositoryMetadata metadata = new ArchivaRepositoryMetadata();
516         if ( metadataFile.exists() )
517         {
518             metadata = repositoryRegistry.getMetadataReader( repositoryType ).read( metadataFile );
519         }
520         return metadata;
521     }
522
523     private StorageAsset getMetadata( RepositoryStorage storage, String targetPath )
524     {
525         return storage.getAsset( targetPath + "/" + MetadataTools.MAVEN_METADATA );
526
527     }
528
529     /*
530      * Copies the asset to the new target.
531      */
532     private void copyFile(StorageAsset sourceFile, StorageAsset targetPath, boolean fixChecksums)
533         throws IOException
534     {
535
536         FsStorageUtil.copyAsset( sourceFile, targetPath, true );
537         if ( fixChecksums )
538         {
539             fixChecksums( targetPath );
540         }
541     }
542
543     private void fixChecksums( StorageAsset file )
544     {
545         Path destinationFile = file.getFilePath();
546         if (destinationFile!=null)
547         {
548             ChecksummedFile checksum = new ChecksummedFile( destinationFile );
549             checksum.fixChecksums( algorithms );
550         }
551     }
552
553     private void updateProjectMetadata( RepositoryType repositoryType, RepositoryStorage storage, StorageAsset targetPath, Date lastUpdatedTimestamp, String timestamp, int buildNumber,
554                                         boolean fixChecksums, ArtifactTransferRequest artifactTransferRequest )
555         throws RepositoryMetadataException
556     {
557         List<String> availableVersions = new ArrayList<>();
558         String latestVersion = artifactTransferRequest.getVersion();
559
560         StorageAsset projectDir = targetPath.getParent();
561         StorageAsset projectMetadataFile = storage.getAsset( projectDir.getPath()+"/"+MetadataTools.MAVEN_METADATA );
562
563         ArchivaRepositoryMetadata projectMetadata = getMetadata( repositoryType, projectMetadataFile );
564
565         if ( projectMetadataFile.exists() )
566         {
567             availableVersions = projectMetadata.getAvailableVersions();
568
569             Collections.sort( availableVersions, VersionComparator.getInstance() );
570
571             if ( !availableVersions.contains( artifactTransferRequest.getVersion() ) )
572             {
573                 availableVersions.add( artifactTransferRequest.getVersion() );
574             }
575
576             latestVersion = availableVersions.get( availableVersions.size() - 1 );
577         }
578         else
579         {
580             availableVersions.add( artifactTransferRequest.getVersion() );
581
582             projectMetadata.setGroupId( artifactTransferRequest.getGroupId() );
583             projectMetadata.setArtifactId( artifactTransferRequest.getArtifactId() );
584         }
585
586         if ( projectMetadata.getGroupId() == null )
587         {
588             projectMetadata.setGroupId( artifactTransferRequest.getGroupId() );
589         }
590
591         if ( projectMetadata.getArtifactId() == null )
592         {
593             projectMetadata.setArtifactId( artifactTransferRequest.getArtifactId() );
594         }
595
596         projectMetadata.setLatestVersion( latestVersion );
597         projectMetadata.setLastUpdatedTimestamp( lastUpdatedTimestamp );
598         projectMetadata.setAvailableVersions( availableVersions );
599
600         if ( !VersionUtil.isSnapshot( artifactTransferRequest.getVersion() ) )
601         {
602             projectMetadata.setReleasedVersion( latestVersion );
603         }
604
605         try(OutputStreamWriter writer = new OutputStreamWriter(projectMetadataFile.getWriteStream(true))) {
606             RepositoryMetadataWriter.write(projectMetadata, writer);
607         } catch (IOException e) {
608             throw new RepositoryMetadataException(e);
609         }
610
611         if ( fixChecksums )
612         {
613             fixChecksums( projectMetadataFile );
614         }
615     }
616
617     @Override
618     public Boolean removeProjectVersion( String repositoryId, String namespace, String projectId, String version )
619         throws ArchivaRestServiceException
620     {
621         // if not a generic we can use the standard way to delete artifact
622         if ( !VersionUtil.isGenericSnapshot( version ) )
623         {
624             Artifact artifact = new Artifact( namespace, projectId, version );
625             artifact.setRepositoryId( repositoryId );
626             artifact.setContext( repositoryId );
627             return deleteArtifact( artifact );
628         }
629
630         if ( StringUtils.isEmpty( repositoryId ) )
631         {
632             throw new ArchivaRestServiceException( "repositoryId cannot be null", 400, null );
633         }
634
635         if ( !isAuthorizedToDeleteArtifacts( repositoryId ) )
636         {
637             throw new ArchivaRestServiceException( "not authorized to delete artifacts", 403, null );
638         }
639
640         if ( StringUtils.isEmpty( namespace ) )
641         {
642             throw new ArchivaRestServiceException( "groupId cannot be null", 400, null );
643         }
644
645         if ( StringUtils.isEmpty( projectId ) )
646         {
647             throw new ArchivaRestServiceException( "artifactId cannot be null", 400, null );
648         }
649
650         if ( StringUtils.isEmpty( version ) )
651         {
652             throw new ArchivaRestServiceException( "version cannot be null", 400, null );
653         }
654
655         RepositorySession repositorySession = null;
656         try
657         {
658             repositorySession = repositorySessionFactory.createSession();
659         }
660         catch ( MetadataRepositoryException e )
661         {
662             e.printStackTrace( );
663         }
664
665         try
666         {
667             ManagedRepositoryContent repository = getManagedRepositoryContent( repositoryId );
668             BaseRepositoryContentLayout layout = repository.getLayout( BaseRepositoryContentLayout.class );
669
670             ArchivaItemSelector selector = ArchivaItemSelector.builder( )
671                 .withNamespace( namespace )
672                 .withProjectId( projectId )
673                 .withVersion( version )
674                 .build( );
675             Version versionItem = layout.getVersion( selector );
676             if (versionItem!=null && versionItem.exists()) {
677                 repository.deleteItem( versionItem );
678             }
679
680             MetadataRepository metadataRepository = repositorySession.getRepository();
681
682             Collection<ArtifactMetadata> artifacts =
683                 metadataRepository.getArtifacts(repositorySession , repositoryId, namespace, projectId, version );
684
685             for ( ArtifactMetadata artifactMetadata : artifacts )
686             {
687                 metadataRepository.removeTimestampedArtifact(repositorySession , artifactMetadata, version );
688             }
689
690             metadataRepository.removeProjectVersion(repositorySession , repositoryId, namespace, projectId, version );
691         }
692         catch ( MetadataRepositoryException | MetadataResolutionException | RepositoryException | ItemNotFoundException | LayoutException e )
693         {
694             throw new ArchivaRestServiceException( "Repository exception: " + e.getMessage(), 500, e );
695         }
696         finally
697         {
698
699             try {
700                 repositorySession.save();
701             } catch (MetadataSessionException e) {
702                 log.error("Session save failed {}", e.getMessage());
703             }
704
705             repositorySession.close();
706         }
707
708
709         return Boolean.TRUE;
710     }
711
712     @Override
713     public Boolean deleteArtifact( Artifact artifact )
714         throws ArchivaRestServiceException
715     {
716
717         String repositoryId = artifact.getContext();
718         // some rest call can use context or repositoryId
719         // so try both!!
720         if ( StringUtils.isEmpty( repositoryId ) )
721         {
722             repositoryId = artifact.getRepositoryId();
723         }
724         if ( StringUtils.isEmpty( repositoryId ) )
725         {
726             throw new ArchivaRestServiceException( "repositoryId cannot be null", 400, null );
727         }
728
729         if ( !isAuthorizedToDeleteArtifacts( repositoryId ) )
730         {
731             throw new ArchivaRestServiceException( "not authorized to delete artifacts", 403, null );
732         }
733
734         if ( artifact == null )
735         {
736             throw new ArchivaRestServiceException( "artifact cannot be null", 400, null );
737         }
738
739         if ( StringUtils.isEmpty( artifact.getGroupId() ) )
740         {
741             throw new ArchivaRestServiceException( "artifact.groupId cannot be null", 400, null );
742         }
743
744         if ( StringUtils.isEmpty( artifact.getArtifactId() ) )
745         {
746             throw new ArchivaRestServiceException( "artifact.artifactId cannot be null", 400, null );
747         }
748
749         // TODO more control on artifact fields
750
751         boolean snapshotVersion =
752             VersionUtil.isSnapshot( artifact.getVersion() ) | VersionUtil.isGenericSnapshot( artifact.getVersion() );
753
754         RepositorySession repositorySession = null;
755         try
756         {
757             repositorySession = repositorySessionFactory.createSession();
758         }
759         catch ( MetadataRepositoryException e )
760         {
761             e.printStackTrace( );
762         }
763         try
764         {
765             Date lastUpdatedTimestamp = Calendar.getInstance().getTime();
766
767             TimeZone timezone = TimeZone.getTimeZone( "UTC" );
768             DateFormat fmt = new SimpleDateFormat( "yyyyMMdd.HHmmss" );
769             fmt.setTimeZone( timezone );
770             ManagedRepository repo = repositoryRegistry.getManagedRepository( repositoryId );
771
772             ManagedRepositoryContent repository = getManagedRepositoryContent( repositoryId );
773             BaseRepositoryContentLayout layout = repository.getLayout( BaseRepositoryContentLayout.class );
774
775             ArchivaItemSelector versionSelector = ArchivaItemSelector.builder( ).withNamespace( artifact.getGroupId( ) )
776                 .withProjectId( artifact.getArtifactId( ) )
777                 .withVersion( artifact.getVersion( ) ).build( );
778
779             Version version1 = layout.getVersion( versionSelector );
780             String path = repository.toPath( version1 );
781
782             ArtifactReference artifactReference = new ArtifactReference();
783             artifactReference.setArtifactId( artifact.getArtifactId() );
784             artifactReference.setGroupId( artifact.getGroupId() );
785             artifactReference.setVersion( artifact.getVersion() );
786             artifactReference.setClassifier( artifact.getClassifier() );
787             artifactReference.setType( artifact.getType() );
788
789             ArchivaItemSelector selector = ArchivaItemSelector.builder( )
790                 .withNamespace( artifact.getGroupId( ) )
791                 .withProjectId( artifact.getArtifactId( ) )
792                 .withVersion( artifact.getVersion( ) )
793                 .withClassifier( artifact.getClassifier( ) )
794                 .withArtifactId( artifact.getArtifactId( ) )
795                 .withType( artifact.getType( ) )
796                 .includeRelatedArtifacts()
797                 .build( );
798
799             MetadataRepository metadataRepository = repositorySession.getRepository();
800
801             if ( StringUtils.isNotBlank( artifact.getClassifier() ) )
802             {
803                 if ( StringUtils.isBlank( artifact.getPackaging() ) )
804                 {
805                     throw new ArchivaRestServiceException( "You must configure a type/packaging when using classifier",
806                                                            400, null );
807                 }
808                 List<? extends org.apache.archiva.repository.content.Artifact> artifactItems = layout.getArtifacts( selector );
809                 for ( org.apache.archiva.repository.content.Artifact aRef : artifactItems ) {
810                     try
811                     {
812                         repository.deleteItem( aRef );
813                     }
814                     catch ( ItemNotFoundException e )
815                     {
816                         log.error( "Could not delete item, seems to be deleted by other thread. {}, {} ", aRef, e.getMessage( ) );
817                     }
818                 }
819
820             }
821             else
822             {
823
824                 int index = path.lastIndexOf( '/' );
825                 path = path.substring( 0, index );
826                 StorageAsset targetPath = repo.getAsset( path );
827
828                 if ( !targetPath.exists() )
829                 {
830                     //throw new ContentNotFoundException(
831                     //    artifact.getNamespace() + ":" + artifact.getArtifactId() + ":" + artifact.getVersion() );
832                     log.warn( "targetPath {} not found skip file deletion", targetPath );
833                     return false;
834                 }
835
836                 // TODO: this should be in the storage mechanism so that it is all tied together
837                 // delete from file system
838                 if ( !snapshotVersion && version1.exists() )
839                 {
840                     try
841                     {
842                         repository.deleteItem( version1 );
843                     }
844                     catch ( ItemNotFoundException e )
845                     {
846                         log.error( "Could not delete version item {}", e.getMessage( ) );
847                     }
848                 }
849                 else
850                 {
851                     // We are deleting all version related artifacts for a snapshot version
852                     VersionedReference versionRef = layout.toVersion( artifactReference );
853                     List<ArtifactReference> related = layout.getRelatedArtifacts( versionRef );
854                     log.debug( "related: {}", related );
855                     for ( ArtifactReference artifactRef : related )
856                     {
857                         try
858                         {
859                             layout.deleteArtifact( artifactRef );
860                         } catch (ContentNotFoundException e) {
861                             log.warn( "Artifact that should be deleted, was not found: {}", artifactRef );
862                         }
863                     }
864                     StorageAsset metadataFile = getMetadata( repo, targetPath.getPath() );
865                     ArchivaRepositoryMetadata metadata = getMetadata( repository.getRepository().getType(), metadataFile );
866
867                     updateMetadata( metadata, metadataFile, lastUpdatedTimestamp, artifact );
868                 }
869             }
870             Collection<ArtifactMetadata> artifacts = Collections.emptyList();
871
872             if ( snapshotVersion )
873             {
874                 String baseVersion = VersionUtil.getBaseVersion( artifact.getVersion() );
875                 artifacts =
876                     metadataRepository.getArtifacts(repositorySession , repositoryId, artifact.getGroupId(),
877                         artifact.getArtifactId(), baseVersion );
878             }
879             else
880             {
881                 artifacts =
882                     metadataRepository.getArtifacts(repositorySession , repositoryId, artifact.getGroupId(),
883                         artifact.getArtifactId(), artifact.getVersion() );
884             }
885
886             log.debug( "artifacts: {}", artifacts );
887
888             if ( artifacts.isEmpty() )
889             {
890                 if ( !snapshotVersion )
891                 {
892                     // verify metata repository doesn't contains anymore the version
893                     Collection<String> projectVersions =
894                         metadataRepository.getProjectVersions(repositorySession , repositoryId,
895                             artifact.getGroupId(), artifact.getArtifactId() );
896
897                     if ( projectVersions.contains( artifact.getVersion() ) )
898                     {
899                         log.warn( "artifact not found when deleted but version still here ! so force cleanup" );
900                         metadataRepository.removeProjectVersion(repositorySession , repositoryId,
901                             artifact.getGroupId(), artifact.getArtifactId(), artifact.getVersion() );
902                     }
903
904                 }
905             }
906
907             for ( ArtifactMetadata artifactMetadata : artifacts )
908             {
909
910                 // TODO: mismatch between artifact (snapshot) version and project (base) version here
911                 if ( artifactMetadata.getVersion().equals( artifact.getVersion() ) )
912                 {
913                     if ( StringUtils.isNotBlank( artifact.getClassifier() ) )
914                     {
915                         if ( StringUtils.isBlank( artifact.getPackaging() ) )
916                         {
917                             throw new ArchivaRestServiceException(
918                                 "You must configure a type/packaging when using classifier", 400, null );
919                         }
920                         // cleanup facet which contains classifier information
921                         MavenArtifactFacet mavenArtifactFacet =
922                             (MavenArtifactFacet) artifactMetadata.getFacet( MavenArtifactFacet.FACET_ID );
923
924                         if ( StringUtils.equals( artifact.getClassifier(), mavenArtifactFacet.getClassifier() ) )
925                         {
926                             artifactMetadata.removeFacet( MavenArtifactFacet.FACET_ID );
927                             String groupId = artifact.getGroupId(), artifactId = artifact.getArtifactId(), version =
928                                 artifact.getVersion();
929                             MavenArtifactFacet mavenArtifactFacetToCompare = new MavenArtifactFacet();
930                             mavenArtifactFacetToCompare.setClassifier( artifact.getClassifier() );
931                             metadataRepository.removeFacetFromArtifact(repositorySession , repositoryId, groupId, artifactId,
932                                 version, mavenArtifactFacetToCompare );
933                             repositorySession.save();
934                         }
935
936                     }
937                     else
938                     {
939                         if ( snapshotVersion )
940                         {
941                             metadataRepository.removeTimestampedArtifact(repositorySession ,
942                                 artifactMetadata, VersionUtil.getBaseVersion( artifact.getVersion() ) );
943                         }
944                         else
945                         {
946                             metadataRepository.removeArtifact(repositorySession ,
947                                 artifactMetadata.getRepositoryId(),
948                                 artifactMetadata.getNamespace(), artifactMetadata.getProject(),
949                                 artifact.getVersion(), artifactMetadata.getId() );
950                         }
951                     }
952                     // TODO: move into the metadata repository proper - need to differentiate attachment of
953                     //       repository metadata to an artifact
954                     for ( RepositoryListener listener : listeners )
955                     {
956                         listener.deleteArtifact( metadataRepository, repository.getId(),
957                                                  artifactMetadata.getNamespace(), artifactMetadata.getProject(),
958                                                  artifactMetadata.getVersion(), artifactMetadata.getId() );
959                     }
960
961                     triggerAuditEvent( repositoryId, path, AuditEvent.REMOVE_FILE );
962                 }
963             }
964         }
965         catch ( ContentNotFoundException e )
966         {
967             throw new ArchivaRestServiceException( "Artifact does not exist: " + e.getMessage(), 400, e );
968         }
969         catch ( RepositoryNotFoundException e )
970         {
971             throw new ArchivaRestServiceException( "Target repository cannot be found: " + e.getMessage(), 400, e );
972         }
973         catch ( RepositoryException e )
974         {
975             throw new ArchivaRestServiceException( "Repository exception: " + e.getMessage(), 500, e );
976         }
977         catch (MetadataResolutionException | MetadataSessionException | MetadataRepositoryException | LayoutException e )
978         {
979             throw new ArchivaRestServiceException( "Repository exception: " + e.getMessage(), 500, e );
980         }
981         finally
982         {
983
984             try {
985                 repositorySession.save();
986             } catch (MetadataSessionException e) {
987                 log.error("Could not save sesion {}", e.getMessage());
988             }
989
990             repositorySession.close();
991         }
992         return Boolean.TRUE;
993     }
994
995     @Override
996     public Boolean deleteGroupId( String groupId, String repositoryId )
997         throws ArchivaRestServiceException
998     {
999         if ( StringUtils.isEmpty( repositoryId ) )
1000         {
1001             throw new ArchivaRestServiceException( "repositoryId cannot be null", 400, null );
1002         }
1003
1004         if ( !isAuthorizedToDeleteArtifacts( repositoryId ) )
1005         {
1006             throw new ArchivaRestServiceException( "not authorized to delete artifacts", 403, null );
1007         }
1008
1009         if ( StringUtils.isEmpty( groupId ) )
1010         {
1011             throw new ArchivaRestServiceException( "groupId cannot be null", 400, null );
1012         }
1013
1014         RepositorySession repositorySession = null;
1015         try
1016         {
1017             repositorySession = repositorySessionFactory.createSession();
1018         }
1019         catch ( MetadataRepositoryException e )
1020         {
1021             e.printStackTrace( );
1022         }
1023
1024         try
1025         {
1026             ManagedRepositoryContent repository = getManagedRepositoryContent( repositoryId );
1027             ArchivaItemSelector itemselector = ArchivaItemSelector.builder( ).withNamespace( groupId ).build();
1028             ContentItem item = repository.getItem( itemselector );
1029             repository.deleteItem( item );
1030
1031             MetadataRepository metadataRepository = repositorySession.getRepository();
1032
1033             metadataRepository.removeNamespace(repositorySession , repositoryId, groupId );
1034
1035             // just invalidate cache entry
1036             String cacheKey = repositoryId + "-" + groupId;
1037             namespacesCache.remove( cacheKey );
1038             namespacesCache.remove( repositoryId );
1039
1040             repositorySession.save();
1041         }
1042         catch (MetadataRepositoryException | MetadataSessionException e )
1043         {
1044             log.error( e.getMessage(), e );
1045             throw new ArchivaRestServiceException( "Repository exception: " + e.getMessage(), 500, e );
1046         }
1047         catch ( RepositoryException e )
1048         {
1049             log.error( e.getMessage(), e );
1050             throw new ArchivaRestServiceException( "Repository exception: " + e.getMessage(), 500, e );
1051         }
1052         catch ( ItemNotFoundException e )
1053         {
1054             log.error( "Item not found {}", e.getMessage(), e );
1055             throw new ArchivaRestServiceException( "Repository exception: " + e.getMessage(), 500, e );
1056         }
1057         finally
1058         {
1059
1060             repositorySession.close();
1061         }
1062         return true;
1063     }
1064
1065     @Override
1066     public Boolean deleteProject( String groupId, String projectId, String repositoryId )
1067         throws ArchivaRestServiceException
1068     {
1069         if ( StringUtils.isEmpty( repositoryId ) )
1070         {
1071             throw new ArchivaRestServiceException( "repositoryId cannot be null", 400, null );
1072         }
1073
1074         if ( !isAuthorizedToDeleteArtifacts( repositoryId ) )
1075         {
1076             throw new ArchivaRestServiceException( "not authorized to delete artifacts", 403, null );
1077         }
1078
1079         if ( StringUtils.isEmpty( groupId ) )
1080         {
1081             throw new ArchivaRestServiceException( "groupId cannot be null", 400, null );
1082         }
1083
1084         if ( StringUtils.isEmpty( projectId ) )
1085         {
1086             throw new ArchivaRestServiceException( "artifactId cannot be null", 400, null );
1087         }
1088
1089         RepositorySession repositorySession = null;
1090         try
1091         {
1092             repositorySession = repositorySessionFactory.createSession();
1093         }
1094         catch ( MetadataRepositoryException e )
1095         {
1096             e.printStackTrace( );
1097         }
1098
1099         try
1100         {
1101             ManagedRepositoryContent repository = getManagedRepositoryContent( repositoryId );
1102             ArchivaItemSelector itemSelector = ArchivaItemSelector.builder( ).withNamespace( groupId )
1103                 .withProjectId( projectId ).build( );
1104             ContentItem item = repository.getItem( itemSelector );
1105
1106             repository.deleteItem( item );
1107         }
1108         catch ( ContentNotFoundException e )
1109         {
1110             log.warn( "skip ContentNotFoundException: {}", e.getMessage() );
1111         }
1112         catch ( RepositoryException e )
1113         {
1114             log.error( e.getMessage(), e );
1115             throw new ArchivaRestServiceException( "Repository exception: " + e.getMessage(), 500, e );
1116         }
1117         catch ( ItemNotFoundException e )
1118         {
1119             log.error( "Item not found {}", e.getMessage(), e );
1120             throw new ArchivaRestServiceException( "Repository exception: " + e.getMessage(), 500, e );
1121         }
1122
1123         try
1124         {
1125
1126             MetadataRepository metadataRepository = repositorySession.getRepository();
1127
1128             metadataRepository.removeProject(repositorySession , repositoryId, groupId, projectId );
1129
1130             repositorySession.save();
1131         }
1132         catch (MetadataRepositoryException | MetadataSessionException e )
1133         {
1134             log.error( e.getMessage(), e );
1135             throw new ArchivaRestServiceException( "Repository exception: " + e.getMessage(), 500, e );
1136         }
1137         finally
1138         {
1139
1140             repositorySession.close();
1141         }
1142         return true;
1143
1144     }
1145
1146     @Override
1147     public Boolean isAuthorizedToDeleteArtifacts( String repoId )
1148         throws ArchivaRestServiceException
1149     {
1150         String userName =
1151             getAuditInformation().getUser() == null ? "guest" : getAuditInformation().getUser().getUsername();
1152
1153         try
1154         {
1155             return userRepositories.isAuthorizedToDeleteArtifacts( userName, repoId );
1156         }
1157         catch ( ArchivaSecurityException e )
1158         {
1159             throw new ArchivaRestServiceException( e.getMessage(),
1160                                                    Response.Status.INTERNAL_SERVER_ERROR.getStatusCode(), e );
1161         }
1162     }
1163
1164     @Override
1165     public RepositoryScanStatistics scanRepositoryDirectoriesNow( String repositoryId )
1166         throws ArchivaRestServiceException
1167     {
1168         long sinceWhen = RepositoryScanner.FRESH_SCAN;
1169         try
1170         {
1171             return repoScanner.scan( repositoryRegistry.getManagedRepository( repositoryId ), sinceWhen );
1172         }
1173         catch ( RepositoryScannerException e )
1174         {
1175             log.error( e.getMessage(), e );
1176             throw new ArchivaRestServiceException( "RepositoryScannerException exception: " + e.getMessage(), 500, e );
1177         }
1178     }
1179
1180     /**
1181      * Update artifact level metadata. Creates one if metadata does not exist after artifact deletion.
1182      *
1183      * @param metadata
1184      */
1185     private void updateMetadata( ArchivaRepositoryMetadata metadata, StorageAsset metadataFile, Date lastUpdatedTimestamp,
1186                                  Artifact artifact )
1187         throws RepositoryMetadataException
1188     {
1189         List<String> availableVersions = new ArrayList<>();
1190         String latestVersion = "";
1191
1192         if ( metadataFile.exists() )
1193         {
1194             if ( metadata.getAvailableVersions() != null )
1195             {
1196                 availableVersions = metadata.getAvailableVersions();
1197
1198                 if ( availableVersions.size() > 0 )
1199                 {
1200                     Collections.sort( availableVersions, VersionComparator.getInstance() );
1201
1202                     if ( availableVersions.contains( artifact.getVersion() ) )
1203                     {
1204                         availableVersions.remove( availableVersions.indexOf( artifact.getVersion() ) );
1205                     }
1206                     if ( availableVersions.size() > 0 )
1207                     {
1208                         latestVersion = availableVersions.get( availableVersions.size() - 1 );
1209                     }
1210                 }
1211             }
1212         }
1213
1214         if ( metadata.getGroupId() == null )
1215         {
1216             metadata.setGroupId( artifact.getGroupId() );
1217         }
1218         if ( metadata.getArtifactId() == null )
1219         {
1220             metadata.setArtifactId( artifact.getArtifactId() );
1221         }
1222
1223         if ( !VersionUtil.isSnapshot( artifact.getVersion() ) )
1224         {
1225             if ( metadata.getReleasedVersion() != null && metadata.getReleasedVersion().equals(
1226                 artifact.getVersion() ) )
1227             {
1228                 metadata.setReleasedVersion( latestVersion );
1229             }
1230         }
1231
1232         metadata.setLatestVersion( latestVersion );
1233         metadata.setLastUpdatedTimestamp( lastUpdatedTimestamp );
1234         metadata.setAvailableVersions( availableVersions );
1235
1236         try (OutputStreamWriter writer = new OutputStreamWriter(metadataFile.getWriteStream(true))) {
1237             RepositoryMetadataWriter.write(metadata, writer);
1238         } catch (IOException e) {
1239             throw new RepositoryMetadataException(e);
1240         }
1241         ChecksummedFile checksum = new ChecksummedFile( metadataFile.getFilePath() );
1242         checksum.fixChecksums( algorithms );
1243     }
1244
1245     @Override
1246     public StringList getRunningRemoteDownloadIds()
1247     {
1248         return new StringList( downloadRemoteIndexScheduler.getRunningRemoteDownloadIds() );
1249     }
1250
1251     public RepositorySessionFactory getRepositorySessionFactory()
1252     {
1253         return repositorySessionFactory;
1254     }
1255
1256     public void setRepositorySessionFactory( RepositorySessionFactory repositorySessionFactory )
1257     {
1258         this.repositorySessionFactory = repositorySessionFactory;
1259     }
1260
1261     public List<RepositoryListener> getListeners()
1262     {
1263         return listeners;
1264     }
1265
1266     public void setListeners( List<RepositoryListener> listeners )
1267     {
1268         this.listeners = listeners;
1269     }
1270
1271     public ArchivaAdministration getArchivaAdministration()
1272     {
1273         return archivaAdministration;
1274     }
1275
1276     public void setArchivaAdministration( ArchivaAdministration archivaAdministration )
1277     {
1278         this.archivaAdministration = archivaAdministration;
1279     }
1280 }
1281
1282