source.dussan.org Git - archiva.git/blob

   1 package org.apache.archiva.indexer.search;
   2
   3 /*
   4 * Licensed to the Apache Software Foundation (ASF) under one
   5 * or more contributor license agreements.  See the NOTICE file
   6 * distributed with this work for additional information
   7 * regarding copyright ownership.  The ASF licenses this file
   8 * to you under the Apache License, Version 2.0 (the
   9 * "License"); you may not use this file except in compliance
  10 * with the License.  You may obtain a copy of the License at
  11 *
  12 *  http://www.apache.org/licenses/LICENSE-2.0
  13 *
  14 * Unless required by applicable law or agreed to in writing,
  15 * software distributed under the License is distributed on an
  16 * "AS IS" BASIS, WITHOUT WARRANTIES OR CONDITIONS OF ANY
  17 * KIND, either express or implied.  See the License for the
  18 * specific language governing permissions and limitations
  19 * under the License.
  20 */
  21
  22 import junit.framework.TestCase;
  23 import org.apache.archiva.admin.repository.managed.DefaultManagedRepositoryAdmin;
  24 import org.apache.archiva.admin.repository.proxyconnector.DefaultProxyConnectorAdmin;
  25 import org.apache.archiva.common.plexusbridge.PlexusSisuBridge;
  26 import org.apache.archiva.common.utils.FileUtils;
  27 import org.apache.archiva.configuration.ArchivaConfiguration;
  28 import org.apache.archiva.configuration.Configuration;
  29 import org.apache.archiva.configuration.ManagedRepositoryConfiguration;
  30 import org.apache.archiva.test.utils.ArchivaSpringJUnit4ClassRunner;
  31 import org.apache.commons.lang.SystemUtils;
  32 import org.apache.maven.index.ArtifactContext;
  33 import org.apache.maven.index.ArtifactContextProducer;
  34 import org.apache.maven.index.ArtifactScanningListener;
  35 import org.apache.maven.index.NexusIndexer;
  36 import org.apache.maven.index.QueryCreator;
  37 import org.apache.maven.index.ScanningResult;
  38 import org.apache.maven.index.context.IndexCreator;
  39 import org.apache.maven.index.context.IndexingContext;
  40 import org.easymock.EasyMock;
  41 import org.easymock.IMocksControl;
  42 import org.junit.After;
  43 import org.junit.Before;
  44 import org.junit.runner.RunWith;
  45 import org.slf4j.Logger;
  46 import org.slf4j.LoggerFactory;
  47 import org.springframework.test.context.ContextConfiguration;
  48
  49 import javax.inject.Inject;
  50 import java.io.File;
  51 import java.io.IOException;
  52 import java.nio.file.Files;
  53 import java.nio.file.Path;
  54 import java.nio.file.Paths;
  55 import java.util.List;
  56
  57 /**
  58  * @author Olivier Lamy
  59  */
  60 @RunWith( ArchivaSpringJUnit4ClassRunner.class )
  61 @ContextConfiguration( locations = { "classpath*:/META-INF/spring-context.xml", "classpath:/spring-context.xml" } )
  62 public abstract class AbstractMavenRepositorySearch
  63     extends TestCase
  64 {
  65
  66     protected Logger log = LoggerFactory.getLogger( getClass() );
  67
  68     public static String TEST_REPO_1 = "maven-search-test-repo";
  69
  70     public static String TEST_REPO_2 = "maven-search-test-repo-2";
  71
  72
  73     public static String REPO_RELEASE = "repo-release";
  74
  75     MavenRepositorySearch search;
  76
  77     ArchivaConfiguration archivaConfig;
  78
  79     @Inject
  80     ArtifactContextProducer artifactContextProducer;
  81
  82     IMocksControl archivaConfigControl;
  83
  84     Configuration config;
  85
  86     @Inject
  87     PlexusSisuBridge plexusSisuBridge;
  88
  89     @Inject
  90     List<IndexCreator> indexCreators;
  91
  92     @Inject
  93     NexusIndexer nexusIndexer;
  94
  95     @Inject
  96     QueryCreator queryCreator;
  97
  98     @Before
  99     @Override
 100     public void setUp()
 101         throws Exception
 102     {
 103         super.setUp();
 104
 105         FileUtils.deleteDirectory( Paths.get( org.apache.archiva.common.utils.FileUtils.getBasedir(), "/target/repos/" + TEST_REPO_1 + "/.indexer" ) );
 106         assertFalse( Files.exists(Paths.get( org.apache.archiva.common.utils.FileUtils.getBasedir(), "/target/repos/" + TEST_REPO_1 + "/.indexer" )) );
 107
 108         FileUtils.deleteDirectory( Paths.get( org.apache.archiva.common.utils.FileUtils.getBasedir(), "/target/repos/" + TEST_REPO_2 + "/.indexer" ) );
 109         assertFalse( Files.exists(Paths.get( org.apache.archiva.common.utils.FileUtils.getBasedir(), "/target/repos/" + TEST_REPO_2 + "/.indexer" )) );
 110
 111         archivaConfigControl = EasyMock.createControl();
 112
 113         archivaConfig = archivaConfigControl.createMock( ArchivaConfiguration.class );
 114
 115         DefaultManagedRepositoryAdmin defaultManagedRepositoryAdmin = new DefaultManagedRepositoryAdmin();
 116         defaultManagedRepositoryAdmin.setArchivaConfiguration( archivaConfig );
 117
 118         DefaultProxyConnectorAdmin defaultProxyConnectorAdmin = new DefaultProxyConnectorAdmin();
 119         defaultProxyConnectorAdmin.setArchivaConfiguration( archivaConfig );
 120
 121         search = new MavenRepositorySearch( nexusIndexer, defaultManagedRepositoryAdmin, defaultProxyConnectorAdmin,
 122                                             queryCreator );
 123
 124         defaultManagedRepositoryAdmin.setIndexer( nexusIndexer );
 125         defaultManagedRepositoryAdmin.setIndexCreators( indexCreators );
 126
 127         config = new Configuration();
 128         config.addManagedRepository( createRepositoryConfig( TEST_REPO_1 ) );
 129         config.addManagedRepository( createRepositoryConfig( TEST_REPO_2 ) );
 130         config.addManagedRepository( createRepositoryConfig( REPO_RELEASE ) );
 131     }
 132
 133     @After
 134     @Override
 135     public void tearDown()
 136         throws Exception
 137     {
 138         for ( IndexingContext indexingContext : nexusIndexer.getIndexingContexts().values() )
 139         {
 140             nexusIndexer.removeIndexingContext( indexingContext, true );
 141         }
 142
 143         FileUtils.deleteDirectory( Paths.get( org.apache.archiva.common.utils.FileUtils.getBasedir(), "/target/repos/" + TEST_REPO_1 ) );
 144         assertFalse( Files.exists(Paths.get( org.apache.archiva.common.utils.FileUtils.getBasedir(), "/target/repos/" + TEST_REPO_1 )) );
 145
 146         FileUtils.deleteDirectory( Paths.get( org.apache.archiva.common.utils.FileUtils.getBasedir(), "/target/repos/" + TEST_REPO_2 ) );
 147         assertFalse( Files.exists(Paths.get( org.apache.archiva.common.utils.FileUtils.getBasedir(), "/target/repos/" + TEST_REPO_2 )) );
 148
 149         super.tearDown();
 150     }
 151
 152     protected ManagedRepositoryConfiguration createRepositoryConfig( String repository )
 153     {
 154         ManagedRepositoryConfiguration repositoryConfig = new ManagedRepositoryConfiguration();
 155         repositoryConfig.setId( repository );
 156         repositoryConfig.setLocation( org.apache.archiva.common.utils.FileUtils.getBasedir() + "/target/repos/" + repository );
 157         Path f = Paths.get( repositoryConfig.getLocation() );
 158         if ( !Files.exists(f) )
 159         {
 160             try
 161             {
 162                 Files.createDirectories( f );
 163             }
 164             catch ( IOException e )
 165             {
 166                 log.error("Could not create directories for {}", f);
 167             }
 168         }
 169         repositoryConfig.setLayout( "default" );
 170         repositoryConfig.setName( repository );
 171         repositoryConfig.setScanned( true );
 172         repositoryConfig.setSnapshots( false );
 173         repositoryConfig.setReleases( true );
 174
 175         return repositoryConfig;
 176     }
 177
 178     protected void createIndex( String repository, List<Path> filesToBeIndexed, boolean scan )
 179         throws Exception
 180     {
 181
 182         IndexingContext context = nexusIndexer.getIndexingContexts().get( repository );
 183
 184         if ( context != null )
 185         {
 186             nexusIndexer.removeIndexingContext( context, true );
 187         }
 188
 189         Path indexerDirectory = Paths.get( org.apache.archiva.common.utils.FileUtils.getBasedir(), "/target/repos/" + repository + "/.indexer" );
 190
 191         if ( Files.exists(indexerDirectory) )
 192         {
 193             FileUtils.deleteDirectory( indexerDirectory );
 194         }
 195
 196         assertFalse( Files.exists(indexerDirectory) );
 197
 198         Path lockFile = Paths.get( org.apache.archiva.common.utils.FileUtils.getBasedir(), "/target/repos/" + repository + "/.indexer/write.lock" );
 199         if ( Files.exists(lockFile) )
 200         {
 201             Files.delete(lockFile);
 202         }
 203
 204         assertFalse( Files.exists(lockFile) );
 205
 206         Path repo = Paths.get( org.apache.archiva.common.utils.FileUtils.getBasedir(), "src/test/" + repository );
 207         assertTrue( Files.exists(repo) );
 208         Path indexDirectory =
 209             Paths.get( org.apache.archiva.common.utils.FileUtils.getBasedir(), "target/index/test-" + Long.toString( System.currentTimeMillis() ) );
 210         indexDirectory.toFile().deleteOnExit();
 211         FileUtils.deleteDirectory( indexDirectory );
 212
 213         context = nexusIndexer.addIndexingContext( repository, repository, repo.toFile(), indexDirectory.toFile(),
 214                                                    repo.toUri().toURL().toExternalForm(),
 215                                                    indexDirectory.toUri().toURL().toString(), indexCreators );
 216
 217         // minimize datas in memory
 218 //        context.getIndexWriter().setMaxBufferedDocs( -1 );
 219 //        context.getIndexWriter().setRAMBufferSizeMB( 1 );
 220         for ( Path artifactFile : filesToBeIndexed )
 221         {
 222             assertTrue( "file not exists " + artifactFile, Files.exists(artifactFile) );
 223             ArtifactContext ac = artifactContextProducer.getArtifactContext( context, artifactFile.toFile() );
 224
 225             if ( artifactFile.toString().endsWith( ".pom" ) )
 226             {
 227                 ac.getArtifactInfo().setFileExtension( "pom" );
 228                 ac.getArtifactInfo().setPackaging( "pom" );
 229                 ac.getArtifactInfo().setClassifier( "pom" );
 230             }
 231             nexusIndexer.addArtifactToIndex( ac, context );
 232             context.updateTimestamp( true );
 233         }
 234
 235         if ( scan )
 236         {
 237             nexusIndexer.scan( context, new ArtifactScanListener(), false );
 238         }
 239         // force flushing
 240         context.getIndexWriter().commit();
 241         context.setSearchable( true );
 242
 243     }
 244
 245     static class ArtifactScanListener
 246         implements ArtifactScanningListener
 247     {
 248         protected Logger log = LoggerFactory.getLogger( getClass() );
 249
 250         @Override
 251         public void scanningStarted( IndexingContext ctx )
 252         {
 253             //
 254         }
 255
 256         @Override
 257         public void scanningFinished( IndexingContext ctx, ScanningResult result )
 258         {
 259             // no op
 260         }
 261
 262         @Override
 263         public void artifactError( ArtifactContext ac, Exception e )
 264         {
 265             log.debug( "artifactError {}", ac.getArtifact().getPath(), e );
 266         }
 267
 268         @Override
 269         public void artifactDiscovered( ArtifactContext ac )
 270         {
 271             log.debug( "artifactDiscovered {}:{}", //
 272                        ac.getArtifact() == null ? "" : ac.getArtifact().getPath(), //
 273                        ac.getArtifact() == null ? "" : ac.getArtifactInfo() );
 274         }
 275     }
 276
 277     public String niceDisplay( SearchResults searchResults )
 278         throws Exception
 279     {
 280         StringBuilder sb = new StringBuilder();
 281         for ( SearchResultHit hit : searchResults.getHits() )
 282         {
 283             sb.append( hit.toString() ).append( SystemUtils.LINE_SEPARATOR );
 284         }
 285         return sb.toString();
 286     }
 287 }