no-picture Hei og velkommen til AnimeNord!
For å kunne delta i diskusjoner må du enten
registrere deg eller logg inn.
60 svar [Siste innlegg]
Admin
NeoIDs bilde
Alder: 25
Kjønn: Mann
Innlegg: 4879
Ble medlem: 20.06.2005
The Scraper - Last ned bilder direkte fra nettsiden

The Scraper er etterfølgeren av den populære Konachan Scraper.
Opprinnelig laget for å automatisere bilde-flyten på mine egenkonstruerte fotorammer, har det nå blitt et omfattende program med flere funksjoner og muligheter.

Ansvarsfraskrivelse
Jeg fraskriver meg alt ansvar når det kommer til gallerier programmet laster ned fra. Denne listen er rent basert på tilbakemelding fra sluttbrukere og søk etter bildegallerier med 100k bilder eller mer på Google. Jeg er på ingen måte assosiert med noen av disse sidene og påtar meg derfor ingen ansvar for deres innhold. Jeg kan derfor heller ikke garantere at det ikke vil forekomme ønskete bilder selv om man filtrerer på "Safe only".


Skjermbilder





Merk: Skjermbildene gjenspeiler nødvendigvis ikke alle funksjoner som er tilgjengelig.

The Scraper er tilgjengelig i følgende tre lisenser

Free-versjon

  • Last ned fra følgende nettsider
    * wallbase.cc
    * konachan.com
    * 4walled.org
  • Tilgang til følgende filtre
    * Safe
  • Automatisk tagging av bilder
    * Nei
  • Automatisk sett bilder som blir lastet ned som skrivebordbakgrunn
    * Nei


Basic-versjon

  • Alle funksjonene til free-versjonen
  • Last ned fra følgende nettsider
    * oreno.imouto.org
    * danbooru.donmai.us
    * gelbooru.com
    * safebooru.org
    * nekobooru.net
    * rule63.paheal.net
    * cosplay.paheal.net
  • Tilgang til følgende filtre
    * Questionable only
  • Automatisk tagging av bilder
    * Nei
  • Automatisk sett bilder som blir lastet ned som skrivebordbakgrunn
    * Nei


Premium-versjon

  • Alle funksjonene til free-versjonen
  • Last ned fra følgende nettsider
    * rule34.booru.org
    * nihonomaru.com
    * rule34.paheal.net
    * sankakucomplex.com
    * xbooru.com
    * genso.ws
    * furry.booru.org
    * motherless.com
  • Tilgang til følgende filtre
    * Explicit only
    * No filter
  • Automatisk tagging av bilder
    * Ja
  • Automatisk sett bilder som blir lastet ned som skrivebordbakgrunn
    * Ja

For mer informasjon om lisenser og hvordan du får din egen lisens, send meg en PM. Jeg jobber med å få opp en dedikert nettside for prosjektet, men det vil nok ta en liten stund. Smile

Last ned The Scraper her! (Windows)

Reklame
Reklamer på AnimeNord
Nyhetsmod
Takerus bilde
Alder: 21
Kjønn: Mann
Innlegg: 1118
Ble medlem: 11.04.2007

Fantastisk! Lurer på noen småting, og siden flere kanskje lurer på det samme tar jeg det her fremfor PM:
1: Hvordan blir prisen på de forskjellige lisensene?
2: Får eiere av konachan scraper-lisenser muligheten til å oppgradere gratis, evt. rabatt?
3: Plukker bildeprogrammer som f.eks. Picasa opp tags tilknyttet bildene, slik at de legges til som tags i galleriet?
4: Når har du tenkt å markedsføre programmet internasjonalt? Dette er jo en gullgruve! ;D

Admin
NeoIDs bilde
Alder: 25
Kjønn: Mann
Innlegg: 4879
Ble medlem: 20.06.2005
Takeru skrev:

Fantastisk! Lurer på noen småting, og siden flere kanskje lurer på det samme tar jeg det her fremfor PM:
1: Hvordan blir prisen på de forskjellige lisensene?
2: Får eiere av konachan scraper-lisenser muligheten til å oppgradere gratis, evt. rabatt?
3: Plukker bildeprogrammer som f.eks. Picasa opp tags tilknyttet bildene, slik at de legges til som tags i galleriet?
4: Når har du tenkt å markedsføre programmet internasjonalt? Dette er jo en gullgruve! ;D

1. I utgangspunktet er det tenkt slik:
Free-versjon: $0
Basic-versjon: $10
Premium-versjon: $15

2. Konachan scraper-lisenser er basic-lisenser i The Scraper.
Angående oppgradering så ser jeg for meg at det blir $5. Lisensene går aldri ut på dato, men enkelte funksjoner vil kun bli lagt til basic- og/eller premium-versjonen. Smile

3. Jepp, det gjør den. Smile

4. Hehe, jeg jobber med å få opp en egen side for scraperen, så får vi se hva det blir til.
Hadde vært utrolig morro om flere hadde vært interessert i den, spesielt internasjonalt.

Jobber på spreng med å finne ut hvorfor programmet sliter med å starte på enkelte maskiner. Det er meg foreløpig et mysterium, men jeg finner nok ut av det ganske snart. Smile

Admin
NeoIDs bilde
Alder: 25
Kjønn: Mann
Innlegg: 4879
Ble medlem: 20.06.2005

Da var feilen endelig fikset og programmet skal fungere som bare det! :)

Klikk på spoiler-knappen for en full oversikt over endringer siden Konachan Scraper.

Spoiler: Marker for å se
Changelog v3.0.0
---------------------------------------------------

  • Listen over bilder ble ikke tømt per side, noe som resulterte i at f.eks side 3 lastet ned bilder for side 1, 2 og 3 osv...
  • Liste over gallerier vil nå alltid være sortert automatisk samt inkludere ikonet til nettsidene
  • Du kan nå helt fritt bestemme oppløsning
  • Vis/skjul "adult-galleries" fra listen over tilgjengelige gallerier
  • Fra versjon 3.0 vil det bli introdusert tre typer lisenser; free, basic og premium
  • Loggfilene og lisensen lagres nå under Appdata\Local\
  • Bestem fritt hvor bildene som lastes ned skal bli lagret
  • Disclaimer ved oppstart (vises bare en gang)
  • Generell hastighetsøking i scraping-motoren
  • Bilder blir nå tagget med samme stikkord som på siden dem blir lastet ned fra, kilde til bildet blir lagt til som "author".
    (Hint: Søk etter bildetags ved å skrive "Tag:nøkkelord" i Windows-søkeboksen)
  • Fikset feil som medførte at enkelte bilder ikke ble lastet ned eller lastet ned to ganger
  • Forbedret funksjonen som håndterer lagring av innstillinger, gjør at programmet lukkes raskere
  • Ovsikt over siste bilder som har blitt vist
  • Trenger ikke lengre lagre bilder for å vise relevant informasjon og meta-data
  • Utallige småfiks, retting av skrivefeil og andre forbedringer
  • Status over nedlastning vises nå ved hjelp av to progresjonsbarer, en for bilde og en for totalen (totalen har enda noen problemer i enkelte tilfeller, blir fikset i neste versjon)
  • Fikset en feil som medførte at bilder lastet ned fra oreno.imouto.org overskrev seg selv
  • Beholde aspect ratio er nå standard-innstilling
  • Nye gallerier lagt til:
    * wallbase.cc
    * furry.booru.org
    * genso.ws
    * nihonomaru.com/chan
    * xbooru.com
    * rule34.paheal.net
    * cosplay.paheal.net
    * rule63.paheal.net
    * 4walled.org
    * motherless.com

Edit: Versjon 3.0.1 fikser på sorteringen på filter-boksen slik at Safe alltid er øverst og dermed standard-valget.

Planen videre blir å legge til flere nettsider, spesielt en rekke comic- og humor-sider. Jeg jobber også med å velge å å laste ned bilder etter dato (slik det er nå) eller i tilfeldig rekkefølge samt mulighet til å kun laste ned kun det nyeste bildet (live-mode).

Admin
NeoIDs bilde
Alder: 25
Kjønn: Mann
Innlegg: 4879
Ble medlem: 20.06.2005

Noen som har testen den enda? Smile

Donor
Meneths bilde
Alder: 101
Kjønn: Mann
Innlegg: 122
Ble medlem: 01.04.2010

Orker ikke å teste den før jeg har tilgang til "no filter" igjen Wink
Jeg kan derimot raportere at Wallbase.cc ikke fungerer når man instiller oppløsningen.

Nyhetsmod
Takerus bilde
Alder: 21
Kjønn: Mann
Innlegg: 1118
Ble medlem: 11.04.2007

Jeg går ut fra at en lisens fortsatt bare kan brukes på én PC?

Admin
NeoIDs bilde
Alder: 25
Kjønn: Mann
Innlegg: 4879
Ble medlem: 20.06.2005

@Meneth: På grunn av veldig god hjelp og tilbakemelding fra deg så hadde jeg planer om å sende deg premium-lisens, men når jeg tenker meg om så endrer jeg litt på tankegangen.

@Takeru: Ja, det er en lisens per maskin.

Versjon 3.0.2 - Viktig oppdatering
Jeg velger å trekke tilbake endringen med tre lisenser og heller åpne opp for at alle med "basic"-lisens får tilgang til alle funksjoner igjen. Årsaken til dette er at jeg synes det blir tullete og jeg ikke vil at dette skal hemme for videre utvikling/at flere blir interessert i programmet. Derfor håper jeg på at flere heller ønsker seg en eller flere lisens fremover. Smile

Det er for meg viktig med deres tilbakemelding, det er derfor programmet har blitt så mye bedre over tiden.

Dessuten fikser 3.0.2 problemer med Wallbase og oppløsning som Meneth rapporterte.
Takk for infoen. Smile

Admin
NeoIDs bilde
Alder: 25
Kjønn: Mann
Innlegg: 4879
Ble medlem: 20.06.2005

Dårlig med tilbakemeldinger denne gangen... Tongue

Donor
Meneths bilde
Alder: 101
Kjønn: Mann
Innlegg: 122
Ble medlem: 01.04.2010

Ikke stort å si.
Savner "page x of y". Ellers kommer jeg ikke på noe.

Admin
NeoIDs bilde
Alder: 25
Kjønn: Mann
Innlegg: 4879
Ble medlem: 20.06.2005
Meneth skrev:

Ikke stort å si.
Savner "page x of y". Ellers kommer jeg ikke på noe.

Hehe, skal få lagt det til igjen isåfall... Smile

Nyhetsmod
Takerus bilde
Alder: 21
Kjønn: Mann
Innlegg: 1118
Ble medlem: 11.04.2007
NeoID skrev:

Dårlig med tilbakemeldinger denne gangen... Tongue

Sitter på GPRS med en linux netbook, så har dessverre ikke anledning til å leke meg med scraperen for tiden Tongue

Admin
NeoIDs bilde
Alder: 25
Kjønn: Mann
Innlegg: 4879
Ble medlem: 20.06.2005

Lenge siden jeg har oppdatert programmet nå.
Er folk fremdeles interessert i videre utvikling av programmet? Jeg har noen tanker rundt hva som kunne bli gjort bedre, men jeg legger ikke noe arbeid i noe dersom ingen bruker den lengre. Smile

Nyhetsmod
Takerus bilde
Alder: 21
Kjønn: Mann
Innlegg: 1118
Ble medlem: 11.04.2007

Jeg bruker den i det minste Smile

Oppdaget noen små bugs som får programmet til å kræsje, skal se om jeg klarer å gjenskape dem og poste når jeg kommer hjem Smile

Om du tenker på å droppe scraperen synes jeg du skal tenke deg om. Om du markedsfører programmet godt nok tror jeg du har en del penger å hente Big smile

Admin
NeoIDs bilde
Alder: 25
Kjønn: Mann
Innlegg: 4879
Ble medlem: 20.06.2005

Ok, om jeg får tilbakemelding om feil så skal jeg få sett litt på scraperen igjen... Smile
Har en mye bedre løsning nå som kan øke hastigheten betraktelig, samt gi en plugin-funksjonalitet.

Nyhetsmod
Takerus bilde
Alder: 21
Kjønn: Mann
Innlegg: 1118
Ble medlem: 11.04.2007

Oppdaget noen bugs nå nettop:

1: Kan ikke lagre til disk om man bruker wildcard (*) i søkeord eller blacklist

2: Flere tags i blacklist fungerer ikke skikkelig. Bruker jeg "k-on!" som søkeord og "*mio *ritsu" i blacklist får jeg fortsatt opp bilder med Ritsu. Brukte gelbooru som kilde, den støtter mer enn 3 tags, så problemet ligger ikke der.

3: Danbooru fungerer ikke i det hele tatt. Scraperen bare sier "please wait". Har prøvd å la den stå i en halvtime, ingenting skjer.

4: Nihonmaru bare gjentar den første siden om igjen og om igjen

Admin
NeoIDs bilde
Alder: 25
Kjønn: Mann
Innlegg: 4879
Ble medlem: 20.06.2005

Takk for listen Takeru, jeg skal få oppdatert den og markedsført den litt bedre som du sier... Smile

Har allerede begynt å skrive om programmet slik at hver side blir en slags plugin, satser på at det gjør koden vesentlig mer oversiktligere og dermed også gjør det enkelt for meg å fikse de feilene du nevner over. Smile

Donor
Meneths bilde
Alder: 101
Kjønn: Mann
Innlegg: 122
Ble medlem: 01.04.2010

/me bruker Scraperen fortsatt.
Annet enn ett crash av og til har jeg ikke lagt merke til noe av bugs.

Admin
NeoIDs bilde
Alder: 25
Kjønn: Mann
Innlegg: 4879
Ble medlem: 20.06.2005

Morro å høre. Jeg skal de neste dagene få gjort en større oppdatering som skal gjøre programmet mye mer stabil og fleksibel.

Liker dere grensesnittet da? Om dere har flere sider eller funksjoner dere ønsker å se, er det bare å liste dem opp. Smile

Admin
NeoIDs bilde
Alder: 25
Kjønn: Mann
Innlegg: 4879
Ble medlem: 20.06.2005

Jeg har nå fullført revideringen av koden som henter ut bildene fra en gitt nettside og har økt hastigheten drastisk. Nærmest all ventetid går på å laste ned bildet nå. Dessuten vil også Imgur og flere sider nå bli støttet. Smile

Må bare få fikset litt på grensesnittet også og ny versjon vil bli lansert.

Nyhetsmod
Takerus bilde
Alder: 21
Kjønn: Mann
Innlegg: 1118
Ble medlem: 11.04.2007

Synes grensesnittet er lekkert slik det er jeg. Elsker zune-inspirasjonen Laughing out loud

Admin
NeoIDs bilde
Alder: 25
Kjønn: Mann
Innlegg: 4879
Ble medlem: 20.06.2005
Takeru skrev:

Synes grensesnittet er lekkert slik det er jeg. Elsker zune-inspirasjonen Laughing out loud

Det blir det samme med tanke på utseendet, er bare noen småting jeg vil endre på.
Flickr og Artige er nå også lagt til og flere vil følge... Smile

Donor
Meneths bilde
Alder: 101
Kjønn: Mann
Innlegg: 122
Ble medlem: 01.04.2010

Høres flott ut. Er fornøyd med grensesnittet, ja.

Admin
NeoIDs bilde
Alder: 25
Kjønn: Mann
Innlegg: 4879
Ble medlem: 20.06.2005

Lenge siden sist, men i dag følte jeg plutselig for å gjøre noe med grensesnittet og skrive noen linjer med kode... Smile

Hva synes dere? Verd å gjøre konseptet til en ny versjon av Scraperen?

Nyhetsmod
Takerus bilde
Alder: 21
Kjønn: Mann
Innlegg: 1118
Ble medlem: 11.04.2007

Oh daaaaym, lekkert! 0.o
Go for it sier jeg!

Nyhetsmod
nurfeds bilde
Alder: 23
Kjønn: Mann
Innlegg: 1155
Ble medlem: 25.08.2006

såpass blir bare bedre og bedre det her =) liker utsende godt =D

Admin
NeoIDs bilde
Alder: 25
Kjønn: Mann
Innlegg: 4879
Ble medlem: 20.06.2005

Takk for tilbakemeldingen, da skal jeg se hva jeg får til... Smile

Endringer vil være:
- Helt nytt design (se konseptbildet)
- Ny scrape-motor som vil gi vesentlig bedre ytelse
- Bedre håndtering av feil og kræsj-rapport
- Varsling når det finnes en nyere versjon av programmet
- Bedre håndtering av søkeord/tags
- Enda flere sider kommer (artige.no, 9gag.com...)
- Mer eye-candy

...og en del mer som jeg ikke orker å nevne enda. Wink

--------------------------------
Konseptet er nå forresten laget om til design til scraperen, så begynner nå å jobbe med de enkle funksjonene. Skal som nevnt bytte mye av den grunnleggende koden som har vist seg til å være mye tregere enn den burde være.

Nyhetsmod
Takerus bilde
Alder: 21
Kjønn: Mann
Innlegg: 1118
Ble medlem: 11.04.2007

Høres storartet ut. Ser frem til oppdateringen!

Admin
NeoIDs bilde
Alder: 25
Kjønn: Mann
Innlegg: 4879
Ble medlem: 20.06.2005

Dette er det jeg foreløpig har på "settings"-siden...
Savner noe?

"Settings" skrev:

General
- Search gallery (Velge side å scrape)
- Search filter
- Keywords
- Blacklist
- Show adult galleries (YES/NO)

Search options
- Resolution
- Width x Height
- Scraping order (popular, random, dato)
- Scrape all or only latest images
- When done scraping: Loop/Stop

Display options
- Delay bewteen images
- Keep aspect ratio (YES/NO)
- Minimize app to tray (YES/NO)

Saving options
- Save images to
- Save images to disk (YES/NO)
- Set new images as desktop background (YES/NO)

"Stats" skrev:

- Nåværende hastighet
- Antall MB lastet ned
- Antall bilder lastet ned
- Sirkeldiagram som viser progresjonen

"Annet" skrev:

- Klikk på preview-bildene bør åpne kilden til bildet

Nyhetsmod
Takerus bilde
Alder: 21
Kjønn: Mann
Innlegg: 1118
Ble medlem: 11.04.2007

Hadde vært fint å kunne minimere den til oppgavelinjen istedet for trayen. Programmer har ingenting å gjøre i trayen imo Wink

Admin
NeoIDs bilde
Alder: 25
Kjønn: Mann
Innlegg: 4879
Ble medlem: 20.06.2005

Takk, har lagt det til listen over.
Har også lagt til "Stats" som blir en ny fane i programmet... Smile

Donering

Doner
Mottatt 0kr av 150kr for denne måneden
Donasjoner

Nytt fra AnimeNord

NeoID for 5 uker 2 dager siden
Oppdateringen av AnimeNord nærmer seg, selv om... [2]
NeoID for 6 uker 1 dag siden
Ønsker å takke alle for fire hyggelige dager i... [5]

Siste aktivitet

Statistikk

AnimeNord består idag av 2394 medlemmer som tilsammen har skrevet 101495 innlegg fordelt over 6678 emner.

Hvem er pålogget nå?

43 gjester

Vårt nyeste medlem: aninat