Er mogen op dit forum GEEN verzoekjes of requests gevraagd worden, dit staat ook in de regels die je accepteert bij het registreren op dit forum, hiervoor krijg je direct een permanente ban.

Inititiele download comments tergend langzaam

Gebruikers helpen andere gebruikers. Als je hulp nodig of een probleem hebt , post het dan hier.

Moderator: Moderator Team

Forumregels
LEES: Forum Regels!

Topicstarter
Mirx
Berichten: 34
Lid geworden op: 25 okt 2013, 15:31
Reputation: 0
Usenet: Hitnews
Internet: KPN Glasvezel

Inititiele download comments tergend langzaam

#1

Bericht door Mirx »

Support Request Template

Welk spotX programma gebruik je?: SpotWeb
Wat is de versie van het spotX programma?: package MdeVries 20151109-1
Wat is je besturingssysteem?: Linux
Wat is de versie van het besturingssysteem?: 32bits
Welke Usenet Provider heb je?: Hitnews
Welke Internet Provider heb je?: KPN
Welk Anti-Virus/Firewall programma gebruik je?: Nee
Met welk programma download je?: SABnzbd
Wanneer begon je probleem?: Clean install
Geef een beschrijving van je probleem: Initi??le retrieve comments gaat tergend langzaam.

Na inmiddels 11 miljoen comments heb ik er nog 2 miljoen te gaan. Hij is nu echter zo vertraagt dat hij slechts 5001 records per minuut ophaalt. Dat zou dus nog 7 uur zijn.

Dus 2 vragen:

1) Is het mogelijk om de retrieve af te breken en later opnieuw op te starten?
Waarbij hij dan uiteraard verder zou moeten gaan bij de laatste comment, en niet weer vanaf 0 zou moeten starten.

2) Geeft het problemen als ik in de database via phpmyadmin de oudere regels weggooi?

Commentsxover is alweer 4 miljoen regels groot (1,2 GB) en heb al die oude comments echt niet nodig.
Wil echter wel een standaard retentie purge op spots zodat deze een beetje snel blijft, en dus eigenlijk een afwijkende retentie op commentsxover en commentsfull.

Vandaar de vraag of zonder problemen deze 2 tabellen deels gepurged mogen worden via SQL.
Wat heb je gedaan om het probleem te verhelpen?: Niks
Schone installatie: Ja
XML bestand.: Geen antwoord gegeven

*Edit* Inmiddels is de retrieve afgerond, dus vraag 1 is alleen voor toekomstige referentie.
Vraag 2 zou ik nog graag willen weten of iemand daar ervaring mee heeft.
Generated by Support Toolkit SRT Generator.
Neem je online privacy serieus en gebruik een VPN verbinding!

Met een VPN verbinding van IPVanish wordt uw gehele internet verbinding versleuteld

U kunt dus veilig browsen, Torrents downloaden, Usenet downloaden en onderling versleutelde verbindingen opzetten.


Gebruikersavatar

mesa57
Moderator Team Lid
Berichten: 1800
Lid geworden op: 13 feb 2011, 19:03
Topics answered: 2
Reputation: 15

Re: Inititiele download comments tergend langzaam

#2

Bericht door mesa57 »

Antwoord :
1) Ja, comments worden per 5000 gecommit in de database, retrieve zal starten van de laatst gecommitte comment.
2) CommentsXover mag je wel de oudere uit schonen. Spots moet je aan spotweb (retentie periode) overlaten, er zijn meerdere gerelateerde tabellen.

Topicstarter
Mirx
Berichten: 34
Lid geworden op: 25 okt 2013, 15:31
Reputation: 0
Usenet: Hitnews
Internet: KPN Glasvezel

Re: Inititiele download comments tergend langzaam

#3

Bericht door Mirx »

Thanks,

Had de query gezien op de wiki om spots weg te gooien, vandaar mijn zorg dat ik misschien een andere tabel omver zou trekken.

Ga ik hem straks eens een stukje opschonen.

-- [bericht automatisch samengevoegd - 28 jan 2016, 16:13] --

Pfff, wat een goede. De combinatie Spotweb database, MariaDB, een Synolgoy NAS en 5,5 miljoen rijen is niet zo grappig.

Een simpele delete from doet over 1000 regels al 90 seconde.

Uiteindelijk maar:
- een export gedaan van de laatste 300.000 rijen
- de associatie met commentsfull verbroken (zit in foreign key waardoor truncate niet mag)
- truncate van commentsxover
- import van de 300.000 rijen
- herstel van de associatie
Plaats reactie Vorig onderwerpVolgend onderwerp
Spot-net.nl Forums : Disclaimer