MySQL replicatie-software?

[i2Paq]

Ik ben bekend met de standaard manier van het opzetten van een MySQL replicatie tussen 2 Windows servers met MySQL.
Dit is nogal lastig, zeker als je op server A een update doet waarbij er ook nieuwe tabellen worden aangemaakt.
De standaard replicatie neemt deze tabellen niet mee en om dan een replicatie opnieuw op te zetten met een db van een 10x gig is niet echt leuk/handig naast dat het veel tijd kost.

Waar ik dus naar op zoek ben is een tool/software die je op beide servers installeerd die eea. regeld en die naast data ook nieuwe tabellen op server A repliceerd naar server B.

Hoewel Google in de meestal mijn vriend is krijg ik in dit geval niet echt iets naar boven.

Ik hoop op jullie input

[DennusB]

Je kan gewoon HEEL MySQL repliceren hoor... dat houd dus ook tabellen, DB's en users in!

[i2Paq]

DennusB schreef op dinsdag 15 juli 2014 @ 09:29:
Je kan gewoon HEEL MySQL repliceren hoor... dat houd dus ook tabellen, DB's en users in!

Daar ben ik dan erg benieuwd naar

Zaosl ik het geleerd heb, en al tijden doe, worden er geen nieuwe tabellen overgezet naar de slave.

[DennusB]

i2Paq schreef op dinsdag 15 juli 2014 @ 09:45:
[...]


Daar ben ik dan erg benieuwd naar

Zaosl ik het geleerd heb, en al tijden doe, worden er geen nieuwe tabellen overgezet naar de slave.

Je bedoelt databases . En ja wel hoor, Google er maar op Zo heb ik het al tijden in productie draaien en dat werkt als een trein!

[i2Paq]

DennusB schreef op dinsdag 15 juli 2014 @ 10:15:
[...]


Je bedoelt databases . En ja wel hoor, Google er maar op Zo heb ik het al tijden in productie draaien en dat werkt als een trein!

Ik heb daar vaak zat naar gekeken maar geen duidelijke info over gevonden, hence mijn vraag hier

[The_Ghost16]

Google helpt hier heel snel in. https://www.google.nl/sea...ei=kefEU4u_F8eg-waJx4CQCQ

Volledige replicatie van een database dus ook extra aangemaakte tabellen.

[i2Paq]

The_Ghost16 schreef op dinsdag 15 juli 2014 @ 10:35:
Google helpt hier heel snel in. https://www.google.nl/sea...ei=kefEU4u_F8eg-waJx4CQCQ

Volledige replicatie van een database dus ook extra aangemaakte tabellen.

Het probleem met een dergelijke zoekactie op Google is dat je 99% outdated info vindt.

MySQL maakt al heel lang geen gebruik meer van .cnf files en de meeste gevonden info wijst hier naar.
Ook is er veel gewijzigd in MySQL 5.5 en hoger aangaande replicatie, en al helemaal als het over replicatie van volledige databases.

Ik stel mijn vraag hier niet voor niets; de juist info (lees: up-to-date voor 5.5) in klare taal en geschikt voor Windows krijg ik niet boven.

[DennusB]

i2Paq schreef op dinsdag 15 juli 2014 @ 11:29:
[...]


Het probleem met een dergelijke zoekactie op Google is dat je 99% outdated info vindt.

MySQL maakt al heel lang geen gebruik meer van .cnf files en de meeste gevonden info wijst hier naar.
Ook is er veel gewijzigd in MySQL 5.5 en hoger aangaande replicatie, en al helemaal als het over replicatie van volledige databases.

Ik stel mijn vraag hier niet voor niets; de juist info (lees: up-to-date voor 5.5) in klare taal en geschikt voor Windows krijg ik niet boven.

Dan kan je echt niet goed zoeken....
http://udhyantimilsina.wo...r-in-windows-server-2008/

[i2Paq]

DennusB schreef op dinsdag 15 juli 2014 @ 11:35:
[...]


Dan kan je echt niet goed zoeken....
http://udhyantimilsina.wo...r-in-windows-server-2008/

Super!

Dat is (bijna) wat ik zoek.

Nu is deze setup voor een 2-way replication, ik wil eigenlijk een 1-way waarbij ik de slave ook nog eens backup (daar heb ik een tool voor).

De huidige site is als volgt:

Server 1 = master db, hiertegen praten de overige 26 servers, replicatie naar Server 2.
Server 2 = slave db, elk half uur een full backup.

[DennusB]

i2Paq schreef op dinsdag 15 juli 2014 @ 11:43:
[...]


Super!

Dat is (bijna) wat ik zoek.

Nu is deze setup voor een 2-way replication, ik wil eigenlijk een 1-way waarbij ik de slave ook nog eens backup (daar heb ik een tool voor).

De huidige site is als volgt:

Server 1 = master db, hiertegen praten de overige 26 servers, replicatie naar Server 2.
Server 2 = slave db, elk half uur een full backup.

Dan zoek je even op hoe je de 2e node op slave krijgt. Een beetje eigen inzet mag wel!

[i2Paq]

DennusB schreef op dinsdag 15 juli 2014 @ 11:43:
[...]


Dan zoek je even op hoe je de 2e node op slave krijgt. Een beetje eigen inzet mag wel!

De Master -> Slave setup is er al, maar zoals ik zei worden na een update de nieuwe tabellen niet gesynchroniseerd naar de Slave.

[DennusB]

i2Paq schreef op dinsdag 15 juli 2014 @ 11:50:
[...]


De Master -> Slave setup is er al, maar zoals ik zei worden na een update de nieuwe tabellen niet gesynchroniseerd naar de Slave.

Dus dan staat je config niet goed.... goh, sorry dat ik het zeg, maar ik mag niet hopen dat jij die omgeving beheert met zo weinig kennis

[i2Paq]

DennusB schreef op dinsdag 15 juli 2014 @ 11:52:
[...]


Dus dan staat je config niet goed.... goh, sorry dat ik het zeg, maar ik mag niet hopen dat jij die omgeving beheert met zo weinig kennis

Het klopt dat ik weinig kennis van MySQL heb aangaande Master -> Slave setups, deze komen namelijk niet/nooit voor.

Normaal praten we over een single MySQL met een backup elke nacht.

De klant wilde een backup-slave-server die dmv. een eenvoudige wijziging de Slave kan omzetten naar Master in het geval dat de Master omvalt.

Ik beheer deze omgeving nu al 2 jaar zonder ooit een probleem gehad te hebben. Geen crashes.
Wel een keer een corrupte db, maar dan heb je aan de slave ook niets meer.

Omdat er toch regelmatig updates uitkomen met wijzigingen op de db moet ik regelmatig de Slave van scratch opbouwen (backup inlezen en Slave starten) en hier wil ik van af.

[BHR]

Volgens mij is het standaard gedrag dat alle databases en tabellen volledig gerepliceerd worden. Hiervan uitgaande betekent het dat er bij jou op de master of/en de slave in de configuratie juist een uitzondering is opgenomen.

Wat voor problemen *kan* zorgen, is de aanwezigheid van replicate-* (op de slave) of binlog-ignore-* (op de master). In dat geval maakt het voor replicatie ook uit of voor alter

code:

alter table <database>.<tabel> ...

wordt gebruikt of

code:

use <database>; alter table <table> ...

Bij opnieuw beginnen gebruik ik altijd <http://dev.mysql.com/doc/refman/5.7/en/replication-howto-newservers.html>

Tevens vermeldt je niet welke versie van mysql je op de master en welke versie van mysql je op de slave gebruikt.

[i2Paq]

BHR schreef op dinsdag 15 juli 2014 @ 14:08:
Volgens mij is het standaard gedrag dat alle databases en tabellen volledig gerepliceerd worden. Hiervan uitgaande betekent het dat er bij jou op de master of/en de slave in de configuratie juist een uitzondering is opgenomen.

Huidige Master-settings op de oude omgeving.

code:

# Replication Master Server (default)
# binary logging is required for replication
server-id=1
expire_logs_days=2
log-bin=ceap-bin

# binary logging format - mixed recommended
binlog_format=mixed

Huidige Slave-settings op de oude omgeving.

code:

# Replication Master Server (default)
# binary logging is required for replication
server-id=1
expire_logs_days=2
log-bin=ceap-bin

# binary logging format - mixed recommended
binlog_format=mixed

Wat voor problemen *kan* zorgen, is de aanwezigheid van replicate-* (op de slave) of binlog-ignore-* (op de master). In dat geval maakt het voor replicatie ook uit of voor alter

code:

alter table <database>.<tabel> ...

wordt gebruikt of

code:

use <database>; alter table <table> ...

Bij opnieuw beginnen gebruik ik altijd <http://dev.mysql.com/doc/refman/5.7/en/replication-howto-newservers.html>

Handige link, dank je.

De settings zoals ik die gebruik zijn "ooit" bedacht door een collega en die heeft het zo geïmplementeerd.
Ik heb 2 jaar geleden het beheer gekregen en nu we overgaan naar een nieuwe omgeving (Windows 2012 en alles virtueel) en ik wil het nu gewoon goed doen.
Dat betekend 2x een MySQL only server in Master-Slave (nu draaien op beide MySQL servers ook nog andere applicaties )
De overige 26 servers gaan terug naar 2 servers tbv. loadbalancing en failover. Dit zit namelijk niet in de huidige versie die de klant draait maar een update in de huidige situatie is niet wenselijk gezien de kosten/impact en doorlooptijd.
Vandaar een heel nieuw serverpark

Tevens vermeldt je niet welke versie van mysql je op de master en welke versie van mysql je op de slave gebruikt.

De nieuwe setup draait op MySQL 5.6.19

[DennusB]

Maar is het nu gelukt of niet?

[i2Paq]

DennusB schreef op woensdag 16 juli 2014 @ 11:27:
Maar is het nu gelukt of niet?

Morgen ga ik aan de gang op de 2 nieuwe MySQL servers.

Voordat ik data restore zet ik dus eerst de Master-Slave op en vervolgens ga ik de db inlezen op de Master.
Als de setup gelukt is zou deze data binnen een bepaalde tijd gerepliceerd moeten zijn op de Slave

[DukeBox]

Handig, beide server-id=1

[demokert]

Wat betreft je backups, waarom elk half uur een FULL backup? Ik zou in de nacht een FULL backup draaien en daarop volgend incrementals (is geloof ik de benaming in mysql). Ik beheer voornamelijk MSSQL, en daar draaien we in de nacht een FULL backup, en elk uur een transaction log.

[Fish]

Kon je niet met de log files continu syncen iets ... *zoekt*

[DennusB]

fish schreef op woensdag 16 juli 2014 @ 13:10:
Kon je niet met de log files continu syncen iets ... *zoekt*

Hoe denk jij dat Master-Slave werkt? Dan synct ie gewoon de binlogs

[Fish]

euh dat was het

maar ik hoorde een tijdinterval. en die logfiles zouden min of meer contineus moeten gaan

[mbaltus]

Percona heeft daar oplossingen voor. In de basis ook open-source, desgewenst met support.

[i2Paq]

Nou, het heeft even geduurd maar dan heb je ook wat

Afgelopen maandag heb ik de servers eindelijk opgeleverd gekregen

Ondertussen heb ik met MySQL 5.6.23 de replicatie eigenlijk running zoals ik wil.

Helemaal zelf uitgevogeld

Nu loop ik nog tegen een uitdaging aan, de MySQL data-dir wordt altijd op C:\ aangemaakt, deze wil ik op D:\ hebben.

Wat ik ook Google, hoe ik MySQL ook "modificeer", ik krijg hem alleen aan het draaien als de data-dir op C:\ staat

Iemand enig idee cq. ervaring?

Mijn VM-virtuele server:

Windows 2012 R3
C:\50Gb
D:\200Gb
2 Processoren
4Gb memory

[ Voor 6% gewijzigd door i2Paq op 24-06-2015 10:36 ]

[nielsl]

Hit op 1 op google nav de query "mysql move data directory windows"

http://forums.mysql.com/read.php?11,596745,596745

[i2Paq]

nielsl schreef op woensdag 24 juni 2015 @ 10:49:
Hit op 1 op google nav de query "mysql move data directory windows"

http://forums.mysql.com/read.php?11,596745,596745

THANK YOU!!!!

Hoe lang ik me daar al een slag in de rondte om geGoogled heb

Nergens kon ik het vinden, ook collega's niet.

Hoe eenvoudig kan iets zijn:

The usual reason for this is that on MySQL 5.6, the service is owned by NETWORK_SERVICE. Before V5.6 it was owned by SYSTEM.
So, you have 2 options
1. Give NETWORK_SERVICE full read/write/modify permissions on you new data folder.
Or,
2. Change the MySQL service to be owned by SYSTEM. (SYSTEM already had full permissions on ALL folders)

Aangepast door de Service als een Local System Account te laten draaien en boem; werken.

[nielsl]

i2Paq schreef op woensdag 24 juni 2015 @ 11:23:
Aangepast door de Service als een Local System Account te laten draaien en boem; werken.

MySQL zal er wel een (beveiligings)reden voor hebben dat ze tegenwoordig onder de NETWORK_SERVICE draaien. En eigenlijk wil je zelfs een service account aanmaken waaronder MySQL draait. Die user heeft rechten op de map waar alle database files staan, en verder niemand.

[F_J_K]

Inderdaad; nu geef je evt. misbruikers wel erg veel mogelijkheden. Los het niet op door quick&dirty de beveiliging te verlagen. Zeker niet bij een productieomgeving, en ook niet bij een test-/acceptatieomgeving omdat je dan tests waar rechten in de weg kunnen zitten niet kunt uitvoeren tot het in productie fout gaat