Het grote "Firefly III" topic

[Asterion]

Falco schreef op dinsdag 22 september 2020 @ 22:03:
Ik begrijp niet helemaal wat je bedoelt, maar ik start de CSV importer met het run-hosted voorbeeld script.

code:

#
# This script will kick off the CSV importer on the command line, using Docker run.
# It will launch a web server on port 8081 that you can approach and use to import data.

#
# Create a personal access token in your Firefly III installation, under 'Profile'
#
PERSONAL_ACCESS_TOKEN=eyJ0eXAiOiJKV1QiLCJhbGciOiJSUzI1NiJ9.eyJhdWQiOiIxIiwianRpIjoiMjU3MmI3OGY2NmM0ZjhjNDY2M2VkMTFjNGI3NTQzZjIyZDI3NDNhODc5Y2E2YzM0NDkwNzhmNTdmZGRhNGY5MjM4ZDUzNzBlZDBlM2EyZTciLCJpYXQiOjE1OTk0ODc1OTUsIm5iZiI6MTU5OTQ4NzU5NSwiZXhwIjoxNjMxMDIzNTk1LCJzdWIiOiIxIiwic2NvcGVzIjpbXX0.iehrEifF5WzCjZWmvbHOGhke8PnM-Sa3OT5llTsWYwa_5ZfEB-09709wtz2QP9A-dR0CTgDy3GpJKGT9yVs_DoVWr5HVzZx0gqGGaFaAT1L75Sr2addzpNP5FMX5JCJVX1ypaB-Gk1lVyikvahiuhLbx0eLFULLWLXHyjmEaSHuHg08bXHQt6nz-BLQx_g1NBm5E-goVf2K6MiYQgj_a34xozm0Y3EtRylnNTzoGZ-UJleJeyPHwGjtG-SJbO8buWulwPs5JBc7A65dR53Cd8rwsak-uCNiqLyyoOvtyZ6Pb0Mggj1NCOSNOCqiPjGRWae6D5vXwErohhcPgf_9Wb5u9RydqJkRy29yjFwHVLZyeqGH7jWIDjnW_7mcptts19HGsUSSGyaMRJsPHSGPbuqGzlInhjI5aarj4FctGRV5_jvJmHJYkN_iEsuajd_gDlbhV2j5Wls5RYSV0bff-r8gpZ-6n5KVQlaVZ__8jZB3KqxbvWhrMA7vStxiGjQCnsopKXS1yIvUEgSR7gt2W6iPaFOzIXeYo49oew0t-agq91Z8ylR9A8Q7uaVRULDZwCpIkNgp8CbNehSOB_K7ELiBw62zSx6SG4Mszfjumz0EE3MXAWBQ-QmzR1Gi7YdxW18ioU8XDvxOPf5wz6qJhHkwm37E8T-wX9mzxd5OjyF4
#
#
# This is the full path to your Firefly III installation:
#
FIREFLY_III_URI=http://192.168.1.190:8080

#
# There is no need to touch anything after this point, but if you're smart you're free to do so.
#

docker run -d \
--rm \
-e FIREFLY_III_ACCESS_TOKEN=$PERSONAL_ACCESS_TOKEN \
-e FIREFLY_III_URI=$FIREFLY_III_URI \
-p 8081:80 \
fireflyiii/csv-importer:latest

Je kan eens proberen of het script dat ik gebruik werkt voor jou.
Dit moet je in je SSH venster plakken en uitvoeren.

Let wel op: ik maak gebruik van een macvlan en een vast IP adres. Dat moet je er wel nog even uithalen als je dat niet gebruikt.

[Falco]

Asterion schreef op woensdag 23 september 2020 @ 11:49:
[...]


Je kan eens proberen of het script dat ik gebruik werkt voor jou.
Dit moet je in je SSH venster plakken en uitvoeren.

Let wel op: ik maak gebruik van een macvlan en een vast IP adres. Dat moet je er wel nog even uithalen als je dat niet gebruikt.

Ik blijf maar dezelfde foutmelding krijgen, met verwijzing naar mijn .env file maar ik weet niet wat daarin fout zou zijn.

Misschien maar weer eens opnieuw beginnen, want volgens mij zijn er ook wat beschrijvingen in de Firefly documentatie veranderd. Ik had niet gedacht dat dit zo lastig zou zijn, blijkbaar vooral containers met elkaar laten praten is lastig. Firefly zelf draait prima, maar de connectie met de importer blijft een dingetje....

[Asterion]

Falco schreef op donderdag 24 september 2020 @ 11:13:
[...]


Ik blijf maar dezelfde foutmelding krijgen, met verwijzing naar mijn .env file maar ik weet niet wat daarin fout zou zijn.

Misschien maar weer eens opnieuw beginnen, want volgens mij zijn er ook wat beschrijvingen in de Firefly documentatie veranderd. Ik had niet gedacht dat dit zo lastig zou zijn, blijkbaar vooral containers met elkaar laten praten is lastig. Firefly zelf draait prima, maar de connectie met de importer blijft een dingetje....

Misschien is dat nog snel de beste oplossing.
Ik heb zelf zonder de .env gewerkt, dus met de andere methode.
Kan je het proberen op de manier dat ik gedaan heb? Ik zal hieronder nog een voorbeeld plaatsen waar op je kan voortgaan.
Dit kopieer en plak je dus allemaal in je ssh venster uitgezonder van de commentaar dat ik erbij geplaatst heb voor mezelf.

Probeer je containers ook een naam te geven voor zover je dat nog niet gedaan hebt.
Daarna kan je ipv het ip-adres de containernaam gebruiken zoals Bojan023 heel mooi heeft uitgelegd.

Let op:
Omdat ik gebruik maak van vaste ip-adressen moet ik gebruik maken van het interne poortnummer.
Wanneer je in bridge werkt gebruik je de externe poort.

Zoals je ziet maak ik ook gebruik van create en niet van run. Dat is een eigen keuze die je kan maken.
Achteraf start ik de containers via Portainer.

code:

#fireflyiii
#Maak volume aan
docker volume create firefly_iii_export
docker volume create firefly_iii_upload

#maak 32 characters key
head /dev/urandom | LANG=C tr -dc 'A-Za-z0-9' | head -c 32

docker create \
  --name=fireflyiii \
  --net=mcvlan #gebruik dit enkel als je containers hun eigen ip adres krijgen \
  --ip=192.168.1.200 #dit geeft je container een eigen ip adres icm macvlan\
  -v firefly_iii_export:/var/www/firefly-iii/storage/export \
  -v firefly_iii_upload:/var/www/firefly-iii/storage/upload \
  -p 80:8080 \
  -e APP_KEY=32characterskey \
  -e DB_HOST=mariadb #zo heet de container waar mariadb draait, aanpassen naar eigen wens\
  -e DB_PORT=3306 \
  -e DB_CONNECTION=mysql \
  -e DB_DATABASE=fireflyiii_DB \
  -e DB_USERNAME=fireflyiii_USR \
  -e DB_PASSWORD=fireflyiii_PWD \
jc5x/firefly-iii:latest

code:

docker create \
  --net=mcvlan #gebruik dit enkel als je containers hun eigen ip adres krijgen \
  --ip=192.168.1.200 #dit geeft je container een eigen ip adres icm macvlan\
  --ip=192.168.1.225 \
  -e FIREFLY_III_ACCESS_TOKEN=Je token dat je aanmaakt in firefly \
  -e FIREFLY_III_URI=fireflyiii:8080 #hier zie je de containernaam van firefly met de poort waarop het te vinden is.\
  -p 8081:8080 \
fireflyiii/csv-importer:latest

Hopelijk is dit allemaal een beetje duidelijk uitgelegd.

[Bojan023]

@Falco wellicht helpt een eerder bericht van mij je op weg. Stuur gerust een DM. Succes!

Bojan023 schreef op maandag 21 september 2020 @ 12:34:
Verbindingsproblemen met docker containers zijn vaak te herleiden naar "verwarring" over het gebruik van IP-adressen (docker adressen, machine IP adres, poortmapping). Een poging tot verheldering:

Docker wijst willekeurig IP-adressen toe aan containers (één intern IP-adres per netwerk dat het deel van uitmaakt) middels DHCP (vandaar willekeurig), die alleen op de host bestaan en te bereiken zijn. Deze containers zijn dus per definitie niet vanaf een externe machine te bereiken maar wel door andere containers op dezelfde host (mits ze in hetzelfde netwerk zitten).

Om containers extern te bereiken moeten poorten worden gemapt. Dit is een vertaalslag tussen de poorten op de host (host:poort, bijv. 192.168.1.5:80) en docker (container_ip:container:poort, bijv. 172.10.10.9:8123). Als containerpoort 8123 gemapt wordt naar hostpoort 80, is de service in de container die draait op poort 8123 (extern) te bereiken op 192.168.1.5:80. Vanaf nu ben je dan ook op het punt gekomen waar je moet beseffen dat beveiliging een topic wordt, aangezien services nu direct te bereiken zijn zonder beperkingen (in principe alleen vanaf het netwerk waar de host deel van uitmaakt).

Het is nogal een uitdaging om handmatig deze willekeurig (wisselende) IP-adressen te beheren en services naar elkaar te linken in bijv. config files. Bijv. een herstart van de machine kan ervoor zorgen dat de IP-adressen anders worden uitgedeeld, afhankelijk in welke volgorde de containers starten. Mijn advies is dan ook om i.p.v. een (docker) IP-adres of poortmapping, de hostname van de container (docker run --name) te definiëren en daar naartoe te wijzen. Docker heeft een eigen DNS-server die altijd naar de juiste container zal wijzen. Enige waar in dat geval op moet worden gelet is of containers die elkaar moeten bereiken in hetzelfde netwerk zitten.

Een laatste noot m.b.t. @Asterion's klachten: een statisch IP-adres toewijzen aan een container is prima mogelijk echter vermoed ik dat de host in hetzelfde netwerk zit (de machine heeft een IP-adres 192.168.1.xxx). Dit werkt niet omdat de packets naar de router worden gestuurd omdat die verantwoordelijk is voor dit netwerk (192.168.1.xxx). De router weet helemaal niet van het bestaan af van de containers dus de router stuurt ze nergens heen. Wat ik zou doen is zorgen dat alle containers draaien met --name en hier naar verwijzen i.p.v. een IP-adres ( -e DB_HOST=naam_van_db_container). Succes!

[Falco]

Bojan023 schreef op vrijdag 25 september 2020 @ 22:43:
@Falco wellicht helpt een eerder bericht van mij je op weg. Stuur gerust een DM. Succes!


[...]

Bedankt voor het aanbod, ik pruts er zo af en toe mee. Mocht ik weer vast lopen dan meld ik me.

[bartmaniac]

ik snap niet hoe ik de database moet backuppen (liefst niet op dezelfde pc maar als het kan op een online drive zoals google drive. Als dit niet gaat mag een backup ook weggeschreven worden naar de NAS.

het voorgestelde commando in de fireflyiii docs snap ik niet.
docker run --rm -v "firefly_iii_db:/tmp" -v "$HOME/backups/firefly:/backup" ubuntu tar -czvf /backup/firefly_db.tar /tmp.

ik lees de naam ubuntu maar ik draai hier docker op een windows 10 systeem??

Mag dit zo ongewijzigd in een terminal uitgevoerd worden? ik durf niet testen uit angst om de database te beschadigen.

indien een backup van een volume niet gaat zou ik vanuit firefly zelf een export van alle verrichtingen kunnen doen naar een cvs file en daarna alles opnieuw importeren maar ben niet zeker of dit dan zonder veel moeite zal gaan.

[ Voor 16% gewijzigd door bartmaniac op 01-10-2020 00:30 ]

[hawaltie]

Bojan023 schreef op vrijdag 25 september 2020 @ 22:43:
@Falco wellicht helpt een eerder bericht van mij je op weg. Stuur gerust een DM. Succes!

[...]

Waar ik tegen aan liep tijdens de installatie op mijn synology met Docker en Portainer was het feit dat ik gebruikt maakt van de standaard bridge. Op de een of ander manier werkte op dat standaard netwerk de dns functie van docker niet. Nadat ik middels --network <netwerknaam> in het docker command de containers aan een ander netwerk gekoppeld had werkte de dns functie perfect en kon ik de hosts op basis van de hostnames binnen het netwerk laten communiceren.

[hawaltie]

Ik heb problemen met het aanmaken van rules, om zo transacties standaard te koppen aan budgetten of categoriën. Nadat de regel gemaakt is kan ik deze niet saven (knopje is er maar doet niets) en soms krijg ik de foutmelding: Deze waarde is niet geldig voor de geselecteerde trigger. Als ik via de functie "Bekijk welke transacties hieraan voldoen" zoek naar transacties die aan de regel voldoen, dan krijg ik wel een lijst. Iemand een idee wat ik fout doe?

[Erhamyri]

Wat een mooi proramma is dit. Ik heb het ook binnen enkele minuten geinstalleerd via Docker compose op mijn docker server maar nu het volgende.

Ik wil dat FireFly gebruik maakt van mijn MariaDb10 database op mijn Synology Nas ipv de aangemaakte database in de aparte container. Hiervoor een testfly user en database aangemaakt met volledige rechten.

De containers verwijderd, het composer en environment bestand aangepast en opnieuw firefly geinstalleerd. Echter zie ik in de log dat database up is maar connection refused. Dit lijkt mij te verwijzen naar de rechten op de NAS maar zie niet in wat of heb ik het mis?

-- Environment setting:
DB_CONNECTION=mysql
DB_HOST=*.*.*.3
DB_PORT=3306
DB_DATABASE=testfly
DB_USERNAME=testfly
DB_PASSWORD=aB12345678!

-- Composer setting:
environment:
- MYSQL_RANDOM_ROOT_PASSWORD=yes
- MYSQL_USER=testfly
- MYSQL_PASSWORD=aB12345678!
- MYSQL_DATABASE=testfly

-- Log van de install:
Wait for the database.
wait-for-it.sh: waiting 60 seconds for *.*.*.3:3306
wait-for-it.sh: timeout occurred after waiting 60 seconds for *.*.*.3:3306
DB is up. Time to execute artisan commands.
Run various artisan commands...
Running migration commands...
Error when connecting to DB: SQLSTATE[HY000] [2002] Connection refused
[2020-10-02 11:48:31] local.ERROR: SQLSTATE[HY000] [2002] Connection refused (SQL: select * from information_schema.tables where table_schema = firefly and table_name = migrations and table_type = 'BASE TABLE') {"exception":"[object] (Illuminate\\Database\\QueryException(code: 2002): SQLSTATE[HY000] [2002] Connection refused (SQL: select * from information_schema.tables where table_schema = firefly and table_name = migrations and table_type = 'BASE TABLE') at /var/www/html/vendor/laravel/framework/src/Illuminate/Database/Connection.php:671)
[stacktrace]

Iemand die mij misschien op weg kan helpen?

[bartmaniac]

ik krijg volgende foutmelding wanneer ik toegang wil krijgen tot volgende container: fireflyiiidb

commando: docker exec -it --user root 7b0aa1aa2201 bash

geeft error: OCI runtime exec failed: exec failed: container_linux.go:349: starting container process caused "exec: \"bash\": executable file not found in $PATH": unknown

durf daarom ook geen backup van dat image nemen

toegang tot de fireflyiii container lukt wel zonder error(s)

Inloggen op fireflyiii zelf werkt normaal en kan aan al mijn data.

[ Voor 14% gewijzigd door bartmaniac op 04-10-2020 11:16 ]

[bartmaniac]

ok oplossing is docker exec -it --user root 7b0aa1aa2201 sh ipv bash

[hankee]

Ik heb versie 5.2.5 draaien in Docker op mijn Synology en MariaDB5. Dat werkt allemaal en ik wil graag updaten naar een nieuwe versie. Dat lijkt goed te gaan, als ik in de log kijk zie ik ook:

Updated version. | Thank you for installing Firefly III, v5.4.3!

Maar direct na het starten zie ik in de log:

[mpm_prefork:notice] [pid 1] AH00170: caught SIGWINCH, shutting down gracefully

En dan stopt de container. Heeft er iemand een tip hoe ik dit op zou kunnen lossen? Als ik de oude (5.2.5) container weer draai doet alles het gewoon weer.

[Imo62]

Als iemand zonder achtergrond met servers en Docker, heb ik gisteravond gepoogd Firefly werkend te krijgen via Docker. Na even zoeken kreeg ik Firefly zelf vrij snel werkend, ik loop echter vast op de CSV importer.

Ik draai drie docker containers, firefly zelf, de mysqldb en de csvimport:

code:

docker ps
CONTAINER ID        IMAGE                               COMMAND                  CREATED              STATUS              PORTS                    NAMES
cafbc0b121c7        fireflyiii/csv-importer:latest      "/usr/local/bin/entr…"   About a minute ago   Up About a minute   0.0.0.0:8081->8080/tcp   xenodochial_rosalind
569c8b75dbd7        jc5x/firefly-iii:latest             "/usr/local/bin/entr…"   53 minutes ago       Up 26 minutes       0.0.0.0:80->8080/tcp     firefly_fireflyiii_1
16ffba117551        yobasystems/alpine-mariadb:latest   "/scripts/run.sh"        53 minutes ago       Up 26 minutes       3306/tcp                 firefly_fireflyiiidb_1
ce8adf0bea85        mysql:8.0.21                        "docker-entrypoint.s…"   13 hours ago         Up 8 minutes        3306/tcp, 33060/tcp      firefly

De firefly container heb ik werkend gekregen middels de standaard docker compose route.

Firefly kan ik netjes benaderen via localhost, de importer kan ik benaderen via localhost:8081.
Echter als ik verbinding leg tussen de importer en Firefly3, dan levert dit constant de volgende foutmelding op:

code:

Tried "https://172.21.0.3:8080/api/v1/about" 5 times but failed: cURL error 28: 
Connection timed out after 31416 milliseconds (see https://curl.haxx.se/libcurl/c/libcurl-errors.html)

De csv-importer containre heb ik draaien via dit scriptje:https://github.com/firefl...r/blob/main/run-hosted.sh.
Hierbij vul ik onder Firefly_III_URI het docker ipadress in zoals ik krijgt als ik deze opvraag:

code:

docker inspect -f '{{range .NetworkSettings.Networks}}{{.IPAddress}}{{end}}' $(docker container ls -a -f name=fireflyiii --format="{{.ID}}")
172.21.0.3

Naar aanleiding van dit topic heb ik ook gepoogd om de naam van de firefly container te gebruiken (in mijn geval firefly_fireflyiii_1) voor de URI maar dan kan er helemaal geen verbinding worden gelegd. Ook rondspelen met poortnummers levert niets op.

Ik vermoed dat ik ergens een elementair foutje maak, gezien blijkens dit topic velen anderen de importer heel snel werkend krijgen. Heeft er iemand een idee wat ik hier fout doe?

[Falco]

Imo62 schreef op zondag 11 oktober 2020 @ 11:47:
Als iemand zonder achtergrond met servers en Docker, heb ik gisteravond gepoogd Firefly werkend te krijgen via Docker. Na even zoeken kreeg ik Firefly zelf vrij snel werkend, ik loop echter vast op de CSV importer.

Ik draai drie docker containers, firefly zelf, de mysqldb en de csvimport:

code:

docker ps
CONTAINER ID        IMAGE                               COMMAND                  CREATED              STATUS              PORTS                    NAMES
cafbc0b121c7        fireflyiii/csv-importer:latest      "/usr/local/bin/entr…"   About a minute ago   Up About a minute   0.0.0.0:8081->8080/tcp   xenodochial_rosalind
569c8b75dbd7        jc5x/firefly-iii:latest             "/usr/local/bin/entr…"   53 minutes ago       Up 26 minutes       0.0.0.0:80->8080/tcp     firefly_fireflyiii_1
16ffba117551        yobasystems/alpine-mariadb:latest   "/scripts/run.sh"        53 minutes ago       Up 26 minutes       3306/tcp                 firefly_fireflyiiidb_1
ce8adf0bea85        mysql:8.0.21                        "docker-entrypoint.s…"   13 hours ago         Up 8 minutes        3306/tcp, 33060/tcp      firefly

De firefly container heb ik werkend gekregen middels de standaard docker compose route.

Firefly kan ik netjes benaderen via localhost, de importer kan ik benaderen via localhost:8081.
Echter als ik verbinding leg tussen de importer en Firefly3, dan levert dit constant de volgende foutmelding op:

code:

Tried "https://172.21.0.3:8080/api/v1/about" 5 times but failed: cURL error 28: 
Connection timed out after 31416 milliseconds (see https://curl.haxx.se/libcurl/c/libcurl-errors.html)

De csv-importer containre heb ik draaien via dit scriptje:https://github.com/firefl...r/blob/main/run-hosted.sh.
Hierbij vul ik onder Firefly_III_URI het docker ipadress in zoals ik krijgt als ik deze opvraag:

code:

docker inspect -f '{{range .NetworkSettings.Networks}}{{.IPAddress}}{{end}}' $(docker container ls -a -f name=fireflyiii --format="{{.ID}}")
172.21.0.3

Naar aanleiding van dit topic heb ik ook gepoogd om de naam van de firefly container te gebruiken (in mijn geval firefly_fireflyiii_1) voor de URI maar dan kan er helemaal geen verbinding worden gelegd. Ook rondspelen met poortnummers levert niets op.

Ik vermoed dat ik ergens een elementair foutje maak, gezien blijkens dit topic velen anderen de importer heel snel werkend krijgen. Heeft er iemand een idee wat ik hier fout doe?

Ik kan je er helaas niet mee helpen, maar ik volg graag of er toch nog een eenvoudige oplossing komt hiervoor. Ik heb van alles geprobeerd om hetzelfde probleem op te lossen, maar ik heb het inmiddels opgegeven...

Wat ik ervan kan zien is Firefly en mooi stukje software, maar het is voor mij te lastig om draaiende te krijgen en houden. Typerend ook wel dat het gros van de hulpvragen niet over iets in Firefly zelf is, maar veelal over de installatie, upgraden, docker issues en import functie.

Misschien een rare vraag, maar is de import tool geen standaard onderdeel van Firefly te maken? Voor mij is het een basisvoorwaarde voor software als deze. Helaas ben ik niet handig genoeg om dat zelf te bouwen...

[vanputten80]

hankee schreef op zaterdag 10 oktober 2020 @ 18:53:
Ik heb versie 5.2.5 draaien in Docker op mijn Synology en MariaDB5. Dat werkt allemaal en ik wil graag updaten naar een nieuwe versie. Dat lijkt goed te gaan, als ik in de log kijk zie ik ook:

Updated version. | Thank you for installing Firefly III, v5.4.3!

Maar direct na het starten zie ik in de log:

[mpm_prefork:notice] [pid 1] AH00170: caught SIGWINCH, shutting down gracefully

En dan stopt de container. Heeft er iemand een tip hoe ik dit op zou kunnen lossen? Als ik de oude (5.2.5) container weer draai doet alles het gewoon weer.

Lees eens de change logs tussen de genoemde versies. Vermoed dat er een env.parameter veranderd moet worden.

[vanputten80]

Imo62 schreef op zondag 11 oktober 2020 @ 11:47:
Als iemand zonder achtergrond met servers en Docker, heb ik gisteravond gepoogd Firefly werkend te krijgen via Docker. Na even zoeken kreeg ik Firefly zelf vrij snel werkend, ik loop echter vast op de CSV importer.

Ik draai drie docker containers, firefly zelf, de mysqldb en de csvimport:

code:

docker ps
CONTAINER ID        IMAGE                               COMMAND                  CREATED              STATUS              PORTS                    NAMES
cafbc0b121c7        fireflyiii/csv-importer:latest      "/usr/local/bin/entr…"   About a minute ago   Up About a minute   0.0.0.0:8081->8080/tcp   xenodochial_rosalind
569c8b75dbd7        jc5x/firefly-iii:latest             "/usr/local/bin/entr…"   53 minutes ago       Up 26 minutes       0.0.0.0:80->8080/tcp     firefly_fireflyiii_1
16ffba117551        yobasystems/alpine-mariadb:latest   "/scripts/run.sh"        53 minutes ago       Up 26 minutes       3306/tcp                 firefly_fireflyiiidb_1
ce8adf0bea85        mysql:8.0.21                        "docker-entrypoint.s…"   13 hours ago         Up 8 minutes        3306/tcp, 33060/tcp      firefly

De firefly container heb ik werkend gekregen middels de standaard docker compose route.

Firefly kan ik netjes benaderen via localhost, de importer kan ik benaderen via localhost:8081.
Echter als ik verbinding leg tussen de importer en Firefly3, dan levert dit constant de volgende foutmelding op:

code:

Tried "https://172.21.0.3:8080/api/v1/about" 5 times but failed: cURL error 28: 
Connection timed out after 31416 milliseconds (see https://curl.haxx.se/libcurl/c/libcurl-errors.html)

De csv-importer containre heb ik draaien via dit scriptje:https://github.com/firefl...r/blob/main/run-hosted.sh.
Hierbij vul ik onder Firefly_III_URI het docker ipadress in zoals ik krijgt als ik deze opvraag:

code:

docker inspect -f '{{range .NetworkSettings.Networks}}{{.IPAddress}}{{end}}' $(docker container ls -a -f name=fireflyiii --format="{{.ID}}")
172.21.0.3

Naar aanleiding van dit topic heb ik ook gepoogd om de naam van de firefly container te gebruiken (in mijn geval firefly_fireflyiii_1) voor de URI maar dan kan er helemaal geen verbinding worden gelegd. Ook rondspelen met poortnummers levert niets op.

Ik vermoed dat ik ergens een elementair foutje maak, gezien blijkens dit topic velen anderen de importer heel snel werkend krijgen. Heeft er iemand een idee wat ik hier fout doe?

Ik heb alles op m'n Synology draaien in 3 losse docker containers. Misschien simpel gedacht maar je schrijft niet over een access token. Ik heb in mijn CSV container 2 env variable namelijk de URL naar Firefly (docker netwerk {172...} en niet mijn thuis netwerk {192..}) en een access token die je kunt aanmaken in Firefly zelf. (Weet zo uit hoofd niet waar)

[Firefly III]

hankee schreef op zaterdag 10 oktober 2020 @ 18:53:
Ik heb versie 5.2.5 draaien in Docker op mijn Synology en MariaDB5. Dat werkt allemaal en ik wil graag updaten naar een nieuwe versie. Dat lijkt goed te gaan, als ik in de log kijk zie ik ook:

Updated version. | Thank you for installing Firefly III, v5.4.3!

Maar direct na het starten zie ik in de log:

[mpm_prefork:notice] [pid 1] AH00170: caught SIGWINCH, shutting down gracefully

En dan stopt de container. Heeft er iemand een tip hoe ik dit op zou kunnen lossen? Als ik de oude (5.2.5) container weer draai doet alles het gewoon weer.

* https://github.com/firefly-iii/firefly-iii/issues/3708
* https://httpd.apache.org/docs/2.4/stopping.html#gracefulstop

Zit ergens in Windows 10 volgens mij.

[Imo62]

vanputten80 schreef op maandag 12 oktober 2020 @ 23:01:
[...]


Ik heb alles op m'n Synology draaien in 3 losse docker containers. Misschien simpel gedacht maar je schrijft niet over een access token. Ik heb in mijn CSV container 2 env variable namelijk de URL naar Firefly (docker netwerk {172...} en niet mijn thuis netwerk {192..}) en een access token die je kunt aanmaken in Firefly zelf. (Weet zo uit hoofd niet waar)

Dank voor het meedenken. De access token (PAT) heb ik inderdaad gedefinieerd. De importer komt echter niet zover om de PAT uit te wisselen, omdat de hele verbinding met Firefly niet opgezet kan worden.Voor de zekerheid had ik de PAT wel vernieuwd maar dat heeft ook niet geholpen.

[hankee]

Firefly III schreef op dinsdag 13 oktober 2020 @ 09:19:
[...]

* https://github.com/firefly-iii/firefly-iii/issues/3708
* https://httpd.apache.org/docs/2.4/stopping.html#gracefulstop

Zit ergens in Windows 10 volgens mij.

Bedankt voor de links. Ik snap alleen even niet wat het met Windows te maken kan hebben als alles op mijn Synology draait?

[Kalentum]

* Kalentum meldt zich

Gisteren Firefly III geinstalleerd op een VPS, gewoon zonder Docker. Ik ga nu eens rustig de boel opzetten en ga voorlopig transacties handmatig inkloppen om eens rustig te kijken wat werkt voor mij.

Een paar dingen vielen me op:

Documentatie over de API: ik vond het lastig om te vinden hoe ik een Personal Access Token kon gebruiken. Uiteindelijk na de source code te bekijken bleek dat het zo kan:

code:

curl -H "Authorization: Bearer ${token}" -H "Accept: applicaton/json" -H "Content-Type: application/json" "https://example.com/firefly-iii/api/v1/about"

Installatie van Firefly in een subdirectory is niet optimaal, bv het genereren van een Personal Access Token werkt niet. Ik zag dat dit al gefixt is. Maar het was even zoeken.

Ik heb Apache .htaccess uitstaan dus ik moest de inhoud van het .htaccess bestand kopieren naar mijn VirtualHost configuratie

Ik zit nog wat te zoeken naar hoe met Budgetten en Categoriën om te gaan. Ik denk dat ik alle Budgetten ook een Categorie ga geven.

Het ziet er verder superstrak uit en werkt prima (nu met 10 transacties ). Ik vind de broncode ook er prima uit zien, het is redelijk makkelijk om uit te zoeken hoe iets werkt.

[w0ndersp00n]

Ik ben vandaag ook druk bezig geweest op Firefly III te installeren in docker. Dit ging inderdaad niet zo gemakkelijk als gewenst, maar dat komt omdat ik de database via NFS op mijn NAS wilde opslaan. De image die in het docker-compose voorbeeld wordt gegeven ondersteund dat niet, dus die heb ik vervangen door mariadb van linuxserver.

Ook het importeren van gegevens is inderdaad nog niet volledig vlekkeloos, na ongeveer een uur is het me gelukt om de CSV import container aan de praat te krijgen en de transacties van oktober in te lezen.

Nu ben ik bezig om me alles een beetje eigen te maken, en Firefly III is veel intuïtiever dan ik had verwacht! Oplossingen zoals YNAB en MijnGeldZaken kon ik niet goed mee omgaan en het voelde niet prettig om al mijn financiële gegevens bij een derde partij te plaatsen.

Nu heb ik eigenlijk één vraag, misschien kan iemand me hierbij helpen. Ik heb voor bijvoorbeeld YouTube Premium een contract aangemaakt. Ik betaaln YT alleen via credit card en de credit card kosten worden maandelijks van mijn bankrekening afgeschreven als één grote bulk.
Nu kan ik de credit card transactie handmatig splitten en dat bedrag van YT toewijzen aan het contract. Maar kan dit ook met een regel/automatisch? Ik weet namelijk dat dit iedere maand terugkomt, dus het zou eigenlijk wel handig zijn als dit iedere maand automatisch gedaan wordt zodat ik beter inzicht krijg in de abonnementskosten die ik via credit card betaal.

[Kalentum]

w0ndersp00n schreef op maandag 26 oktober 2020 @ 00:05:
Nu heb ik eigenlijk één vraag, misschien kan iemand me hierbij helpen. Ik heb voor bijvoorbeeld YouTube Premium een contract aangemaakt. Ik betaaln YT alleen via credit card en de credit card kosten worden maandelijks van mijn bankrekening afgeschreven als één grote bulk.
Nu kan ik de credit card transactie handmatig splitten en dat bedrag van YT toewijzen aan het contract. Maar kan dit ook met een regel/automatisch? Ik weet namelijk dat dit iedere maand terugkomt, dus het zou eigenlijk wel handig zijn als dit iedere maand automatisch gedaan wordt zodat ik beter inzicht krijg in de abonnementskosten die ik via credit card betaal.

Ik zou een credit card niet anders behandelen dan een gewone bankrekening en dus die transacties koppelen aan de rekening 'Credit Card' en de maandelijkse incasso van de creditcard is dan een interne overboeking.

Zie ook https://docs.firefly-iii.org/concepts/accounts

Voor bv Paypal ga ik hetzelfde doen: een rekening aanmaken genaamd 'Paypal', en daar komen de uitgaven op. De incasso van Paypal is dus een interne overboeking

[w0ndersp00n]

Ja, daar zat ik ook aan te denken. Alleen biedt ICS helaas geen CSV exports aan. Nu heb ik niet heel veel transacties op de credit card, dus het is wel te doen om het handmatig in te voeren. Maar was wel fijn geweest als ik hier ook nog wat minuten op kon besparen.

Geef je dan een startsaldo op bij je credit card? Want volgens mij heb je dat niet echt.

[ Voor 14% gewijzigd door w0ndersp00n op 26-10-2020 09:20 ]

[Herko_ter_Horst]

Startsaldo CC is 0 toch?

[Kalentum]

Het kan natuurlijk dat je rood staat op je credit card of juist een positief saldo hebt. Maar bij mij is het aan het begin van de maand altijd 0 dus startsaldo is ook 0

[BonJonBovi]

Ik heb wat problemen met het runnen van de spectre-import docker. Ik gebruik de volgende code in een docker-compose file:

code:

  firefly_iii_spectre_importer:
    image: fireflyiii/spectre-importer:develop
    ports:
      - [SPECTRE_IMPORT_PORT]:8080
    environment:
      - FIREFLY_III_ACCESS_TOKEN=[TOKEN]
      - FIREFLY_III_URI=http://[SERVER_IP]:[FIREFLY_PORT]
      - SPECTRE_APP_ID=[SPECTRE_APP_ID]
      - SPECTRE_SECRET=[SECRET]

De documentatie over deze docker is beperkt, dus ik heb zelf uitgevogeld dat hij niet naar port 80 luistert, maar naar port 8080. Desondanks krijg ik error "Server error 500". Aan de hand van de log weet ik zelf niet waardoor dit komt. Heeft iemand ervaring met het werkend krijgen van deze container?

EDIT: Ik heb gelukkig mijn eigen vraag kunnen beantwoorden.
Bij

code:

FIREFLY_III_URI=

moet je het interne Docker ip adres en bijbehorende poort (8080) van Firefly opgeven, dus niet die van de host. Dat had ik dus wel gedaan en dat werkt niet.

EDIT 2: Ik kom wel op de WebUI van de Spectre importer, maar als ik verder klik naar import connections, dan krijg ik een Server Error 500. Ik heb al geprobeerd om de timeout te vergroten, maar dat helpt helaas niet. Hij probeert mij te verwijzen naar http://server_ip:8087/import/spectre-connections

Is dat een valide URL?

[ Voor 26% gewijzigd door BonJonBovi op 31-10-2020 08:37 ]

[Asterion]

Hoi Tweakers,

Is er een mogelijkheid waarmee je overschrijvingen kan linken aan omschrijvingen, doelrekening en categorie?
Na een import zijn er veel onbekende zaken voor Firefly.
Zo staat er in mijn csv bestand vaak geen naam ingegeven bij de doelrekening waardoor ik telkens alle overschrijvingen handmatig moet nabewerken.

Dat is een tijdrovende klus.
Bestaat er een mogelijkheid om gebruik te maken van dropdown menu's bij het in bulk wijzigen van overschrijven?
Wat ik nu moet doen is telkens de beginletters typen waarna je suggesties krijgt.
Een dropdown menu zou dit wel makkelijker kunnen maken?

Ofwel importeer ik helemaal verkeerd, dat kan ook?

[Koepert]

Een foutje dat ik had kunnen voorkomen..maar ik heb recent Firefly opnieuw opgebouwd. Transacties van 2018, 2019 en 2020 geïmporteerd. Prima gelukt (behalve dat ik een strikte regel op niet strikt heb gezet waardoor alle transacties " Rabo DirectPakket" heten..... maar dat is (bijna) gefixt).. Andere uitdaging..

Kan ik de transacties die als "Naam EO" en daarmee debiteur geimporteerd staan (onze spaar-rekening dus) omzetten naar de spaarrekening? Had ik beter eerder kunnen bedenken, dat klopt..

[DR.V]

Toevallig iemand hier die in het verleden firefly-iii heeft gebruikt maar nu al enige tijd bunq gebruikt

Firefly-iii ziet er nog altijd zo onwijs overzichtelijk uit en ik neig er waar naar dit te gebruiken.
Momenteen gebruik ik binnen bunq al meerdere verschillende budgetten in de vorm van verschillende rekeningen.

Voordeel is dat automatische incasso's/virtuele creditcards automatisch van een potje afgaan. Het grote nadeel is dat het wat vaag om in te zien wat ik per welk potje aan euro's heb gebudgetteerd en hoeveel procent daar nog van over. Daarnaast klopt met een pinbetaling van het verkeerde potje het gehele budget en transactieoverzicht niet meer. Op het eerste gezicht dus simpel maar zodra je ermee werkt toch rommelig en overzichtelijk.

Zou firefly-iii hier nog aan kunnen bijdragen met het oog op versimpeling? Of heeft iemand een algehele betere tip voor deze financiële workflow? Met budgetteren is het doel juist dingen simpeler maken lijkt mij.

[lubbertkramer]

lubbertkramer schreef op dinsdag 2 juni 2020 @ 16:44:
Ik ben vandaag begonnen met de CSV importer, hij werkt alleen loop ik tegen een probleem aan dat hij column 9/10 niet laat zien bij de importer waardoor hij na het importeren geen opposing-name/opposing-iban heeft en ik betalingen dus niet kan koppelen aan een categorie / tag / budget. @Firefly III heb je enig idee wat ik fout doe?

Zie de screenshots/code hieronder

Firefly docker versie: jc5x/firefly-iii:release-5.2.6
Firefly CSV docker versie: fireflyiii/csv-importer:release-1.0.9
Bank: ABN Amro

Dit is de ABN Amro code die ik gebruik:

code:

{
    "file-type": "csv",
    "date-format": "Ymd",
    "has-headers": false,
    "delimiter": "tab",
    "apply-rules": true,
    "specifics": {
        "AbnAmroDescription": 1
    },
    "import-account": 1,
    "column-count": 10,
    "column-roles": [
        "account-number",
        "currency-code",
        "date-transaction",
        "_ignore",
        "_ignore",
        "date-interest",
        "amount",
        "description",
        "opposing-name",
        "opposing-iban"
    ],
    "column-do-mapping": [
        true,
        true,
        false,
        false,
        false,
        false,
        false,
        false,
        true,
        true
    ],
    "column-roles-complete": false,
    "column-mapping-config": {
        "0": [],
        "1": {
            "EUR": 1
        },
        "8": [],
        "9": []
    }
}

[Afbeelding]

[Afbeelding]

Na contact met @Firefly III en met ABN AMRO helaas geen oplossing kunnen vinden voor bovenstaande. Het gaat fout in de export van ABN.

Laat nu het lot beslissen dat we een nieuwe woning willen laten bouwen en onze huidige in de verkoop gaan doen waarbij Rabobank als winnaar uit de bus kwam qua hypotheek. Nu is mijn vraag heeft Rabobank problemen met Firefly of gaat dat beter?

[stuffer]

lubbertkramer schreef op zondag 8 november 2020 @ 23:08:
[...]


Na contact met @Firefly III en met ABN AMRO helaas geen oplossing kunnen vinden voor bovenstaande. Het gaat fout in de export van ABN.

Laat nu het lot beslissen dat we een nieuwe woning willen laten bouwen en onze huidige in de verkoop gaan doen waarbij Rabobank als winnaar uit de bus kwam qua hypotheek. Nu is mijn vraag heeft Rabobank problemen met Firefly of gaat dat beter?

Ik ben 2 jaar geleden overgestapt van ABN naar Rabo en met het aanpassen van de import.json werkt die prima.

Ik gebruik nu deze:

https://github.com/firefl...obank-new-csv-format.json

[MartenBE]

Ik heb de volgende bestanden gemaakt voor het importeren van KBC (België) csv-bestanden:

Opkuisscript (niet nodig, maar kan de grootte van het bestand delen door 10 doordat KBC ontzettend veel whitespace toevoegd)

Python:

#!/usr/bin/env python3

import argparse
import csv
import re
from datetime import datetime
 
parser = argparse.ArgumentParser()
parser.add_argument("filenames", nargs="+")
args = parser.parse_args()

csv_parsed_header = ""
csv_parsed_content = []
for i, filename in enumerate(args.filenames):
    with open(filename, newline="") as csv_file:
        print(f"Processing {filename} ... ", end="")

        reader = csv.reader(csv_file, delimiter=";", skipinitialspace=True)

        if i == 0:
            csv_parsed_header = next(reader)
        else:
            assert csv_parsed_header == next(reader)
        
        for row in reader:
            cleaned_row = [re.sub(r" +", " ", field) for field in row]
            csv_parsed_content.append(cleaned_row)
        
        print("done")

print("Sorting ...", end="")

def get_key_row(row):
    return datetime.strptime(row[5], "%d/%m/%Y")

csv_parsed_content.sort(key=get_key_row)

print("done")

result_filename = "combined-and-cleaned.csv"
with open(result_filename, "w", newline="") as csvfile:
    print(f"Writing to {result_filename} ... ", end="")

    writer = csv.writer(csvfile, delimiter=";")
    writer.writerow(csv_parsed_header)
    writer.writerows(csv_parsed_content)

    print("done")

import-json-bestand

JavaScript:

{
    "date": "d\/m\/Y",
    "default_account": /* 0 */, // TODO
    "delimiter": "semicolon",
    "headers": true,
    "ignore_duplicate_lines": true, // NODIG?
    "ignore_duplicate_transactions": true, // NODIG?
    "rules": true,
    "skip_form": false,
    "add_import_tag": true,
    "specifics": [],
    "roles": [
        "account-iban",
        "_ignore",
        "_ignore",
        "currency-code",
        "external-id",
        "date_transaction",
        "description",
        "_ignore",
        "amount",
        "_ignore",
        "amount_credit",
        "amount_debit",
        "opposing-iban",
        "opposing-bic",
        "opposing-name",
        "_ignore",
        "note",
        "note"
    ],
    "do_mapping": {
        "0": true,
        "2": false,
        "1": false,
        "3": false,
        "4": false,
        "5": false,
        "6": false,
        "7": false,
        "8": false,
        "9": false,
        "10": false,
        "11": false,
        "12": false,
        "13": false,
        "14": false,
        "15": false,
        "16": false,
        "17": false
    },
    "mapping": {
        // TODO
    },
    "version": 2
}

Alleen heb ik problemen met de volgende statements:

• ignore_duplicate_lines
• ignore_duplicate_transactions

Wat doen deze exact en waarin verschillen ze exact? Ik heb een aantal statements die als dubbel zijn aangeduid, maar dat niet zijn (uniek ID, al de rest gelijkaardig). Ik ben er zeker van dat deze transacties geen duplicaat zijn en de bank correct is. Hoe vermijd ik dit?

code:

Rekeningnummer;Rubrieknaam;Naam;Munt;Afschriftnummer;Datum;Omschrijving;Valuta;Bedrag;Saldo;credit;debet;rekeningnummer tegenpartij;BIC tegenpartij;Naam tegenpartij;Adres tegenpartij;gestructureerde mededeling;Vrije mededeling
...
BE12345678901234;;MARTENBE;EUR;12345678;29/09/2017;BETALING AANKOPEN 29-09 28-09-2017 OM 07.43 UUR MET KBC-DEBETKAART 0123 45XX XXXX X678 9 KAARTHOUDER: MARTENBE;29/09/2017;-1,00;2562,87;;-1,00;;;;;;
BE12345678901234;;MARTENBE;EUR;12345678;29/09/2017;BETALING AANKOPEN 29-09 28-09-2017 OM 07.43 UUR MET KBC-DEBETKAART 0123 45XX XXXX X678 9 KAARTHOUDER: MARTENBE;29/09/2017;-1,00;2563,87;;-1,00;;;;;;
...

Daarnaast ook nog het probleem dat de csv-bestanden van KBC vaak geen IBAN van de ontvanger hebben staan en er dus veel transacties naar de "(none)" categorie gaan. Daar zoek ik ook nog een oplossing voor.

Ook nog iets waar ik niet goed aan uit ben: ik heb een zicht en spaarrekening. Op het dashboard hebben deze beiden een bedrag onder balans. Deze bedragen komen niet overeen met de bedragen die ik volgens de bank op dat moment had. De som van die twee komt echter wel overeen. In symbolen:

$zicht_firefly != $zicht_bank
$spaar_firefly != $spaar_bank

$zicht_firefly + $spaar_firefly == $spaar_bank + $zicht_bank

Hoe komt dit? Interpreteer ik balans verkeerd?

^Gevonden! Het heeft te maken met het probleem van geen ontvanger! Ik had eerst zowel de csv van mijn zichtrekening als die van mijn spaarrekening geïmporteerd, maar dan zaten transfers tussen zicht- en spaarrekening er dubbel in. De werkwijze is nu als volgt:

1. Indien nog niet gebeurd, maak de asset accounts aan voor de zicht- en spaarrekening.
2. Importeer de csv van de zichtrekening, aangezien deze het grootst is. Ik zet hier trouwens ignore_duplicate_lines en ignore_duplicate_transactions op false.
3. Filter alle transacties weg die een ontvang IBAN hebben in de csv van de spaarrekening en importeer deze dan.

De laatste stap is nodig omdat KBC voor sommige opdrachten (bv. automatische spaaropdrachten) geen ontvang IBAN in de csv plaatst. Hierdoor ontbreken deze transfers omdat Firefly deze dan ziet als expenses i.p.v. transfers en kloppen de cijfers niet meer. Door het filteren vermijd je dat transfers die al geïmporteerd waren voor de zichtrekening niet dubbel geïmporteerd worden.

Wel echt handig programma! Mooi gemaakt ook!

[ Voor 17% gewijzigd door MartenBE op 11-11-2020 20:31 ]

[bartmaniac]

updaten van de firefly applicatie via docker-compose lijk ik min of meer onder de knie te krijgen (ik volg een stappenplan en hoop dat het altijd goed afloopt, want geen idee hoe te backuppen/restoren maar ik krijg maar geen toegang tot poort 8082 waar Bunq importer draait. 1 keer heeft het gewerkt. Wat ik krijg is steeds

Deze pagina werkt momenteel nietlocalhost heeft geen gegevens verzonden.
ERR_EMPTY_RESPONSE

In de .env file staat het correcte ip adres

[MartenBE]

bartmaniac schreef op zondag 15 november 2020 @ 12:06:
updaten van de firefly applicatie via docker-compose lijk ik min of meer onder de knie te krijgen (ik volg een stappenplan en hoop dat het altijd goed afloopt, want geen idee hoe te backuppen/restoren maar ik krijg maar geen toegang tot poort 8082 waar Bunq importer draait. 1 keer heeft het gewerkt. Wat ik krijg is steeds

Deze pagina werkt momenteel nietlocalhost heeft geen gegevens verzonden.
ERR_EMPTY_RESPONSE

In de .env file staat het correcte ip adres

Als je docker-compose gebruikt, moet je niet een IP-adres invullen, maar de servicenaam. docker-compose zet zijn eigen netwerk op en gebruikt de service namen als ip-adressen.

https://stackoverflow.com...ers-with-each-other-using

[bartmaniac]

zo ziet mijn docker-compose.yml file er uit

version: '3.3'

services:
fireflyiii:
image: jc5x/firefly-iii:latest
hostname: fireflyiii
container_name: fireflyiii
volumes:
- firefly_iii_upload:/var/www/html/storage/upload
env_file: .env
ports:
- 80:8080
depends_on:
- fireflyiiidb
fireflyiiidb:
hostname: fireflyiiidb
container_name: fireflyiiidb
image: yobasystems/alpine-mariadb:latest
environment:
- MYSQL_RANDOM_ROOT_PASSWORD=yes
- MYSQL_USER=firefly
- MYSQL_PASSWORD=secret_firefly_password
- MYSQL_DATABASE=firefly
volumes:
- firefly_iii_db:/var/lib/mysql
restart: unless-stopped
bunq-importer:
image: fireflyiii/bunq-importer:develop
container_name: bunq-importer
volumes:
- firefly_iii_upload:/var/www/html/storage/upload
env_file: .env
ports:
- 8082:80
volumes:
firefly_iii_upload:
firefly_iii_db:

[MartenBE]

bartmaniac schreef op zondag 15 november 2020 @ 16:24:
zo ziet mijn docker-compose.yml file er uit

...

Gebruik de BB-code-tags om code te formatteren, want zo is het erg moeilijk leesbaar. Ook zien we niet wat er in jouw .env-bestand staat.

Ik gebruik de volgende docker-compose, misschien ben je daar iets mee?

code:

version: '3.3'

services:
    fireflyiii:
        image: jc5x/firefly-iii:latest
        volumes:
            - .files-fireflyiii-upload:/var/www/html/storage/upload
        environment:
            - DB_CONNECTION=mysql
            - DB_HOST=database
            - DB_PORT=3306
            - DB_DATABASE=${DB_DATABASE}
            - DB_USERNAME=${DB_USER}
            - DB_PASSWORD=${DB_PASSWORD}
            - APP_KEY=${APP_KEY}
            - TRUSTED_PROXIES=**
        ports:
            - 8007:8080
        depends_on:
            - database

    database:
        image: mariadb:latest
        environment:
            - MYSQL_ROOT_PASSWORD=${DB_ROOT_PASSWORD}
            - MYSQL_DATABASE=${DB_DATABASE}
            - MYSQL_USER=${DB_USER}
            - MYSQL_PASSWORD=${DB_PASSWORD}
        volumes:
            - .files-database/:/var/lib/mysql

    csvimporter:
        image: fireflyiii/csv-importer:latest
        environment:
            - FIREFLY_III_ACCESS_TOKEN=${ACCESS_TOKEN}
            - FIREFLY_III_URI=fireflyiii:8080
            - TRUSTED_PROXIES=**
        ports:
            - 8009:8080
        depends_on:
            - fireflyiii

[bartmaniac]

bij deze

code:

version: '3.3'

services:
fireflyiii:
image: jc5x/firefly-iii:latest
hostname: fireflyiii
container_name: fireflyiii
volumes:
- firefly_iii_upload:/var/www/html/storage/upload
env_file: .env
ports:
- 80:8080
depends_on:
- fireflyiiidb
fireflyiiidb:
hostname: fireflyiiidb
container_name: fireflyiiidb
image: yobasystems/alpine-mariadb:latest
environment:
- MYSQL_RANDOM_ROOT_PASSWORD=yes
- MYSQL_USER=firefly
- MYSQL_PASSWORD=secret_firefly_password
- MYSQL_DATABASE=firefly
volumes:
- firefly_iii_db:/var/lib/mysql
restart: unless-stopped
bunq-importer:
image: fireflyiii/bunq-importer:develop
container_name: bunq-importer
volumes:
- firefly_iii_upload:/var/www/html/storage/upload
env_file: .env
ports:
- 8082:80
volumes:
firefly_iii_upload:
firefly_iii_db:

[bartmaniac]

Bij het willen starten van de bunq-importer container krijg ik volgend error

(HTTP code 500) server error - driver failed programming external connectivity on endpoint bunq-importer (2e0683bcb179f79d6803917aee320958b3c443261612cf0cbdbe414cbd5f5696): Bind for 0.0.0.0:80 failed: port is already allocated. Allicht omdat er staat 8082:80? Eerder stond er 80:8082 en startte de container zonder error maar dan kreeg ik geen verbinding ERR_EMPTY_RESPONSE

[bartmaniac]

als ik container fireflyiii/bunq-importer:develop run via de local host poort 9000 dan opent wel de webpagina maar staat er
Please set a valid value for "FIREFLY_III_ACCESS_TOKEN" in the env file. Vreemd want dit is wel degelijk ingevuld. Ik kan daar toch moeilijk een andere tekenreeks gaan plakken dan wat ik kopieër uit mijn firefly profile pagina (de personal access token)

[vanisher]

Ik ben weer bezig met mijn maandelijkse import in firefly, alleen als ik de pagina benader krijg ik:

Upgrade Required

Ik draai het op docker, er is verder niets veranderd naar mijn weten. Alles laatste versie het postgress versie 10.

[Oon]

Is er iemand die een manier weet om een overzicht van ICS te importeren? Op icscards.nl krijg ik alleen per maand een overizcht als PDF gedownload, maar daar kan ik in de CSV importer natuurlijk weinig mee.

Een optie zou zijn om een bookmarklet in elkaar te flansen waarmee de DOM uitgelezen wordt, maar of dat nou ideaal is..

[Oon]

bartmaniac schreef op dinsdag 17 november 2020 @ 00:55:
bij deze

code:

[..]

Heb je geen indents in je bestand?

Om een voorbeeld toe te voegen naast die van @MartenBE, dit is mijn docker-compose die binnen een Docker Swarm-omgeving draait. Ik draai Traefik en MariaDB in een losse stack, en route Firefly door Traefik heen, maar als je alles onder 'labels' vervangt door een portforward werkt het precies hetzelfde.

code:

version: '3.7'
services:
    firefly:
        image: jc5x/firefly-iii:latest
        volumes:
            - /vmdata/services/firefly/upload:/var/www/html/storage/upload
            - /vmdata:/vmdata
        labels:
            - "traefik.enable=true"
            - "traefik.docker.network=traefik-public"
            - "traefik.backend=firefly"
            - "traefik.frontend.rule=Host:firefly.<mijnlokaledomeinnaam>"
            - "traefik.port=8080"
        environment:
            - APP_KEY=<weggehaald>
            - DB_HOST=common_db
            - DB_PORT=3306
            - DB_CONNECTION=mysql
            - DB_DATABASE=firefly
            - DB_USERNAME=firefly
            - DB_PASSWORD=<weggehaald>
            - TRUSTED_PROXIES=**
            - APP_URL=https://firefly.<mijnlokaledomeinnaam>
        networks:
            - common
            - traefik-public
    importer:
        image: fireflyiii/csv-importer:latest
        volumes:
            - /vmdata/services/firefly/upload:/var/www/html/storage/upload
            - /vmdata:/vmdata
        labels:
            - "traefik.enable=true"
            - "traefik.docker.network=traefik-public"
            - "traefik.backend=importer"
            - "traefik.frontend.rule=Host:firefly-import.<mijnlokaledomeinnaam>"
            - "traefik.port=8080"
            - "traefik.frontend.auth.basic.usersFile=/run/secrets/.htpasswd"
        environment:
            - FIREFLY_III_CLIENT_ID=5
            - FIREFLY_III_URI=https://firefly.<mijnlokaledomeinnaam>
        networks:
            - common
            - traefik-public
networks:
    traefik-public:
        external: true
    common:
        external: true
secrets:
    traefik-htpasswd:
        external: true

[w0ndersp00n]

Ik was ook op zoek naar een manier om ICS te importeren. De klantenservice geeft aan dat ze alleen PDF ondersteunen en niet van plan zijn andere formaten toe te voegen. Daarom doe ik het maar handmatig. Maar als iemand hier een mooie oplossing voor zou hebben, dan hou ik me aanbevolen

[Oon]

w0ndersp00n schreef op zaterdag 21 november 2020 @ 20:00:
Ik was ook op zoek naar een manier om ICS te importeren. De klantenservice geeft aan dat ze alleen PDF ondersteunen en niet van plan zijn andere formaten toe te voegen. Daarom doe ik het maar handmatig. Maar als iemand hier een mooie oplossing voor zou hebben, dan hou ik me aanbevolen

Ah, dat scheelt mij weer een rondje klantenservice. Ik ga eens wat knutselen om te kijken of ik het voor elkaar krijg

[ Voor 98% gewijzigd door Oon op 21-11-2020 22:25 ]

[Oon]

Inmiddels weer twee uurtjes verder heb ik een userscript (voor bijv. TamperMonkey) geschreven om hierbij te helpen:
https://gist.github.com/I...a4f51908976ba2e07e2fd8ee9

Na installatie krijg je een schermpje binnen je ICS overzicht, hierin staat je kaartnummer ter controle (deze wordt gebruikt voor de requests om de data op te halen) en een lijstje van de overzichten die je kunt downloaden. Als je op een overzicht klikt wordt deze op de achtergrond gedownloadt, waarna je een DL-knop kan gebruiken om deze als CSV op te slaan.

Gebruik hiervan geheel op eigen risico, ik heb niet bewust iets verkeerd gedaan maar ik kan me voorstellen dat dit na een update van icscards.nl niet meer goed zal werken. Het zal ook niet werken voor een andere versie van de website dan icscards.nl.

---

Ik heb nu (mbv bovenstaande user script) een aantal van mijn creditcardoverzichten geïmporteerd naar een Asset account, maar ik vraag me nu af of ik niet automatisch meer kan koppelen. Ik heb bijvoorbeeld dit als Netflix betaling:


Als ik het goed begrijp zou ik dan dus een Expense account aan moeten maken voor Netflix, en alle Netflix betalingen daaraan koppelen? Klopt dat, of zit ik er dan helemaal naast?

Ik krijg ook bij het importeren van een overzicht waarin mijn rekening is afbetaald de volgende fout:



Dit vermoedelijk omdat vrijwel alle gegevens hierin ontbreken, ik heb alleen een datum, 'GEINCASSEERD VORIG SALDO', een negatief bedrag en wat IDs als data op die regel. Is er een manier om deze te pre-processen o.i.d.? Is dit nodig, of kan ik op de een of andere manier aan de andere kant (bij de afschrijving op mijn bankrekening) aangeven dat het naar die rekening gaat?

Het antwoord hierop was dat ik niet 'Description' maar 'Opposing account (name)' moest mappen, en voor iedere verkoper een Expense account aan moest maken. Ik heb nu de incasso ook naar het juiste bankaccount gemapt, met de hoop deze transactie dadelijk weer aan de juiste transactie aan die kant te kunnen koppelen (?)

[ Voor 64% gewijzigd door Oon op 21-11-2020 23:22 ]

[bartmaniac]

ik probeer tevergeefs de mobile versie van firefly-iii te gebruiken (deze van emansih)al snap ik niet goed wat bedoeld wordt met base url als je kiest voor personal access token. Ik heb dit in mijn firefly aangemaakt en gekopierd naar dat veld maar geen idee wat bij base url dient ingevuld te worden. Op mijn desktop pc open ik firefly-iii door in de browerbalk localhost/login te typen en krijg ik het inlogvester. Moet je op je smartphone dan verwijzen naar het ip adres van de desktoppc waarop firefly draait?
De andere aanmeldmethode OAUTH krijg ik eveneens niet aan de praat. De 3 velden vul ik in
url: http://empty
client id (22)
client secret (de tekenreeks die ik ook terugvind in mijn firefly onder profile. Hier krijg ik dan de optie om verder te gaan via de browser of via fireflyii mobile zelf, maar telkens met een error
"Deze pagina is niet bereikbaar ERR_NAME_NOT_RESOLVED

[Kalentum]

bartmaniac schreef op maandag 23 november 2020 @ 17:16:
ik probeer tevergeefs de mobile versie van firefly-iii te gebruiken (deze van emansih)al snap ik niet goed wat bedoeld wordt met base url als je kiest voor personal access token. Ik heb dit in mijn firefly aangemaakt en gekopierd naar dat veld maar geen idee wat bij base url dient ingevuld te worden. Op mijn desktop pc open ik firefly-iii door in de browerbalk localhost/login te typen en krijg ik het inlogvester. Moet je op je smartphone dan verwijzen naar het ip adres van de desktoppc waarop firefly draait?
De andere aanmeldmethode OAUTH krijg ik eveneens niet aan de praat. De 3 velden vul ik in
url: http://empty
client id (22)
client secret (de tekenreeks die ik ook terugvind in mijn firefly onder profile. Hier krijg ik dan de optie om verder te gaan via de browser of via fireflyii mobile zelf, maar telkens met een error
"Deze pagina is niet bereikbaar ERR_NAME_NOT_RESOLVED

Met localhost gaat het sowieso niet werken want dat verwijst naar het apparaat waar je op zit. Dus op je mobiel is localhost je mobiel en op de desktop is localhost je desktop

Je kan proberen om het ip-adres van je desktop te gebruiken maar je kan dan alleen maar op je eigen netwerk met Firefly werken, dus niet buiten je huis.

[Oon]

Heeft iemand een werkende config voor knab?
Ik heb nu het volgende:

code:

Niet meer relevant

Hierbij moet ik echter wel de eerste regel weghalen, en dan nog ziet hij de header regel als waarden om te importeren

Edit:

Heb nu de volgende config, die deels lijkt te werken:

code:

{
    "date": "d-m-Y",
    "default_account": 30,
    "delimiter": "semicolon",
    "headers": true,
    "ignore_duplicate_lines": true,
    "ignore_duplicate_transactions": true,
    "rules": true,
    "skip_form": false,
    "add_import_tag": true,
    "specifics": [],
    "roles": [
        "account-iban",
        "date_transaction",
        "currency-code",
        "generic-debit-credit",
        "amount_negated",
        "opposing-iban",
        "opposing-name",
        "_ignore",
        "note",
        "description",
        "_ignore",
        "sepa_db",
        "sepa_ci",
        "note",
        "internal_reference",
        "date_book",
        "_ignore"
    ],
    "do_mapping": {
        "0": true,
        "1": true,
        "2": true,
        "3": true,
        "5": true,
        "6": true,
        "4": false,
        "7": false,
        "8": false,
        "9": false,
        "10": false,
        "11": false,
        "12": false,
        "13": false,
        "14": false,
        "15": false,
        "16": false
    },
    "mapping": {
        "2": {
            "EUR": 1
        }
    },
    "version": 2
}

Alleen draait hij alles om, waardoor bijv. de Jumbo een Revenue account wordt, en een bedrag dat ik terug heb gekregen van H&M voor iets dat we teruggestuurd hebben wordt een Expense account??

[ Voor 31% gewijzigd door Oon op 25-11-2020 15:45 ]

[bartmaniac]

ik begin stilaan zicht te krijgen hoe ik firefly III kan upgraden bij nieuwe release (via docker-compose) en ook de import upgrades. Mijn financiën zitten er bijna zo goed als in sinds 1.1.2019. Wat is nu nog niet weet is hoe een backup en restore te maken. Dat is ook de reden waarom ik de aankoop van een nieuwe windows pc aan het uitstellen ben. Hoe zou ik die database overgeezet krijgen naar de nieuwe pc? Maak ik een nieuwe fireffly-iii en lege database aan op de nieuwe pc (hoe dat moe weet ik) of maak ik enkel een nieuwe firefly-iii aan en move of copy ik de bestaande database van de oude pc. En vooral waar vind ik mijn database. Dat is me niet duidelijk. is dat 1 directory of meerdere?

[Sicco92]

Ik heb Firefly nu een weekje draaien en ik ben er heel tevreden over. Het is vaak even uitzoeken, maar na een tijdje werkt het best wel vlekkeloos vaak. Ook ben ik heel blij met de mate van automatisering die ik toe kan passen, dus so far so good

Het enige waar ik nu tegenaan loop is dat ik niet kan achterhalen hoe regels en spaarpotjes samenwerken. Ik heb een aantal spaarpotjes waarin ik spaar voor verschillende categorieën. Nu zou ik graag een regel willen hebben die bepaalde transacties koppelt aan een spaarpotje. Bijvoorbeeld: ik maak 100 euro over met omschrijving 'Auto' naar een spaarrekening waar het spaarpotje ook 'op' staat, dan zou ik graag willen dat het spaarpotje ook automatisch +100 gaat.

Bij de regels zie ik een actie 'Bedrag +/- bij een spaarpotje', maar ik snap niet hoe die actie werkt. Namen van spaarpotjes kan ik daar niet invullen, aangezien alleen cijfers geaccepteerd worden. Alleen dan snap ik niet hoe ik dat bedrag kan linken aan een spaarpotje. Ik kan hier ook geen documentatie over vinden helaas.

Is er hier toevallig iemand die me hierbij kan helpen, of kan wijzen op documentatie die me verder kan helpen?

[Firefly III]

Sicco92 schreef op zaterdag 5 december 2020 @ 14:29:
Ik heb Firefly nu een weekje draaien en ik ben er heel tevreden over. Het is vaak even uitzoeken, maar na een tijdje werkt het best wel vlekkeloos vaak. Ook ben ik heel blij met de mate van automatisering die ik toe kan passen, dus so far so good

Het enige waar ik nu tegenaan loop is dat ik niet kan achterhalen hoe regels en spaarpotjes samenwerken. Ik heb een aantal spaarpotjes waarin ik spaar voor verschillende categorieën. Nu zou ik graag een regel willen hebben die bepaalde transacties koppelt aan een spaarpotje. Bijvoorbeeld: ik maak 100 euro over met omschrijving 'Auto' naar een spaarrekening waar het spaarpotje ook 'op' staat, dan zou ik graag willen dat het spaarpotje ook automatisch +100 gaat.

Bij de regels zie ik een actie 'Bedrag +/- bij een spaarpotje', maar ik snap niet hoe die actie werkt. Namen van spaarpotjes kan ik daar niet invullen, aangezien alleen cijfers geaccepteerd worden. Alleen dan snap ik niet hoe ik dat bedrag kan linken aan een spaarpotje. Ik kan hier ook geen documentatie over vinden helaas.

Is er hier toevallig iemand die me hierbij kan helpen, of kan wijzen op documentatie die me verder kan helpen?

Welke versie draai je? De "bedrag bij spaarpotje" actie hoort de naam van een spaarpotje te accepteren. Ik meen dat dit in de laatste versie sowieso goed gaat.

[Sicco92]

Firefly III schreef op zaterdag 5 december 2020 @ 14:45:
[...]

Welke versie draai je? De "bedrag bij spaarpotje" actie hoort de naam van een spaarpotje te accepteren. Ik meen dat dit in de laatste versie sowieso goed gaat.

Ik verwachtte ook al dat die actie zo zou moeten werken, maar hij accepteert alleen cijfers. Als ik bijvoorbeeld 'Auto' invul, dan krijg ik een foutmelding 'Deze waarde is niet geldig voor de geselecteerde actie.' Ik heb een spaarpotje 'Auto', dus daar zou het niet aan mogen liggen.
Ik heb versie 5.4.6, via de 'latest' tag in docker.

[bartmaniac]

ik probeer de firefly iii mobile android app te gebruiken en wil inloggen via personal access token maar ik krijg een connection closed by peer. in de app vul ik bij url in https://empty.com (geen idee wat daar de bedoeling van is, neem dit letterlijk over uit een manual) en in het veld personal accessoires token plak ik de tekens die gegenereerd werd door de firefly desktop versie.

Lijkt me een interessante app alleeen geen idee hoe hem aan de praat te krijgen. Heb de laatste update. kan dit buiten het eigen netwerk gebruikt worden? ik heb mijn router zo ingesteld dat ik vanaf eender welke externe pc toegang heb tot firefly-iii. ik kan dus via de webbrowser op het werk inloggen op firefly en gegevens raadplegen aanpassen enz.

[Firefly III]

Sicco92 schreef op zaterdag 5 december 2020 @ 14:51:
[...]


Ik verwachtte ook al dat die actie zo zou moeten werken, maar hij accepteert alleen cijfers. Als ik bijvoorbeeld 'Auto' invul, dan krijg ik een foutmelding 'Deze waarde is niet geldig voor de geselecteerde actie.' Ik heb een spaarpotje 'Auto', dus daar zou het niet aan mogen liggen.
Ik heb versie 5.4.6, via de 'latest' tag in docker.

Het is een bug, ga ik oppakken!

bartmaniac schreef op vrijdag 11 december 2020 @ 21:31:
ik probeer de firefly iii mobile android app te gebruiken en wil inloggen via personal access token maar ik krijg een connection closed by peer. in de app vul ik bij url in https://empty.com (geen idee wat daar de bedoeling van is, neem dit letterlijk over uit een manual) en in het veld personal accessoires token plak ik de tekens die gegenereerd werd door de firefly desktop versie.

Lijkt me een interessante app alleeen geen idee hoe hem aan de praat te krijgen. Heb de laatste update. kan dit buiten het eigen netwerk gebruikt worden? ik heb mijn router zo ingesteld dat ik vanaf eender welke externe pc toegang heb tot firefly-iii. ik kan dus via de webbrowser op het werk inloggen op firefly en gegevens raadplegen aanpassen enz.

Ik heb even dikgedrukt wat belangrijk is. Vul nou eens niet klakkeloos in wat er in de manual staat maar lees je eigen post.

1. Je hebt een adres waar je heen gaat om Firefly III te bezoeken.
2. De app vraagt om een website adres.

Rara wat moet je invullen?

[bartmaniac]

Firefly III schreef op zaterdag 12 december 2020 @ 10:16:
[...]

Het is een bug, ga ik oppakken!


[...]


Ik heb even dikgedrukt wat belangrijk is. Vul nou eens niet klakkeloos in wat er in de manual staat maar lees je eigen post.

1. Je hebt een adres waar je heen gaat om Firefly III te bezoeken.
2. De app vraagt om een website adres.

Rara wat moet je invullen?

ok deed ik nu maar jammer genoeg lukt het mij nog niet. Bij Sign in using Personal Access Token komt er volgende foutmelding

SSL handshake aborted: ssl=0x7722727348 I/O error during system call, Connection reset by peer.

[Oon]

Is er een (makkelijke) manier om accounts te mergen? Ik ben aan het proberen een strategie te bedenken om al mijn transacties van verschillende banken te importeren met de CSV importer, maar ik kom steeds uit op een flink aantal verschillende accounts van bijv. de supermarkt omdat die allemaal net een andere naam en rekeningnummer hebben. Ik zou graag alle verschillende Albert Heijn accounts als één expense account willen.

In de importer kan ik niet zien welke naam/transactie er bij een IBAN hoort in het lijstje, je ziet alleen de waarde van het veld dat je aan het mappen bent. Dit zorgt er voor dat er heel veel op automap blijft staan, omdat deze of nog geen account hebben of ik gewoon überhaupt geen idee heb waar deze bij horen. Een beetje post processing vind ik daarbij niet erg, maar is dat mogelijk?

Edit: Aan de database schema te zien zijn er maar drie referenties naar account_id; transactions, piggy_banks en account_meta. In theorie zou ik dus een query kunnen draaien die de transacties merged naar één account, en dan de accounts die wegvallen deleten. De account_meta tabel heeft netjes een cascade op account_id delete dus dat lost zichzelf dan op.

Ik ga het gewoon eens proberen, dan zien we het vanzelf

[ Voor 20% gewijzigd door Oon op 25-12-2020 10:40 ]

[Transportman]

Je zou direct in de database de transacties om kunnen hangen als je een beetje handig bent met SQL, ik dacht dat er ook wel een optie in de applicatie was om transacties in bulk om te hangen maar die kan ik niet meer vinden.

[Oon]

Transportman schreef op vrijdag 25 december 2020 @ 10:44:
Je zou direct in de database de transacties om kunnen hangen als je een beetje handig bent met SQL, ik dacht dat er ook wel een optie in de applicatie was om transacties in bulk om te hangen maar die kan ik niet meer vinden.

Gelukkig kan ik mezelf wel handig met SQL noemen, dus ik ga het zeker eens proberen. Ben nu alleen aan het proberen om de importer überhaupt werkend te krijgen, hij blijft helemaal vast hangen als ik eenmaal bij het importeren ben terwijl het een standaard Rabobank CSV is met slechts 3500 rijen

[Firefly III]

Oon schreef op vrijdag 25 december 2020 @ 10:29:
Is er een (makkelijke) manier om accounts te mergen? Ik ben aan het proberen een strategie te bedenken om al mijn transacties van verschillende banken te importeren met de CSV importer, maar ik kom steeds uit op een flink aantal verschillende accounts van bijv. de supermarkt omdat die allemaal net een andere naam en rekeningnummer hebben. Ik zou graag alle verschillende Albert Heijn accounts als één expense account willen.

In de importer kan ik niet zien welke naam/transactie er bij een IBAN hoort in het lijstje, je ziet alleen de waarde van het veld dat je aan het mappen bent. Dit zorgt er voor dat er heel veel op automap blijft staan, omdat deze of nog geen account hebben of ik gewoon überhaupt geen idee heb waar deze bij horen. Een beetje post processing vind ik daarbij niet erg, maar is dat mogelijk?

Nee helaas niet. Ik kan niet voorspellen hoe velden in een CSV bestand vallen en wat er bij elkaar hoort. Eventueel kan je regels maken die triggeren op gedeeltelijke namen, zoals "albert" of "deka" en de transacties corrigeren.

Edit: Aan de database schema te zien zijn er maar drie referenties naar account_id; transactions, piggy_banks en account_meta. In theorie zou ik dus een query kunnen draaien die de transacties merged naar één account, en dan de accounts die wegvallen deleten. De account_meta tabel heeft netjes een cascade op account_id delete dus dat lost zichzelf dan op.

Ik ga het gewoon eens proberen, dan zien we het vanzelf

Yes, dat kan.

Oon schreef op vrijdag 25 december 2020 @ 11:10:
[...]

Gelukkig kan ik mezelf wel handig met SQL noemen, dus ik ga het zeker eens proberen. Ben nu alleen aan het proberen om de importer überhaupt werkend te krijgen, hij blijft helemaal vast hangen als ik eenmaal bij het importeren ben terwijl het een standaard Rabobank CSV is met slechts 3500 rijen

Als je hulp nodig hebt moet je logs plaatsen anders is het gissen. Gegeven voldoende ram en cpu is er in principe geen limiet aan wat je in 1x kan importeren.

Ik wil je wel waarschuwen dat er wel leukere dingen te doen zijn deze kerstvakantie dan proberen al die history in 1x te importeren.

• Je houdt niet voor mogelijk hoevaak je slechts één keer hebt gepint ergens. Winkeltjes, tankstation in zuid frankrijk, frietjes in limburg. Dat is een klote klus om uit te zoeken.
• Sterker nog, gewoon je boodschappen er netjes in krijgen is drama.
• Banken zijn niet consistent in hoe ze transacties opslaan en dat ga je merken. Wat werkt in 2019 is voor 2016 niet meer geldig.

Je loopt het risico alsnog al je transacties na te moeten lopen op zoek naar alle gotcha's. Mijn advies is dan ook alleen 2020 te importeren als baseline en het daar bij te laten. Als je jezelf dan toch per se wilt martelen pak je de rest van de geschiedenis per jaar.

Stel dan wel elke keer je startsaldo opnieuw in per 31 december van het jaar ervoor.

[Oon]

Firefly III schreef op vrijdag 25 december 2020 @ 13:55:
Als je hulp nodig hebt moet je logs plaatsen anders is het gissen. Gegeven voldoende ram en cpu is er in principe geen limiet aan wat je in 1x kan importeren.

Ik wil je wel waarschuwen dat er wel leukere dingen te doen zijn deze kerstvakantie dan proberen al die history in 1x te importeren.

• Je houdt niet voor mogelijk hoevaak je slechts één keer hebt gepint ergens. Winkeltjes, tankstation in zuid frankrijk, frietjes in limburg. Dat is een klote klus om uit te zoeken.
• Sterker nog, gewoon je boodschappen er netjes in krijgen is drama.
• Banken zijn niet consistent in hoe ze transacties opslaan en dat ga je merken. Wat werkt in 2019 is voor 2016 niet meer geldig.

Je loopt het risico alsnog al je transacties na te moeten lopen op zoek naar alle gotcha's. Mijn advies is dan ook alleen 2020 te importeren als baseline en het daar bij te laten. Als je jezelf dan toch per se wilt martelen pak je de rest van de geschiedenis per jaar.

Stel dan wel elke keer je startsaldo opnieuw in per 31 december van het jaar ervoor.

CLI lijkt wel gewoon te werken, dus het limiet zal 'm in de webserver liggen. Ik heb de standaard docker image gebruikt, en de server waar deze op staat heeft 196GB geheugen.

Ik ben alles nu een keer aan het importeren om te kijken wat eruit komt. Ik zie nu al een grote hoeveelheid accounts die inderdaad maar één transactie hebben, maar dat vind ik helemaal niet erg. Ik vind het vooral belangrijk dat ik kan zien wanneer we boodschappen gedaan hebben en wat we uitgegeven hebben, waarvoor het dan weer makkelijk is om die allemaal naar één account per winkel te mappen en alle transactie voor die accounts dezelfde categorie te geven. Doel is dus één account per entiteit waarmee ik zaken gedaan heb, maar ik ga ook niet zover dat iedere transactie (zeker die in het buitenland waar minder info bij staat) na ga zoeken om te kijken wat het was.

Ik vind het overigens helemaal niet erg om mijn ochtend hieraan te besteden, FF3 is tegenover andere oplossingen die ik geprobeerd heb echt een verademing en is sinds de eerste release die ik toentertijd geprobeerd heb ook flink verbeterd. Als ik Rabobank er netjes in heb gekregen dan heb ik een mooie baseline en dan ga ik een back-up maken en ICS en Knab proberen (ICS heeft geen officiële CSV dus daar gebruik ik mijn userscript voor, Knab's CSV ga ik waarschijnlijk wat post processing voor schrijven want daar doen ze ook rare dingen). Historische data is natuurlijk niet heel relevant, maar juist voor het gemakkelijk vinden van herhalende betalingen is het wel handig om een grote dataset te hebben.

Dus tot zover lijkt het allemaal te lukken, ik hoop uiteindelijk blij te zijn dat ik het extra werk nu gedaan heb zodat ik er daarna weinig meer mee hoef te doen

[bartmaniac]

is het ideaal om een backup te maken van ext4.vhdx dat ik terugvind in Users\mijnnaam\AppData\Local\Docker\wsl\data. Kan ik deze vhdx backuppen naar een usb stick en hiermee op een andere pc dat kopïeren en firefly-iii met al mijn gegevens werkt dan terug?

[g0lden23]

bartmaniac schreef op maandag 28 december 2020 @ 12:09:
is het ideaal om een backup te maken van ext4.vhdx dat ik terugvind in Users\mijnnaam\AppData\Local\Docker\wsl\data. Kan ik deze vhdx backuppen naar een usb stick en hiermee op een andere pc dat kopïeren en firefly-iii met al mijn gegevens werkt dan terug?

In theorie zou dat mogelijk zijn mits dat de enige hardeschijf is voor die virtuele machine. DAn zou je die kunnen koppelen.

Ik denk dat je sneller bent met een DB Dump en die op te slaan elders.

[TheDweep]

Egens in mijn configuratie gaat iets niet goed, want ik krijg een 404 wanneer ik firefly.some.domain benader. Ik draai het op een raspberry pi 4 cluster (docker swarm, portainer, traefik, en nextcloud).

@Oon, heb jij mogelijk een idee?

Dit is de compose file:

code:

version: '3.7'

services:
  fireflyiiidb:
    image: postgres:latest
    volumes:
      - fireflyiii_db:/var/lib/postgresql/data
      - /etc/localtime:/etc/localtime:ro
    environment:
      - POSTGRES_DB=fireflydb
      - POSTGRES_USER=fireflyuser
      - POSTGRES_PASSWORD=somepass
    networks:
      - fireflyiii-backend
    deploy:
      mode: replicated
      replicas: 1

  fireflyiii:
    hostname: fireflyiii
    image: jc5x/firefly-iii:latest
    depends_on:
      - traefik
      - fireflyiiidb
    volumes:
      - fireflyiii:/var/www/html/
      - fireflyiii_upload:/var/www/html/storage/upload
      - /etc/localtime:/etc/localtime:ro
    environment:
      - POSTGRES_HOST=fireflydb
      - DEFAULT_LANGUAGE=en_US
      - DEFAULT_LOCALE=nl_NL
      - LOG_CHANNEL=stack
      - APP_LOG_LEVEL=notice
      - FIRELY_III_URI=https://firefly.some.domain
      - DB_HOST=fireflyiiidb
      - DB_DATABASE=fireflydb
      - DB_USERNAME=fireflyuser
      - DB_PORT=5432
      - DB_CONNECTION=pgsql
      - DB_PASSWORD=somepass
      - APP_KEY=somekey
    networks:
      - traefik_traefik-public
      - fireflyiii-backend
    deploy:
      labels:
        - "traefik.enable=true"
        - "traefik.http.routers.fireflyiii.rule=Host(`firefly.some.domain`)"
        - "traefik.http.routers.fireflyiii.entrypoints=websecure"
        - "traefik.http.routers.fireflyiii.tls.certresolver=letsencryptresolver"
        - "traefik.http.services.fireflyiii.loadbalancer.server.port=80"
        - "traefik.docker.network=traefik_traefik-public"
        - "traefik.http.routers.firefly.middlewares=fireflyiii-header"
        - "traefik.http.middlewares.fireflyiii.headers.STSIncludeSubdomains=false"
        - "traefik.http.middlewares.fireflyiii.headers.STSPreload=true"
        - "traefik.http.middlewares.fireflyiii.headers.framedeny=true"
        - "traefik.http.middlewares.fireflyiii.headers.STSSeconds=315360000"
        - "traefik.http.middlewares.fireflyiii.headers.forceSTSHeader=true"
        - "traefik.http.middlewares.fireflyiii.headers.X-Forwarded-Proto=https"
      mode: replicated
      replicas: 1

networks:
  fireflyiii-backend:
  traefik_traefik-public:
    external: true

volumes:
  fireflyiii:
  fireflyiii_upload:
  fireflyiii_db:

Dit is de log van het opstarten:

code:

.sh for Firefly III
Entrypoint script version is 1.0.12 (2020-12-16)
Running as 'root' in group 'root'.
Current working dir is '/var/www/html'
Now parsing _FILE variables.
done!
Touch DB file (if SQLite)...
Dump auto load...
Discover packages...
Current working dir is '/var/www/html'
Wait for the database.
wait-for-it.sh: waiting 60 seconds for fireflyiiidb:5432
wait-for-it.sh: fireflyiiidb:5432 is available after 0 seconds
DB is up. Time to execute artisan commands.
Current working dir is '/var/www/html'
Run various artisan commands...
Running migration commands...
CreateDB does not apply to "pgsql", skipped.
Migration table created successfully.
Migrating: 2016_06_16_000000_create_support_tables
Migrated:  2016_06_16_000000_create_support_tables (1,106.08ms)
Migrating: 2016_06_16_000001_create_users_table
Migrated:  2016_06_16_000001_create_users_table (27.13ms)
Migrating: 2016_06_16_000002_create_main_tables
Migrated:  2016_06_16_000002_create_main_tables (1,005.10ms)
Migrating: 2016_08_25_091522_changes_for_3101
Migrated:  2016_08_25_091522_changes_for_3101 (27.33ms)
Migrating: 2016_09_12_121359_fix_nullables
Migrated:  2016_09_12_121359_fix_nullables (105.58ms)
Migrating: 2016_10_09_150037_expand_transactions_table
Migrated:  2016_10_09_150037_expand_transactions_table (6.54ms)
Migrating: 2016_10_22_075804_changes_for_v410
Migrated:  2016_10_22_075804_changes_for_v410 (30.37ms)
Migrating: 2016_11_24_210552_changes_for_v420
Migrated:  2016_11_24_210552_changes_for_v420 (12.41ms)
Migrating: 2016_12_22_150431_changes_for_v430
Migrated:  2016_12_22_150431_changes_for_v430 (34.41ms)
Migrating: 2016_12_28_203205_changes_for_v431
Migrated:  2016_12_28_203205_changes_for_v431 (61.52ms)
Migrating: 2017_04_13_163623_changes_for_v440
Migrated:  2017_04_13_163623_changes_for_v440 (59.21ms)
Migrating: 2017_06_02_105232_changes_for_v450
Migrated:  2017_06_02_105232_changes_for_v450 (16.51ms)
Migrating: 2017_08_20_062014_changes_for_v470
Migrated:  2017_08_20_062014_changes_for_v470 (109.07ms)
Migrating: 2017_11_04_170844_changes_for_v470a
Migrated:  2017_11_04_170844_changes_for_v470a (6.59ms)
Migrating: 2018_01_01_000001_create_oauth_auth_codes_table
Migrated:  2018_01_01_000001_create_oauth_auth_codes_table (24.15ms)
Migrating: 2018_01_01_000002_create_oauth_access_tokens_table
Migrated:  2018_01_01_000002_create_oauth_access_tokens_table (35.81ms)
Migrating: 2018_01_01_000003_create_oauth_refresh_tokens_table
Migrated:  2018_01_01_000003_create_oauth_refresh_tokens_table (29.09ms)
Migrating: 2018_01_01_000004_create_oauth_clients_table
Migrated:  2018_01_01_000004_create_oauth_clients_table (36.26ms)
Migrating: 2018_01_01_000005_create_oauth_personal_access_clients_table
Migrated:  2018_01_01_000005_create_oauth_personal_access_clients_table (28.45ms)
Migrating: 2018_03_19_141348_changes_for_v472
Migrated:  2018_03_19_141348_changes_for_v472 (11.86ms)
Migrating: 2018_04_07_210913_changes_for_v473
Migrated:  2018_04_07_210913_changes_for_v473 (15.04ms)
Migrating: 2018_04_29_174524_changes_for_v474
Migrated:  2018_04_29_174524_changes_for_v474 (15.76ms)
Migrating: 2018_06_08_200526_changes_for_v475
Migrated:  2018_06_08_200526_changes_for_v475 (175.38ms)
Migrating: 2018_09_05_195147_changes_for_v477
Migrated:  2018_09_05_195147_changes_for_v477 (12.19ms)
Migrating: 2018_11_06_172532_changes_for_v479
Migrated:  2018_11_06_172532_changes_for_v479 (6.51ms)
Migrating: 2019_01_28_193833_changes_for_v4710
Migrated:  2019_01_28_193833_changes_for_v4710 (80.70ms)
Migrating: 2019_02_05_055516_changes_for_v4711
Migrated:  2019_02_05_055516_changes_for_v4711 (82.77ms)
Migrating: 2019_02_11_170529_changes_for_v4712
Migrated:  2019_02_11_170529_changes_for_v4712 (25.77ms)
Migrating: 2019_03_11_223700_fix_ldap_configuration
Migrated:  2019_03_11_223700_fix_ldap_configuration (5.67ms)
Migrating: 2019_03_22_183214_changes_for_v480
Migrated:  2019_03_22_183214_changes_for_v480 (56.81ms)
Migrating: 2019_11_30_000000_create_2fa_token_table
Migrated:  2019_11_30_000000_create_2fa_token_table (40.09ms)
Migrating: 2019_12_28_191351_make_locations_table
Migrated:  2019_12_28_191351_make_locations_table (21.15ms)
Migrating: 2020_03_13_201950_changes_for_v520
Migrated:  2020_03_13_201950_changes_for_v520 (78.05ms)
Migrating: 2020_06_07_063612_changes_for_v530
Migrated:  2020_06_07_063612_changes_for_v530 (42.99ms)
Migrating: 2020_06_30_202620_changes_for_v530a
Migrated:  2020_06_30_202620_changes_for_v530a (5.29ms)
Migrating: 2020_07_24_162820_changes_for_v540
Migrated:  2020_07_24_162820_changes_for_v540 (38.45ms)
Seeding: Database\Seeders\AccountTypeSeeder
Seeded:  Database\Seeders\AccountTypeSeeder (75.06ms)
Seeding: Database\Seeders\TransactionCurrencySeeder
Seeded:  Database\Seeders\TransactionCurrencySeeder (122.83ms)
Seeding: Database\Seeders\TransactionTypeSeeder
Seeded:  Database\Seeders\TransactionTypeSeeder (24.00ms)
Seeding: Database\Seeders\PermissionSeeder
Seeded:  Database\Seeders\PermissionSeeder (10.77ms)
Seeding: Database\Seeders\LinkTypeSeeder
Seeded:  Database\Seeders\LinkTypeSeeder (21.34ms)
Seeding: Database\Seeders\ConfigSeeder
[2021-01-04 12:22:12] local.WARNING: No database version entry is present. Database is assumed to be OLD (version 1).  
Seeded:  Database\Seeders\ConfigSeeder (26.49ms)
Database seeding completed successfully.
Going to decrypt the database.
Decrypted the data in table "accounts".
Decrypted the data in table "attachments".
Decrypted the data in table "bills".
Decrypted the data in table "budgets".
Decrypted the data in table "categories".
Decrypted the data in table "piggy_banks".
Decrypted the data in table "preferences".
Decrypted the data in table "tags".
Decrypted the data in table "transaction_journals".
Decrypted the data in table "transactions".
Decrypted the data in table "journal_links".
Done!
Current working dir is '/var/www/html'
Running upgrade commands...
All split journal transaction identifiers are correct.
Verified and fixed transaction identifiers in 0.11 seconds.
Found no split transaction journals. Nothing to do.
Migrate split journals to groups in 0.1 seconds.
No need to convert transaction journals.
Migrate all journals to groups in 0 seconds.
No journals to migrate to groups.
All accounts are OK.
Verified and fixed account currencies in 0.07 seconds.
All transfers have correct currency information.
Verified and fixed currency information for transfers in 0.11 seconds.
Verified 0 transaction(s) and journal(s).
Verified and fixed transaction currencies in 0.1 seconds.
No notes to migrate.
Migrated notes in 0.07 seconds.
All attachments are OK.
Migrated attachment notes in 0.08 seconds.
All bills are OK.
Verified and fixed bills in 0.07 seconds.
All budget limits are correct.
Verified budget limits in 0.08 seconds.
No incorrectly stored credit card liabilities.
Check 0 transaction journal(s) for budget info.
Check 0 transaction journal(s) for category info.
Updated category and budget info for all transaction journals in 0.09 seconds.
All account meta is OK.
Fixed account meta data in 0.1 seconds.
No recurrence meta data migrated.
Migrated recurrence meta data in 0.08 seconds.
Running verification commands...
All piggy bank events are correct.
Verified the content of 0 piggy bank events in 0.06 seconds.
All link types OK!
Verified link types in 0.07 seconds
All access tokens OK!
Verify access tokens in 0.05 seconds.
All transaction journals have correct bill information.
Verified bills / journals in 0.06 seconds
0 different currencies are currently in use.
All currencies are correctly enabled or disabled.
Verified currencies in 0.1 seconds.
No invalid budget/journal entries.
Verified budget/journals in 0.08 seconds.
Amount integrity OK!
Verified amount integrity in 0.04 seconds
No zero-amount transaction journals.
Verified zero-amount integrity in 0.07 seconds
No orphaned transactions.
No orphaned accounts.
Verified orphans in 0.07 seconds
No uneven transaction journals.
No empty transaction journals.
Verified empty journals in 0.01 seconds
Verified empty groups in 0.06 seconds
All account types are OK!
Verifying account types took 0.07 seconds
All meta fields are correct.
Renamed meta fields in 0.06 seconds
Going to verify 0 opening balance transactions.
There was nothing to fix in the opening balance transactions.
Verified all transaction group and journal title lengths.
Took 0.06 seconds.
Corrected recurring transactions in 0.07 seconds.
nning report commands...
Report on empty objects finished in 0.09 seconds
Report on total sum finished in 0.05 seconds
Generated and stored new keys.
Generating new OAuth keys...
Encryption keys already exist. Use the --force option to overwrite them.
Personal access client created successfully.

Client ID: 1
Client secret: [...]
Password grant client created successfully.

Client ID: 2
Client secret: [...]
Updated version.
+------------------------------------------------------------------------------+
|                                                                              |
| Thank you for installing Firefly III, v5.4.6!                                |
|                                                                              |
|                                                                              |
+------------------------------------------------------------------------------+
Go!
AH00558: apache2: Could not reliably determine the server's fully qualified domain name, using 10.0.22.106. Set the 'ServerName' directive globally to suppress this message
AH00558: apache2: Could not reliably determine the server's fully qualified domain name, using 10.0.22.106. Set the 'ServerName' directive globally to suppress this message
[Mon Jan 04 13:22:36.425241 2021] [mpm_prefork:notice] [pid 1] AH00163: Apache/2.4.38 (Debian) configured -- resuming normal operations
[Mon Jan 04 13:22:36.425382 2021] [core:notice] [pid 1] AH00094: Command line: 'apache2 -D FOREGROUND'

[g0lden23]

Dit heeft met je traefik configuratie te maken (verwacht ik).

Heeft het voor die tijd wel gewerkt? Werkt de rest van je containers wel?
Jouw compose file wijkt namelijk (erg) af van mijn config inclusief traefik v2.

[TheDweep]

g0lden23 schreef op maandag 4 januari 2021 @ 16:13:
Dit heeft met je traefik configuratie te maken (verwacht ik).

Heeft het voor die tijd wel gewerkt? Werkt de rest van je containers wel?
Jouw compose file wijkt namelijk (erg) af van mijn config inclusief traefik v2.

Dat vermoed ik ook. Ben geen expert ofzo, ben nu 2 weken aan het knutselen met Docker. Dit is voor het eerst dat ik Firefly draai. Heb het compose bestand van Nextcloud gebruikt om Firefly te maken. Zou je jouw compose kunnen delen?

[g0lden23]

TheDweep schreef op maandag 4 januari 2021 @ 18:08:
[...]


Dat vermoed ik ook. Ben geen expert ofzo, ben nu 2 weken aan het knutselen met Docker. Dit is voor het eerst dat ik Firefly draai. Heb het compose bestand van Nextcloud gebruikt om Firefly te maken. Zou je jouw compose kunnen delen?

Ben zojuist thuis aangekomen.

code:

  firefly-prod:
    image: "jc5x/firefly-iii:version-5.4.3"
    container_name: "firefly"
    restart: always
    domainname: <domain>
    volumes:
      - ${USERDIR}/docker/firefly-iii/export:/var/www/firefly-iii/storage/export
      - ${USERDIR}/docker/firefly-iii/upload:/var/www/firefly-iii/storage/upload
      - ${USERDIR}/docker/shared:/shared
    environment:
      - "TZ=Europe/Amsterdam"
      - "PUID=${PUID}"
      - "PGID=${PGID}"
      - "APP_KEY=dfgdfgfdgfdgfdgfd"
      - "APP_DEBUG=true"
      - "DB_CONNECTION=mysql"
      - "TRUSTED_PROXIES=**"
    networks:
      - traefik_proxy
    labels:
      - "traefik.enable=true"
      - "traefik.docker.network=traefik_proxy"
      - "traefik.http.routers.firefly.entrypoints=http"
      - "traefik.http.routers.firefly.rule=Host(`firefly.<DOMAIN>`)"
      - "traefik.http.middlewares.firefly-https-redirect.redirectscheme.scheme=https"
      - "traefik.http.routers.firefly.middlewares=firefly-https-redirect"
      - "traefik.http.routers.firefly-secure.entrypoints=https"
      - "traefik.http.routers.firefly-secure.rule=Host(`<DOMAIN>`)"
      - "traefik.http.routers.firefly-secure.tls=true"
      - "traefik.http.routers.firefly-secure.tls.certresolver=http"
      - "traefik.http.routers.firefly-secure.service=firefly"
      - "traefik.http.services.firefly.loadbalancer.server.port=8080"

[TheDweep]

@g0lden23, dank je wel. Die ziet er inderdaad anders uit. Ik ga verder duiken in hoe routers, rules, en middleware werkt, want daar gaat denk ik iets niet goed.

[g0lden23]

TheDweep schreef op dinsdag 5 januari 2021 @ 13:57:
@g0lden23, dank je wel. Die ziet er inderdaad anders uit. Ik ga verder duiken in hoe routers, rules, en middleware werkt, want daar gaat denk ik iets niet goed.

Indien nodig kan ik je vanavond de config ook toesturen van mijn traefik v2.

[Oon]

Ter vergelijking hier de docker-composer die ik gebruik voor mijn stack met Traefik v1:

code:

version: '3.7'
services:
    firefly:
        image: jc5x/firefly-iii:latest
        volumes:
            - /vmdata/services/firefly/upload:/var/www/html/storage/upload
            - /vmdata:/vmdata
        labels:
            - "traefik.enable=true"
            - "traefik.docker.network=traefik-public"
            - "traefik.backend=firefly"
            - "traefik.frontend.rule=Host:firefly.<mijndomein>.network"
            - "traefik.port=8080"
        environment:
            - APP_KEY=<appkey>
            - DB_HOST=common_db
            - DB_PORT=3306
            - DB_CONNECTION=mysql
            - DB_DATABASE=firefly
            - DB_USERNAME=firefly
            - DB_PASSWORD=<wachtwoord>
            - TRUSTED_PROXIES=**
            - APP_URL=https://firefly.<mijndomein>.network
        networks:
            - common
            - traefik-public
    importer:
        image: fireflyiii/csv-importer:latest
        volumes:
            - /vmdata/services/firefly/upload:/var/www/html/storage/upload
            - /vmdata/services/firefly/configurations:/configurations
            - /vmdata:/vmdata
            - /vmdata/services/firefly/importer.env:/var/www/html/.env
        labels:
            - "traefik.enable=true"
            - "traefik.docker.network=traefik-public"
            - "traefik.backend=importer"
            - "traefik.frontend.rule=Host:firefly-import.<mijndomein>.network"
            - "traefik.port=8080"
            - "traefik.frontend.auth.basic.usersFile=/run/secrets/.htpasswd"
        environment:
            - FIREFLY_III_CLIENT_ID=5
            - FIREFLY_III_URI=https://firefly.<mijndomein>.network
            - JSON_CONFIGURATION_DIR=/configurations
        networks:
            - common
            - traefik-public
networks:
    traefik-public:
        external: true
    common:
        external: true
secrets:
    traefik-htpasswd:
        external: true

Ik heb een stack genaamd 'common' draaien met daarin een 'db' container en daarin een database en user gemaakt, verder heb ik geen voorbereidend werk gedaan voor Firefly behalve de directories aanmaken

[TheDweep]

@Verwijderd, dank je wel. Ik gebruikt v2 en begrijp dat er de nodige verschillen tussen 1 en 2 zitten. Jij hebt in ieder geval veel minder labels. Op het moment dat ik nagenoeg alles uit mijn compose file haal, krijg ik bad gateway. Met het gebruik (en aanpassen) van de file van g0lden 23 krijg ik weer 404.

Ik ga het nog wat dagen laten rusten en van het weekend weer verder met uitzoeken en leren. Wordt vervolgd.

[monkel]

Ik heb me gewaagd aan de installatie van FireFly én de csv-importer. Ik moet zeggen dat de documentatie daarvan een beetje summier is. Met name het gedeelte hoe je op 1 server zowel FireFly als csv-importer aan de praat krijgt; ik heb na veel googlen virtual hosts aan weten te maken in nginx en csv-importer krijg ik nu aan de praat. Echter ... bij het importeren van abn-csv-bestand krijg ik bij de import stap de melding;
Import status

Waiting for the job to start..

Iemand enig idee waar dit aan kan liggen en waar ik evt in logging etc kan kijken om dit op te lossen?
csv importer v.2.3.3 en firefly 5.4.6

[Oon]

monkel schreef op donderdag 7 januari 2021 @ 15:51:
Ik heb me gewaagd aan de installatie van FireFly én de csv-importer. Ik moet zeggen dat de documentatie daarvan een beetje summier is. Met name het gedeelte hoe je op 1 server zowel FireFly als csv-importer aan de praat krijgt; ik heb na veel googlen virtual hosts aan weten te maken in nginx en csv-importer krijg ik nu aan de praat. Echter ... bij het importeren van abn-csv-bestand krijg ik bij de import stap de melding;
Import status

Waiting for the job to start..

Iemand enig idee waar dit aan kan liggen en waar ik evt in logging etc kan kijken om dit op te lossen?
csv importer v.2.3.3 en firefly 5.4.6

Heb je de mogelijkheid om docker containers te draaien? Die zijn heel makkelijk op te zetten

[monkel]

Oon schreef op donderdag 7 januari 2021 @ 15:52:
[...]

Heb je de mogelijkheid om docker containers te draaien? Die zijn heel makkelijk op te zetten

Ik gebruik nu proxmox met een ubuntu container en heb daar alles in geinstalleerd.
Maar als je zegt; ga voor docker! Ga ik dat alsnog ook proberen Heb er nog niet heel veel tijd in gestoken tot nu toe, dus kan nog alle kanten op

edit: is dat niet een vreemde zet; docker op een proxmox-machine gebruiken? Ik gebruik de server met proxmox op dit moment vooral voor home assistant

[ Voor 14% gewijzigd door monkel op 07-01-2021 16:09 ]

[Oon]

monkel schreef op donderdag 7 januari 2021 @ 15:59:
[...]


Ik gebruik nu proxmox met een ubuntu container en heb daar alles in geinstalleerd.
Maar als je zegt; ga voor docker! Ga ik dat alsnog ook proberen Heb er nog niet heel veel tijd in gestoken tot nu toe, dus kan nog alle kanten op

edit: is dat niet een vreemde zet; docker op een proxmox-machine gebruiken? Ik gebruik de server met proxmox op dit moment vooral voor home assistant

Ik heb zelf ook docker op een PVE-server staan (op bare metal), het enige 'probleem' is dat Docker standaard de iptables dicht gooit en zelf wil managen, maar die kun je weer openen (forwarding aanzetten bijv.) voor je PVE containers.

Je zou ook Docker kunnen draaien in een KVM-VM, eentje van 16GB ofzo is meer dan genoeg voor twee Firefly containers. Het kan ook in LXC, maar daar moet je wat extra werk voor doen.

Dat wil overigens niet zeggen dat het niet kan in een container, jouw setup is niks mis mee, maar met docker had ik het letterlijk in minder dan 5 minuten draaiend, en daarvan weet ik dat het gewoon super werkt.

[bertuslambertus]

@Firefly III Ik heb nu een vm met Firefly als standalone geinstalleerd (Versie 4.7.11).
Nu wil ik deze migreren naar b.v. docker. Wat is je advies tov het draaien van Firefly? Alles in een docker container? En hoe kan ik de database van versie 4.7.11 gebruiken met een nieuwe versie? (hoe kan ik de db het beste upgraden naar de huidge versie (5.2.6)?)
Alvast bedankt

[ Voor 4% gewijzigd door bertuslambertus op 10-01-2021 20:55 ]

[Oon]

bertuslambertus schreef op zondag 10 januari 2021 @ 20:54:
@Firefly III Ik heb nu een vm met Firefly als standalone geinstalleerd (Versie 4.7.11).
Nu wil ik deze migreren naar b.v. docker. Wat is je advies tov het draaien van Firefly? Alles in een docker container? En hoe kan ik de database van versie 4.7.11 gebruiken met een nieuwe versie? (hoe kan ik de db het beste upgraden?)
Alvast bedankt

Ik ben niet TS, maar alles in docker services in een swarm stack is wel ideaal. Let wel dat docker containers single purpose zijn, dus de juiste setup is een losse DB container en een losse Firefly container, die DB container kan wel gedeeld zijn.

Over upgraden kan ik je geen advies geven, maar de meest recent reacties in dit topic gaan grotendeels over Docker en hebben een aantal bruikbare stack configs

[bertuslambertus]

Het upgraden is gelukt, had wat issue's, maar lag niet aan Firefly. Even de nieuwe versie gaan controlleren.

Wat ik nu heb gedaan is firefly in docker container en de database lokaal

[Firefly III]

Goed om te horen dat de upgrade van 4.7.11 goed is gegaan!

[TheDweep]

Ik weet waarom het bij mij niet goed werkt (waarschijnlijk). Ik probeer een statische Traefik config te combineren met een dynamische container config. Nu even uitvogelen of het handiger is om traefik dynamisch te maken of andersom.

[ Voor 3% gewijzigd door TheDweep op 11-01-2021 20:20 ]

[g0lden23]

TheDweep schreef op maandag 11 januari 2021 @ 20:09:
Ik weet waarom het bij mij niet goed werkt (waarschijnlijk). Ik probeer een statische Traefik config te combineren met een dynamische container config. Nu even uitvogelen of het handiger is om traefik dynamisch te maken of andersom.

Hoe bedoel je statisch vs dynamisch? Alles in Docker te draaien? Of juist alles via een config te draaien ?

[mrwolf]

Ik heb Firefly nu al een tijdje prima draaien in een Docker-container op mijn Raspberry Pi 4, en ben druk bezig met het finetunen.

Een van de punten waar ik tegenaan loop is dat het mailen niet lukt. In de externe .env-file al diverse settings geprobeerd, maar wil niet werken:

MAIL_MAILER=sendmail geeft error

code:

 'Fout! Possible email error: Expected response code 220 but got an empty response'

en als ik kies voor SMTP (inloggegevens zijn correct):

code:

 'Fout! Possible email error: Connection could not be established with host smtp.ziggo.nl :stream_socket_client(): SSL operation failed with code 1. OpenSSL Error messages: error:1408F10B:SSL routines:ssl3_get_record:wrong version number'

Ik heb het idee dat ik iets eenvoudigs over het hoofd zie...

code:

MAIL_MAILER=smtp
MAIL_HOST=smtp.ziggo.nl
MAIL_PORT=587
MAIL_FROM=xxx@xxxnl
MAIL_USERNAME=[e-mail]
MAIL_PASSWORD=xxx
MAIL_ENCRYPTION=ssl

[JDFS]

Nou jongens, het is me na een paar uur gelukt om het draaiende te krijgen op mijn Synology (XPEnology) op DSM 6.2 met een Docker installatie. Ben zelf best een leek, maar uiteindelijk (en ook wegens wat ervaring met vorige dockers) het werkend gekregen via de firefly iii, mariadb en phpadmin images.

Ik wil, als een test net zoals ik nu uitvoer met Bitwarden vs. 1Password, een jaar lang Firefly III en YNAB naast elkaar gebruiken om te zien of Firefly III ook voor mij is. Naast de charme van het zelf hosten uiteraard!

Mochten er nog tips and tricks zijn van (vorige) YNAB gebruikers of juist mensen die niks met elke euro een doel geven hebben, je bent van harte welkom.

Ik zal eens in de zoveel tijd eens een update geven om te zien of dit echt wat voor mij is. Maar ik hoop van wel

[Hemingr]

Even een snelle vraag tussendoor, kan het niet vinden op google.

Op een een of andere manier heeft mijn password manager tijdens setup de eerste user password niet opgeslagen, en dus heb ik geen toegang meer tot de interface. Mail was nog niet goed instelt, dus dat helpt niet.

Hoe kan ik via de CLI het wachtwoord opnieuw instellen voor de owner-user?

Alternatief: volledige reset van de config mag ook.

Iemand enig idee?

[Oon]

Hemingr schreef op woensdag 20 januari 2021 @ 15:33:
Even een snelle vraag tussendoor, kan het niet vinden op google.

Op een een of andere manier heeft mijn password manager tijdens setup de eerste user password niet opgeslagen, en dus heb ik geen toegang meer tot de interface. Mail was nog niet goed instelt, dus dat helpt niet.

Hoe kan ik via de CLI het wachtwoord opnieuw instellen voor de owner-user?

Alternatief: volledige reset van de config mag ook.

Iemand enig idee?

Firefly gebruikt volgens mij gewoon Laravel's auth stack, waarmee je dus via Tinker je wachtwoord aan kan passen. Hier een artikel: https://blog.petehouston....el-using-artisan-command/

De stappen daar zijn het maken van een hash, het ophalen van de gebruiker, het zetten van het wachtwoord en dan opslaan van de aangepaste gebruiker

[Firefly III]

mrwolf schreef op maandag 18 januari 2021 @ 15:14:
Ik heb Firefly nu al een tijdje prima draaien in een Docker-container op mijn Raspberry Pi 4, en ben druk bezig met het finetunen.

Een van de punten waar ik tegenaan loop is dat het mailen niet lukt. In de externe .env-file al diverse settings geprobeerd, maar wil niet werken:

MAIL_MAILER=sendmail geeft error

code:

 'Fout! Possible email error: Expected response code 220 but got an empty response'

en als ik kies voor SMTP (inloggegevens zijn correct):

code:

 'Fout! Possible email error: Connection could not be established with host smtp.ziggo.nl :stream_socket_client(): SSL operation failed with code 1. OpenSSL Error messages: error:1408F10B:SSL routines:ssl3_get_record:wrong version number'

Ik heb het idee dat ik iets eenvoudigs over het hoofd zie...

code:

MAIL_MAILER=smtp
MAIL_HOST=smtp.ziggo.nl
MAIL_PORT=587
MAIL_FROM=xxx@xxxnl
MAIL_USERNAME=[e-mail]
MAIL_PASSWORD=xxx
MAIL_ENCRYPTION=ssl

MAIL_MAILER zou idd smtp moeten zijn. Zet encryption maar eens op TLS of tls. Kijken of dat werkt.

Hemingr schreef op woensdag 20 januari 2021 @ 15:33:
Even een snelle vraag tussendoor, kan het niet vinden op google.

Op een een of andere manier heeft mijn password manager tijdens setup de eerste user password niet opgeslagen, en dus heb ik geen toegang meer tot de interface. Mail was nog niet goed instelt, dus dat helpt niet.

Hoe kan ik via de CLI het wachtwoord opnieuw instellen voor de owner-user?

Alternatief: volledige reset van de config mag ook.

Iemand enig idee?

Zet de MAIL_MAILER op "log" en zet debug mode aan en reset dan je wachtwoord via de user interface. De mail die de deur uitgegaan zou zijn staat als het goed is in je logboeken en je kan dan de URL copy-pasten en gebruiken.

[Hemingr]

Firefly III schreef op woensdag 20 januari 2021 @ 15:37:
[...]

MAIL_MAILER zou idd smtp moeten zijn. Zet encryption maar eens op TLS of tls. Kijken of dat werkt.


[...]


Zet de MAIL_MAILER op "log" en zet debug mode aan en reset dan je wachtwoord via de user interface. De mail die de deur uitgegaan zou zijn staat als het goed is in je logboeken en je kan dan de URL copy-pasten en gebruiken.

Thanks, gelukt!

[JDFS]

Jongens, ik probeer een cron job aan te maken (voor de terugkomende transacties), alleen kan ik op mijn Synology niet de /var/www/html folder vinden. Ik ben al met Terminal aan de slag gegaan, zowel als mijn eigen user als root, maar deze map lijkt bij mij niet te bestaan.

Ik draai Firefly in Docker op een Synology en probeer een firefly.sh te maken die elke dag draait. De .sh file draai ik met de Task Scheduler van Synology zelf. Volgens mij moet ik dit commando hebben:

code:

# cron job for Firefly III
0 3 * * * /usr/bin/php /var/www/html/artisan firefly-iii:cron

Waar ik de /usr/bin/php wel kan vinden maar de /var/www/html/artisan niet. Mis ik nog een bepaald programma op mijn Synology zoals Web Station? Ik kan de directory waar Firefly III z'n bestanden neerzet niet vinden.

Overigens draait Firefly III bij mij met de directories: /volume1/firefly/firefly-iii/storage/upload en /export die dus gemount zijn als /var/www/firefly-iii/storage/upload en /export.

Jammer dat ik er zelf niet uit kom, maar wellicht kan iemand heel snel mij op het goede pad brengen!

[Firefly III]

/var/www/html is de map waar de code van Firefly III in staat, in het Docker image. Als daar niks staat of bestanden worden niet gevonden, dan heb je (al dan niet per ongeluk) een leeg volume gemount of /var/www of /var/www/html.

Je bent de eerste niet .

Welke versie van Firefly III trouwens?

[JDFS]

@Firefly III / James, ik zit op de meest recente versie (latest). Die wordt met Watchtower in de gaten gehouden, maar wellicht moet ik even een uitzondering gaan maken in de docker image zodat die niet auto update.

Ik had wel een leeg volume aangemaakt met de terminal, maar alle lege volumes ook op die manier weer verwijderd. Ik heb de env variabelen overigens niet aangepast, FIREFLY_PATH staat nog steeds op /var/www/html.

Overigens zie ik, als ik in Terminal (of Termius) inlog als root, maar 1 volume, namelijk /volume1. Of doe ik nu iets fout?

[Oon]

JDFS schreef op woensdag 20 januari 2021 @ 19:51:
@Firefly III / James, ik zit op de meest recente versie (latest). Die wordt met Watchtower in de gaten gehouden, maar wellicht moet ik even een uitzondering gaan maken in de docker image zodat die niet auto update.

Ik had wel een leeg volume aangemaakt met de terminal, maar alle lege volumes ook op die manier weer verwijderd. Ik heb de env variabelen overigens niet aangepast, FIREFLY_PATH staat nog steeds op /var/www/html.

Overigens zie ik, als ik in Terminal (of Termius) inlog als root, maar 1 volume, namelijk /volume1. Of doe ik nu iets fout?

Wat je ziet in je docker container is belangrijker. Wat zie je als je dit commando draait:

code:

docker exec <naam van firefly container> ls /var/www/html

Als daar niet o.a. 'app', 'bootstrap' en 'config' uit komt, dan gaat er iets mis.
Let er bij je cron ook op dat deze uitgevoerd wordt in de docker container, en niet in je NAS zelf, tenzij je toevallig ook dezelfde versie van PHP geïnstalleerd hebt.

[JDFS]

@Oon, dank! Heb dit zojuist even gedaan via Termius want niet thuis (lang leve VPN) en alles komt naar voren, van COPYING, LICENSE, Procfile t/m webpack.mix.js en yarn.lcok.

Dan is het volgens mij wel goed gemount toch? Zoals jij het zegt, ik moet dit uitvoeren in de docker container zelf, via de command line aldaar? Want inderdaad draait PHP ook via Docker.

[Oon]

JDFS schreef op woensdag 20 januari 2021 @ 20:04:
@Oon, dank! Heb dit zojuist even gedaan via Termius want niet thuis (lang leve VPN) en alles komt naar voren, van COPYING, LICENSE, Procfile t/m webpack.mix.js en yarn.lcok.

Dan is het volgens mij wel goed gemount toch? Zoals jij het zegt, ik moet dit uitvoeren in de docker container zelf, via de command line aldaar? Want inderdaad draait PHP ook via Docker.

Dat is er inderdaad niks mis met de container zelf.

Als je een docker volume gemount hebt (en dus geen bind mount naar je Synology /volume1 oid) dan moet die inderdaad binnen de firefly container gedraaid worden. Je kan dan gewoon docker exec gebruiken in je cron regel, dus dan krijg je iets als:

code:

0 3 * * * docker exec <naam van container> /usr/bin/php /var/www/html/artisan firefly-iii:cron

Om de naam automatisch in te vullen kun je (op de Synology host) een scriptje te gebruiken dat deze netjes opzoekt, dan krijg je iets als dit:

code:

docker exec `docker ps | grep firefly-iii | awk '{print $1}'` /usr/bin/php /var/www/html/artisan firefly-iii:cron

Die roep je dan vanuit crontab aan dmv

code:

0 3 * * * /locatie/van/script.sh

[mrwolf]

Firefly III schreef op woensdag 20 januari 2021 @ 15:37:
[...]

MAIL_MAILER zou idd smtp moeten zijn. Zet encryption maar eens op TLS of tls. Kijken of dat werkt.

Het zat het in het hoofdlettergebruik van TLS, het werkt nu, thanks!

[JDFS]

Oon schreef op woensdag 20 januari 2021 @ 20:11:
[...]

Dat is er inderdaad niks mis met de container zelf.

Als je een docker volume gemount hebt (en dus geen bind mount naar je Synology /volume1 oid) dan moet die inderdaad binnen de firefly container gedraaid worden. Je kan dan gewoon docker exec gebruiken in je cron regel, dus dan krijg je iets als:

code:

0 3 * * * docker exec <naam van container> /usr/bin/php /var/www/html/artisan firefly-iii:cron

Om de naam automatisch in te vullen kun je (op de Synology host) een scriptje te gebruiken dat deze netjes opzoekt, dan krijg je iets als dit:

code:

docker exec `docker ps | grep firefly-iii | awk '{print $1}'` /usr/bin/php /var/www/html/artisan firefly-iii:cron

Die roep je dan vanuit crontab aan dmv

code:

0 3 * * * /locatie/van/script.sh

Top!!! Straks even proberen. Dus ik kan eigenlijk de Cron job tutorial van call the cron job outside of the docker container volgen. Klein vraagje ter lering ende vermaak, ik zie dat je de volgende code achterwege laat:

code:

--user www-data

Een snelle google leert mij dat --user ervoor zorgt dat iets in mijn eigen directory gebeurt en www-data slaat op de standaard user die door ... webservices gebruikt worden? Of zit ik he-le-maal fout?

Edit: helaas, nog steeds de melding dat cronjobs nog nooit gedraaid zijn. Ik heb de volgende stappen doornomen:

1. firefly.sh-bestand met Sublime Text aangemaakt met de volgende code:

code:

0 3 * * * docker exec firefly-iii /usr/bin/php /var/www/html/artisan firefly-iii:cron

Mijn Firefly III container heet gewoon simpel: firefly-iii. P.S. deze code heb ik zowel met 0 3 * * * als zonder als .sh-bestand geprobeerd te runnen.

2. dit bestand in mijn /volume1/firefly/firefly-iii/firefly.sh gedropt. /volume1/firefly is een shared folder waar de user firefly R/W rechten op heeft - mocht dit er nog toe doen. Zo zie ik bij mijn eigen user deze map niet tussen de shared folders, net zoals mijn bitwarden folder hier ook niet staat (user: bitwarden).

3. via Task Scheduler van Synology een taak aangemaakt die door root wordt uitgevoerd, elke minuut. In de code het volgende neergezet:

code:

0 3 * * * /volume1/firefly/firefly-iii/firefly.sh

4. vervolgens een keer zelf gerunned.

Helaas nog steeds de melding in firefly dat cron jobs nog nooit zijn aangemaakt.

[ Voor 28% gewijzigd door JDFS op 21-01-2021 08:22 ]

[xzaz]

@Firefly III Zijn er nog plannen om de hypotheekrekeningen om te gooien? Wat er nu staat is eigenlijk niet bruikbaar.

[Kalentum]

xzaz schreef op dinsdag 26 januari 2021 @ 09:27:
@Firefly III Zijn er nog plannen om de hypotheekrekeningen om te gooien? Wat er nu staat is eigenlijk niet bruikbaar.

Uit nieuwsgierigheid: wat mis je dan?

Wat ik heb gedaan:
- Onder "Passiva": een rekening aangemaakt met een negatief bedrag ter hoogte van mijn hypotheekschuld
- Onder "Crediteuren": de naam van mijn bank

Elke maand splits ik de hypotheekbetaling in twee transacties:
- Van mijn lopende rekening naar de schuld: de aflossing (dit is dus een soort overboeking)
- Van mijn lopende rekening naar de bank: de rente.

[xzaz]

Kalentum schreef op dinsdag 26 januari 2021 @ 09:42:
[...]


Uit nieuwsgierigheid: wat mis je dan?

Wat ik heb gedaan:
- Onder "Passiva": een rekening aangemaakt met een negatief bedrag ter hoogte van mijn hypotheekschuld
- Onder "Crediteuren": de naam van mijn bank

Elke maand splits ik de hypotheekbetaling in twee transacties:
- Van mijn lopende rekening naar de schuld: de aflossing (dit is dus een soort overboeking)
- Van mijn lopende rekening naar de bank: de rente.

Ik importeer al mijn transacties; hoe split ik deze?
Ik mis nog 'huidige' waarde. De Hypotheek is een schuld maar ik kan er niks tegenover zetten.

[Kalentum]

xzaz schreef op dinsdag 26 januari 2021 @ 09:52:
[...]

Ik importeer al mijn transacties; hoe split ik deze?
Ik mis nog 'huidige' waarde. De Hypotheek is een schuld maar ik kan er niks tegenover zetten.

Je kan achteraf, na import, nog opsplitsen. Je kan een bestaande transactie opsplitsen.

De huidige waarde kan je kwijt als startsaldo op een rekening. Ik heb die dus onder Passiva gezet met een negatief startsaldo ter hoogte van mijn schuld.

[Firefly III]

Het heeft op dit moment niet veel prio, ik ben bezig met een nieuwe layout die 100% gebruik maakt van de API, zodat ik veel dubbele code kan weggooien. Dus er gaat nog niet veel wijzigen aan de kant van liabilities.

Eerste aanpassing aan die kant wordt aan de kant van "outgoing" loans, dus als je geld uitleent aan vrienden oid. Wat daar nog mis gaat is dat als je dat opgeeft als -1000 en je krijgt geld terug dan gaat dat nog niet lekker van de schuld af: het saldo gaat misschien wel naar -900 maar als jij dat geld uitgeeft dan gaat-ie weer naar -1000 en dat is onhandig.

Maar het werk voor de nieuwe layout betekent ook dat ik al die code kan oppoetsen.

[mrwolf]

Firefly III schreef op dinsdag 26 januari 2021 @ 10:13:
Het heeft op dit moment niet veel prio, ik ben bezig met een nieuwe layout die 100% gebruik maakt van de API, zodat ik veel dubbele code kan weggooien. Dus er gaat nog niet veel wijzigen aan de kant van liabilities.

Eerste aanpassing aan die kant wordt aan de kant van "outgoing" loans, dus als je geld uitleent aan vrienden oid. Wat daar nog mis gaat is dat als je dat opgeeft als -1000 en je krijgt geld terug dan gaat dat nog niet lekker van de schuld af: het saldo gaat misschien wel naar -900 maar als jij dat geld uitgeeft dan gaat-ie weer naar -1000 en dat is onhandig.

Maar het werk voor de nieuwe layout betekent ook dat ik al die code kan oppoetsen.

Klinkt heel goed! Durf je een releasedatum voor die versie te noemen?