Toon posts:

Na 5 jaar vlekkeloos werken crashed Influxdb nu regelmatig

Pagina: 1 2 Laatste
Acties:

Onderwerpen

Vraag


  • Copitano
  • Registratie: Februari 2018
  • Laatst online: 23:51
Na 5 jaar vlekkeloos werken met >200 sensors gepushed vanuit domoticz naar Influxdb crashed Influxdb sinds 10 januari regelmatig. Op 30 januari voor het eerst. Ik dacht het te hebben opgelost met het weggooien van /var/lib/wal. het ging daarna eigenlijk gewoon weer een aantal dagen goed, maar de laatste dagen gaat Influxdb minstens 1 x per dag (of eigenlijk meestal s'nachts) onderuit.

Elga | Valliant eco TEC plus VHR 30-34/5-5L | Kamstrup 602 |Nodo OTGW | Raspberry Pi 3B+/4B+|RFXcom rfxtrx433xl | UniFi netwerk | PVoutput 8.625 kWp

Alle reacties


  • DukeBox
  • Registratie: April 2000
  • Laatst online: 22:30

DukeBox

Voor je 't weet wist je 't nie

Draai je dat op je Pi? Zo ja, vanaf SD?

Duct tape can't fix stupid, but it can muffle the sound.


  • Dogooder
  • Registratie: April 2004
  • Laatst online: 23:56

Dogooder

dus...

Ik zie dat je op een Pi draait. Gaat de data naar een SD? Zou de SD slechte stukken kunnen hebben?

  • The Eagle
  • Registratie: Januari 2002
  • Laatst online: 00:50

The Eagle

I wear my sunglasses at night

Je draait hem op een pi. Ik neem aan met een sd kaartje? Check dat kaartje eens op errors, die dingen hebben qua io meestal niet het eeuwige leven. Zeker de noname dingen willen nog wel eens disk errors geven.

Ben zo al een paar keer mijn domoticz installatie kwijtgeraakt. Sindsdien een SanDisk kaartje er in en dat draait alweer een paar jaar zonder problemen :)

Heb je naast domoticz nog meer op je pi draaien?

Al is het nieuws nog zo slecht, het wordt leuker als je het op zijn Brabants zegt :)


  • Copitano
  • Registratie: Februari 2018
  • Laatst online: 23:51
@rvk Okay dan. Hier gaan we verder. Het volgende heb ik kunnen vinden rond het tijdstip van de laatste crash. Het zijn geen 1000 regels, maar je ziet het hier op regel 18 mis gaan. Daarvoor zie ik nog waarden geschreven worden.
code:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
Feb 10 04:59:33 raspberrypi influxd-systemd-start.sh[589]: ts=2023-02-10T03:59:33.622014Z lvl=info msg="Cache snapshot (start)" log_id=0fuQyrQW000 engine=tsm1 trace_id=0fvNVUyG000 op_name=tsm1_cache_snapshot op_event=start
Feb 10 04:59:34 raspberrypi influxd-systemd-start.sh[589]: [httpd] 192.168.2.36 - - [10/Feb/2023:04:59:34 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/602.36 (KHTML, $
Feb 10 04:59:34 raspberrypi influxd-systemd-start.sh[589]: ts=2023-02-10T03:59:34.371237Z lvl=info msg="Error adding new TSM files from snapshot. Removing temp files." log_id=0fuQyrQW000 engine=tsm1 trace_id=0fvNVUyG000 op_name=tsm1_cac$
Feb 10 04:59:34 raspberrypi influxd-systemd-start.sh[589]: ts=2023-02-10T03:59:34.371412Z lvl=info msg="Cache snapshot (end)" log_id=0fuQyrQW000 engine=tsm1 trace_id=0fvNVUyG000 op_name=tsm1_cache_snapshot op_event=end op_elapsed=749.42$
Feb 10 04:59:34 raspberrypi influxd-systemd-start.sh[589]: ts=2023-02-10T03:59:34.371491Z lvl=info msg="Error writing snapshot" log_id=0fuQyrQW000 engine=tsm1 error="cannot allocate memory"
Feb 10 04:59:34 raspberrypi influxd-systemd-start.sh[589]: ts=2023-02-10T03:59:34.621925Z lvl=info msg="Cache snapshot (start)" log_id=0fuQyrQW000 engine=tsm1 trace_id=0fvNVYsG000 op_name=tsm1_cache_snapshot op_event=start
Feb 10 04:59:35 raspberrypi influxd-systemd-start.sh[589]: ts=2023-02-10T03:59:35.613552Z lvl=info msg="Error adding new TSM files from snapshot. Removing temp files." log_id=0fuQyrQW000 engine=tsm1 trace_id=0fvNVYsG000 op_name=tsm1_cac$
Feb 10 04:59:35 raspberrypi influxd-systemd-start.sh[589]: ts=2023-02-10T03:59:35.613841Z lvl=info msg="Cache snapshot (end)" log_id=0fuQyrQW000 engine=tsm1 trace_id=0fvNVYsG000 op_name=tsm1_cache_snapshot op_event=end op_elapsed=991.94$
Feb 10 04:59:35 raspberrypi influxd-systemd-start.sh[589]: ts=2023-02-10T03:59:35.613962Z lvl=info msg="Error writing snapshot" log_id=0fuQyrQW000 engine=tsm1 error="cannot allocate memory"
Feb 10 04:59:35 raspberrypi influxd-systemd-start.sh[589]: ts=2023-02-10T03:59:35.622866Z lvl=info msg="Cache snapshot (start)" log_id=0fuQyrQW000 engine=tsm1 trace_id=0fvNVbmW000 op_name=tsm1_cache_snapshot op_event=start
Feb 10 04:59:35 raspberrypi influxd-systemd-start.sh[589]: [httpd] 192.168.2.36 - - [10/Feb/2023:04:59:35 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/602.36 (KHTML, $
Feb 10 04:59:36 raspberrypi influxd-systemd-start.sh[589]: [httpd] 192.168.2.36 - - [10/Feb/2023:04:59:36 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/602.36 (KHTML, $
Feb 10 04:59:36 raspberrypi influxd-systemd-start.sh[589]: ts=2023-02-10T03:59:36.812082Z lvl=info msg="Error adding new TSM files from snapshot. Removing temp files." log_id=0fuQyrQW000 engine=tsm1 trace_id=0fvNVbmW000 op_name=tsm1_cac$
Feb 10 04:59:36 raspberrypi influxd-systemd-start.sh[589]: ts=2023-02-10T03:59:36.815774Z lvl=info msg="Cache snapshot (end)" log_id=0fuQyrQW000 engine=tsm1 trace_id=0fvNVbmW000 op_name=tsm1_cache_snapshot op_event=end op_elapsed=1192.9$
Feb 10 04:59:36 raspberrypi influxd-systemd-start.sh[589]: ts=2023-02-10T03:59:36.817264Z lvl=info msg="Error writing snapshot" log_id=0fuQyrQW000 engine=tsm1 error="cannot allocate memory"
Feb 10 04:59:36 raspberrypi influxd-systemd-start.sh[589]: ts=2023-02-10T03:59:36.819261Z lvl=info msg="Cache snapshot (start)" log_id=0fuQyrQW000 engine=tsm1 trace_id=0fvNVgSl000 op_name=tsm1_cache_snapshot op_event=start
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: [httpd] 192.168.2.36 - - [10/Feb/2023:04:59:37 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/602.36 (KHTML, $
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: runtime: out of memory: cannot allocate 4210688-byte block (539099136 in use)
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: fatal error: out of memory
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: runtime stack:
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: runtime.throw(0xfebdde, 0xd)
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/usr/local/go/src/runtime/panic.go:774 +0x5c
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: runtime.largeAlloc(0x403000, 0x3580101, 0x71968)
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/usr/local/go/src/runtime/malloc.go:1140 +0x124
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: runtime.mallocgc.func1()
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/usr/local/go/src/runtime/malloc.go:1033 +0x38
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: runtime.systemstack(0x3c5e1e0)
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/usr/local/go/src/runtime/asm_arm.s:354 +0x84
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: runtime.mstart()
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/usr/local/go/src/runtime/proc.go:1146
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: goroutine 2311654 [running]:
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: runtime.systemstack_switch()
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/usr/local/go/src/runtime/asm_arm.s:298 +0x4 fp=0xb82fb64 sp=0xb82fb60 pc=0x718d8
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: runtime.mallocgc(0x403000, 0xe1f330, 0x1, 0x20000000)
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/usr/local/go/src/runtime/malloc.go:1032 +0x8d0 fp=0xb82fbcc sp=0xb82fb64 pc=0x1bb70
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: runtime.makeslice(0xe1f330, 0x403000, 0x403000, 0x78e1ae50)
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/usr/local/go/src/runtime/slice.go:49 +0x6c fp=0xb82fbe0 sp=0xb82fbcc pc=0x5928c
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: bytes.makeSlice(0x403000, 0x0, 0x0, 0x0)
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/usr/local/go/src/bytes/buffer.go:229 +0x60 fp=0xb82fc14 sp=0xb82fbe0 pc=0x128214
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: bytes.(*Buffer).grow(0x9d8ecc0, 0x1000, 0x1007)
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/usr/local/go/src/bytes/buffer.go:142 +0x138 fp=0xb82fc38 sp=0xb82fc14 pc=0x127bac
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: bytes.(*Buffer).Write(0x9d8ecc0, 0x143f3000, 0x1000, 0x1000, 0x91, 0x1c, 0x23a0f200)
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/usr/local/go/src/bytes/buffer.go:172 +0xd0 fp=0xb82fc4c sp=0xb82fc38 pc=0x127e88
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: bufio.(*Writer).Flush(0x9d8ece0, 0x23a0f200, 0x1b)
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/usr/local/go/src/bufio/bufio.go:593 +0x60 fp=0xb82fc78 sp=0xb82fc4c pc=0x14aa08
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: bufio.(*Writer).Write(0x9d8ece0, 0x23a0f200, 0x1c, 0x1c, 0x23a0f200, 0x1c, 0x1c)
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/usr/local/go/src/bufio/bufio.go:629 +0xec fp=0xb82fca8 sp=0xb82fc78 pc=0x14ac88
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*indexEntries).WriteTo(0x7be6a60, 0x1eb2100, 0x9d8ece0, 0x3, 0x3, 0x0, 0x0)
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/reader.go:1589 +0xd4 fp=0xb82fd18 sp=0xb82fca8 pc=0xd00758
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*directIndex).flush(0x1fde42d0, 0x1eb2100, 0x9d8ece0, 0x20d1dd10, 0xed, 0xf0, 0xffffffff)
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/writer.go:479 +0x350 fp=0xb82fd90 sp=0xb82fd18 pc=0xd0fe40
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*directIndex).Add(0x1fde42d0, 0x20d1dd10, 0xed, 0xf0, 0x1, 0x1451e000, 0x17425623, 0x819d6800, 0x1742572c, 0x39162, ...)
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/writer.go:314 +0x32c fp=0xb82fe28 sp=0xb82fd90 pc=0xd0f06c
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*tsmWriter).WriteBlock(0x1fde4300, 0x20d1dd10, 0xed, 0xf0, 0x1451e000, 0x17425623, 0x819d6800, 0x1742572c, 0x239b4d80, 0x18, ...)
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/writer.go:686 +0x1bc fp=0xb82fe68 sp=0xb82fe28 pc=0xd111d8
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*Compactor).write(0x7414720, 0x5023cc0, 0x49, 0x1ec9938, 0x9ce98c0, 0x1fdff101, 0x0, 0x0)
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/compact.go:1162 +0x218 fp=0xb82ff24 sp=0xb82fe68 pc=0xcae880
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*Compactor).writeNewFiles(0x7414720, 0xeb3, 0x1, 0x0, 0x0, 0x0, 0x1ec9938, 0x9ce98c0, 0x1, 0x0, ...)
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/usr/local/go/src/runtime/proc.go:1146
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: goroutine 2311654 [running]:
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: runtime.systemstack_switch()
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/usr/local/go/src/runtime/asm_arm.s:298 +0x4 fp=0xb82fb64 sp=0xb82fb60 pc=0x718d8
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: runtime.mallocgc(0x403000, 0xe1f330, 0x1, 0x20000000)
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/usr/local/go/src/runtime/malloc.go:1032 +0x8d0 fp=0xb82fbcc sp=0xb82fb64 pc=0x1bb70
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: runtime.makeslice(0xe1f330, 0x403000, 0x403000, 0x78e1ae50)
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/usr/local/go/src/runtime/slice.go:49 +0x6c fp=0xb82fbe0 sp=0xb82fbcc pc=0x5928c
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: bytes.makeSlice(0x403000, 0x0, 0x0, 0x0)
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/usr/local/go/src/bytes/buffer.go:229 +0x60 fp=0xb82fc14 sp=0xb82fbe0 pc=0x128214
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: bytes.(*Buffer).grow(0x9d8ecc0, 0x1000, 0x1007)
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/usr/local/go/src/bytes/buffer.go:142 +0x138 fp=0xb82fc38 sp=0xb82fc14 pc=0x127bac
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: bytes.(*Buffer).Write(0x9d8ecc0, 0x143f3000, 0x1000, 0x1000, 0x91, 0x1c, 0x23a0f200)
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/usr/local/go/src/bytes/buffer.go:172 +0xd0 fp=0xb82fc4c sp=0xb82fc38 pc=0x127e88
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: bufio.(*Writer).Flush(0x9d8ece0, 0x23a0f200, 0x1b)
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/usr/local/go/src/bufio/bufio.go:593 +0x60 fp=0xb82fc78 sp=0xb82fc4c pc=0x14aa08
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: bufio.(*Writer).Write(0x9d8ece0, 0x23a0f200, 0x1c, 0x1c, 0x23a0f200, 0x1c, 0x1c)
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/usr/local/go/src/bufio/bufio.go:629 +0xec fp=0xb82fca8 sp=0xb82fc78 pc=0x14ac88
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*indexEntries).WriteTo(0x7be6a60, 0x1eb2100, 0x9d8ece0, 0x3, 0x3, 0x0, 0x0)
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/reader.go:1589 +0xd4 fp=0xb82fd18 sp=0xb82fca8 pc=0xd00758
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*directIndex).flush(0x1fde42d0, 0x1eb2100, 0x9d8ece0, 0x20d1dd10, 0xed, 0xf0, 0xffffffff)
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/writer.go:479 +0x350 fp=0xb82fd90 sp=0xb82fd18 pc=0xd0fe40
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*directIndex).Add(0x1fde42d0, 0x20d1dd10, 0xed, 0xf0, 0x1, 0x1451e000, 0x17425623, 0x819d6800, 0x1742572c, 0x39162, ...)
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/writer.go:314 +0x32c fp=0xb82fe28 sp=0xb82fd90 pc=0xd0f06c
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*tsmWriter).WriteBlock(0x1fde4300, 0x20d1dd10, 0xed, 0xf0, 0x1451e000, 0x17425623, 0x819d6800, 0x1742572c, 0x239b4d80, 0x18, ...)
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/writer.go:686 +0x1bc fp=0xb82fe68 sp=0xb82fe28 pc=0xd111d8
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*Compactor).write(0x7414720, 0x5023cc0, 0x49, 0x1ec9938, 0x9ce98c0, 0x1fdff101, 0x0, 0x0)
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/compact.go:1162 +0x218 fp=0xb82ff24 sp=0xb82fe68 pc=0xcae880
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*Compactor).writeNewFiles(0x7414720, 0xeb3, 0x1, 0x0, 0x0, 0x0, 0x1ec9938, 0x9ce98c0, 0x1, 0x0, ...)
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/compact.go:1045 +0x11c fp=0xb82ff7c sp=0xb82ff24 pc=0xcae2ac
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*Compactor).WriteSnapshot.func1(0x79ee000, 0x7414720, 0x1fe005fa, 0x9ce9880, 0x7e4c700)
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/compact.go:860 +0x94 fp=0xb82ffd4 sp=0xb82ff7c pc=0xd13914
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: runtime.goexit()
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/usr/local/go/src/runtime/asm_arm.s:868 +0x4 fp=0xb82ffd4 sp=0xb82ffd4 pc=0x73610
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: created by github.com/influxdata/influxdb/tsdb/engine/tsm1.(*Compactor).WriteSnapshot
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/compact.go:858 +0x16c
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: goroutine 1 [chan receive, 1057 minutes]:
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: main.(*Main).Run(0x3a75f8c, 0x389a108, 0x2, 0x3, 0x2b7a8f8, 0x3896030)
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/go/src/github.com/influxdata/influxdb/cmd/influxd/main.go:90 +0x228
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: main.main()
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/go/src/github.com/influxdata/influxdb/cmd/influxd/main.go:45 +0x140
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: goroutine 18 [syscall, 1057 minutes]:
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: os/signal.signal_recv(0x0)
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/usr/local/go/src/runtime/sigqueue.go:147 +0x130
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: os/signal.loop()
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/usr/local/go/src/os/signal/signal_unix.go:23 +0x14
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: created by os/signal.init.0
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/usr/local/go/src/os/signal/signal_unix.go:29 +0x30
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: goroutine 37 [select]:
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: github.com/influxdata/influxdb/vendor/go.opencensus.io/stats/view.(*worker).start(0x3a99cc0)
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/go/src/github.com/influxdata/influxdb/vendor/go.opencensus.io/stats/view/worker.go:154 +0xb0
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: created by github.com/influxdata/influxdb/vendor/go.opencensus.io/stats/view.init.0
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/go/src/github.com/influxdata/influxdb/vendor/go.opencensus.io/stats/view/worker.go:32 +0x48
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: goroutine 38 [IO wait, 115 minutes]:
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: internal/poll.runtime_pollWait(0x66c98240, 0x72, 0x0)
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/usr/local/go/src/runtime/netpoll.go:184 +0x44
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: internal/poll.(*pollDesc).wait(0x38db964, 0x72, 0x0, 0x0, 0xfe25d8)
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/usr/local/go/src/internal/poll/fd_poll_runtime.go:87 +0x30
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/compact.go:1045 +0x11c fp=0xb82ff7c sp=0xb82ff24 pc=0xcae2ac
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*Compactor).WriteSnapshot.func1(0x79ee000, 0x7414720, 0x1fe005fa, 0x9ce9880, 0x7e4c700)
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/compact.go:860 +0x94 fp=0xb82ffd4 sp=0xb82ff7c pc=0xd13914
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: runtime.goexit()
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/usr/local/go/src/runtime/asm_arm.s:868 +0x4 fp=0xb82ffd4 sp=0xb82ffd4 pc=0x73610
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: created by github.com/influxdata/influxdb/tsdb/engine/tsm1.(*Compactor).WriteSnapshot
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/compact.go:858 +0x16c
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: goroutine 1 [chan receive, 1057 minutes]:
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: main.(*Main).Run(0x3a75f8c, 0x389a108, 0x2, 0x3, 0x2b7a8f8, 0x3896030)
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/go/src/github.com/influxdata/influxdb/cmd/influxd/main.go:90 +0x228
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: main.main()
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/go/src/github.com/influxdata/influxdb/cmd/influxd/main.go:45 +0x140
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: goroutine 18 [syscall, 1057 minutes]:
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: os/signal.signal_recv(0x0)
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/usr/local/go/src/runtime/sigqueue.go:147 +0x130
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: os/signal.loop()
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/usr/local/go/src/os/signal/signal_unix.go:23 +0x14
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: created by os/signal.init.0
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/usr/local/go/src/os/signal/signal_unix.go:29 +0x30
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: goroutine 37 [select]:
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: github.com/influxdata/influxdb/vendor/go.opencensus.io/stats/view.(*worker).start(0x3a99cc0)
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/go/src/github.com/influxdata/influxdb/vendor/go.opencensus.io/stats/view/worker.go:154 +0xb0
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: created by github.com/influxdata/influxdb/vendor/go.opencensus.io/stats/view.init.0
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/go/src/github.com/influxdata/influxdb/vendor/go.opencensus.io/stats/view/worker.go:32 +0x48
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: goroutine 38 [IO wait, 115 minutes]:
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: internal/poll.runtime_pollWait(0x66c98240, 0x72, 0x0)
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/usr/local/go/src/runtime/netpoll.go:184 +0x44
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: internal/poll.(*pollDesc).wait(0x38db964, 0x72, 0x0, 0x0, 0xfe25d8)
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/usr/local/go/src/internal/poll/fd_poll_runtime.go:87 +0x30
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: internal/poll.(*pollDesc).waitRead(...)
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/usr/local/go/src/internal/poll/fd_poll_runtime.go:92
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: internal/poll.(*FD).Accept(0x38db950, 0x0, 0x0, 0x0, 0x0, 0x0, 0x0, 0x0)
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/usr/local/go/src/internal/poll/fd_unix.go:384 +0x1a8
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: net.(*netFD).accept(0x38db950, 0x2b8c240, 0x0, 0x0)
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/usr/local/go/src/net/fd_unix.go:238 +0x20
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: net.(*TCPListener).accept(0x3ae3e40, 0x3993758, 0x399375c, 0xc)
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/usr/local/go/src/net/tcpsock_posix.go:139 +0x20
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: net.(*TCPListener).Accept(0x3ae3e40, 0x1cd44e4, 0x3abffc0, 0x1ed0a38, 0x7b6e4e0)
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/usr/local/go/src/net/tcpsock.go:261 +0x3c
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: github.com/influxdata/influxdb/tcp.(*Mux).Serve(0x3abffc0, 0x1ec3ff0, 0x3ae3e40, 0x3ae3e40, 0x0)
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/go/src/github.com/influxdata/influxdb/tcp/mux.go:75 +0x64
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: created by github.com/influxdata/influxdb/cmd/influxd/run.(*Server).Open
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/go/src/github.com/influxdata/influxdb/cmd/influxd/run/server.go:395 +0x1f0
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: goroutine 2888 [select, 1057 minutes]:
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: github.com/influxdata/influxdb/cmd/influxd/run.(*Server).startServerReporting(0x38f66e0)
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/go/src/github.com/influxdata/influxdb/cmd/influxd/run/server.go:523 +0xd0
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: created by github.com/influxdata/influxdb/cmd/influxd/run.(*Server).Open
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/go/src/github.com/influxdata/influxdb/cmd/influxd/run/server.go:468 +0xb8c
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: goroutine 2914 [IO wait]:
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: internal/poll.runtime_pollWait(0x66c981bc, 0x72, 0x0)
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/usr/local/go/src/runtime/netpoll.go:184 +0x44
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: internal/poll.(*pollDesc).wait(0x38dadd4, 0x72, 0x0, 0x0, 0xfe25d8)
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/usr/local/go/src/internal/poll/fd_poll_runtime.go:87 +0x30
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: internal/poll.(*pollDesc).waitRead(...)
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/usr/local/go/src/internal/poll/fd_poll_runtime.go:92
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: internal/poll.(*FD).Accept(0x38dadc0, 0x0, 0x0, 0x0, 0x0, 0x0, 0x0, 0x0)
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/usr/local/go/src/internal/poll/fd_unix.go:384 +0x1a8
Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: net.(*netFD).accept(0x38dadc0, 0x2b8c380, 0x0, 0x1)

Elga | Valliant eco TEC plus VHR 30-34/5-5L | Kamstrup 602 |Nodo OTGW | Raspberry Pi 3B+/4B+|RFXcom rfxtrx433xl | UniFi netwerk | PVoutput 8.625 kWp


  • Copitano
  • Registratie: Februari 2018
  • Laatst online: 23:51
DukeBox schreef op zaterdag 11 februari 2023 @ 16:26:
Draai je dat op je Pi? Zo ja, vanaf SD?
Ja Pi3B+ met een eMMC module. Dus geen SD kaartje

Elga | Valliant eco TEC plus VHR 30-34/5-5L | Kamstrup 602 |Nodo OTGW | Raspberry Pi 3B+/4B+|RFXcom rfxtrx433xl | UniFi netwerk | PVoutput 8.625 kWp


  • Copitano
  • Registratie: Februari 2018
  • Laatst online: 23:51
Dogooder schreef op zaterdag 11 februari 2023 @ 16:27:
Ik zie dat je op een Pi draait. Gaat de data naar een SD? Zou de SD slechte stukken kunnen hebben?
Nee, draait op een eMMC module.

Elga | Valliant eco TEC plus VHR 30-34/5-5L | Kamstrup 602 |Nodo OTGW | Raspberry Pi 3B+/4B+|RFXcom rfxtrx433xl | UniFi netwerk | PVoutput 8.625 kWp


  • BCC
  • Registratie: Juli 2000
  • Laatst online: 21:07
runtime: out of memory: Dat lijkt me vrij duidelijk ?

  • The Eagle
  • Registratie: Januari 2002
  • Laatst online: 00:50

The Eagle

I wear my sunglasses at night

In twee minuten tijd 3x de verwijzing naar de sd kaart. Die zou ik sowieso checken.

Verder zie ik een out of memory error. Hoeveel ram zit er in en verbruik je, ook qua swap naar disk?

Al is het nieuws nog zo slecht, het wordt leuker als je het op zijn Brabants zegt :)


  • DukeBox
  • Registratie: April 2000
  • Laatst online: 22:30

DukeBox

Voor je 't weet wist je 't nie

Copitano schreef op zaterdag 11 februari 2023 @ 16:29:
Ja Pi3B+ met een eMMC module. Dus geen SD kaartje
Welke module is dat dan? Zover ik weet is er geen eMMC support op die BCM2837B0
Overigens kan een eMMC ook stuk gaan, zeker als deze niet al te groot is.

[Voor 25% gewijzigd door DukeBox op 11-02-2023 16:39]

Duct tape can't fix stupid, but it can muffle the sound.


  • Copitano
  • Registratie: Februari 2018
  • Laatst online: 23:51
The Eagle schreef op zaterdag 11 februari 2023 @ 16:28:
Je draait hem op een pi. Ik neem aan met een sd kaartje? Check dat kaartje eens op errors, die dingen hebben qua io meestal niet het eeuwige leven. Zeker de noname dingen willen nog wel eens disk errors geven.

Ben zo al een paar keer mijn domoticz installatie kwijtgeraakt. Sindsdien een SanDisk kaartje er in en dat draait alweer een paar jaar zonder problemen :)

Heb je naast domoticz nog meer op je pi draaien?
Nee, geen SD kaart maar een eMMC module.
Wat er op draait is Buster, Domotica, Influxdb, Grafana, Monit, Mosquitto. En verder het standaard spul wat bij de oerinstallatie is meegekomen.

Elga | Valliant eco TEC plus VHR 30-34/5-5L | Kamstrup 602 |Nodo OTGW | Raspberry Pi 3B+/4B+|RFXcom rfxtrx433xl | UniFi netwerk | PVoutput 8.625 kWp


  • fopjurist
  • Registratie: Mei 2021
  • Niet online

fopjurist

mr.drs. fopjurist

The Eagle schreef op zaterdag 11 februari 2023 @ 16:30:
In twee minuten tijd 3x de verwijzing naar de sd kaart. Die zou ik sowieso checken.
Waar staan die verwijzingen precies? Het begint er al mee dat ik nergens twee minuten aan logs zie.

beschermheer van het consumentenrecht


  • The Eagle
  • Registratie: Januari 2002
  • Laatst online: 00:50

The Eagle

I wear my sunglasses at night

fopjurist schreef op zaterdag 11 februari 2023 @ 16:36:
[...]

Waar staan die verwijzingen precies? Het begint er al mee dat ik nergens twee minuten aan logs zie.
Met verwijzingen doelde ik op forumposts ;)

Al is het nieuws nog zo slecht, het wordt leuker als je het op zijn Brabants zegt :)


  • Oon
  • Registratie: Juni 2019
  • Niet online
Copitano schreef op zaterdag 11 februari 2023 @ 16:36:
[...]

Nee, geen SD kaart maar een eMMC module.
Wat er op draait is Buster, Domotica, Influxdb, Grafana, Monit, Mosquitto. En verder het standaard spul wat bij de oerinstallatie is meegekomen.
Dat zijn nogal wat dingen om op één Pi te draaien, lijkt me logisch dat het geheel gewoon uit geheugen raakt.

  • Copitano
  • Registratie: Februari 2018
  • Laatst online: 23:51
The Eagle schreef op zaterdag 11 februari 2023 @ 16:30:
In twee minuten tijd 3x de verwijzing naar de sd kaart. Die zou ik sowieso checken.

Verder zie ik een out of memory error. Hoeveel ram zit er in en verbruik je, ook qua swap naar disk?
Geen SD kaart dus maar eMMC. Draait hier al twee jaar zonder probleem sinds ik afscheid genomen heb van de SD kaartjes.

Elga | Valliant eco TEC plus VHR 30-34/5-5L | Kamstrup 602 |Nodo OTGW | Raspberry Pi 3B+/4B+|RFXcom rfxtrx433xl | UniFi netwerk | PVoutput 8.625 kWp


  • Copitano
  • Registratie: Februari 2018
  • Laatst online: 23:51
Oon schreef op zaterdag 11 februari 2023 @ 16:39:
[...]

Dat zijn nogal wat dingen om op één Pi te draaien, lijkt me logisch dat het geheel gewoon uit geheugen raakt.
normaal zit het geheugengebruik zo rond 40%. Lijkt mij niet buitensporig. Maar midden in de nacht schiet dat soms in een keer omhoog naar 80% of 90%. Ook dat was eigenlijk nooit een probleem, tot nu dan :X

Elga | Valliant eco TEC plus VHR 30-34/5-5L | Kamstrup 602 |Nodo OTGW | Raspberry Pi 3B+/4B+|RFXcom rfxtrx433xl | UniFi netwerk | PVoutput 8.625 kWp


  • The Eagle
  • Registratie: Januari 2002
  • Laatst online: 00:50

The Eagle

I wear my sunglasses at night

Heb je recentelijk meerdere sensoren toegevoegd?

Wat ik meen te bespeuren is dat ie tempfiles probeert te appenden aan andere bestanden. Dat loopt mis, dus gooit ie de tempfiles mis.

Ik ben wel benieuwd naar het schrijfgedrag van de influx richting disk. Als in: wanneer flusht / schrijft de db naar disk (en wanneer niet).

Edit: dit zal helpen bij de analyse wat er exact gebeurt: https://docs.influxdata.c...internals/storage-engine/

[Voor 17% gewijzigd door The Eagle op 11-02-2023 16:50]

Al is het nieuws nog zo slecht, het wordt leuker als je het op zijn Brabants zegt :)


  • TommieW
  • Registratie: December 2010
  • Laatst online: 21:16

TommieW

Numa numa.

Copitano schreef op zaterdag 11 februari 2023 @ 16:42:
[...]

Geen SD kaart dus maar eMMC. Draait hier al twee jaar zonder probleem sinds ik afscheid genomen heb van de SD kaartjes.
eMMC is ook gewoon flashgeheugen wat net zoals een SD kaartje kapot kan gaan.




Het is dus zaak om nu te gaan kijken welk proces ervoor zorgt dat het geheugen volloopt. Je kan 's nachts in een `screen` sessie het volgende commando draaien:
code:
1
top -o '%MEM' -d 2 -b >> /tmp/psoutput


De volgende dag kijken wanneer influxdb gecrasht is en dat tijdstip opzoeken in de net aangemaakte file en checken welk proces het geheugen vol laat lopen.

1700X@3,9GHZ - Asus Crosshair VI Hero - 32GB Corsair LPX - GTX 1070Ti
iPhone 13 Pro Max - Macbook Pro 16" M1 Pro


  • Copitano
  • Registratie: Februari 2018
  • Laatst online: 23:51
The Eagle schreef op zaterdag 11 februari 2023 @ 16:49:
Heb je recentelijk meerdere sensoren toegevoegd?

Wat ik meen te bespeuren is dat ie tempfiles probeert te appenden aan andere bestanden. Dat loopt mis, dus gooit ie de tempfiles mis.

Ik ben wel benieuwd naar het schrijfgedrag van de influx richting disk. Als in: wanneer flusht / schrijft de db naar disk (en wanneer niet).

Edit: dit zal helpen bij de analyse wat er exact gebeurt: https://docs.influxdata.c...internals/storage-engine/
Nee, recentelijk niets toegevoegd. Dit draait eigenlijk al 2 jaar zo op de eMMC en daarvoor al 3 jaar op een 64GB kwaliteit SD kaart. Toegevoegd is er de laatste twee jaar eigenlijk niets.

Elga | Valliant eco TEC plus VHR 30-34/5-5L | Kamstrup 602 |Nodo OTGW | Raspberry Pi 3B+/4B+|RFXcom rfxtrx433xl | UniFi netwerk | PVoutput 8.625 kWp


  • Oon
  • Registratie: Juni 2019
  • Niet online
Copitano schreef op zaterdag 11 februari 2023 @ 16:45:
[...]

normaal zit het geheugengebruik zo rond 40%. Lijkt mij niet buitensporig. Maar midden in de nacht schiet dat soms in een keer omhoog naar 80% of 90%. Ook dat was eigenlijk nooit een probleem, tot nu dan :X
Dat is wel iets om uit te zoeken. Weet je ook welke processen het dan om gaat?

  • Copitano
  • Registratie: Februari 2018
  • Laatst online: 23:51
TommieW schreef op zaterdag 11 februari 2023 @ 16:53:
[...]

eMMC is ook gewoon flashgeheugen wat net zoals een SD kaartje kapot kan gaan.




Het is dus zaak om nu te gaan kijken welk proces ervoor zorgt dat het geheugen volloopt. Je kan 's nachts in een `screen` sessie het volgende commando draaien:
code:
1
top -o '%MEM' -d 2 -b >> /tmp/psoutput


De volgende dag kijken wanneer influxdb gecrasht is en dat tijdstip opzoeken in de net aangemaakte file en checken welk proces het geheugen vol laat lopen.
https://gathering.tweaker...message/74426956#74426956
Dit had ik al een beetje bekeken. De grote boosdoener lijkt Influxdb zelf te zijn. Maar ik ga jou suggestie zeker opvolgen.

Elga | Valliant eco TEC plus VHR 30-34/5-5L | Kamstrup 602 |Nodo OTGW | Raspberry Pi 3B+/4B+|RFXcom rfxtrx433xl | UniFi netwerk | PVoutput 8.625 kWp


  • Copitano
  • Registratie: Februari 2018
  • Laatst online: 23:51
Oon schreef op zaterdag 11 februari 2023 @ 16:55:
[...]

Dat is wel iets om uit te zoeken. Weet je ook welke processen het dan om gaat?
Vermoedelijk Influxdb zelf https://gathering.tweaker...message/74426956#74426956

Elga | Valliant eco TEC plus VHR 30-34/5-5L | Kamstrup 602 |Nodo OTGW | Raspberry Pi 3B+/4B+|RFXcom rfxtrx433xl | UniFi netwerk | PVoutput 8.625 kWp


  • The Eagle
  • Registratie: Januari 2002
  • Laatst online: 00:50

The Eagle

I wear my sunglasses at night

Denk dat ik een mogelijke verklaring heb die consistent is met je bevindingen :)
Influx heeft een WAL en een cache (kopie van de wal). Wat je ziet aan errors is dat ie de cache probeert weg te schrijven. Dat lukt niet (TSM faalt). Dus het spul in het geheugen blijft ook staan. En dat wordt meer en meer totdat het vol zit.

Omdat de cache en de wal in sync moeten lopen, gooi je met het weggooien van de wal in principe ook je cache leeg. Dan kan ie weer ff, tot ie zijn cache files niet meer kan schrijven.

Dus ergens zit het hem toch in de storage. Die tsm files staan ook ergens. Toevallig nog iets toch op je sd kaartje staan, /tmp ofzo?
Verder zou ik echt eens een fsck op je storage uitvoeren. Er moet een reden zijn waarom de disk io mis gaat.

Al is het nieuws nog zo slecht, het wordt leuker als je het op zijn Brabants zegt :)


  • fopjurist
  • Registratie: Mei 2021
  • Niet online

fopjurist

mr.drs. fopjurist

Copitano schreef op zaterdag 11 februari 2023 @ 16:54:
[...]

Nee, recentelijk niets toegevoegd. Dit draait eigenlijk al 2 jaar zo op de eMMC en daarvoor al 3 jaar op een 64GB kwaliteit SD kaart. Toegevoegd is er de laatste twee jaar eigenlijk niets.
Er is niets dat op problemen met je eMMC kaartje wijst. Het kan interessant zijn om te bekijken hoeveel data je dagelijks wegschrijft en in te schatten hoeveel jaar het kaartje het uit zou moeten halen, maar dat helpt niet bij de crashes die je nu ondervindt.

Je grafieken laten zien dat het geheugengebruik rond 1:10 uur omhoog gaat en dan maar langzaam afneemt. Welke versie van Go gebruik je? Go versie 1.12 t/m 1.16 maakt gebruikt van MADV_FREE zodat het daadwerkelijke geheugengebruik lager is dan wat je in de grafiek ziet (hier wordt MADV_FREE uitgebreider uitgelegd). In dat geval kun je een andere versie van Go of de optie madvdontneed=1 gebruiken om nauwkeurige geheugengrafieken te maken.

De logbestanden die je hebt gepost laten zien dat het even voor 5 uur 's nachts fout gaat. Draait er rond die tijd een cronjob?

beschermheer van het consumentenrecht


  • Jaaap
  • Registratie: Februari 2000
  • Niet online
eMMC heeft meestal een vrij primitieve controller die weinig doet tegen write amplification.
Dus veel schrijven naar zo'n ding is funest.

Dat betekent
Het gebeurt
Dit verandert
Wat bepaalt


  • Copitano
  • Registratie: Februari 2018
  • Laatst online: 23:51
fopjurist schreef op zaterdag 11 februari 2023 @ 17:13:
[...]

Er is niets dat op problemen met je eMMC kaartje wijst. Het kan interessant zijn om te bekijken hoeveel data je dagelijks wegschrijft en in te schatten hoeveel jaar het kaartje het uit zou moeten halen, maar dat helpt niet bij de crashes die je nu ondervindt.

Je grafieken laten zien dat het geheugengebruik rond 1:10 uur omhoog gaat en dan maar langzaam afneemt. Welke versie van Go gebruik je? Go versie 1.12 t/m 1.16 maakt gebruikt van MADV_FREE zodat het daadwerkelijke geheugengebruik lager is dan wat je in de grafiek ziet (hier wordt MADV_FREE uitgebreider uitgelegd). In dat geval kun je een andere versie van Go of de optie madvdontneed=1 gebruiken om nauwkeurige geheugengrafieken te maken.

De logbestanden die je hebt gepost laten zien dat het even voor 5 uur 's nachts fout gaat. Draait er rond die tijd een cronjob?
Dat het geheugengebruik rond 5 uur wel eens flink oploopt had ik al eens eerder opgemerkt en gekeken of er een of andere cronjob zou kunnen draaien waar ik niet van weet.
Maar voor zover ik met met crontab -e en sudo crontab -e kan zien niet. Zijn er nog meer?
Wat is Go?
Oh ja, en eerder draaide mijn backup naar een USB stick wel via een cronjob. Maar die starte altijd precies om 01:00 en duurde ongeveer 5 minuten op kortstondig op 80% en het geheugengebruik nam dan af naar 30% om dan weer langzaam naar de 40% te gaan. Dat gaf eigenlijk nooit een probleem.

[Voor 8% gewijzigd door Copitano op 11-02-2023 17:26]

Elga | Valliant eco TEC plus VHR 30-34/5-5L | Kamstrup 602 |Nodo OTGW | Raspberry Pi 3B+/4B+|RFXcom rfxtrx433xl | UniFi netwerk | PVoutput 8.625 kWp


  • fopjurist
  • Registratie: Mei 2021
  • Niet online

fopjurist

mr.drs. fopjurist

Copitano schreef op zaterdag 11 februari 2023 @ 17:20:
[...]

Dat het geheugengebruik rond 5 uur wel eens flink oploopt had ik al eens eerder opgemerkt en gekeken of er een of andere cronjob zou kunnen draaien waar ik niet van weet.
Maar voor zover ik met met crontab -e en sudo crontab -e kan zien niet. Zijn er nog meer?
Wat is Go?
In /etc/crontab en onder /etc/cron.d/ kunnen nog meer crons staan. Go is de programmeertaal waarin Influxdb is geschreven. Met "dpkg -l" kun je de versie zien.

beschermheer van het consumentenrecht


  • Copitano
  • Registratie: Februari 2018
  • Laatst online: 23:51
fopjurist schreef op zaterdag 11 februari 2023 @ 17:25:
[...]

In /etc/crontab en onder /etc/cron.d/ kunnen nog meer crons staan. Go is de programmeertaal waarin Influxdb is geschreven. Met "dpkg -l" kun je de versie zien.
dan is het deze
code:
1
rc  golang-go                             2:1.7~5                                 armhf        Go programming language compiler, linker, compiled stdlib


code:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
# /etc/crontab: system-wide crontab
# Unlike any other crontab you don't have to run the `crontab'
# command to install the new version when you edit this file
# and files in /etc/cron.d. These files also have username fields,
# that none of the other crontabs do.

SHELL=/bin/sh
PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin

# m h dom mon dow user  command
17 *    * * *   root    cd / && run-parts --report /etc/cron.hourly
25 6    * * *   root    test -x /usr/sbin/anacron || ( cd / && run-parts --report /etc/cron.daily )
47 6    * * 7   root    test -x /usr/sbin/anacron || ( cd / && run-parts --report /etc/cron.weekly )
52 6    1 * *   root    test -x /usr/sbin/anacron || ( cd / && run-parts --report /etc/cron.monthly )
#0  5    * * *   root    reboot
#0 17    * * *   root    reboot
#


de crontab.d is leeg

[Voor 48% gewijzigd door Copitano op 11-02-2023 17:37]

Elga | Valliant eco TEC plus VHR 30-34/5-5L | Kamstrup 602 |Nodo OTGW | Raspberry Pi 3B+/4B+|RFXcom rfxtrx433xl | UniFi netwerk | PVoutput 8.625 kWp


  • Copitano
  • Registratie: Februari 2018
  • Laatst online: 23:51
The Eagle schreef op zaterdag 11 februari 2023 @ 17:04:

Verder zou ik echt eens een fsck op je storage uitvoeren. Er moet een reden zijn waarom de disk io mis gaat.
Ehhh, bedoel je fdisk?

En ja, als ik verder omhoog scroll kom ik die cache melding vaker tegen in aanloop naar de crash.

[Voor 16% gewijzigd door Copitano op 11-02-2023 17:43]

Elga | Valliant eco TEC plus VHR 30-34/5-5L | Kamstrup 602 |Nodo OTGW | Raspberry Pi 3B+/4B+|RFXcom rfxtrx433xl | UniFi netwerk | PVoutput 8.625 kWp


  • fopjurist
  • Registratie: Mei 2021
  • Niet online

fopjurist

mr.drs. fopjurist

Er is geen cron die specifiek rond 5.00 draait.

Je gebruikt Go 1.7 uit 2016. Nieuwere versies hebben allerlei verbeteringen waaronder op het gebied van geheugengebruik. Via "apt update" en "dist-upgrade" kun je raspbian updaten. Je moet dist-upgrade mogelijk meerdere keren draaien om bij de laatste versie uit te komen.

beschermheer van het consumentenrecht


  • Copitano
  • Registratie: Februari 2018
  • Laatst online: 23:51
fopjurist schreef op zaterdag 11 februari 2023 @ 18:19:
Er is geen cron die specifiek rond 5.00 draait.

Je gebruikt Go 1.7 uit 2016. Nieuwere versies hebben allerlei verbeteringen waaronder op het gebied van geheugengebruik. Via "apt update" en "dist-upgrade" kun je raspbian updaten. Je moet dist-upgrade mogelijk meerdere keren draaien om bij de laatste versie uit te komen.
sudo apt-get update && sudo apt-get upgrade of sudo apt update && sudo apt upgrade doe ik regelmatig dus ik ga nu eens de dist-upgrade proberen :)
Moet ik net als bij apt ook nog eerst dist-update doen voor dist upgrade?

[Voor 5% gewijzigd door Copitano op 11-02-2023 18:25]

Elga | Valliant eco TEC plus VHR 30-34/5-5L | Kamstrup 602 |Nodo OTGW | Raspberry Pi 3B+/4B+|RFXcom rfxtrx433xl | UniFi netwerk | PVoutput 8.625 kWp


  • biomass
  • Registratie: Augustus 2004
  • Laatst online: 00:22
Copitano schreef op zaterdag 11 februari 2023 @ 17:41:
[...]

Ehhh, bedoel je fdisk?

En ja, als ik verder omhoog scroll kom ik die cache melding vaker tegen in aanloop naar de crash.
Lees dit als: Oh f*k ik moet een file system check doen ;)

  • The Eagle
  • Registratie: Januari 2002
  • Laatst online: 00:50

The Eagle

I wear my sunglasses at night

^^^ dat ja ;)

Fdisk kan ook, maar dat lijkt me in de verkeerde handen wat rigoreus :p

Al is het nieuws nog zo slecht, het wordt leuker als je het op zijn Brabants zegt :)


  • Copitano
  • Registratie: Februari 2018
  • Laatst online: 23:51
biomass schreef op zaterdag 11 februari 2023 @ 18:41:
[...]

Lees dit als: Oh f*k ik moet een file system check doen ;)
Okeeeee, jargon is nog niet mijn sterkste kant ;)
Ik stam nog uit het MS DOS 5 tijdperk en daarna helemaal verpest door het gemak van Windows 3.0 _O-
Ehhh en verder :+

Elga | Valliant eco TEC plus VHR 30-34/5-5L | Kamstrup 602 |Nodo OTGW | Raspberry Pi 3B+/4B+|RFXcom rfxtrx433xl | UniFi netwerk | PVoutput 8.625 kWp


  • Copitano
  • Registratie: Februari 2018
  • Laatst online: 23:51
Oeps
code:
1
2
3
4
5
6
7
8
9
10
11
12
pi@raspberrypi:~ $ fsck
fsck from util-linux 2.33.1
e2fsck 1.44.5 (15-Dec-2018)
/dev/mmcblk0p2 is aangekoppeld.



**WAARSCHUWING**!!!  Het bestandssysteem is aangekoppeld!
    Als u doorgaat **ZAL** dit tot **ZWARE** beschadigingen leiden.


Wilt u echt doorgaan<n>?

Elga | Valliant eco TEC plus VHR 30-34/5-5L | Kamstrup 602 |Nodo OTGW | Raspberry Pi 3B+/4B+|RFXcom rfxtrx433xl | UniFi netwerk | PVoutput 8.625 kWp


  • biomass
  • Registratie: Augustus 2004
  • Laatst online: 00:22
Je moet hier nee antwoorden en een manier vinden om het bestandssysteem te laten controleren zonder een actieve mount. Ik zou zelf denken aan het loskoppelen van de drive en hem in een ander Linux device controleren. Als je van sd kaart kan booten, zou het ook gewoon met je PI moeten kunnen.

  • DukeBox
  • Registratie: April 2000
  • Laatst online: 22:30

DukeBox

Voor je 't weet wist je 't nie

biomass schreef op zaterdag 11 februari 2023 @ 19:15:
..zou het ook gewoon met je PI moeten kunnen.
Ja, makkelijkst is als single user starten zonder mounts.

Duct tape can't fix stupid, but it can muffle the sound.


  • Thralas
  • Registratie: December 2002
  • Laatst online: 23:40
The Eagle schreef op zaterdag 11 februari 2023 @ 17:04:
Verder zou ik echt eens een fsck op je storage uitvoeren. Er moet een reden zijn waarom de disk io mis gaat.
Er is niets dat wijst op issues met storage. Als je kernel/filesystem driver niet klaagt over een corrupt filesystem dan is een fsck meestal ook zinloos.
Je ziet over 't hoofd dat InfluxDB als third party binary wordt gedistribueerd, de versie van de golang toolchain op *bian zegt dus niets - naar alle waarschijnlijkheid gebruiken ze bij Influx een relatief recente golang-versie.

@Copitano Misschien kan ik gewoon goed Googlen, maar ik vind met één goede zoekactie legio issues op Influx's GitHub die wijzen op databaselimieten op 32 bits OS'es.

Large database support for 32bit systems

Compaction crash loops and data loss on Raspberry Pi 3 B+ under minimal load
Currently, influx memory maps all TSM files into its userland address space. On 64 bit architectures, this not a problem because the userland address space is huge. On 32 bit architectures, it can be between 2 and 3.4 GB, depending on the system. When the TSM files approach this limit, Influx fails with "Cannot allocate memory" errors.
Tijd voor een 64-bits kernel, of deze patched branch bouwen.

[Voor 4% gewijzigd door Thralas op 11-02-2023 19:55]


  • biomass
  • Registratie: Augustus 2004
  • Laatst online: 00:22
@Copitano Heb ik het goed dat je Raspberry PI 1GB geheugen heeft?

code:
1
2
3
4
5
6
7
8
9
10
11
12
Search "error" (10 hits in 1 file of 1 searched)
  new 15 (10 hits)
    Line 3: Feb 10 04:59:34 raspberrypi influxd-systemd-start.sh[589]: ts=2023-02-10T03:59:34.371237Z lvl=info msg="Error adding new TSM files from snapshot. Removing temp files." log_id=0fuQyrQW000 engine=tsm1 trace_id=0fvNVUyG000 op_name=tsm1_cac$
    Line 5: Feb 10 04:59:34 raspberrypi influxd-systemd-start.sh[589]: ts=2023-02-10T03:59:34.371491Z lvl=info msg="Error writing snapshot" log_id=0fuQyrQW000 engine=tsm1 error="cannot allocate memory"
    Line 5: Feb 10 04:59:34 raspberrypi influxd-systemd-start.sh[589]: ts=2023-02-10T03:59:34.371491Z lvl=info msg="Error writing snapshot" log_id=0fuQyrQW000 engine=tsm1 error="cannot allocate memory"
    Line 7: Feb 10 04:59:35 raspberrypi influxd-systemd-start.sh[589]: ts=2023-02-10T03:59:35.613552Z lvl=info msg="Error adding new TSM files from snapshot. Removing temp files." log_id=0fuQyrQW000 engine=tsm1 trace_id=0fvNVYsG000 op_name=tsm1_cac$
    Line 9: Feb 10 04:59:35 raspberrypi influxd-systemd-start.sh[589]: ts=2023-02-10T03:59:35.613962Z lvl=info msg="Error writing snapshot" log_id=0fuQyrQW000 engine=tsm1 error="cannot allocate memory"
    Line 9: Feb 10 04:59:35 raspberrypi influxd-systemd-start.sh[589]: ts=2023-02-10T03:59:35.613962Z lvl=info msg="Error writing snapshot" log_id=0fuQyrQW000 engine=tsm1 error="cannot allocate memory"
    Line 13: Feb 10 04:59:36 raspberrypi influxd-systemd-start.sh[589]: ts=2023-02-10T03:59:36.812082Z lvl=info msg="Error adding new TSM files from snapshot. Removing temp files." log_id=0fuQyrQW000 engine=tsm1 trace_id=0fvNVbmW000 op_name=tsm1_cac$
    Line 15: Feb 10 04:59:36 raspberrypi influxd-systemd-start.sh[589]: ts=2023-02-10T03:59:36.817264Z lvl=info msg="Error writing snapshot" log_id=0fuQyrQW000 engine=tsm1 error="cannot allocate memory"
    Line 15: Feb 10 04:59:36 raspberrypi influxd-systemd-start.sh[589]: ts=2023-02-10T03:59:36.817264Z lvl=info msg="Error writing snapshot" log_id=0fuQyrQW000 engine=tsm1 error="cannot allocate memory"
    Line 19: Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: fatal error: out of memory


Het influxd-systemd-start.sh script klaagt dat een aaneengesloten vrij blok van 4210688 bytes (4.02 MB) niet gevonden kon worden. Het influxdb proces was toen 514.125 MB groot. Switchen naar een bredere architectuur lijkt me niet de directe oplossing, tenzij die x64 builds netter omgaan met geheugengebruik. Door de combinatie van applicaties kan het geheugen blijkbaar zo gefragmenteerd worden dat je geen vrije blokken van 4MB meer kan vinden. Upgraden van alle software naar de laatste versies op 32 bit zou al moeten helpen, en anders kan je natuurlijk altijd naar een PI gaan met meer geheugen... (kuch, nou misschien niet in Q1 2023)

  • Thralas
  • Registratie: December 2002
  • Laatst online: 23:40
biomass schreef op zaterdag 11 februari 2023 @ 20:12:
Switchen naar een bredere architectuur lijkt me niet de directe oplossing, tenzij die x64 builds netter omgaan met geheugengebruik. Door de combinatie van applicaties kan het geheugen blijkbaar zo gefragmenteerd worden dat je geen vrije blokken van 4MB meer kan vinden.
Ik vrees dat je fout zit.

Fysieke pages zijn (meestal) 4k en kunnen best gefragmenteerd zijn, dat is nu juist de truuk van virtual memory - het lijkt aaneengesloten voor de gebruiker maar dat is het fysiek niet.

Het feit dat zelfs 4 MB alloceren niet meer lukt is nu juist een aanwijzing dat er iets anders aan de hand is.

Als het systeem oom ging, dan was influx allang opgeofferd door de OOM killer. Kan geen kwaad voor TS om dat alsnog te controleren in de kernel logs, maar ten tijde van de screenshots is er nog ruim 900 MB vrij (incl. swap).

Wat gaat er wel fout? Precies wat in de eerder gelinkte issues staat: tijdens compaction memory mapt Influx alle TSM files. Je kunt ook in de screenshots terugzien dat hij 2 GB+ gemapped heeft (zie VIRT) en dat is niet eens tijdens compaction.

Een 32-bits systeem kan 4 GB addresseren, waarvan een gedeelte voor de kernel is gereserveerd. Meer dan 3 GB address space heb je niet, en dat is wat er hier waarschijnlijk op raakt waardoor je ook je 4 MB 'regulier' geheugen niet meer kan mappen.

  • biomass
  • Registratie: Augustus 2004
  • Laatst online: 00:22
Dat vind ik niet erg hoor, het ging mij er meer om dat zelfs als je van 32 bit naar 64 bit gaat, je het met dezelfde hoeveelheid RAM moet doen. De allocatie problemen zullen wel verdwijnen, maar je gaat steeds meer in swap stoppen zo. En dan moet je ook echt de flashdisks die je gebruikt in de gaten houden. Ik weet wel dat het knap vervelend is om een apparaat compleet nieuw in te stellen als je allerlei smarthome regeltjes in dat device hebt gestopt..

  • rvk
  • Registratie: Mei 2011
  • Laatst online: 28-03 00:45
Ah, nieuwe topic is al aardig op weg :)
Ik zal morgen even de log bekijken.
Maar die "cannot allocate memory" lijkt me wel duidelijk.

Misschien is het een optie om de index-version van inmem naar tsi1 te zetten. Dan wordt de cache niet in geheugen gehouden maar op disk geschreven. Dan moet die disk wel stabiel en betrouwbaar zijn maar dan krijg je wel weer meer geheugen vrij.

https://docs.influxdata.c...administration/upgrading/

  • Copitano
  • Registratie: Februari 2018
  • Laatst online: 23:51
En ja hoor ligt er weer uit. En opnieuw starten zonder 'wal' weg te gooiene wil nog niet echt lukken.
code:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
pi@raspberrypi:~ $ systemctl status influxdb
* influxdb.service - InfluxDB is an open-source, distributed, time series databa
   Loaded: loaded (/lib/systemd/system/influxdb.service; enabled; vendor preset:
   Active: activating (start) since Sun 2023-02-12 11:42:39 CET; 50s ago
     Docs: https://docs.influxdata.com/influxdb/
Cntrl PID: 1608 (influxd-systemd)
    Tasks: 15 (limit: 2164)
   CGroup: /system.slice/influxdb.service
           |-1608 /bin/bash -e /usr/lib/influxdb/scripts/influxd-systemd-start.s
           |-1609 /usr/bin/influxd -config /etc/influxdb/influxdb.conf
           `-2317 sleep 1

feb 12 11:43:28 raspberrypi influxd-systemd-start.sh[1608]: ts=2023-02-12T10:43:
feb 12 11:43:29 raspberrypi influxd-systemd-start.sh[1608]: ts=2023-02-12T10:43:
feb 12 11:43:29 raspberrypi influxd-systemd-start.sh[1608]: InfluxDB API unavail
feb 12 11:43:29 raspberrypi influxd-systemd-start.sh[1608]: ts=2023-02-12T10:43:
feb 12 11:43:29 raspberrypi influxd-systemd-start.sh[1608]: ts=2023-02-12T10:43:
feb 12 11:43:29 raspberrypi influxd-systemd-start.sh[1608]: ts=2023-02-12T10:43:
feb 12 11:43:29 raspberrypi influxd-systemd-start.sh[1608]: ts=2023-02-12T10:43:
feb 12 11:43:30 raspberrypi influxd-systemd-start.sh[1608]: ts=2023-02-12T10:43:
feb 12 11:43:30 raspberrypi influxd-systemd-start.sh[1608]: InfluxDB API unavail
feb 12 11:43:30 raspberrypi influxd-systemd-start.sh[1608]: ts=2023-02-12T10:43:
feb 12 11:43:30 raspberrypi influxd-systemd-start.sh[1608]: ts=2023-02-12T10:43:
lines 1-22/22 (END)...skipping...
* influxdb.service - InfluxDB is an open-source, distributed, time series database
   Loaded: loaded (/lib/systemd/system/influxdb.service; enabled; vendor preset: enabled)
   Active: activating (start) since Sun 2023-02-12 11:42:39 CET; 50s ago
     Docs: https://docs.influxdata.com/influxdb/
Cntrl PID: 1608 (influxd-systemd)
    Tasks: 15 (limit: 2164)
   CGroup: /system.slice/influxdb.service
           |-1608 /bin/bash -e /usr/lib/influxdb/scripts/influxd-systemd-start.sh
           |-1609 /usr/bin/influxd -config /etc/influxdb/influxdb.conf
           `-2317 sleep 1

feb 12 11:43:28 raspberrypi influxd-systemd-start.sh[1608]: ts=2023-02-12T10:43:28.832137Z lvl=info msg="Reading file" log_id=0fyJM_nG000 engine
feb 12 11:43:29 raspberrypi influxd-systemd-start.sh[1608]: ts=2023-02-12T10:43:29.018163Z lvl=info msg="Reading file" log_id=0fyJM_nG000 engine
feb 12 11:43:29 raspberrypi influxd-systemd-start.sh[1608]: InfluxDB API unavailable after 47 attempts...
feb 12 11:43:29 raspberrypi influxd-systemd-start.sh[1608]: ts=2023-02-12T10:43:29.203105Z lvl=info msg="Reading file" log_id=0fyJM_nG000 engine
feb 12 11:43:29 raspberrypi influxd-systemd-start.sh[1608]: ts=2023-02-12T10:43:29.394602Z lvl=info msg="Reading file" log_id=0fyJM_nG000 engine
feb 12 11:43:29 raspberrypi influxd-systemd-start.sh[1608]: ts=2023-02-12T10:43:29.610753Z lvl=info msg="Reading file" log_id=0fyJM_nG000 engine
feb 12 11:43:29 raspberrypi influxd-systemd-start.sh[1608]: ts=2023-02-12T10:43:29.811418Z lvl=info msg="Reading file" log_id=0fyJM_nG000 engine
feb 12 11:43:30 raspberrypi influxd-systemd-start.sh[1608]: ts=2023-02-12T10:43:30.005960Z lvl=info msg="Reading file" log_id=0fyJM_nG000 engine
feb 12 11:43:30 raspberrypi influxd-systemd-start.sh[1608]: InfluxDB API unavailable after 48 attempts...
feb 12 11:43:30 raspberrypi influxd-systemd-start.sh[1608]: ts=2023-02-12T10:43:30.194426Z lvl=info msg="Reading file" log_id=0fyJM_nG000 engine
feb 12 11:43:30 raspberrypi influxd-systemd-start.sh[1608]: ts=2023-02-12T10:43:30.416784Z lvl=info msg="Reading file" log_id=0fyJM_nG000 engine
~
~
~
~
enz.


En ik heb het even tijd gegeven maar er lijkt nog weinig te zijn gebeurd.
code:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
pi@raspberrypi:~ $ systemctl status influxdb
* influxdb.service - InfluxDB is an open-source, distributed, time series database
   Loaded: loaded (/lib/systemd/system/influxdb.service; enabled; vendor preset: enabled)
   Active: activating (start) since Sun 2023-02-12 12:23:21 CET; 1min 6s ago
     Docs: https://docs.influxdata.com/influxdb/
Cntrl PID: 3846 (influxd-systemd)
    Tasks: 14 (limit: 2164)
   CGroup: /system.slice/influxdb.service
           |-3846 /bin/bash -e /usr/lib/influxdb/scripts/influxd-systemd-start.sh
           |-3847 /usr/bin/influxd -config /etc/influxdb/influxdb.conf
           `-4799 sleep 1

feb 12 12:24:25 raspberrypi influxd-systemd-start.sh[3846]: ts=2023-02-12T11:24:25.703893Z lvl=info msg="Reading file" log_id=0fyLga00000 engine
feb 12 12:24:25 raspberrypi influxd-systemd-start.sh[3846]: ts=2023-02-12T11:24:25.901922Z lvl=info msg="Reading file" log_id=0fyLga00000 engine
feb 12 12:24:26 raspberrypi influxd-systemd-start.sh[3846]: ts=2023-02-12T11:24:26.105940Z lvl=info msg="Reading file" log_id=0fyLga00000 engine
feb 12 12:24:26 raspberrypi influxd-systemd-start.sh[3846]: ts=2023-02-12T11:24:26.317127Z lvl=info msg="Reading file" log_id=0fyLga00000 engine
feb 12 12:24:26 raspberrypi influxd-systemd-start.sh[3846]: ts=2023-02-12T11:24:26.523621Z lvl=info msg="Reading file" log_id=0fyLga00000 engine
feb 12 12:24:26 raspberrypi influxd-systemd-start.sh[3846]: ts=2023-02-12T11:24:26.731423Z lvl=info msg="Reading file" log_id=0fyLga00000 engine
feb 12 12:24:26 raspberrypi influxd-systemd-start.sh[3846]: InfluxDB API unavailable after 62 attempts...
feb 12 12:24:26 raspberrypi influxd-systemd-start.sh[3846]: ts=2023-02-12T11:24:26.919782Z lvl=info msg="Reading file" log_id=0fyLga00000 engine
feb 12 12:24:27 raspberrypi influxd-systemd-start.sh[3846]: ts=2023-02-12T11:24:27.104390Z lvl=info msg="Reading file" log_id=0fyLga00000 engine
feb 12 12:24:27 raspberrypi influxd-systemd-start.sh[3846]: ts=2023-02-12T11:24:27.289718Z lvl=info msg="Reading file" log_id=0fyLga00000 engine
feb 12 12:24:27 raspberrypi influxd-systemd-start.sh[3846]: ts=2023-02-12T11:24:27.514553Z lvl=info msg="Reading file" log_id=0fyLga00000 engine
lines 1-22/22 (END)


code:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
pi@raspberrypi:~ $ sudo service influxdb restart
Job for influxdb.service failed because a timeout was exceeded.
See "systemctl status influxdb.service" and "journalctl -xe" for details.
pi@raspberrypi:~ $ systemctl status influxdb.service
* influxdb.service - InfluxDB is an open-source, distributed, time series database
   Loaded: loaded (/lib/systemd/system/influxdb.service; enabled; vendor preset: enabled)
   Active: activating (start) since Sun 2023-02-12 12:33:25 CET; 15s ago
     Docs: https://docs.influxdata.com/influxdb/
Cntrl PID: 12048 (influxd-systemd)
    Tasks: 15 (limit: 2164)
   CGroup: /system.slice/influxdb.service
           |-12048 /bin/bash -e /usr/lib/influxdb/scripts/influxd-systemd-start.sh
           |-12049 /usr/bin/influxd -config /etc/influxdb/influxdb.conf
           `-12267 sleep 1

feb 12 12:33:30 raspberrypi influxd-systemd-start.sh[12048]: InfluxDB API unavailable after 6 attempts...
feb 12 12:33:31 raspberrypi influxd-systemd-start.sh[12048]: InfluxDB API unavailable after 7 attempts...
feb 12 12:33:32 raspberrypi influxd-systemd-start.sh[12048]: InfluxDB API unavailable after 8 attempts...
feb 12 12:33:34 raspberrypi influxd-systemd-start.sh[12048]: InfluxDB API unavailable after 9 attempts...
feb 12 12:33:35 raspberrypi influxd-systemd-start.sh[12048]: InfluxDB API unavailable after 10 attempts...
feb 12 12:33:35 raspberrypi influxd-systemd-start.sh[12048]: ts=2023-02-12T11:33:35.798229Z lvl=info msg="Reading file" log_id=0fyMGSYG000 engin
feb 12 12:33:36 raspberrypi influxd-systemd-start.sh[12048]: InfluxDB API unavailable after 11 attempts...
feb 12 12:33:37 raspberrypi influxd-systemd-start.sh[12048]: InfluxDB API unavailable after 12 attempts...
feb 12 12:33:38 raspberrypi influxd-systemd-start.sh[12048]: InfluxDB API unavailable after 13 attempts...
feb 12 12:33:39 raspberrypi influxd-systemd-start.sh[12048]: InfluxDB API unavailable after 14 attempts...


Uit de /tmp/ psoutput
code:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
top - [b]01:59:45[/b] up 1 day, 14:37,  2 users,  load average: 1,23, 1,18, 1,00
Tasks: 177 total,   1 running, 176 sleeping,   0 stopped,   0 zombie
%Cpu(s):  2,2 us,  6,7 sy,  0,0 ni, 91,0 id,  0,0 wa,  0,0 hi,  0,0 si,  0,0 st
MiB Mem :    966,8 total,    357,9 free,    328,6 used,    280,4 buff/cache
MiB Swap:   1064,0 total,    818,1 free,    245,9 used.    661,8 avail Mem

  PID USER      PR  NI    VIRT    RES    SHR S  %CPU  %MEM     TIME+ COMMAND
20936 influxdb  20   0 2067460 217364  22416 S   0,0  22,0 132:43.83 influxd
  693 root      20   0  374088  50620  12532 S   0,0   5,1 775:46.89 domoticz
  571 grafana   20   0  972124  20688  11712 S   0,0   2,1   8:56.94 grafana-s+

top - [b]03:31:09[/b] up 1 day, 16:08,  1 user,  load average: 2,06, 2,19, 2,66
Tasks: 179 total,   1 running, 178 sleeping,   0 stopped,   0 zombie
%Cpu(s): 53,6 us,  8,7 sy,  0,0 ni, 37,7 id,  0,0 wa,  0,0 hi,  0,0 si,  0,0 st
MiB Mem :    966,8 total,    175,2 free,    363,5 used,    428,1 buff/cache
MiB Swap:   1064,0 total,    837,6 free,    226,4 used.    540,6 avail Mem

  PID USER      PR  NI    VIRT    RES    SHR S  %CPU  %MEM     TIME+ COMMAND
11690 influxdb  20   0 2068212 389904 124092 S 171,6  39,4   1:21.20 influxd
  693 root      20   0  365892  44908   9428 S  50,0   4,5 804:32.00 domoticz

top - [b]05:01:48[/b] up 1 day, 17:39,  1 user,  load average: 2,03, 2,33, 2,36
Tasks: 178 total,   1 running, 177 sleeping,   0 stopped,   0 zombie
%Cpu(s): 46,4 us,  5,8 sy,  0,0 ni, 47,6 id,  0,0 wa,  0,0 hi,  0,1 si,  0,0 st
MiB Mem :    966,8 total,    110,5 free,    409,8 used,    446,5 buff/cache
MiB Swap:   1064,0 total,    837,8 free,    226,2 used.    494,5 avail Mem

  PID USER      PR  NI    VIRT    RES    SHR S  %CPU  %MEM     TIME+ COMMAND
22210 influxdb  20   0 2069108 448380 122168 S 165,3  45,3   1:41.44 influxd
  693 root      20   0  365776  45092   9840 S  26,7   4,6 833:13.68 domoticz

top - [b]06:32:15[/b] up 1 day, 19:10,  1 user,  load average: 2,31, 2,35, 2,36
Tasks: 177 total,   2 running, 175 sleeping,   0 stopped,   0 zombie
%Cpu(s): 26,0 us,  1,0 sy,  0,0 ni, 72,6 id,  0,1 wa,  0,0 hi,  0,2 si,  0,0 st
MiB Mem :    966,8 total,    152,2 free,    394,4 used,    420,3 buff/cache
MiB Swap:   1064,0 total,    844,6 free,    219,4 used.    496,0 avail Mem

  PID USER      PR  NI    VIRT    RES    SHR S  %CPU  %MEM     TIME+ COMMAND
32639 influxdb  20   0 2068468 409432 123016 R 100,0  41,4   1:38.60 influxd
  693 root      20   0  364120  42592   9512 S   0,0   4,3 861:45.77 domoticz

top - [b]08:02:58[/b] up 1 day, 20:40,  1 user,  load average: 2,27, 2,53, 2,43
Tasks: 178 total,   1 running, 177 sleeping,   0 stopped,   0 zombie
%Cpu(s): 32,7 us,  6,4 sy,  0,0 ni, 59,3 id,  1,5 wa,  0,0 hi,  0,1 si,  0,0 st
MiB Mem :    966,8 total,     27,6 free,    489,8 used,    449,4 buff/cache
MiB Swap:   1064,0 total,    841,4 free,    222,6 used.    407,0 avail Mem

  PID USER      PR  NI    VIRT    RES    SHR S  %CPU  %MEM     TIME+ COMMAND
 9198 influxdb  20   0 2070652 503764 122824 S  95,0  50,9   2:01.74 influxd
  693 root      20   0  364624  44980   9880 S  42,6   4,5 889:47.50 domoticz

top - 09:33:32 up 1 day, 22:11,  1 user,  load average: 2,44, 2,35, 2,41
Tasks: 180 total,   3 running, 177 sleeping,   0 stopped,   0 zombie
%Cpu(s): 41,2 us, 10,4 sy,  0,0 ni, 47,1 id,  0,2 wa,  0,0 hi,  1,0 si,  0,0 st
MiB Mem :    966,8 total,     27,3 free,    523,8 used,    415,7 buff/cache
MiB Swap:   1064,0 total,    844,1 free,    219,9 used.    384,5 avail Mem

  PID USER      PR  NI    VIRT    RES    SHR S  %CPU  %MEM     TIME+ COMMAND
  693 root      20   0  367620  57176   9852 S  36,0   5,8 919:36.66 domoticz
21442 influxdb  20   0  885592  23712  18916 R   5,4   2,4   0:00.11 influxd

Elga | Valliant eco TEC plus VHR 30-34/5-5L | Kamstrup 602 |Nodo OTGW | Raspberry Pi 3B+/4B+|RFXcom rfxtrx433xl | UniFi netwerk | PVoutput 8.625 kWp


  • rvk
  • Registratie: Mei 2011
  • Laatst online: 28-03 00:45
Dan vraag ik me af of je nu bij het opstarten (en tijdens het verwerken van de wal) op een gegeven moment memory problemen krijgt.

Welke versie van influx draai je overigens?
influx --version
(ik wilde even dezelfde versie hier op een oude pi met 1GB zetten en kijken of omschakelen naar tsi1 helpt)

Verder is output van SHOW DIAGNOSTICS handig.
(daar staan ook de config waardes in)
De cache-max-memory-size zou natuurlijk niet op 1 GB mogen staan want dat heeft je RPI niet eens.

[Voor 23% gewijzigd door rvk op 12-02-2023 13:12]


  • rvk
  • Registratie: Mei 2011
  • Laatst online: 28-03 00:45
Zie bijvoorbeeld hier de suggestie om die cache-max-memory-size te verlagen.

https://community.influxd...t-on-raspberry-pi/12591/2

Als dat niet werkt kun je die inmem naar tsi1 veranderen, maar dan moet je volgens mij nog wat extra stappen doen zoals de index opnieuw opbouwen.

  • Copitano
  • Registratie: Februari 2018
  • Laatst online: 23:51
rvk schreef op zondag 12 februari 2023 @ 13:11:
Dan vraag ik me af of je nu bij het opstarten (en tijdens het verwerken van de wal) op een gegeven moment memory problemen krijgt.

Welke versie van influx draai je overigens?
influx --version
(ik wilde even dezelfde versie hier op een oude pi met 1GB zetten en kijken of omschakelen naar tsi1 helpt)

Verder is output van SHOW DIAGNOSTICS handig.
(daar staan ook de config waardes in)
De cache-max-memory-size zou natuurlijk niet op 1 GB mogen staan want dat heeft je RPI niet eens.
Het is versie 1.8.10

Heb zojuist ook even de laaste 1000 regels van daemon.log er uit gehaald. Maar lijkt te groot om hier toe te voegen. Krijg een Error bij verzenden

Elga | Valliant eco TEC plus VHR 30-34/5-5L | Kamstrup 602 |Nodo OTGW | Raspberry Pi 3B+/4B+|RFXcom rfxtrx433xl | UniFi netwerk | PVoutput 8.625 kWp


  • Copitano
  • Registratie: Februari 2018
  • Laatst online: 23:51
rvk schreef op zondag 12 februari 2023 @ 13:11:
Dan vraag ik me af of je nu bij het opstarten (en tijdens het verwerken van de wal) op een gegeven moment memory problemen krijgt.

Welke versie van influx draai je overigens?
influx --version
(ik wilde even dezelfde versie hier op een oude pi met 1GB zetten en kijken of omschakelen naar tsi1 helpt)

Verder is output van SHOW DIAGNOSTICS handig.
(daar staan ook de config waardes in)
De cache-max-memory-size zou natuurlijk niet op 1 GB mogen staan want dat heeft je RPI niet eens.
voor SHOW DIAGNOSTICS moet ik toch influx kunnen benaderen in de CLI. Ik heb nog even gewacht met weggooien van 'wal' en kom er dus nog niet in.
Weggooien?

Elga | Valliant eco TEC plus VHR 30-34/5-5L | Kamstrup 602 |Nodo OTGW | Raspberry Pi 3B+/4B+|RFXcom rfxtrx433xl | UniFi netwerk | PVoutput 8.625 kWp


  • Copitano
  • Registratie: Februari 2018
  • Laatst online: 23:51
Ik ga nu eerst maar eens even een disk image op een reserve eMMC module zetten voor de zekerheid. De laatste is al weer een weekje oud.

Elga | Valliant eco TEC plus VHR 30-34/5-5L | Kamstrup 602 |Nodo OTGW | Raspberry Pi 3B+/4B+|RFXcom rfxtrx433xl | UniFi netwerk | PVoutput 8.625 kWp


  • rvk
  • Registratie: Mei 2011
  • Laatst online: 28-03 00:45
Nee nog even niet.
Ik dacht eraan om influxd handmatig te runnen en zijn werk te laten doen.
Maar we kunnen ook de timeout aanpassen.

Heb je ergens onderin de sudo service influxdb status staan dat er een timeout is?
Mijn probleem vorige week op een oude PI was dit:

code:
1
2
3
4
5
6
7
Feb  5 15:00:43 space44 influxd-systemd-start.sh[454]: InfluxDB API unavailable after 79 attempts...
Feb  5 15:00:44 space44 influxd-systemd-start.sh[454]: InfluxDB API unavailable after 80 attempts...
Feb  5 15:00:44 space44 systemd[1]: influxdb.service: start operation timed out. Terminating.
Feb  5 15:00:44 space44 systemd[1]: influxdb.service: Failed with result 'timeout'.
Feb  5 15:00:44 space44 systemd[1]: Failed to start InfluxDB is an open-source, distributed, time series database.
Feb  5 15:00:44 space44 systemd[1]: influxdb.service: Consumed 1min 41.657s CPU time.
Feb  5 15:00:44 space44 systemd[1]: Reached target Multi-User System.


Je kunt dan de regel TimeoutStartSec=120 toevoegen aan de service.
Nu probeert het service-systeem influx te starten maar de standaard timeout hiervoor is 60 seconden.
Dit is te kort voor influx om de wal te lezen. Ik zou hem dan ook gewoon eens op 120 of zelfs 300 zetten en zijn werk te laten doen.

Wel zou ik ook nog even die cache-max-memory-size op "512m" zetten want die 1GB is echt teveel.

nano /etc/influxdb/influxdb.conf
code:
1
2
# cache-max-memory-size = "1g"
cache-max-memory-size = "512m"


CTRL+X en opslaan

nano /etc/systemd/system/influxd.service
code:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
# If you modify this, please also make sure to edit init.sh

[Unit]
Description=InfluxDB is an open-source, distributed, time series database
Documentation=https://docs.influxdata.com/influxdb/
After=network-online.target

[Service]
User=influxdb
Group=influxdb
LimitNOFILE=65536
EnvironmentFile=-/etc/default/influxdb
ExecStart=/usr/lib/influxdb/scripts/influxd-systemd-start.sh
KillMode=control-group
Restart=on-failure
Type=forking
PIDFile=/var/lib/influxdb/influxd.pid
TimeoutStartSec=300

[Install]
WantedBy=multi-user.target
Alias=influxd.service


CTRL+X en opslaan

Je moet daarna een reload doen
sudo systemctl daemon-reload
sudo service influxdb start

En dan met sudo service influxdb status kijken tot hoever hij loopt.
(of met tail -n100 daemon.log)

(nu even mijn middagwandelingetje maken :) )

[Voor 19% gewijzigd door rvk op 12-02-2023 13:47]


  • Copitano
  • Registratie: Februari 2018
  • Laatst online: 23:51
Dit krijg ik met sudo service influxdb status
code:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
pi@raspberrypi:/ $ sudo service influxdb status
* influxdb.service - InfluxDB is an open-source, distributed, time series database
   Loaded: loaded (/lib/systemd/system/influxdb.service; enabled; vendor preset: enabled)
   Active: activating (start) since Sun 2023-02-12 13:48:26 CET; 1min 10s ago
     Docs: https://docs.influxdata.com/influxdb/
Cntrl PID: 12559 (influxd-systemd)
    Tasks: 14 (limit: 2164)
   CGroup: /system.slice/influxdb.service
           |-12559 /bin/bash -e /usr/lib/influxdb/scripts/influxd-systemd-start.sh
           |-12560 /usr/bin/influxd -config /etc/influxdb/influxdb.conf
           `-13556 sleep 1

feb 12 13:49:35 raspberrypi influxd-systemd-start.sh[12559]: ts=2023-02-12T12:49:35.053122Z lvl=info msg="Reading file" log_id=0fyQZDOW000 engin
feb 12 13:49:35 raspberrypi influxd-systemd-start.sh[12559]: ts=2023-02-12T12:49:35.235679Z lvl=info msg="Reading file" log_id=0fyQZDOW000 engin
feb 12 13:49:35 raspberrypi influxd-systemd-start.sh[12559]: InfluxDB API unavailable after 65 attempts...
feb 12 13:49:35 raspberrypi influxd-systemd-start.sh[12559]: ts=2023-02-12T12:49:35.425506Z lvl=info msg="Reading file" log_id=0fyQZDOW000 engin
feb 12 13:49:35 raspberrypi influxd-systemd-start.sh[12559]: ts=2023-02-12T12:49:35.617658Z lvl=info msg="Reading file" log_id=0fyQZDOW000 engin
feb 12 13:49:35 raspberrypi influxd-systemd-start.sh[12559]: ts=2023-02-12T12:49:35.803291Z lvl=info msg="Reading file" log_id=0fyQZDOW000 engin
feb 12 13:49:35 raspberrypi influxd-systemd-start.sh[12559]: ts=2023-02-12T12:49:35.991377Z lvl=info msg="Reading file" log_id=0fyQZDOW000 engin
feb 12 13:49:36 raspberrypi influxd-systemd-start.sh[12559]: ts=2023-02-12T12:49:36.179517Z lvl=info msg="Reading file" log_id=0fyQZDOW000 engin
feb 12 13:49:36 raspberrypi influxd-systemd-start.sh[12559]: ts=2023-02-12T12:49:36.392077Z lvl=info msg="Reading file" log_id=0fyQZDOW000 engin
feb 12 13:49:36 raspberrypi influxd-systemd-start.sh[12559]: InfluxDB API unavailable after 66 attempts...
feb 12 13:49:36 raspberrypi influxd-systemd-start.sh[12559]: ts=2023-02-12T12:49:36.655279Z lvl=info msg="Reading file" log_id=0fyQZDOW000 engin
lines 1-22/22 (END)

Elga | Valliant eco TEC plus VHR 30-34/5-5L | Kamstrup 602 |Nodo OTGW | Raspberry Pi 3B+/4B+|RFXcom rfxtrx433xl | UniFi netwerk | PVoutput 8.625 kWp


  • rvk
  • Registratie: Mei 2011
  • Laatst online: 28-03 00:45
Ja, maar dan loopt ie nu nog.
De vraag is of die op een gegeven moment klaar is of dat de service de start hard afbreekt omdat de timeout van 60 seconden bereikt is. Vandaar die timeout override van 300/5 minuten. Hopelijk kan influx die wal in 5 minuten wel inlezen (en als de cache_max dan ook op 512 staat hoop ik dat de memory problemen verleden tijd zijn).

(Zoniet dan ga ik die inmem/tsi1 even uitzoeken)

[Voor 6% gewijzigd door rvk op 12-02-2023 13:56]


  • Copitano
  • Registratie: Februari 2018
  • Laatst online: 23:51
rvk schreef op zondag 12 februari 2023 @ 13:54:
Ja, maar dan loopt ie nu nog.
De vraag is of die op een gegeven moment klaar is of dat de service de start hard afbreekt omdat de timeout van 60 seconden bereikt is. Vandaar die timeout override van 300/5 minuten. Hopelijk kan influx die wal in 5 minuten wel inlezen (en als de cache_max dan ook op 512 staat hoop ik dat de memory problemen verleden tijd zijn).
Ga eerst lekker je wandeling maken. Bij mij loopt op dit moment het diskimage proces naar de reserve eMMC. Je weet maar nooit waar het goed voor is ;)
Zodra die klaar is ga ik de aanpassingen maken.

Elga | Valliant eco TEC plus VHR 30-34/5-5L | Kamstrup 602 |Nodo OTGW | Raspberry Pi 3B+/4B+|RFXcom rfxtrx433xl | UniFi netwerk | PVoutput 8.625 kWp


  • ninjazx9r98
  • Registratie: Juli 2002
  • Laatst online: 22:10
Copitano schreef op zaterdag 11 februari 2023 @ 17:31:
[...]

dan is het deze
code:
1
rc  golang-go                             2:1.7~5                                 armhf        Go programming language compiler, linker, compiled stdlib
Die is het in ieder geval niet. De status "rc" geeft aan dat deze Removed is maar de Configuratie is nog aanwezig op je system. Was het een geinstalleerd package dan was de status "ii" geweest.

  • Copitano
  • Registratie: Februari 2018
  • Laatst online: 23:51
ninjazx9r98 schreef op zondag 12 februari 2023 @ 14:22:
[...]

Die is het in ieder geval niet. De status "rc" geeft aan dat deze Removed is maar de Configuratie is nog aanwezig op je system. Was het een geinstalleerd package dan was de status "ii" geweest.
dan moet er dus ook een andere (nieuwere) zijn?

Elga | Valliant eco TEC plus VHR 30-34/5-5L | Kamstrup 602 |Nodo OTGW | Raspberry Pi 3B+/4B+|RFXcom rfxtrx433xl | UniFi netwerk | PVoutput 8.625 kWp


  • Thralas
  • Registratie: December 2002
  • Laatst online: 23:40
@Copitano Lees je ook wat er gepost wordt?

Thralas in "Na 5 jaar vlekkeloos werken crashed Influxdb nu regelmatig"

Daar staat de vermoedelijke oorzaak van je probleem, en als bonus staat er ook nog waarom de versie van de go compiler niet relevant is.

  • Kalentum
  • Registratie: Juni 2004
  • Laatst online: 22:28
@Copitano wat @Thralas zegt, ik had exact dat probleem.

Ik heb het opgelost door een default retention policy van 4 weken in te stellen. Oude data verdwijnt dan. Ik kijk eigenlijk nooit verder dan 7 dagen terug dus prima.

Ik archiveer alle data in csv bestanden, mocht ik ze nodig hebben...

Je kan ook nog Continuous Queries gebruiken om bv seconden waarden samen te vatten per 5 minuten (of uur ofzo) dat scheelt ook heel veel data opslag.

[Voor 26% gewijzigd door Kalentum op 12-02-2023 14:54]

PV Output


  • Copitano
  • Registratie: Februari 2018
  • Laatst online: 23:51
rvk schreef op zondag 12 februari 2023 @ 13:43:
Nee nog even niet.
Ik dacht eraan om influxd handmatig te runnen en zijn werk te laten doen.
Maar we kunnen ook de timeout aanpassen.

Heb je ergens onderin de sudo service influxdb status staan dat er een timeout is?
Mijn probleem vorige week op een oude PI was dit:

code:
1
2
3
4
5
6
7
Feb  5 15:00:43 space44 influxd-systemd-start.sh[454]: InfluxDB API unavailable after 79 attempts...
Feb  5 15:00:44 space44 influxd-systemd-start.sh[454]: InfluxDB API unavailable after 80 attempts...
Feb  5 15:00:44 space44 systemd[1]: influxdb.service: start operation timed out. Terminating.
Feb  5 15:00:44 space44 systemd[1]: influxdb.service: Failed with result 'timeout'.
Feb  5 15:00:44 space44 systemd[1]: Failed to start InfluxDB is an open-source, distributed, time series database.
Feb  5 15:00:44 space44 systemd[1]: influxdb.service: Consumed 1min 41.657s CPU time.
Feb  5 15:00:44 space44 systemd[1]: Reached target Multi-User System.


Je kunt dan de regel TimeoutStartSec=120 toevoegen aan de service.
Nu probeert het service-systeem influx te starten maar de standaard timeout hiervoor is 60 seconden.
Dit is te kort voor influx om de wal te lezen. Ik zou hem dan ook gewoon eens op 120 of zelfs 300 zetten en zijn werk te laten doen.

Wel zou ik ook nog even die cache-max-memory-size op "512m" zetten want die 1GB is echt teveel.

nano /etc/influxdb/influxdb.conf
code:
1
2
# cache-max-memory-size = "1g"
cache-max-memory-size = "512m"


CTRL+X en opslaan

nano /etc/systemd/system/influxd.service
code:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
# If you modify this, please also make sure to edit init.sh

[Unit]
Description=InfluxDB is an open-source, distributed, time series database
Documentation=https://docs.influxdata.com/influxdb/
After=network-online.target

[Service]
User=influxdb
Group=influxdb
LimitNOFILE=65536
EnvironmentFile=-/etc/default/influxdb
ExecStart=/usr/lib/influxdb/scripts/influxd-systemd-start.sh
KillMode=control-group
Restart=on-failure
Type=forking
PIDFile=/var/lib/influxdb/influxd.pid
TimeoutStartSec=300

[Install]
WantedBy=multi-user.target
Alias=influxd.service


CTRL+X en opslaan

Je moet daarna een reload doen
sudo systemctl daemon-reload
sudo service influxdb start

En dan met sudo service influxdb status kijken tot hoever hij loopt.
(of met tail -n100 daemon.log)

(nu even mijn middagwandelingetje maken :) )
Backup klaar. Aanpassingen gedaan. Influxdb is opgestart. Influxdb was er om 03:14 mee gestopt kennelijk. Dat moet ik dan nog even navlooiten in de daemon.log. Maar het draait voorlopig weer. Deze keer zonder de 'wal' weg te gooien :) Zal nu echt wel weer even een paar uur doorlopen.
Nu eens kijken wat er de komende nacht gaat gebeuren.

Elga | Valliant eco TEC plus VHR 30-34/5-5L | Kamstrup 602 |Nodo OTGW | Raspberry Pi 3B+/4B+|RFXcom rfxtrx433xl | UniFi netwerk | PVoutput 8.625 kWp


  • Copitano
  • Registratie: Februari 2018
  • Laatst online: 23:51
rvk schreef op zondag 12 februari 2023 @ 13:54:
Ja, maar dan loopt ie nu nog.
De vraag is of die op een gegeven moment klaar is of dat de service de start hard afbreekt omdat de timeout van 60 seconden bereikt is. Vandaar die timeout override van 300/5 minuten. Hopelijk kan influx die wal in 5 minuten wel inlezen (en als de cache_max dan ook op 512 staat hoop ik dat de memory problemen verleden tijd zijn).

(Zoniet dan ga ik die inmem/tsi1 even uitzoeken)
Ging zelfs nog wat vlotter :P

Elga | Valliant eco TEC plus VHR 30-34/5-5L | Kamstrup 602 |Nodo OTGW | Raspberry Pi 3B+/4B+|RFXcom rfxtrx433xl | UniFi netwerk | PVoutput 8.625 kWp


  • rvk
  • Registratie: Mei 2011
  • Laatst online: 28-03 00:45
Copitano schreef op zondag 12 februari 2023 @ 15:27:
[...]
Backup klaar. Aanpassingen gedaan. Influxdb is opgestart. Influxdb was er om 03:14 mee gestopt kennelijk. Dat moet ik dan nog even navlooiten in de daemon.log. Maar het draait voorlopig weer. Deze keer zonder de 'wal' weg te gooien :) Zal nu echt wel weer even een paar uur doorlopen.
Fijn, hopelijk doet die cache-max-memory-size zijn werk om influxdb in de lucht te houden. En zorgt de Timeoutverhoging ervoor dat als je hem opnieuw start dat het inlezen van de wal genoeg tijd heeft.

Mocht ie nog vastlopen dan hebben we weer het deel uit daemon.log nodig van voor tot moment van crash.

  • Copitano
  • Registratie: Februari 2018
  • Laatst online: 23:51
rvk schreef op zondag 12 februari 2023 @ 15:31:
[...]

Fijn, hopelijk doet die cache-max-memory-size zijn werk om influxdb in de lucht te houden. En zorgt de Timeoutverhoging ervoor dat als je hem opnieuw start dat het inlezen van de wal genoeg tijd heeft.

Mocht ie nog vastlopen dan hebben we weer het deel uit daemon.log nodig van voor tot moment van crash.
Yep en is wellicht de suggestie van @Thralas ook nog een optie. Eerst de komende nacht maar eens afwachten en duimen dat de boel overeind blijft :+
Zover enorm bedankt voor je constructieve hulp! ;)

[Voor 4% gewijzigd door Copitano op 12-02-2023 15:35]

Elga | Valliant eco TEC plus VHR 30-34/5-5L | Kamstrup 602 |Nodo OTGW | Raspberry Pi 3B+/4B+|RFXcom rfxtrx433xl | UniFi netwerk | PVoutput 8.625 kWp


  • The Eagle
  • Registratie: Januari 2002
  • Laatst online: 00:50

The Eagle

I wear my sunglasses at night

Typisch dat dat ding op een Pi uitgerekend om 3:14 stopt.

What are the odds? :D

Al is het nieuws nog zo slecht, het wordt leuker als je het op zijn Brabants zegt :)


  • The Eagle
  • Registratie: Januari 2002
  • Laatst online: 00:50

The Eagle

I wear my sunglasses at night

Overigens, als die cache max memory en de timeouts bij het schrijven wel de bottleneck zijn, dan heb je dus alsnog een CPU performance of IO probleem; kan niet snel genoeg lezen of schrijven.
En een relatief trage pi en een eMMC module zijn natuurlijk geen van beiden echt snelheidsmonsters.

Al is het nieuws nog zo slecht, het wordt leuker als je het op zijn Brabants zegt :)


  • rvk
  • Registratie: Mei 2011
  • Laatst online: 28-03 00:45
PS Ik heb hier even getest op een oude PI met 1GB.
Ik kreeg ook "cannot allocate memory" en uiteindelijk "systemd[1]: Stopped InfluxDB"
Zelfs met cache-max-memory-size op 512m.

Daarna heb ik de cache-max-memory-size op 256m gezet.
Ik heb nog wel "Error writing snapshot" met "cannot allocate memory" maar hij blijft wel draaien.

Geen idee of jij nog errors in daemon.log hebt.

cat /var/log/daemon.log | grep -i "cannot allocate memory"
cat /var/log/daemon.log | grep -i "Stopped influxDB"

  • Copitano
  • Registratie: Februari 2018
  • Laatst online: 23:51
rvk schreef op zondag 12 februari 2023 @ 19:19:
PS Ik heb hier even getest op een oude PI met 1GB.
Ik kreeg ook "cannot allocate memory" en uiteindelijk "systemd[1]: Stopped InfluxDB"
Zelfs met cache-max-memory-size op 512m.

Daarna heb ik de cache-max-memory-size op 256m gezet.
Ik heb nog wel "Error writing snapshot" met "cannot allocate memory" maar hij blijft wel draaien.

Geen idee of jij nog errors in daemon.log hebt.

cat /var/log/daemon.log | grep -i "cannot allocate memory"
cat /var/log/daemon.log | grep -i "Stopped influxDB"
Ja ik zie ze nog wel en ook hier en daar wordt een waarde gemist, maar het draait nog steeds wel.




met 'top'
code:
1
2
3
4
5
6
7
8
9
10
Tasks: 178 total,   1 running, 177 sleeping,   0 stopped,   0 zombie
%Cpu(s): 12,8 us,  1,5 sy,  0,0 ni, 85,5 id,  0,1 wa,  0,0 hi,  0,1 si,  0,0 st
MiB Mem :    966,8 total,    163,2 free,    346,0 used,    457,6 buff/cache
MiB Swap:   1064,0 total,    876,7 free,    187,2 used.    645,6 avail Mem

  PID USER      PR  NI    VIRT    RES    SHR S  %CPU  %MEM     TIME+ COMMAND
28159 influxdb  20   0 2022520 209996  23932 S  42,4  21,2  19:31.69 influxd
 2065 root      20   0  374984  61844  11172 S   9,9   6,2  84:36.61 domoticz
  580 mosquit+  20   0    9404   2792   2664 S   0,7   0,3   0:39.73 mosquitto
31745 pi        20   0    6608   3084   2460 R   0,7   0,3   0:00.27 top


en
in de daemon.log ongeveer op het moment dat ook een meting ontbreekt in Grafana
code:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
Feb 12 16:11:28 raspberrypi influxd-systemd-start.sh[24666]: ts=2023-02-12T15:11:28.451131Z lvl=info msg="Cache snapshot (start)" log_id=0fyYcEM0000 engine=tsm1 trace_id=0fyYjzll000 op_name=tsm1_cache_snapshot op_event=start
Feb 12 16:11:28 raspberrypi influxd-systemd-start.sh[24666]: [httpd] 192.168.2.36 - - [12/Feb/2023:16:11:28 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$
Feb 12 16:11:29 raspberrypi influxd-systemd-start.sh[24666]: [httpd] 192.168.2.36 - - [12/Feb/2023:16:11:29 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$
Feb 12 16:11:29 raspberrypi influxd-systemd-start.sh[24666]: [httpd] 192.168.2.36 - - [12/Feb/2023:16:11:29 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$
Feb 12 16:11:30 raspberrypi influxd-systemd-start.sh[24666]: ts=2023-02-12T15:11:30.390896Z lvl=info msg="Error adding new TSM files from snapshot. Removing temp files." log_id=0fyYcEM0000 engine=tsm1 trace_id=0fyYjzll000 op_name=tsm1_c$
Feb 12 16:11:30 raspberrypi influxd-systemd-start.sh[24666]: ts=2023-02-12T15:11:30.400517Z lvl=info msg="Cache snapshot (end)" log_id=0fyYcEM0000 engine=tsm1 trace_id=0fyYjzll000 op_name=tsm1_cache_snapshot op_event=end op_elapsed=1949$
Feb 12 16:11:30 raspberrypi influxd-systemd-start.sh[24666]: ts=2023-02-12T15:11:30.401808Z lvl=info msg="Error writing snapshot" log_id=0fyYcEM0000 engine=tsm1 error="cannot allocate memory"
Feb 12 16:11:30 raspberrypi influxd-systemd-start.sh[24666]: ts=2023-02-12T15:11:30.403105Z lvl=info msg="Cache snapshot (start)" log_id=0fyYcEM0000 engine=tsm1 trace_id=0fyYk6Ol000 op_name=tsm1_cache_snapshot op_event=start
Feb 12 16:11:30 raspberrypi influxd-systemd-start.sh[24666]: [httpd] 192.168.2.36 - - [12/Feb/2023:16:11:30 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$
Feb 12 16:11:30 raspberrypi influxd-systemd-start.sh[24666]: [httpd] 192.168.2.36 - - [12/Feb/2023:16:11:30 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$
Feb 12 16:11:31 raspberrypi influxd-systemd-start.sh[24666]: [httpd] 192.168.2.36 - - [12/Feb/2023:16:11:31 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$
Feb 12 16:11:32 raspberrypi influxd-systemd-start.sh[24666]: ts=2023-02-12T15:11:32.244648Z lvl=info msg="Error adding new TSM files from snapshot. Removing temp files." log_id=0fyYcEM0000 engine=tsm1 trace_id=0fyYk6Ol000 op_name=tsm1_c$
Feb 12 16:11:32 raspberrypi influxd-systemd-start.sh[24666]: [httpd] 192.168.2.36 - - [12/Feb/2023:16:11:32 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$
Feb 12 16:11:32 raspberrypi influxd-systemd-start.sh[24666]: ts=2023-02-12T15:11:32.245006Z lvl=info msg="Cache snapshot (end)" log_id=0fyYcEM0000 engine=tsm1 trace_id=0fyYk6Ol000 op_name=tsm1_cache_snapshot op_event=end op_elapsed=1841$
Feb 12 16:11:32 raspberrypi influxd-systemd-start.sh[24666]: ts=2023-02-12T15:11:32.245127Z lvl=info msg="Error writing snapshot" log_id=0fyYcEM0000 engine=tsm1 error="cannot allocate memory"
Feb 12 16:11:32 raspberrypi influxd-systemd-start.sh[24666]: ts=2023-02-12T15:11:32.245269Z lvl=info msg="Cache snapshot (start)" log_id=0fyYcEM0000 engine=tsm1 trace_id=0fyYkDaG000 op_name=tsm1_cache_snapshot op_event=start
Feb 12 16:11:32 raspberrypi influxd-systemd-start.sh[24666]: [httpd] 192.168.2.36 - - [12/Feb/2023:16:11:32 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$
Feb 12 16:11:33 raspberrypi influxd-systemd-start.sh[24666]: runtime: out of memory: cannot allocate 8192-byte block (539099136 in use)
Feb 12 16:11:33 raspberrypi influxd-systemd-start.sh[24666]: fatal error: out of memory
Feb 12 16:11:33 raspberrypi influxd-systemd-start.sh[24666]: runtime: out of memory: cannot allocate 8192-byte block (539099136 in use)
Feb 12 16:11:33 raspberrypi influxd-systemd-start.sh[24666]: fatal error: out of memory
Feb 12 16:11:33 raspberrypi influxd-systemd-start.sh[24666]: runtime: out of memory: cannot allocate 8192-byte block (539099136 in use)
Feb 12 16:11:33 raspberrypi influxd-systemd-start.sh[24666]: fatal error: out of memory
Feb 12 16:11:33 raspberrypi influxd-systemd-start.sh[24666]: goroutine 6412 [running]:
Feb 12 16:11:33 raspberrypi influxd-systemd-start.sh[24666]: runtime.throw(0xfebdde, 0xd)


Het lijkt er alleen op dat influxdb zichzelf hersteld door opnieuw te starten (regel 30).
code:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
Feb 12 16:10:05 raspberrypi influxd-systemd-start.sh[24666]: ts=2023-02-12T15:10:05.798385Z lvl=info msg="Listening for signals" log_id=0fyYcEM0000
Feb 12 16:10:05 raspberrypi influxd-systemd-start.sh[24666]: [httpd] 192.168.2.36 - - [12/Feb/2023:16:10:05 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$
Feb 12 16:10:06 raspberrypi influxd-systemd-start.sh[24666]: [httpd] ::1 - - [12/Feb/2023:16:10:06 +0100] "GET /health HTTP/1.1" 200 107 "-" "curl/7.64.0" 552c4957-aae7-11ed-8002-b827eb8b83c2 232
Feb 12 16:10:06 raspberrypi influxd-systemd-start.sh[24666]: InfluxDB started
Feb 12 16:10:06 raspberrypi systemd[1]: Started InfluxDB is an open-source, distributed, time series database.
Feb 12 16:10:06 raspberrypi influxd-systemd-start.sh[24666]: ts=2023-02-12T15:10:06.307840Z lvl=info msg="Sending usage statistics to usage.influxdata.com" log_id=0fyYcEM0000
Feb 12 16:10:06 raspberrypi influxd-systemd-start.sh[24666]: [httpd] 192.168.2.36 - - [12/Feb/2023:16:10:06 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$
Feb 12 16:10:06 raspberrypi influxd-systemd-start.sh[24666]: [httpd] 192.168.2.132 - - [12/Feb/2023:16:10:06 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTM$
Feb 12 16:10:06 raspberrypi influxd-systemd-start.sh[24666]: ts=2023-02-12T15:10:06.768298Z lvl=info msg="Cache snapshot (start)" log_id=0fyYcEM0000 engine=tsm1 trace_id=0fyYe~h0000 op_name=tsm1_cache_snapshot op_event=start

Feb 12 16:11:33 raspberrypi influxd-systemd-start.sh[24666]: #011/usr/local/go/src/runtime/asm_arm.s:868 +0x4 fp=0x22ce7fdc sp=0x22ce7fdc pc=0x73610
Feb 12 16:11:33 raspberrypi influxd-systemd-start.sh[24666]: created by github.com/influxdata/influxdb/tsdb/engine/tsm1.(*cacheKeyIterator).encode
Feb 12 16:11:33 raspberrypi influxd-systemd-start.sh[24666]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/compact.go:1965 +0x80
Feb 12 16:11:33 raspberrypi systemd[1]: influxdb.service: Main process exited, code=exited, status=2/INVALIDARGUMENT
Feb 12 16:11:33 raspberrypi systemd[1]: influxdb.service: Failed with result 'exit-code'.
Feb 12 16:11:33 raspberrypi systemd[1]: influxdb.service: Service RestartSec=100ms expired, scheduling restart.
Feb 12 16:11:33 raspberrypi systemd[1]: influxdb.service: Scheduled restart job, restart counter is at 20.
Feb 12 16:11:33 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database.
Feb 12 16:11:33 raspberrypi systemd[1]: Starting InfluxDB is an open-source, distributed, time series database...
Feb 12 16:11:34 raspberrypi influxd-systemd-start.sh[26210]: ts=2023-02-12T15:11:34.336886Z lvl=info msg="InfluxDB starting" log_id=0fyYkLl0000 version=1.8.10 branch=1.8 commit=688e697c51fd
Feb 12 16:11:34 raspberrypi influxd-systemd-start.sh[26210]: ts=2023-02-12T15:11:34.339237Z lvl=info msg="Go runtime" log_id=0fyYkLl0000 version=go1.13.8 maxprocs=4
Feb 12 16:11:34 raspberrypi influxd-systemd-start.sh[26210]: Merging with configuration at: /etc/influxdb/influxdb.conf
Feb 12 16:11:34 raspberrypi influxd-systemd-start.sh[26210]: Merging with configuration at: /etc/influxdb/influxdb.conf

Feb 12 16:12:17 raspberrypi influxd-systemd-start.sh[26210]: ts=2023-02-12T15:12:17.192873Z lvl=info msg="Starting retention policy enforcement service" log_id=0fyYkLl0000 service=retention check_interval=30m
Feb 12 16:12:17 raspberrypi influxd-systemd-start.sh[26210]: ts=2023-02-12T15:12:17.194700Z lvl=info msg="Listening for signals" log_id=0fyYkLl0000
Feb 12 16:12:17 raspberrypi influxd-systemd-start.sh[26210]: ts=2023-02-12T15:12:17.195122Z lvl=info msg="Storing statistics" log_id=0fyYkLl0000 service=monitor db_instance=_internal db_rp=monitor interval=10s
Feb 12 16:12:17 raspberrypi influxd-systemd-start.sh[26210]: [httpd] 192.168.2.36 - - [12/Feb/2023:16:12:17 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$
Feb 12 16:12:17 raspberrypi influxd-systemd-start.sh[26210]: [httpd] ::1 - - [12/Feb/2023:16:12:17 +0100] "GET /health HTTP/1.1" 200 107 "-" "curl/7.64.0" a3564187-aae7-11ed-8002-b827eb8b83c2 405
Feb 12 16:12:17 raspberrypi influxd-systemd-start.sh[26210]: InfluxDB started
Feb 12 16:12:17 raspberrypi systemd[1]: Started InfluxDB is an open-source, distributed, time series database.
Feb 12 16:12:17 raspberrypi influxd-systemd-start.sh[26210]: [httpd] 192.168.2.132 - - [12/Feb/2023:16:12:17 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTM$
Feb 12 16:12:17 raspberrypi influxd-systemd-start.sh[26210]: ts=2023-02-12T15:12:17.726137Z lvl=info msg="Sending usage statistics to usage.influxdata.com" log_id=0fyYkLl0000


Op dit moment ziet het er wel gezond uit volgens mij

code:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
Feb 12 18:47:06 raspberrypi influxd-systemd-start.sh[28157]: [httpd] 192.168.2.36 - - [12/Feb/2023:18:47:06 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$
Feb 12 18:47:07 raspberrypi influxd-systemd-start.sh[28157]: [httpd] 192.168.2.36 - - [12/Feb/2023:18:47:07 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$
Feb 12 18:47:07 raspberrypi influxd-systemd-start.sh[28157]: [httpd] 192.168.2.36 - - [12/Feb/2023:18:47:07 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$
Feb 12 18:47:08 raspberrypi influxd-systemd-start.sh[28157]: [httpd] 192.168.2.36 - - [12/Feb/2023:18:47:08 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$
Feb 12 18:47:08 raspberrypi influxd-systemd-start.sh[28157]: [httpd] 192.168.2.132 - - [12/Feb/2023:18:47:08 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTM$
Feb 12 18:47:09 raspberrypi influxd-systemd-start.sh[28157]: [httpd] 192.168.2.132 - - [12/Feb/2023:18:47:09 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTM$
Feb 12 18:47:12 raspberrypi influxd-systemd-start.sh[28157]: [httpd] 192.168.2.36 - - [12/Feb/2023:18:47:12 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$
Feb 12 18:47:15 raspberrypi influxd-systemd-start.sh[28157]: [httpd] 192.168.2.36 - - [12/Feb/2023:18:47:15 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$
Feb 12 18:47:15 raspberrypi influxd-systemd-start.sh[28157]: [httpd] 192.168.2.36 - - [12/Feb/2023:18:47:15 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$
Feb 12 18:47:17 raspberrypi influxd-systemd-start.sh[28157]: [httpd] 192.168.2.36 - - [12/Feb/2023:18:47:17 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$
Feb 12 18:47:17 raspberrypi influxd-systemd-start.sh[28157]: [httpd] 192.168.2.36 - - [12/Feb/2023:18:47:17 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$
Feb 12 18:47:18 raspberrypi influxd-systemd-start.sh[28157]: [httpd] 192.168.2.36 - - [12/Feb/2023:18:47:18 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$
Feb 12 18:47:18 raspberrypi influxd-systemd-start.sh[28157]: [httpd] 192.168.2.132 - - [12/Feb/2023:18:47:18 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTM$
Feb 12 18:47:19 raspberrypi influxd-systemd-start.sh[28157]: [httpd] 192.168.2.132 - - [12/Feb/2023:18:47:19 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTM$
Feb 12 18:47:19 raspberrypi influxd-systemd-start.sh[28157]: [httpd] 192.168.2.132 - - [12/Feb/2023:18:47:19 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTM$
Feb 12 18:47:20 raspberrypi influxd-systemd-start.sh[28157]: [httpd] 192.168.2.36 - - [12/Feb/2023:18:47:20 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$
Feb 12 18:47:20 raspberrypi influxd-systemd-start.sh[28157]: [httpd] 192.168.2.36 - - [12/Feb/2023:18:47:20 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$
Feb 12 18:47:21 raspberrypi influxd-systemd-start.sh[28157]: [httpd] 192.168.2.36 - - [12/Feb/2023:18:47:21 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$
Feb 12 18:47:22 raspberrypi influxd-systemd-start.sh[28157]: [httpd] 192.168.2.36 - - [12/Feb/2023:18:47:22 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$
Feb 12 18:47:22 raspberrypi influxd-systemd-start.sh[28157]: [httpd] 192.168.2.36 - - [12/Feb/2023:18:47:22 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$
Feb 12 18:47:23 raspberrypi influxd-systemd-start.sh[28157]: [httpd] 192.168.2.36 - - [12/Feb/2023:18:47:23 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$
Feb 12 18:47:24 raspberrypi influxd-systemd-start.sh[28157]: [httpd] 192.168.2.36 - - [12/Feb/2023:18:47:24 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$
Feb 12 18:47:27 raspberrypi influxd-systemd-start.sh[28157]: [httpd] 192.168.2.36 - - [12/Feb/2023:18:47:27 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$
Feb 12 18:47:28 raspberrypi influxd-systemd-start.sh[28157]: [httpd] 192.168.2.132 - - [12/Feb/2023:18:47:28 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTM$
Feb 12 18:47:28 raspberrypi influxd-systemd-start.sh[28157]: [httpd] 192.168.2.36 - - [12/Feb/2023:18:47:28 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$
Feb 12 18:47:29 raspberrypi influxd-systemd-start.sh[28157]: [httpd] 192.168.2.132 - - [12/Feb/2023:18:47:28 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTM$
Feb 12 18:47:29 raspberrypi influxd-systemd-start.sh[28157]: [httpd] 192.168.2.36 - - [12/Feb/2023:18:47:29 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$
Feb 12 18:47:29 raspberrypi influxd-systemd-start.sh[28157]: [httpd] 192.168.2.132 - - [12/Feb/2023:18:47:29 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTM$
Feb 12 18:47:30 raspberrypi influxd-systemd-start.sh[28157]: [httpd] 192.168.2.36 - - [12/Feb/2023:18:47:29 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$
Feb 12 18:47:30 raspberrypi influxd-systemd-start.sh[28157]: [httpd] 192.168.2.36 - - [12/Feb/2023:18:47:30 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$


Iets eerder kom ik dan deze ook nog tegen :?
code:
1
2
3
4
5
6
7
8
9
Feb 12 18:38:01 raspberrypi influxd-systemd-start.sh[28157]: [httpd] 192.168.2.36 - - [12/Feb/2023:18:38:01 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$
Feb 12 18:38:01 raspberrypi systemd[1]: Starting Daily apt download activities...
Feb 12 18:38:01 raspberrypi influxd-systemd-start.sh[28157]: [httpd] 192.168.2.36 - - [12/Feb/2023:18:38:01 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$
Feb 12 18:38:02 raspberrypi influxd-systemd-start.sh[28157]: [httpd] 192.168.2.36 - - [12/Feb/2023:18:38:02 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$
Feb 12 18:38:03 raspberrypi influxd-systemd-start.sh[28157]: [httpd] 192.168.2.36 - - [12/Feb/2023:18:38:03 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$
Feb 12 18:38:04 raspberrypi influxd-systemd-start.sh[28157]: [httpd] 192.168.2.36 - - [12/Feb/2023:18:38:04 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$
Feb 12 18:38:04 raspberrypi influxd-systemd-start.sh[28157]: [httpd] 192.168.2.36 - - [12/Feb/2023:18:38:04 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$
Feb 12 18:38:05 raspberrypi systemd[1]: apt-daily.service: Succeeded.
Feb 12 18:38:05 raspberrypi systemd[1]: Started Daily apt download activities.


cat /var/log/daemon.log | grep -i "Stopped influxDB" Dat zijn de laatste die ik te zien krijg.

code:
1
2
3
Feb 12 14:32:21 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database.
Feb 12 14:33:51 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database.
Binair bestand (standaardinvoer) bevat de gezochte tekst.


cat /var/log/daemon.log | grep -i "cannot allocate memory" Dit zijn ook de laatste. Precies het moment waarop de boel afgelopen nacht plat ging ;)

code:
1
2
3
4
5
che_snapshot error="cannot allocate memory"
Feb 12 03:13:36 raspberrypi influxd-systemd-start.sh[20928]: ts=2023-02-12T02:13:36.581149Z lvl=info msg="Error writing snapshot" log_id=0fwsajtW000 engine=tsm1 error="cannot allocate memory"
Feb 12 03:13:37 raspberrypi influxd-systemd-start.sh[20928]: ts=2023-02-12T02:13:37.599969Z lvl=info msg="Error adding new TSM files from snapshot. Removing temp files." log_id=0fwsajtW000 engine=tsm1 trace_id=0fxrEMyl000 op_name=tsm1_cache_snapshot error="cannot allocate memory"
Feb 12 03:13:37 raspberrypi influxd-systemd-start.sh[20928]: ts=2023-02-12T02:13:37.600435Z lvl=info msg="Error writing snapshot" log_id=0fwsajtW000 engine=tsm1 error="cannot allocate memory"
Binair bestand (standaardinvoer) bevat de gezochte tekst.

[Voor 85% gewijzigd door Copitano op 12-02-2023 20:28]

Elga | Valliant eco TEC plus VHR 30-34/5-5L | Kamstrup 602 |Nodo OTGW | Raspberry Pi 3B+/4B+|RFXcom rfxtrx433xl | UniFi netwerk | PVoutput 8.625 kWp


  • The Eagle
  • Registratie: Januari 2002
  • Laatst online: 00:50

The Eagle

I wear my sunglasses at night

Als ik de docs goed begrepen heb is de cache grootte min of meer gelijk aan de grootte van de wal. Die zou ik nu dan ook kleiner verwachten. Tegelijkertijd zou ik ook meer disk en memory IO verwachten; immers bij een gelijke load qua datapunten moeten die nog steeds allemaal weggeschreven worden, dus krijg je vaker disk IO :)

Kan een stabiele situatie opleveren, maar eigenlijk verplaats je gewoon je bottleneck ;)

[Voor 12% gewijzigd door The Eagle op 12-02-2023 19:53]

Al is het nieuws nog zo slecht, het wordt leuker als je het op zijn Brabants zegt :)


  • rvk
  • Registratie: Mei 2011
  • Laatst online: 28-03 00:45
Hee, dat is raar.
Je zegt dat dit: cat /var/log/daemon.log | grep -i "Stopped influxDB"
aangeeft dat om 14:33 de laatste Stopped is van influx:

Feb 12 14:33:51 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database

Maar in de log daarboven zie ik deze regels:
Feb 12 16:11:33 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database.
Feb 12 16:11:33 raspberrypi systemd[1]: Starting InfluxDB is an open-source, distributed, time series database...

Dat is dus een crash en restart om 16:11:33.

In ieder geval gaat door het verhogen van de timeout de restart nu wel goed.
Maar elke restarten lijkt me niet zo handig.

Je kunt de max_cache nog even op 256m proberen en kijken of er geen restarts meer zijn.
Blijkbaar zit ie nu op 539.099.136 (=514MB) en komt ie nog net wat te kort. 256m zou dan wel moeten werken.

Maar ik hield nog wel wat memory allocation errors, maar hij bleef dus lopen.

Edit:
O, ik zie dat er binary text in de log staat. Misschien stopt ie daar dan op.
Je zou dat omgekeerd kunnen zoeken met tac.

# geeft de laatste 10 restarts - nieuwste bovenaan, oudste onderaan
tac /var/log/daemon.log | grep -i "Stopped influxDB" | head -n10

PPS: Ik weet niet hoe stabiel die eMMC'tjes zijn. Ik gebruik hier zo'n externe USB Harddisk voor. Misschien minder snel maar volgens mij heel wat minder gevoelig voor schrijf problemen op termijn. Maar ik kan ernaast zitten. Als ik zie wat Influx allemaal naar de log's knikkert... dat is heel wat.

[Voor 22% gewijzigd door rvk op 12-02-2023 22:53]


  • Copitano
  • Registratie: Februari 2018
  • Laatst online: 23:51
rvk schreef op zondag 12 februari 2023 @ 22:42:
Hee, dat is raar.
Je zegt dat dit: cat /var/log/daemon.log | grep -i "Stopped influxDB"
aangeeft dat om 14:33 de laatste Stopped is van influx:

Feb 12 14:33:51 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database
Ja dat was voor de herstart, dus zeg maar in de periode dat de grafiek een wit stuk presenteert (geen data).
Dat is overigens 1 regel van een hele batterij elke 1 à 2 minuten. Dat lijkt dus opgelost met het verhogen van de timeout.
Maar in de log daarboven zie ik deze regels:
Feb 12 16:11:33 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database.
Feb 12 16:11:33 raspberrypi systemd[1]: Starting InfluxDB is an open-source, distributed, time series database...

Dat is dus een crash en restart om 16:11:33.
Dat was ook mijn conclusie
Overigens had ik rond die tijd ook een hele batterij foutmeldingen in het log van domoticz. Hieronder twee regels van veel tussen ongeveer 16:09 en 16:15. Daarna zijn en blijven ze voorlopig weg :)
code:
1
2
2023-02-12 16:14:34.765 Error: InfluxLink: Error sending data to InfluxDB server! (check address/port/database/username/password)
2023-02-12 16:14:38.268 Error: InfluxLink: Error sending data to InfluxDB server! (check address/port/database/username/password)
In ieder geval gaat door het verhogen van de timeout de restart nu wel goed.
Maar elke restarten lijkt me niet zo handig.

Je kunt de max_cache nog even op 256m proberen en kijken of er geen restarts meer zijn.
Blijkbaar zit ie nu op 539.099.136 (=514MB) en komt ie nog net wat te kort. 256m zou dan wel moeten werken.

Maar ik hield nog wel wat memory allocation errors, maar hij bleef dus lopen.
Komende nacht laat ik het zo even gaan. Heb ik weer een crash dan terug naar 256m of misschien eerst nog 384m (3/4 ipv 1/2)
Inmiddels ben ik ook heel veel sensoren van 'direct' (1 x per minuut) naar influxdb pushen naar 'Als de waarde veranderd' aan het zetten. Uiteraard doe ik dat niet bij sensoren waarvan ik weet dat ze binnen 1 minuut vaker van waarde veranderen. Dan laat ik ze op direct staan. Ik hoop dan op minder verkeer en voor de grafieken maakt het niets uit.

[Voor 6% gewijzigd door Copitano op 12-02-2023 23:07]

Elga | Valliant eco TEC plus VHR 30-34/5-5L | Kamstrup 602 |Nodo OTGW | Raspberry Pi 3B+/4B+|RFXcom rfxtrx433xl | UniFi netwerk | PVoutput 8.625 kWp


  • Copitano
  • Registratie: Februari 2018
  • Laatst online: 23:51
rvk schreef op zondag 12 februari 2023 @ 22:42:

Edit:
O, ik zie dat er binary text in de log staat. Misschien stopt ie daar dan op.
Je zou dat omgekeerd kunnen zoeken met tac.

# geeft de laatste 10 restarts - nieuwste bovenaan, oudste onderaan
tac /var/log/daemon.log | grep -i "Stopped influxDB" | head -n10

PPS: Ik weet niet hoe stabiel die eMMC'tjes zijn. Ik gebruik hier zo'n externe USB Harddisk voor. Misschien minder snel maar volgens mij heel wat minder gevoelig voor schrijf problemen op termijn. Maar ik kan ernaast zitten. Als ik zie wat Influx allemaal naar de log's knikkert... dat is heel wat.
code:
1
2
3
4
5
6
7
8
9
10
11
pi@raspberrypi:~ $ sudo tac /var/log/daemon.log | grep -i "Stopped influxDB" | head -n10
Feb 12 16:14:24 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database.
Feb 12 16:12:46 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database.
Feb 12 16:11:33 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database.
Feb 12 16:09:20 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database.
Feb 12 15:41:44 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database.
Feb 12 15:13:36 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database.
Feb 12 15:12:06 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database.
Feb 12 15:10:36 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database.
Feb 12 15:09:06 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database.
Feb 12 15:07:35 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database.


De eerste is net na de handmatige herstart vanmiddag de tweede van het laatste uur. Ik zie het geheugengebruik zelfs teruglopen. Kijken hoe het zich ontwikkeld B)
Het zijn er dus 4 stop/starts sinds de handmatige herstart. Ook te zien in de grafiek van de defrost van mijn WP
Ik overweg om ook weer van de eMMC af te stappen en de hele handel inclusief het besturingssysteem op een SSD te zetten. Bijvoorbeeld deze of deze.Maar moet nog even uitvogelen of dat makelijk gaat met een Rpi3B+.

[Voor 11% gewijzigd door Copitano op 12-02-2023 23:39]

Elga | Valliant eco TEC plus VHR 30-34/5-5L | Kamstrup 602 |Nodo OTGW | Raspberry Pi 3B+/4B+|RFXcom rfxtrx433xl | UniFi netwerk | PVoutput 8.625 kWp


  • Copitano
  • Registratie: Februari 2018
  • Laatst online: 23:51
@rvk Influxdb heeft de nacht overleeft. Nog wel wat kleine hiccups.


Ga zo nog eens in de daemon.log grasduinen.
Blijf het wel bijzonder dat het altijd rond de zelfde tijd gebeurd

[Voor 12% gewijzigd door Copitano op 13-02-2023 16:42]

Elga | Valliant eco TEC plus VHR 30-34/5-5L | Kamstrup 602 |Nodo OTGW | Raspberry Pi 3B+/4B+|RFXcom rfxtrx433xl | UniFi netwerk | PVoutput 8.625 kWp


  • Copitano
  • Registratie: Februari 2018
  • Laatst online: 23:51
@rvk Hieronder de bevindingen uit /var/log/daemon.log rondom de weggevallen punten in de Defrost grafiek.
Het zijn inderdaad stop/start momenten al klopt de exacte tijd niet 100%. De laatste in detail:

code:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
Feb 13 04:03:44 raspberrypi influxd-systemd-start.sh[28157]: ts=2023-02-13T03:03:44.535081Z lvl=info msg="Error adding new TSM files from snapshot. Removing temp files." log_id=0fyYujKW000 engine=tsm1 trace_id=0fzBVL40000 op_name=tsm1_c$
Feb 13 04:03:44 raspberrypi influxd-systemd-start.sh[28157]: ts=2023-02-13T03:03:44.535280Z lvl=info msg="Cache snapshot (end)" log_id=0fyYujKW000 engine=tsm1 trace_id=0fzBVL40000 op_name=tsm1_cache_snapshot op_event=end op_elapsed=902.$
Feb 13 04:03:44 raspberrypi influxd-systemd-start.sh[28157]: ts=2023-02-13T03:03:44.535383Z lvl=info msg="Error writing snapshot" log_id=0fyYujKW000 engine=tsm1 error="cannot allocate memory"
Feb 13 04:03:44 raspberrypi influxd-systemd-start.sh[28157]: ts=2023-02-13T03:03:44.633144Z lvl=info msg="Cache snapshot (start)" log_id=0fyYujKW000 engine=tsm1 trace_id=0fzBVOzG000 op_name=tsm1_cache_snapshot op_event=start

Feb 13 04:09:01 raspberrypi influxd-systemd-start.sh[28157]: [httpd] 192.168.2.36 - - [13/Feb/2023:04:09:01 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$
Feb 13 04:09:01 raspberrypi systemd[1]: Starting Clean php session files...
Feb 13 04:09:01 raspberrypi influxd-systemd-start.sh[28157]: [httpd] 192.168.2.36 - - [13/Feb/2023:04:09:01 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$
Feb 13 04:09:02 raspberrypi influxd-systemd-start.sh[28157]: [httpd] 192.168.2.132 - - [13/Feb/2023:04:09:02 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTM$
Feb 13 04:09:02 raspberrypi systemd[1]: phpsessionclean.service: Succeeded.
Feb 13 04:09:02 raspberrypi systemd[1]: Started Clean php session files.
Feb 13 04:09:02 raspberrypi influxd-systemd-start.sh[28157]: [httpd] 192.168.2.36 - - [13/Feb/2023:04:09:02 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$

Feb 13 04:10:39 raspberrypi influxd-systemd-start.sh[28157]: [httpd] 192.168.2.36 - - [13/Feb/2023:04:10:39 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$
Feb 13 04:10:39 raspberrypi influxd-systemd-start.sh[28157]: ts=2023-02-13T03:10:39.797051Z lvl=info msg="Error adding new TSM files from snapshot. Removing temp files." log_id=0fyYujKW000 engine=tsm1 trace_id=0fzBtfBl000 op_name=tsm1_c$
Feb 13 04:10:39 raspberrypi influxd-systemd-start.sh[28157]: ts=2023-02-13T03:10:39.797399Z lvl=info msg="Cache snapshot (end)" log_id=0fyYujKW000 engine=tsm1 trace_id=0fzBtfBl000 op_name=tsm1_cache_snapshot op_event=end op_elapsed=1157$
Feb 13 04:10:39 raspberrypi influxd-systemd-start.sh[28157]: ts=2023-02-13T03:10:39.797547Z lvl=info msg="Error writing snapshot" log_id=0fyYujKW000 engine=tsm1 error="cannot allocate memory"
Feb 13 04:10:39 raspberrypi influxd-systemd-start.sh[28157]: ts=2023-02-13T03:10:39.797645Z lvl=info msg="Cache snapshot (start)" log_id=0fyYujKW000 engine=tsm1 trace_id=0fzBtjiG000 op_name=tsm1_cache_snapshot op_event=start
Feb 13 04:10:40 raspberrypi influxd-systemd-start.sh[28157]: [httpd] 192.168.2.36 - - [13/Feb/2023:04:10:40 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$
Feb 13 04:10:40 raspberrypi influxd-systemd-start.sh[28157]: runtime: out of memory: cannot allocate 4210688-byte block (534839296 in use)
Feb 13 04:10:40 raspberrypi influxd-systemd-start.sh[28157]: fatal error: out of memory
Feb 13 04:10:40 raspberrypi influxd-systemd-start.sh[28157]: runtime stack:
Feb 13 04:10:40 raspberrypi influxd-systemd-start.sh[28157]: runtime.throw(0xfebdde, 0xd)
Feb 13 04:10:40 raspberrypi influxd-systemd-start.sh[28157]: #011/usr/local/go/src/runtime/panic.go:774 +0x5c
Feb 13 04:10:40 raspberrypi influxd-systemd-start.sh[28157]: runtime.largeAlloc(0x403000, 0x37000101, 0x71968)
Feb 13 04:10:40 raspberrypi influxd-systemd-start.sh[28157]: #011/usr/local/go/src/runtime/malloc.go:1140 +0x124
Feb 13 04:10:40 raspberrypi influxd-systemd-start.sh[28157]: runtime.mallocgc.func1()
Feb 13 04:10:40 raspberrypi influxd-systemd-start.sh[28157]: #011/usr/local/go/src/runtime/malloc.go:1033 +0x38
Feb 13 04:10:40 raspberrypi influxd-systemd-start.sh[28157]: runtime.systemstack(0x717d0)
Feb 13 04:10:40 raspberrypi influxd-systemd-start.sh[28157]: #011/usr/local/go/src/runtime/asm_arm.s:354 +0x84
Feb 13 04:10:40 raspberrypi influxd-systemd-start.sh[28157]: runtime.mstart()
Feb 13 04:10:40 raspberrypi influxd-systemd-start.sh[28157]: #011/usr/local/go/src/runtime/proc.go:1146

Feb 13 04:10:41 raspberrypi influxd-systemd-start.sh[28157]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/engine.go:508 +0xfc
Feb 13 04:10:41 raspberrypi systemd[1]: influxdb.service: Main process exited, code=exited, status=2/INVALIDARGUMENT
Feb 13 04:10:41 raspberrypi systemd[1]: influxdb.service: Failed with result 'exit-code'.
Feb 13 04:10:41 raspberrypi systemd[1]: influxdb.service: Service RestartSec=100ms expired, scheduling restart.
Feb 13 04:10:41 raspberrypi systemd[1]: influxdb.service: Scheduled restart job, restart counter is at 23.
Feb 13 04:10:41 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database.
Feb 13 04:10:41 raspberrypi systemd[1]: Starting InfluxDB is an open-source, distributed, time series database...
Feb 13 04:10:42 raspberrypi influxd-systemd-start.sh[2059]: Merging with configuration at: /etc/influxdb/influxdb.conf

Feb 13 04:12:42 raspberrypi influxd-systemd-start.sh[2059]: ts=2023-02-13T03:12:42.544206Z lvl=info msg="Listening on HTTP" log_id=0fzBturW000 service=httpd addr=[::]:8086 https=false
Feb 13 04:12:42 raspberrypi influxd-systemd-start.sh[2059]: ts=2023-02-13T03:12:42.544944Z lvl=info msg="Starting retention policy enforcement service" log_id=0fzBturW000 service=retention check_interval=30m
Feb 13 04:12:42 raspberrypi influxd-systemd-start.sh[2059]: ts=2023-02-13T03:12:42.545938Z lvl=info msg="Listening for signals" log_id=0fzBturW000
Feb 13 04:12:42 raspberrypi influxd-systemd-start.sh[2059]: [httpd] 192.168.2.132 - - [13/Feb/2023:04:12:42 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$
Feb 13 04:12:42 raspberrypi influxd-systemd-start.sh[2059]: [httpd] ::1 - - [13/Feb/2023:04:12:42 +0100] "GET /health HTTP/1.1" 200 107 "-" "curl/7.64.0" 47c8a3c8-ab4c-11ed-8002-b827eb8b83c2 344
Feb 13 04:12:42 raspberrypi influxd-systemd-start.sh[2059]: InfluxDB started
Feb 13 04:12:42 raspberrypi systemd[1]: Started InfluxDB is an open-source, distributed, time series database.
Feb 13 04:12:43 raspberrypi influxd-systemd-start.sh[2059]: [httpd] 192.168.2.36 - - [13/Feb/2023:04:12:43 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML,$
Feb 13 04:12:43 raspberrypi influxd-systemd-start.sh[2059]: ts=2023-02-13T03:12:43.054516Z lvl=info msg="Sending usage statistics to usage.influxdata.com" log_id=0fzBturW000


Feb 13 05:09:00 raspberrypi influxd-systemd-start.sh[2059]: ts=2023-02-13T04:09:00.896326Z lvl=info msg="Cache snapshot (start)" log_id=0fzBturW000 engine=tsm1 trace_id=0fzFEQt0000 op_name=tsm1_cache_snapshot op_event=start
Feb 13 05:09:01 raspberrypi influxd-systemd-start.sh[2059]: [httpd] 192.168.2.36 - - [13/Feb/2023:05:09:01 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML,$
Feb 13 05:09:01 raspberrypi systemd[1]: Starting Clean php session files...
Feb 13 05:09:02 raspberrypi influxd-systemd-start.sh[2059]: ts=2023-02-13T04:09:02.084969Z lvl=info msg="Error adding new TSM files from snapshot. Removing temp files." log_id=0fzBturW000 engine=tsm1 trace_id=0fzFEQt0000 op_name=tsm1_ca$
Feb 13 05:09:02 raspberrypi influxd-systemd-start.sh[2059]: ts=2023-02-13T04:09:02.085181Z lvl=info msg="Cache snapshot (end)" log_id=0fzBturW000 engine=tsm1 trace_id=0fzFEQt0000 op_name=tsm1_cache_snapshot op_event=end op_elapsed=1188.$
Feb 13 05:09:02 raspberrypi influxd-systemd-start.sh[2059]: ts=2023-02-13T04:09:02.085265Z lvl=info msg="Error writing snapshot" log_id=0fzBturW000 engine=tsm1 error="cannot allocate memory"
Feb 13 05:09:02 raspberrypi influxd-systemd-start.sh[2059]: ts=2023-02-13T04:09:02.085350Z lvl=info msg="Cache snapshot (start)" log_id=0fzBturW000 engine=tsm1 trace_id=0fzFEVXG000 op_name=tsm1_cache_snapshot op_event=start
Feb 13 05:09:02 raspberrypi influxd-systemd-start.sh[2059]: [httpd] 192.168.2.36 - - [13/Feb/2023:05:09:02 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML,$
Feb 13 05:09:02 raspberrypi systemd[1]: phpsessionclean.service: Succeeded.
Feb 13 05:09:02 raspberrypi systemd[1]: Started Clean php session files.
Feb 13 05:09:02 raspberrypi influxd-systemd-start.sh[2059]: ts=2023-02-13T04:09:02.849375Z lvl=info msg="Error adding new TSM files from snapshot. Removing temp files." log_id=0fzBturW000 engine=tsm1 trace_id=0fzFEVXG000 op_name=tsm1_ca$
Feb 13 05:09:02 raspberrypi influxd-systemd-start.sh[2059]: ts=2023-02-13T04:09:02.850284Z lvl=info msg="Cache snapshot (end)" log_id=0fzBturW000 engine=tsm1 trace_id=0fzFEVXG000 op_name=tsm1_cache_snapshot op_event=end op_elapsed=764.9$
Feb 13 04:12:42 raspberrypi influxd-systemd-start.sh[2059]: ts=2023-02-13T03:12:42.544206Z lvl=info msg="Listening on HTTP" log_id=0fzBturW000 service=httpd addr=[::]:8086 https=false

Feb 13 05:10:03 raspberrypi influxd-systemd-start.sh[2059]: [httpd] 192.168.2.36 - - [13/Feb/2023:05:10:03 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML,$
Feb 13 05:10:03 raspberrypi influxd-systemd-start.sh[2059]: runtime: out of memory: cannot allocate 4210688-byte block (539197440 in use)
Feb 13 05:10:03 raspberrypi influxd-systemd-start.sh[2059]: fatal error: out of memory
Feb 13 05:10:03 raspberrypi influxd-systemd-start.sh[2059]: runtime stack:
Feb 13 05:10:03 raspberrypi influxd-systemd-start.sh[2059]: runtime.throw(0xfebdde, 0xd)
Feb 13 05:10:03 raspberrypi influxd-systemd-start.sh[2059]: #011/usr/local/go/src/runtime/panic.go:774 +0x5c
Feb 13 05:10:03 raspberrypi influxd-systemd-start.sh[2059]: runtime.largeAlloc(0x403000, 0x38f0101, 0x176b7)

Feb 13 05:10:03 raspberrypi influxd-systemd-start.sh[2059]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/compact.go:1965 +0x80
Feb 13 05:10:04 raspberrypi systemd[1]: influxdb.service: Main process exited, code=exited, status=2/INVALIDARGUMENT
Feb 13 05:10:04 raspberrypi systemd[1]: influxdb.service: Failed with result 'exit-code'.
Feb 13 05:10:04 raspberrypi systemd[1]: influxdb.service: Service RestartSec=100ms expired, scheduling restart.
Feb 13 05:10:04 raspberrypi systemd[1]: influxdb.service: Scheduled restart job, restart counter is at 24.
Feb 13 05:10:04 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database.
Feb 13 05:10:04 raspberrypi systemd[1]: Starting InfluxDB is an open-source, distributed, time series database...
Feb 13 05:10:04 raspberrypi influxd-systemd-start.sh[12226]: Merging with configuration at: /etc/influxdb/influxdb.conf
Feb 13 05:10:04 raspberrypi influxd-systemd-start.sh[12226]: ts=2023-02-13T04:10:04.730783Z lvl=info msg="InfluxDB starting" log_id=0fzFIKEW000 version=1.8.10 branch=1.8 commit=688e697c51fd
Feb 13 05:10:04 raspberrypi influxd-systemd-start.sh[12226]: ts=2023-02-13T04:10:04.731021Z lvl=info msg="Go runtime" log_id=0fzFIKEW000 version=go1.13.8 maxprocs=4
Feb 13 05:10:04 raspberrypi influxd-systemd-start.sh[12226]: Merging with configuration at: /etc/influxdb/influxdb.conf

Feb 13 05:11:34 raspberrypi influxd-systemd-start.sh[12226]: ts=2023-02-13T04:11:34.542451Z lvl=info msg="Starting retention policy enforcement service" log_id=0fzFIKEW000 service=retention check_interval=30m
Feb 13 05:11:34 raspberrypi influxd-systemd-start.sh[12226]: ts=2023-02-13T04:11:34.543728Z lvl=info msg="Listening for signals" log_id=0fzFIKEW000
Feb 13 05:11:34 raspberrypi influxd-systemd-start.sh[12226]: [httpd] ::1 - - [13/Feb/2023:05:11:34 +0100] "GET /health HTTP/1.1" 200 107 "-" "curl/7.64.0" 80e4bcea-ab54-11ed-8001-b827eb8b83c2 15147
Feb 13 05:11:34 raspberrypi influxd-systemd-start.sh[12226]: InfluxDB started
Feb 13 05:11:34 raspberrypi systemd[1]: Started InfluxDB is an open-source, distributed, time series database.
Feb 13 05:11:35 raspberrypi influxd-systemd-start.sh[12226]: ts=2023-02-13T04:11:35.038569Z lvl=info msg="Sending usage statistics to usage.influxdata.com" log_id=0fzFIKEW000
Feb 13 05:11:35 raspberrypi influxd-systemd-start.sh[12226]: [httpd] 192.168.2.36 - - [13/Feb/2023:05:11:35 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$
Feb 13 05:11:35 raspberrypi influxd-systemd-start.sh[12226]: ts=2023-02-13T04:11:35.506384Z lvl=info msg="TSM compaction (start)" log_id=0fzFIKEW000 engine=tsm1 tsm1_strategy=full tsm1_optimize=false trace_id=0fzFNrpW000 op_name=tsm1_co$
Feb 13 05:11:35 raspberrypi influxd-systemd-start.sh[12226]: ts=2023-02-13T04:11:35.506481Z lvl=info msg="Beginning compaction" log_id=0fzFIKEW000 engine=tsm1 tsm1_strategy=full tsm1_optimize=false trace_id=0fzFNrpW000 op_name=tsm1_comp$


Feb 13 05:31:33 raspberrypi influxd-systemd-start.sh[12226]: ts=2023-02-13T04:31:33.629281Z lvl=info msg="Error adding new TSM files from snapshot. Removing temp files." log_id=0fzFIKEW000 engine=tsm1 trace_id=0fzGWu6G000 op_name=tsm1_c$
Feb 13 05:31:33 raspberrypi influxd-systemd-start.sh[12226]: ts=2023-02-13T04:31:33.640593Z lvl=info msg="Cache snapshot (end)" log_id=0fzFIKEW000 engine=tsm1 trace_id=0fzGWu6G000 op_name=tsm1_cache_snapshot op_event=end op_elapsed=1519$
Feb 13 05:31:33 raspberrypi influxd-systemd-start.sh[12226]: ts=2023-02-13T04:31:33.643290Z lvl=info msg="Error writing snapshot" log_id=0fzFIKEW000 engine=tsm1 error="cannot allocate memory"
Feb 13 05:31:33 raspberrypi influxd-systemd-start.sh[12226]: ts=2023-02-13T04:31:33.644958Z lvl=info msg="Cache snapshot (start)" log_id=0fzFIKEW000 engine=tsm1 trace_id=0fzGW~30000 op_name=tsm1_cache_snapshot op_event=start
Feb 13 05:31:34 raspberrypi influxd-systemd-start.sh[12226]: [httpd] 192.168.2.36 - - [13/Feb/2023:05:31:34 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$
Feb 13 05:31:34 raspberrypi influxd-systemd-start.sh[12226]: [httpd] 192.168.2.132 - - [13/Feb/2023:05:31:34 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTM$
Feb 13 05:31:35 raspberrypi influxd-systemd-start.sh[12226]: [httpd] 192.168.2.36 - - [13/Feb/2023:05:31:35 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$
Feb 13 05:31:35 raspberrypi influxd-systemd-start.sh[12226]: ts=2023-02-13T04:31:35.178586Z lvl=info msg="Error adding new TSM files from snapshot. Removing temp files." log_id=0fzFIKEW000 engine=tsm1 trace_id=0fzGW~30000 op_name=tsm1_c$
Feb 13 05:31:35 raspberrypi influxd-systemd-start.sh[12226]: ts=2023-02-13T04:31:35.179869Z lvl=info msg="Cache snapshot (end)" log_id=0fzFIKEW000 engine=tsm1 trace_id=0fzGW~30000 op_name=tsm1_cache_snapshot op_event=end op_elapsed=1534$
Feb 13 05:31:35 raspberrypi influxd-systemd-start.sh[12226]: ts=2023-02-13T04:31:35.200141Z lvl=info msg="Error writing snapshot" log_id=0fzFIKEW000 engine=tsm1 error="cannot allocate memory"
Feb 13 05:31:35 raspberrypi influxd-systemd-start.sh[12226]: ts=2023-02-13T04:31:35.201174Z lvl=info msg="Cache snapshot (start)" log_id=0fzFIKEW000 engine=tsm1 trace_id=0fzGX58G000 op_name=tsm1_cache_snapshot op_event=start
Feb 13 05:31:36 raspberrypi influxd-systemd-start.sh[12226]: runtime: out of memory: cannot allocate 8192-byte block (539394048 in use)
Feb 13 05:31:36 raspberrypi influxd-systemd-start.sh[12226]: fatal error: out of memory
Feb 13 05:31:36 raspberrypi influxd-systemd-start.sh[12226]: runtime: out of memory: cannot allocate 8192-byte block (539394048 in use)
Feb 13 05:31:36 raspberrypi influxd-systemd-start.sh[12226]: fatal error: out of memory
Feb 13 05:31:36 raspberrypi influxd-systemd-start.sh[12226]: runtime: out of memory: cannot allocate 8192-byte block (539394048 in use)

Feb 13 05:31:36 raspberrypi influxd-systemd-start.sh[12226]: #011/usr/local/go/src/net/http/server.go:2928 +0x2e4
Feb 13 05:31:37 raspberrypi systemd[1]: influxdb.service: Main process exited, code=exited, status=2/INVALIDARGUMENT
Feb 13 05:31:37 raspberrypi systemd[1]: influxdb.service: Failed with result 'exit-code'.
Feb 13 05:31:37 raspberrypi systemd[1]: influxdb.service: Service RestartSec=100ms expired, scheduling restart.
Feb 13 05:31:37 raspberrypi systemd[1]: influxdb.service: Scheduled restart job, restart counter is at 25.
Feb 13 05:31:37 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database.
Feb 13 05:31:37 raspberrypi systemd[1]: Starting InfluxDB is an open-source, distributed, time series database...
Feb 13 05:31:37 raspberrypi influxd-systemd-start.sh[27687]: Merging with configuration at: /etc/influxdb/influxdb.conf

Feb 13 05:32:10 raspberrypi influxd-systemd-start.sh[27687]: ts=2023-02-13T04:32:10.652686Z lvl=info msg="Listening for signals" log_id=0fzGXFal000
Feb 13 05:32:10 raspberrypi influxd-systemd-start.sh[27687]: ts=2023-02-13T04:32:10.652876Z lvl=info msg="Storing statistics" log_id=0fzGXFal000 service=monitor db_instance=_internal db_rp=monitor interval=10s
Feb 13 05:32:11 raspberrypi influxd-systemd-start.sh[27687]: ts=2023-02-13T04:32:11.141100Z lvl=info msg="Sending usage statistics to usage.influxdata.com" log_id=0fzGXFal000
Feb 13 05:32:11 raspberrypi influxd-systemd-start.sh[27687]: [httpd] ::1 - - [13/Feb/2023:05:32:11 +0100] "GET /health HTTP/1.1" 200 107 "-" "curl/7.64.0" 621b0b3b-ab57-11ed-8001-b827eb8b83c2 4149
Feb 13 05:32:11 raspberrypi influxd-systemd-start.sh[27687]: InfluxDB started
Feb 13 05:32:11 raspberrypi systemd[1]: Started InfluxDB is an open-source, distributed, time series database.
Feb 13 05:32:11 raspberrypi influxd-systemd-start.sh[27687]: ts=2023-02-13T04:32:11.622847Z lvl=info msg="TSM compaction (start)" log_id=0fzGXFal000 engine=tsm1 tsm1_strategy=full tsm1_optimize=false trace_id=0fzGZJPW000 op_name=tsm1_co$
Feb 13 05:32:11 raspberrypi influxd-systemd-start.sh[27687]: ts=2023-02-13T04:32:11.624333Z lvl=info msg="Beginning compaction" log_id=0fzGXFal000 engine=tsm1 tsm1_strategy=full tsm1_optimize=false trace_id=0fzGZJPW000 op_name=tsm1_comp$

Feb 13 05:39:01 raspberrypi influxd-systemd-start.sh[27687]: ts=2023-02-13T04:39:01.830289Z lvl=info msg="Error replacing new TSM files" log_id=0fzGXFal000 engine=tsm1 tsm1_strategy=full tsm1_optimize=false trace_id=0fzGxDG0000 op_name=$
Feb 13 05:39:01 raspberrypi influxd-systemd-start.sh[27687]: [httpd] 192.168.2.36 - - [13/Feb/2023:05:39:01 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$
Feb 13 05:39:01 raspberrypi systemd[1]: Starting Clean php session files...
Feb 13 05:39:02 raspberrypi influxd-systemd-start.sh[27687]: [httpd] 192.168.2.36 - - [13/Feb/2023:05:39:02 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$
Feb 13 05:39:02 raspberrypi systemd[1]: phpsessionclean.service: Succeeded.
Feb 13 05:39:02 raspberrypi systemd[1]: Started Clean php session files.
Feb 13 05:39:02 raspberrypi influxd-systemd-start.sh[27687]: ts=2023-02-13T04:39:02.836576Z lvl=info msg="TSM compaction (end)" log_id=0fzGXFal000 engine=tsm1 tsm1_strategy=full tsm1_optimize=false trace_id=0fzGxDG0000 op_name=tsm1_comp$
Feb 13 05:39:03 raspberrypi influxd-systemd-start.sh[27687]: [httpd] 192.168.2.132 - - [13/Feb/2023:05:39:03 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTM$
Feb 13 05:39:03 raspberrypi influxd-systemd-start.sh[27687]: ts=2023-02-13T04:39:03.651010Z lvl=info msg="TSM compaction (start)" log_id=0fzGXFal000 engine=tsm1 tsm1_strategy=full tsm1_optimize=false trace_id=0fzGxStW000 op_name=tsm1_co$
Feb 13 05:39:03 raspberrypi influxd-systemd-start.sh[27687]: ts=2023-02-13T04:39:03.652115Z lvl=info msg="Beginning compaction" log_id=0fzGXFal000 engine=tsm1 tsm1_strategy=full tsm1_optimize=false trace_id=0fzGxStW000 op_name=tsm1_comp$


Feb 13 06:17:29 raspberrypi influxd-systemd-start.sh[27224]: ts=2023-02-13T05:17:29.825069Z lvl=info msg="Error adding new TSM files from snapshot. Removing temp files." log_id=0fzJ5j8l000 engine=tsm1 trace_id=0fzJ94w0000 op_name=tsm1_c$
Feb 13 06:17:29 raspberrypi influxd-systemd-start.sh[27224]: ts=2023-02-13T05:17:29.826794Z lvl=info msg="Cache snapshot (end)" log_id=0fzJ5j8l000 engine=tsm1 trace_id=0fzJ94w0000 op_name=tsm1_cache_snapshot op_event=end op_elapsed=2165$
Feb 13 06:17:29 raspberrypi influxd-systemd-start.sh[27224]: ts=2023-02-13T05:17:29.828033Z lvl=info msg="Error writing snapshot" log_id=0fzJ5j8l000 engine=tsm1 error="cannot allocate memory"
Feb 13 06:17:29 raspberrypi influxd-systemd-start.sh[27224]: ts=2023-02-13T05:17:29.829234Z lvl=info msg="Cache snapshot (start)" log_id=0fzJ5j8l000 engine=tsm1 trace_id=0fzJ9DPG000 op_name=tsm1_cache_snapshot op_event=start
Feb 13 06:17:30 raspberrypi influxd-systemd-start.sh[27224]: [httpd] 192.168.2.36 - - [13/Feb/2023:06:17:29 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$
Feb 13 06:17:30 raspberrypi influxd-systemd-start.sh[27224]: fatal error: runtime: cannot allocate memory
Feb 13 06:17:30 raspberrypi influxd-systemd-start.sh[27224]: goroutine 3807 [running]:
Feb 13 06:17:30 raspberrypi influxd-systemd-start.sh[27224]: runtime.throw(0x100f881, 0x1f)
Feb 13 06:17:30 raspberrypi influxd-systemd-start.sh[27224]: #011/usr/local/go/src/runtime/panic.go:774 +0x5c fp=0x3087288 sp=0x3087274 pc=0x41644

Feb 13 06:17:30 raspberrypi influxd-systemd-start.sh[27224]: #011/usr/local/go/src/net/http/transport.go:1581 +0x90c
Feb 13 06:17:30 raspberrypi systemd[1]: influxdb.service: Main process exited, code=exited, status=2/INVALIDARGUMENT
Feb 13 06:17:30 raspberrypi systemd[1]: influxdb.service: Failed with result 'exit-code'.
Feb 13 06:17:30 raspberrypi systemd[1]: influxdb.service: Service RestartSec=100ms expired, scheduling restart.
Feb 13 06:17:30 raspberrypi systemd[1]: influxdb.service: Scheduled restart job, restart counter is at 30.
Feb 13 06:17:30 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database.
Feb 13 06:17:30 raspberrypi systemd[1]: Starting InfluxDB is an open-source, distributed, time series database...
Feb 13 06:17:30 raspberrypi influxd-systemd-start.sh[28031]: Merging with configuration at: /etc/influxdb/influxdb.conf

Feb 13 06:18:00 raspberrypi influxd-systemd-start.sh[28031]: ts=2023-02-13T05:18:00.515650Z lvl=info msg="Sending usage statistics to usage.influxdata.com" log_id=0fzJ9Gk0000
Feb 13 06:18:00 raspberrypi influxd-systemd-start.sh[28031]: [httpd] ::1 - - [13/Feb/2023:06:18:00 +0100] "GET /health HTTP/1.1" 200 107 "-" "curl/7.64.0" c8c155a5-ab5d-11ed-8001-b827eb8b83c2 513
Feb 13 06:18:00 raspberrypi influxd-systemd-start.sh[28031]: InfluxDB started
Feb 13 06:18:00 raspberrypi systemd[1]: Started InfluxDB is an open-source, distributed, time series database.
Feb 13 06:18:01 raspberrypi influxd-systemd-start.sh[28031]: ts=2023-02-13T05:18:01.009854Z lvl=info msg="TSM compaction (start)"


EDIT:
Hmmm, het zijn er geen 4 maar 8. 4 zijn dus niet te zien in de grafieken.
code:
1
2
3
4
5
6
7
8
9
10
pi@raspberrypi:~ $ sudo tac /var/log/daemon.log | grep -i "Stopped influxDB" | head -n10                                                                                                                                                     Feb 13 06:17:30 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database.
Feb 13 06:16:32 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database.
Feb 13 06:14:07 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database.
Feb 13 06:13:33 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database.
Feb 13 05:55:12 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database.
Feb 13 05:31:37 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database.
Feb 13 05:10:04 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database.
Feb 13 04:10:41 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database.
Feb 12 16:14:24 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database.
Feb 12 16:12:46 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database.



EDIT: De cache-max-memory-size op heb ik nu op 384m gezet. Es kijken of dat de komende nacht nog uit maakt.

[Voor 5% gewijzigd door Copitano op 13-02-2023 16:41]

Elga | Valliant eco TEC plus VHR 30-34/5-5L | Kamstrup 602 |Nodo OTGW | Raspberry Pi 3B+/4B+|RFXcom rfxtrx433xl | UniFi netwerk | PVoutput 8.625 kWp


  • rvk
  • Registratie: Mei 2011
  • Laatst online: 28-03 00:45
Copitano schreef op maandag 13 februari 2023 @ 11:05:
EDIT: De cache-max-memory-size op heb ik nu op 384m gezet. Es kijken of dat de komende nacht nog uit maakt.
Ik ben ook benieuwd naar vannacht.
Mocht de "Stopped" niet meer voorkomen moet je wel even controleren of de "allocate memory" error ook niet meer voorkomt.

cat /var/log/daemon.log | grep -i "Stopped influxDB"
cat /var/log/daemon.log | grep -i "cannot allocate memory"

  • Copitano
  • Registratie: Februari 2018
  • Laatst online: 23:51
rvk schreef op maandag 13 februari 2023 @ 22:07:
[...]

Ik ben ook benieuwd naar vannacht.
Mocht de "Stopped" niet meer voorkomen moet je wel even controleren of de "allocate memory" error ook niet meer voorkomt.

cat /var/log/daemon.log | grep -i "Stopped influxDB"
cat /var/log/daemon.log | grep -i "cannot allocate memory"
Helaas toch nog 1 stop, maar loopt verder wel gewoon door:
code:
1
2
3
4
pi@raspberrypi:~ $ sudo tac /var/log/daemon.log | grep -i "Stopped influxDB" | head -n3
Feb 14 06:20:44 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database.
Feb 13 06:17:30 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database.
Feb 13 06:16:32 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database.


code:
1
2
3
4
5
pi@raspberrypi:~ $ sudo tac /var/log/daemon.log | grep -i "cannot allocate memory" | head -n100
Feb 14 06:20:39 raspberrypi influxd-systemd-start.sh[28031]: ts=2023-02-14T05:20:39.177686Z lvl=info msg="Error replacing new TSM files" log_id=0fzJ9Gk0000 engine=tsm1 tsm1_level=1 tsm1_strategy=level trace_id=0f~aisN0000 op_name=tsm1_compact_group db_shard_id=2450 error="cannot allocate memory"
Feb 14 06:20:32 raspberrypi influxd-systemd-start.sh[28031]: ts=2023-02-14T05:20:32.061970Z lvl=info msg="Error replacing new TSM files" log_id=0fzJ9Gk0000 engine=tsm1 tsm1_level=1 tsm1_strategy=level trace_id=0f~aiS10000 op_name=tsm1_compact_group db_shard_id=2450 error="cannot allocate memory"
Feb 14 06:20:30 raspberrypi influxd-systemd-start.sh[28031]: ts=2023-02-14T05:20:30.116194Z lvl=info msg="Error replacing new TSM files" log_id=0fzJ9Gk0000 engine=tsm1 tsm1_strategy=full tsm1_optimize=false trace_id=0f~ahV3l000 op_name=tsm1_compact_group db_shard_id=2448 error="cannot allocate memory"
Feb 14 06:20:24 raspberrypi influxd-systemd-start.sh[28031]: ts=2023-02-14T05:20:24.865051Z lvl=info msg="Error replacing new TSM files" log_id=0fzJ9Gk0000 engine=tsm1 tsm1_level=1 tsm1_strategy=level trace_id=0f~ahxn0000 op_name=tsm1_compact_group db_shard_id=2450 error="cannot allocate memory"

En dat begint dan om 05:10
code:
1
2
Feb 14 05:10:23 raspberrypi influxd-systemd-start.sh[28031]: ts=2023-02-14T04:10:23.561498Z lvl=info msg="Error replacing new TSM files" log_id=0fzJ9Gk0000 engine=tsm1 tsm1_strategy=full tsm1_optimize=false trace_id=0f~Xh100000 op_name=tsm1_compact_group db_shard_id=2448 error="cannot allocate memory"
Feb 14 05:10:07 raspberrypi influxd-systemd-start.sh[28031]: ts=2023-02-14T04:10:07.460013Z lvl=info msg="Error replacing new TSM files" log_id=0fzJ9Gk0000 engine=tsm1 tsm1_strategy=full tsm1_optimize=false trace_id=0f~XfzbG000 op_name=tsm1_compact_group db_shard_id=2448 error="cannot allocate memory"




Heb ook nog de oplossingsrichting van @Thralas doorgelezen. Durf alleen de installatie nog niet uit te voeren omdat mij niet helemaal duidelijk is of ik die gewoon over de bestaande installatie heen kan installeren.
Ga nu eerst voor de komende nacht de cache-max-memory-size een zetten op = "256m".
En als dat niet werkt eerst maar weer een image draaien en dan die fix installeren denk ik.

Elga | Valliant eco TEC plus VHR 30-34/5-5L | Kamstrup 602 |Nodo OTGW | Raspberry Pi 3B+/4B+|RFXcom rfxtrx433xl | UniFi netwerk | PVoutput 8.625 kWp


  • rvk
  • Registratie: Mei 2011
  • Laatst online: 28-03 00:45
Copitano schreef op dinsdag 14 februari 2023 @ 11:10:
[...]
Heb ook nog de oplossingsrichting van @Thralas doorgelezen. Durf alleen de installatie nog niet uit te voeren omdat mij niet helemaal duidelijk is of ik die gewoon over de bestaande installatie heen kan installeren.
Ja, die oplossing heeft ook de index-version = "tsi1" in zich (die ik ook al noemde). Dat scheelt ook veel geugen. Ik dacht dat er mijn linkjes wel stond dat je de index dan opnieuw op moest bouwen maar heb er geen ervaring mee.

Het is in ieder geval al een heel stuk beter en wel duidelijk dat het ligt aan het beperkte geheugen.

  • The Eagle
  • Registratie: Januari 2002
  • Laatst online: 00:50

The Eagle

I wear my sunglasses at night

En toch he...ik vraag me af wat er gebeurt als je ipv een "trage" eMMC module er een SSD in zou zetten. Dan is ineens je storage geen bottleneck meer, en zou je dus zeggen dan je de cache ook niet echt meer hoeft te tunen.
Is tevens de enige hardwarematige aanpassing die je kunt doen denk ik. Op een Pi de CPU of hoeveelheid RAM aanpassen wordt zonder soldeerbout een uitdaging :+

Al is het nieuws nog zo slecht, het wordt leuker als je het op zijn Brabants zegt :)


  • Copitano
  • Registratie: Februari 2018
  • Laatst online: 23:51
The Eagle schreef op dinsdag 14 februari 2023 @ 14:47:
En toch he...ik vraag me af wat er gebeurt als je ipv een "trage" eMMC module er een SSD in zou zetten. Dan is ineens je storage geen bottleneck meer, en zou je dus zeggen dan je de cache ook niet echt meer hoeft te tunen.
Is tevens de enige hardwarematige aanpassing die je kunt doen denk ik. Op een Pi de CPU of hoeveelheid RAM aanpassen wordt zonder soldeerbout een uitdaging :+
Die SSD gaat er sowieso komen zodra ik uitgevogeld heb hoe ik dan de boel kan overzetten van de eMMC en ook vanaf SSD kan starten en het besturingssysteem kan draaien.
Dat wordt voor mij als niet deskundige een uitdaging want dat gaat volgens mij niet simpelweg met een image ;)
EDIT: Het lijkt met een Pi 3B+ wel zo simpel te zijn https://www.raspberrypi.c...tml#usb-mass-storage-boot :)

Een soldeerbout heb ik hier overigens wel liggen, maar ik denk dat ik dan zoiets nodig zou hebben :P . En die heb ik (nog) niet. Maar het kan kennelijk wel :+

[Voor 16% gewijzigd door Copitano op 15-02-2023 02:56]

Elga | Valliant eco TEC plus VHR 30-34/5-5L | Kamstrup 602 |Nodo OTGW | Raspberry Pi 3B+/4B+|RFXcom rfxtrx433xl | UniFi netwerk | PVoutput 8.625 kWp


  • rvk
  • Registratie: Mei 2011
  • Laatst online: 28-03 00:45
Ja. Ik boot 2 Pi's (allebei Pi 4's) van externe USB HDD en 2 andere (Pi 3's) direct van USB stick.

Alleen een Pi 2 heeft een SD-kaartje nodig (waar ik alleen bootcode.bin op heb staan waarna deze ook van USB stick start).

  • Copitano
  • Registratie: Februari 2018
  • Laatst online: 23:51
rvk schreef op woensdag 15 februari 2023 @ 10:38:
[...]

Ja. Ik boot 2 Pi's (allebei Pi 4's) van externe USB HDD en 2 andere (Pi 3's) direct van USB stick.

Alleen een Pi 2 heeft een SD-kaartje nodig (waar ik alleen bootcode.bin op heb staan waarna deze ook van USB stick start).
Kan ik dan gewoon een image maken en op de SSD wegschrijven, eMMC er uit en opstarten van SSD?
Dat zou mooi zijn.
Overigens toch nog vier stops afgelopen nacht met 256m maar loopt verder wel door.
code:
1
2
3
4
5
pi@raspberrypi:~ $ sudo tac /var/log/daemon.log | grep -i "Stopped influxDB" | head -n10
Feb 15 05:27:18 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database.
Feb 15 05:24:19 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database.
Feb 15 05:10:01 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database.
Feb 15 04:13:21 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database.

[Voor 43% gewijzigd door Copitano op 15-02-2023 11:40]

Elga | Valliant eco TEC plus VHR 30-34/5-5L | Kamstrup 602 |Nodo OTGW | Raspberry Pi 3B+/4B+|RFXcom rfxtrx433xl | UniFi netwerk | PVoutput 8.625 kWp


  • rvk
  • Registratie: Mei 2011
  • Laatst online: 28-03 00:45
Copitano schreef op woensdag 15 februari 2023 @ 11:23:
[...]
Kan ik dan gewoon een image maken en op de SSD wegschrijven, eMMC er uit en opstarten van SSD?
Dat zou mooi zijn.
Eerst moet je de Pi instrueren dat ie op kan start van SSD.
Stappen staan hier (de Raspberry Pi imager kan hiervoor een sd-card aanmaken waarmee je op moet starten): https://www.tomshardware.com/how-to/boot-raspberry-pi-4-usb

Volgens die stappen zou je daarna inderdaad een image van je eMMC naar SSD kunnen schrijven. Ik dacht dat je nog andere aanpassingen zou moeten doen (cmdline.txt) maar volgens die site hoeft dat niet. (Het werkt met de root=PARTUUID=xx schijnbaar gelijk goed, je kunt de eMMC en SSD dan alleen niet tegelijk mounten maar die eMMC heb je dan toch niet meer nodig)

Wel kan het zijn dat je na het starten de partitie moet vergroten (want na het maken van een image zal de SSD net zo groot zijn als de eMMC terwijl je wel alle ruimte wilt gebruiken). Maar kijk eerst maar of die wil booten ;)

  • Copitano
  • Registratie: Februari 2018
  • Laatst online: 23:51
rvk schreef op woensdag 15 februari 2023 @ 12:15:
[...]

Eerst moet je de Pi instrueren dat ie op kan start van SSD.
Uit deze instructie https://www.raspberrypi.c...tml#usb-mass-storage-boot
Raspberry Pi 4B and Raspberry Pi 400
The bootloader in Raspberry Pi 400 and newer Raspberry Pi 4B boards support USB boot by default, although the BOOT_ORDER bootloader configuration may need to be modified. On earlier Raspberry Pi 4B boards, or to select alternate boot modes, the bootloader must be updated.

See:-

Instructions for changing the boot mode via the Raspberry Pi Imager.

Instructions for changing the boot mode via the raspi-config.

The bootloader configuration page for other boot configuration options.

Compute Module 4
Please see the Flashing the Compute Module eMMC for bootloader update instructions.

Raspberry Pi 3B+
The Raspberry Pi 3B+ supports USB mass storage boot out of the box.

Raspberry Pi 2B, 3A+, 3B, CM3, CM3+, Zero 2 W
On the Raspberry Pi 2B v1.2, 3A+, 3B, Zero 2 W, and Compute Module 3, 3+ you must first enable USB host boot mode. This is to allow USB mass storage boot, and network boot. Note that network boot is not supported on the Raspberry Pi 3A+ or Zero 2 W.

To enable USB host boot mode, the Raspberry Pi needs to be booted from an SD card with a special option to set the USB host boot mode bit in the one-time programmable (OTP) memory. Once this bit has been set, the SD card is no longer required.
lijk ik te begrijpen dat het voor de RPi 3B+ nog makkelijker is. The Raspberry Pi 3B+ supports USB mass storage boot out of the box. Als ik daar dan gewoon een image op kan zetten en bij voorkeur aansluit met een eigen voeding (via mijn USB HUB met eigenvoeding) zou het met de eMMC eruit en de SSD erin direct moeten werken. Het lijkt in ieder geval simpeler dan ik aanvankelijk dacht ;)
Eerst maar eens een SSD met een mooie behuizing bestellen :)

Elga | Valliant eco TEC plus VHR 30-34/5-5L | Kamstrup 602 |Nodo OTGW | Raspberry Pi 3B+/4B+|RFXcom rfxtrx433xl | UniFi netwerk | PVoutput 8.625 kWp


  • Copitano
  • Registratie: Februari 2018
  • Laatst online: 23:51
@rvk Helaas was de vreugde van korte duur. Vanmorgen rond een uur of 10 is influx er weer uit gegaan. Krijg het ook handmatig niet meer opgestart. Althans ik krijg deze foutmelding:
code:
1
2
3
4
5
6
pi@raspberrypi:~ $ influx
Connected to http://localhost:8086 version 1.8.10
InfluxDB shell version: 1.8.10
> show databases
ERR: Post http://localhost:8086/query?chunked=true&db=&epoch=ns&q=show+databases: dial tcp [::1]:8086: connect: connection refused
>

Dit heb ik drie keer achter elkaar geprobeerd.

code:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
pi@raspberrypi:~ $ sudo tac /var/log/daemon.log | grep -i "Stopped influxDB"  | head -n100
Feb 16 11:35:24 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database.
Feb 16 11:33:12 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database.
Feb 16 11:30:53 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database.
Feb 16 11:28:30 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database.
Feb 16 11:26:14 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database.
Feb 16 11:23:56 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database.
Feb 16 11:21:42 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database.
Feb 16 11:19:19 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database.
Feb 16 11:17:03 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database.
Feb 16 11:14:40 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database.
Feb 16 11:12:20 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database.
Feb 16 11:10:05 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database.
Feb 16 11:07:48 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database.
Feb 16 11:05:33 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database.
Feb 16 11:03:19 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database.
Feb 16 11:00:57 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database.
Feb 16 10:58:32 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database.
Feb 16 10:56:12 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database.
Feb 16 10:53:49 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database.
Feb 16 10:51:22 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database.
Feb 16 10:49:10 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database.
Feb 16 10:46:51 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database.
Feb 16 10:44:37 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database.
Feb 16 10:42:10 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database.
Feb 16 10:39:54 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database.
Feb 16 10:37:41 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database.
Feb 16 10:35:21 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database.
Feb 16 10:33:06 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database.
Feb 16 10:30:52 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database.
Feb 16 10:28:37 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database.
Feb 16 10:26:09 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database.
Feb 16 04:01:48 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database.
Feb 15 05:27:18 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database.
Feb 15 05:24:19 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database.
Feb 15 05:10:01 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database.
Feb 15 04:13:21 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database.
Feb 14 06:20:44 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database.


Ga nu proberen de TimeoutStartSec=300 nog verder te verhogen.

Elga | Valliant eco TEC plus VHR 30-34/5-5L | Kamstrup 602 |Nodo OTGW | Raspberry Pi 3B+/4B+|RFXcom rfxtrx433xl | UniFi netwerk | PVoutput 8.625 kWp


  • rvk
  • Registratie: Mei 2011
  • Laatst online: 28-03 00:45
Copitano schreef op donderdag 16 februari 2023 @ 11:42:
Ga nu proberen de TimeoutStartSec=300 nog verder te verhogen.
Je kunt in daemon.log zien of Influxdb nog bezig is met het lezen op moment dat de timeout afloopt. Want dan wordt het process hard uit de lucht gehaald. Verhogen is dus inderdaad dan een optie.

Je kunt de laatste regels zien met cat /var/log/daemon.log
Doorlopend in de gaten houden kan met tail -f daemon.log (ververst elke keer met laatste regels).

Het kan zijn dat de wal nu dusdanig is gegroeid dat ie het nét niet meer kan verwerken in die tijd.
Maar het kan ook zijn dat er tijdens het inlezen al memory allocation errors komen.
Bij dat laatste heb je geen andere keuze om toch iets aan het geheugen te doen (of door tsi1 te gebruiken of door iets anders uit het geheugen te donderen).

Met dit kun je de regels voor Stopped zien (bijvoorbeeld 20 regels):
cat /var/log/daemon.log | grep -B20 -i "Stopped influxDB"

Je zou dan even kunnen zien of bij de laatste Stopped, influx nog bezig was met het verwerken van de wal.

  • rvk
  • Registratie: Mei 2011
  • Laatst online: 28-03 00:45
Bij mij gaat ie er met een "out of memory" uit bij opstarten.
runtime: out of memory: cannot allocate 24576-byte block (539295744 in use)

Je kunt zien of je in een startup loop zit door dit te doen:
cat /var/log/daemon.log | grep -i "restart counter"

Als je dan 220 regels ervoor pakt kun je terug scrollen om te zien wat het probleem precies is:
cat /var/log/daemon.log | grep -B220 -i "restart counter"

bv:
code:
1
2
3
4
5
6
7
8
9
10
Feb 16 12:14:09 keuken influxd-systemd-start.sh[28132]: ts=2023-02-16T11:14:09.476314Z lvl=info msg="Compacting file" log_id=0g2U_x50000 engine=tsm1 tsm1_strategy=full tsm1_optimize=false trace_id=0g2Ukem0000 op_name=tsm1_compact_group db_shard_id=1150 tsm1_index=2 tsm1_file=/var/lib/influxdb/data/telegraf/autogen/1150/000000012-000000001.tsm
Feb 16 12:14:10 keuken influxd-systemd-start.sh[28132]: runtime: out of memory: cannot allocate 24576-byte block (539295744 in use)
Feb 16 12:14:10 keuken influxd-systemd-start.sh[28132]: fatal error: out of memory
Feb 16 12:14:14 keuken influxd-systemd-start.sh[28132]: runtime: out of memory: cannot allocate 8192-byte block (539295744 in use)
Feb 16 12:14:14 keuken influxd-systemd-start.sh[28132]: fatal error: out of memory
Feb 16 12:14:14 keuken influxd-systemd-start.sh[28132]: runtime: out of memory: cannot allocate 8192-byte block (539295744 in use)
Feb 16 12:14:14 keuken influxd-systemd-start.sh[28132]: fatal error: out of memory
Feb 16 12:14:14 keuken influxd-systemd-start.sh[28132]: goroutine 7958 [running]:
Feb 16 12:14:14 keuken influxd-systemd-start.sh[28132]: runtime.throw(0xfebdde, 0xd)
Feb 16 12:14:14 keuken influxd-systemd-start.sh[28132]: #011/usr/local/go/src/runtime/panic.go:774 +0x5c fp=0x45c5364 sp=0x45c5350 pc=0x41644

  • Copitano
  • Registratie: Februari 2018
  • Laatst online: 23:51
Op dit moment heb ik de boel weer draaiend door cache-max-memory-size terug te zetten naar 512m.
met
cat /var/log/daemon.log | grep -i "restart counter"
of
cat /var/log/daemon.log | grep -B220 -i "restart counter"
krijg ik alleen nog regels te zien van Feb 12 ......... waar in niet verder omhoog of omlaag kan scrollen.
code:
1
2
3
4
5
che_snapshot error="cannot allocate memory"
Feb 12 03:13:36 raspberrypi influxd-systemd-start.sh[20928]: ts=2023-02-12T02:13:36.581149Z lvl=info msg="Error writing snapshot" log_id=0fwsajtW000 engine=tsm1 error="cannot allocate memory"
Feb 12 03:13:37 raspberrypi influxd-systemd-start.sh[20928]: ts=2023-02-12T02:13:37.599969Z lvl=info msg="Error adding new TSM files from snapshot. Removing temp files." log_id=0fwsajtW000 engine=tsm1 trace_id=0fxrEMyl000 op_name=tsm1_cache_snapshot error="cannot allocate memory"
Feb 12 03:13:37 raspberrypi influxd-systemd-start.sh[20928]: ts=2023-02-12T02:13:37.600435Z lvl=info msg="Error writing snapshot" log_id=0fwsajtW000 engine=tsm1 error="cannot allocate memory"
Binair bestand (standaardinvoer) bevat de gezochte tekst.

met tac in plaats van cat zelfde resultaat. Alleen 12 februari.
overigens zie ik dan wel de recentere data voorbij flitsen.
Wachten is nu natuurlijk op de volgende crash :/

Als je naar de plaatjes kijkt die ik nu weer kan zien in grafana ziet het er zo uit:




Het lijkt er dus op dat het heel even draait na een start commando om vervolgens meteen weer te stoppen.
Misschien is 256m dan net iets te krap. De timeout heb ik op 600 en zelfs op 900 gehad, maar dat maakte niet uit.

[Voor 24% gewijzigd door Copitano op 16-02-2023 13:37]

Elga | Valliant eco TEC plus VHR 30-34/5-5L | Kamstrup 602 |Nodo OTGW | Raspberry Pi 3B+/4B+|RFXcom rfxtrx433xl | UniFi netwerk | PVoutput 8.625 kWp


  • rvk
  • Registratie: Mei 2011
  • Laatst online: 28-03 00:45
Copitano schreef op donderdag 16 februari 2023 @ 13:27:
Binair bestand (standaardinvoer) bevat de gezochte tekst.
Ja, je zit elke keer met die binaire tekst in je log waar die op stuk loopt.
(misschien moet je je logs eens door rollen :+ )
Of je moet dan toch met tac werken (ipv cat), maar dan -B veranderen in -A

bv (-m1 geeft alleen de 'laatste' weer)
tac /var/log/daemon.log | grep -m1 -A300 -i "restart counter"

Hier krijg ik hem op een test-pi (met 1GB) ook niet meer aan de praat.
Ook niet als ik omschakel naar tsi1 :'(

  • Copitano
  • Registratie: Februari 2018
  • Laatst online: 23:51
rvk schreef op donderdag 16 februari 2023 @ 13:45:
[...]

Ja, je zit elke keer met die binaire tekst in je log waar die op stuk loopt.
(misschien moet je je logs eens door rollen :+ )
Of je moet dan toch met tac werken (ipv cat), maar dan -B veranderen in -A

bv (-m1 geeft alleen de 'laatste' weer)
tac /var/log/daemon.log | grep -m1 -A300 -i "restart counter"

Hier krijg ik hem op een test-pi (met 1GB) ook niet meer aan de praat.
Ook niet als ik omschakel naar tsi1 :'(
Dan is dit het hele verhaal
code:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
pi@raspberrypi:~ $ sudo tac /var/log/daemon.log | grep -m1 -A300 -i "restart counter"
Feb 16 12:38:13 raspberrypi systemd[1]: influxdb.service: Scheduled restart job, restart counter is at 93.
Feb 16 12:38:13 raspberrypi systemd[1]: influxdb.service: Service RestartSec=100ms expired, scheduling restart.
Feb 16 12:38:13 raspberrypi systemd[1]: influxdb.service: Failed with result 'exit-code'.
Feb 16 12:38:13 raspberrypi systemd[1]: influxdb.service: Main process exited, code=exited, status=2/INVALIDARGUMENT
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/compact.go:1965 +0x80
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: created by github.com/influxdata/influxdb/tsdb/engine/tsm1.(*cacheKeyIterator).encode
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/usr/local/go/src/runtime/asm_arm.s:868 +0x4 fp=0x1846bfdc sp=0x1846bfdc pc=0x73610
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: runtime.goexit()
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/compact.go:2005 +0x764 fp=0x1846bfdc sp=0x1846bda8 pc=0xd14240
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*cacheKeyIterator).encode.func1(0x16f4d6f8, 0x1, 0x31df, 0x1434e200)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/encoding.go:637 +0x214 fp=0x1846bda8 sp=0x1846bd50 pc=0xcbf744
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/tsdb/engine/tsm1.encodeIntegerBlockUsing(0x0, 0x0, 0x0, 0xeccf000, 0x1e2, 0x200, 0x1ec0f50, 0x36f9880, 0x2b356f, 0x0, ...)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/int.go:92 +0xc8 fp=0x1846bd50 sp=0x1846bd34 pc=0xceb12c
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*IntegerEncoder).Bytes(0x1846bdcc, 0x5c94aa0, 0x49, 0x49, 0x0, 0x0)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/int.go:127 +0x94 fp=0x1846bd34 sp=0x1846bd04 pc=0xceb3c4
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*IntegerEncoder).encodePacked(0x1846bdcc, 0x49, 0x0, 0x0, 0xd00d8c, 0x4f82aa0)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/usr/local/go/src/runtime/slice.go:49 +0x6c fp=0x1846bd04 sp=0x1846bcf0 pc=0x5928c
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: runtime.makeslice(0xe1f330, 0x319, 0x319, 0x191a2008)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/usr/local/go/src/runtime/malloc.go:1022 +0x7a0 fp=0x1846bcf0 sp=0x1846bc88 pc=0x1ba40
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: runtime.mallocgc(0x380, 0xe1f330, 0xe01, 0x191a2ef8)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/usr/local/go/src/runtime/malloc.go:854 +0x7c fp=0x1846bc88 sp=0x1846bc68 pc=0x1b0f4
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: runtime.(*mcache).nextFree(0x76fb16d0, 0x1526e53d, 0x1bcb7b, 0x5bcbc, 0x0)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/usr/local/go/src/runtime/mcache.go:140 +0xfc fp=0x1846bc68 sp=0x1846bc54 pc=0x262ec
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: runtime.(*mcache).refill(0x76fb16d0, 0x3d)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/usr/local/go/src/runtime/panic.go:774 +0x5c fp=0x1846bc54 sp=0x1846bc40 pc=0x41644
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: runtime.throw(0xfebdde, 0xd)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: goroutine 3578 [running]:
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/compact.go:1965 +0x80
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: created by github.com/influxdata/influxdb/tsdb/engine/tsm1.(*cacheKeyIterator).encode
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/compact.go:2005 +0x764
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*cacheKeyIterator).encode.func1(0x16f4d6f8, 0x1, 0x31df, 0x1434e200)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/encoding.go:627 +0xe8
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/tsdb/engine/tsm1.encodeIntegerBlockUsing(0x0, 0x0, 0x0, 0xd6d1000, 0x1e2, 0x200, 0x1ec0f50, 0x36f98c0, 0x0, 0x0, ...)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/timestamp.go:81 +0xb4
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*encoder).Write(0x36f98c0, 0xf1e18800, 0x17444319)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: goroutine 3579 [runnable]:
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/compact.go:1965 +0x80
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: created by github.com/influxdata/influxdb/tsdb/engine/tsm1.(*cacheKeyIterator).encode
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/compact.go:2005 +0x764
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*cacheKeyIterator).encode.func1(0x16f4d6f8, 0x1, 0x31df, 0x1434e200)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/encoding.go:632 +0x1e0
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/tsdb/engine/tsm1.encodeIntegerBlockUsing(0x0, 0x0, 0x0, 0x120be000, 0x1e2, 0x200, 0x1ec0f50, 0x36f9860, 0x0, 0x0, ...)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/timestamp.go:138 +0xec
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*encoder).Bytes(0x36f9860, 0x5d211c00, 0x17444ac9, 0x1, 0x0, 0x4f82801)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/timestamp.go:145 +0xf8
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*encoder).encodePacked(0x36f9860, 0x540be400, 0x2, 0x370c000, 0x1e2, 0x3e8, 0x370c000, 0x1e2, 0x3e8, 0xffffffff, ...)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/vendor/github.com/jwilder/encoding/simple8b/encoding.go:76 +0x130
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/vendor/github.com/jwilder/encoding/simple8b.(*Encoder).Write(0x3706090, 0x1, 0x0, 0x2, 0x1)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: goroutine 3577 [runnable]:
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/compact.go:1965 +0x80
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: created by github.com/influxdata/influxdb/tsdb/engine/tsm1.(*cacheKeyIterator).encode
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/compact.go:2005 +0x764
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*cacheKeyIterator).encode.func1(0x16f4d6f8, 0x1, 0x31df, 0x1434e200)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/encoding.go:627 +0xe8
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/tsdb/engine/tsm1.encodeIntegerBlockUsing(0x0, 0x0, 0x0, 0x10586000, 0x1e2, 0x200, 0x1ec0f50, 0x36f98a0, 0x0, 0x0, ...)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/timestamp.go:81 +0xb4
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*encoder).Write(0x36f98a0, 0x6f8400, 0x1744439a)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: goroutine 3580 [runnable]:
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/usr/local/go/src/net/http/transport.go:1581 +0x90c
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: created by net/http.(*Transport).dialConn
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/usr/local/go/src/net/http/transport.go:2210 +0xc0
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: net/http.(*persistConn).writeLoop(0x358c0a0)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: goroutine 2928 [select]:
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/compact.go:1965 +0x80
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: created by github.com/influxdata/influxdb/tsdb/engine/tsm1.(*cacheKeyIterator).encode
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011goroutine running on other thread; stack unavailable
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: goroutine 3578 [running]:
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/compact.go:858 +0x16c
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: created by github.com/influxdata/influxdb/tsdb/engine/tsm1.(*Compactor).WriteSnapshot
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/compact.go:860 +0x94
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*Compactor).WriteSnapshot.func1(0x437f480, 0x4d31440, 0x161620c5, 0x5c91000, 0x4695a00)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/compact.go:1045 +0x11c
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*Compactor).writeNewFiles(0x4d31440, 0x1f, 0x1, 0x0, 0x0, 0x0, 0x1ec9938, 0x1434e200, 0x1, 0x0, ...)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/compact.go:1141 +0x150
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*Compactor).write(0x4d31440, 0x52cc500, 0x49, 0x1ec9938, 0x1434e200, 0x1749c001, 0x0, 0x0)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/compact.go:2050 +0xe8
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*cacheKeyIterator).Next(0x1434e200, 0x14077f)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: goroutine 3511 [chan receive]:
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/services/httpd/service.go:194 +0x45c
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: created by github.com/influxdata/influxdb/services/httpd.(*Service).Open
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/services/httpd/service.go:252 +0x2c
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/services/httpd.(*Service).serveTCP(0x3477420)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/services/httpd/service.go:264 +0x34
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/services/httpd.(*Service).serve(0x3477420, 0x1ec3ff0, 0x4c0cf40)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/usr/local/go/src/net/http/server.go:2896 +0x214
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: net/http.(*Server).Serve(0x3477450, 0x1ec3ff0, 0x4c0cf40, 0x0, 0x0)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/usr/local/go/src/net/tcpsock.go:261 +0x3c
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: net.(*TCPListener).Accept(0x4c0cf40, 0x4027edc, 0xc, 0x3401b20, 0x347b5c)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/usr/local/go/src/net/tcpsock_posix.go:139 +0x20
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: net.(*TCPListener).accept(0x4c0cf40, 0x1a1fe040, 0xee15a400, 0x4b074)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/usr/local/go/src/net/fd_unix.go:238 +0x20
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: net.(*netFD).accept(0x34c1130, 0x2b8c7a0, 0x0, 0x1)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/usr/local/go/src/internal/poll/fd_unix.go:384 +0x1a8
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: internal/poll.(*FD).Accept(0x34c1130, 0x0, 0x0, 0x0, 0x0, 0x0, 0x0, 0x0)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/usr/local/go/src/internal/poll/fd_poll_runtime.go:92
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: internal/poll.(*pollDesc).waitRead(...)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/usr/local/go/src/internal/poll/fd_poll_runtime.go:87 +0x30
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: internal/poll.(*pollDesc).wait(0x34c1144, 0x72, 0x0, 0x0, 0xfe25d8)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/usr/local/go/src/runtime/netpoll.go:184 +0x44
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: internal/poll.runtime_pollWait(0x66cf5f1c, 0x72, 0x0)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: goroutine 2913 [IO wait]:
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/engine.go:508 +0xfc
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: created by github.com/influxdata/influxdb/tsdb/engine/tsm1.(*Engine).enableSnapshotCompactions
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/engine.go:508 +0x48
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*Engine).enableSnapshotCompactions.func1(0x14336b00, 0x3a72a80)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/engine.go:2044 +0xe4
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*Engine).compactCache(0x3a72a80)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: goroutine 2863 [select]:
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/store.go:229 +0x218
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: created by github.com/influxdata/influxdb/tsdb.(*Store).Open
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/store.go:231 +0x38
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/tsdb.(*Store).Open.func1(0x3590140)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/store.go:1984 +0x118
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/tsdb.(*Store).monitorShards(0x3590140)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: goroutine 2873 [select]:
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/services/subscriber/service.go:100 +0x160
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: created by github.com/influxdata/influxdb/services/subscriber.(*Service).Open
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/services/subscriber/service.go:102 +0x50
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/services/subscriber.(*Service).Open.func2(0x35b6e00)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/services/subscriber/service.go:165 +0x8c
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/services/subscriber.(*Service).waitForMetaUpdates(0x35b6e00)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: goroutine 2875 [select]:
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/services/snapshotter/service.go:76 +0x74
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: created by github.com/influxdata/influxdb/services/snapshotter.(*Service).Open
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/services/snapshotter/service.go:102 +0x5c
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/services/snapshotter.(*Service).serve(0x3766600)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tcp/mux.go:240 +0xe0
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/tcp.(*listener).Accept(0x3766900, 0x0, 0x0, 0x0, 0x0)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: goroutine 2894 [select]:
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/engine.go:508 +0xfc
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: created by github.com/influxdata/influxdb/tsdb/engine/tsm1.(*Engine).enableSnapshotCompactions
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/engine.go:508 +0x48
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*Engine).enableSnapshotCompactions.func1(0x14336660, 0x5ee8600)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/engine.go:2053 +0x20c
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*Engine).compactCache(0x5ee8600)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/engine.go:1961 +0x2c4
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*Engine).WriteSnapshot(0x5ee8600, 0x0, 0x0)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/engine.go:2001 +0x70
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*Engine).writeSnapshotAndCommit(0x5ee8600, 0x1d58f470, 0x1c6d5000, 0x174, 0x200, 0x4695a00, 0x0, 0x0)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/compact.go:869 +0x278
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*Compactor).WriteSnapshot(0x4d31440, 0x4695a00, 0x3faf067c, 0x13340, 0x25ea5196, 0x63ee15a3, 0x25ea5196)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: goroutine 2645 [chan receive]:
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/services/subscriber/service.go:96 +0x144
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: created by github.com/influxdata/influxdb/services/subscriber.(*Service).Open
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/services/subscriber/service.go:98 +0x50
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/services/subscriber.(*Service).Open.func1(0x35b6e00)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/services/subscriber/service.go:239 +0x1f0
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/services/subscriber.(*Service).run(0x35b6e00)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: goroutine 2874 [select]:
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/engine.go:429 +0x114
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: created by github.com/influxdata/influxdb/tsdb/engine/tsm1.(*Engine).enableLevelCompactions
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/engine.go:429 +0x50
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*Engine).enableLevelCompactions.func1(0x14336b10, 0x3a72a80)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/engine.go:2093 +0xf0
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*Engine).compact(0x3a72a80, 0x14336b10)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: goroutine 2864 [select]:
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/usr/local/go/src/net/http/transport.go:1580 +0x8f0
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: created by net/http.(*Transport).dialConn
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/usr/local/go/src/net/http/transport.go:1911 +0x178
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: net/http.(*persistConn).readLoop(0x358c0a0)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/usr/local/go/src/bufio/bufio.go:138 +0x38
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: bufio.(*Reader).Peek(0x19f8a8a0, 0x1, 0x2, 0x0, 0x0, 0x461cf00, 0x0)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/usr/local/go/src/bufio/bufio.go:100 +0x108
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: bufio.(*Reader).fill(0x19f8a8a0)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/usr/local/go/src/net/http/transport.go:1758 +0x164
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: net/http.(*persistConn).Read(0x358c0a0, 0x1a028000, 0x1000, 0x1000, 0x70df8, 0x14369ef4, 0x2)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/usr/local/go/src/crypto/tls/conn.go:1255 +0x13c
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: crypto/tls.(*Conn).Read(0x4502600, 0x1a028000, 0x1000, 0x1000, 0x0, 0x0, 0x0)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/usr/local/go/src/crypto/tls/conn.go:577
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: crypto/tls.(*Conn).readRecord(...)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/usr/local/go/src/crypto/tls/conn.go:609 +0x104
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: crypto/tls.(*Conn).readRecordOrCCS(0x4502600, 0x0, 0x0, 0x2)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/usr/local/go/src/crypto/tls/conn.go:802 +0xc4
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: crypto/tls.(*Conn).readFromUntil(0x4502600, 0x1eb5808, 0x14332a98, 0x5, 0x14332a98, 0xa3)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/usr/local/go/src/bytes/buffer.go:204 +0xa4
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: bytes.(*Buffer).ReadFrom(0x4502760, 0x1eb2238, 0x1a292620, 0x2d, 0x29bd1c, 0xe589c8, 0xfbde28)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/usr/local/go/src/crypto/tls/conn.go:780 +0x78
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: crypto/tls.(*atLeastReader).Read(0x1a292620, 0x3538480, 0x1a13, 0x1a13, 0x1857c, 0x29d260, 0x1eb5808)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/usr/local/go/src/net/net.go:184 +0x58
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: net.(*conn).Read(0x14332a98, 0x3538480, 0x1a13, 0x1a13, 0x0, 0x0, 0x0)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/usr/local/go/src/net/fd_unix.go:202 +0x38
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: net.(*netFD).Read(0x34c1630, 0x3538480, 0x1a13, 0x1a13, 0x62, 0x1be04, 0x1a292620)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/usr/local/go/src/internal/poll/fd_unix.go:169 +0x178
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: internal/poll.(*FD).Read(0x34c1630, 0x3538480, 0x1a13, 0x1a13, 0x0, 0x0, 0x0)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/usr/local/go/src/internal/poll/fd_poll_runtime.go:92
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: internal/poll.(*pollDesc).waitRead(...)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/usr/local/go/src/internal/poll/fd_poll_runtime.go:87 +0x30
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: internal/poll.(*pollDesc).wait(0x34c1644, 0x72, 0x1a00, 0x1a13, 0xffffffff)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/usr/local/go/src/runtime/netpoll.go:184 +0x44
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: internal/poll.runtime_pollWait(0x66cf5e14, 0x72, 0xffffffff)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: goroutine 2927 [IO wait]:
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/cmd/influxd/run/server.go:468 +0xb8c
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: created by github.com/influxdata/influxdb/cmd/influxd/run.(*Server).Open
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/cmd/influxd/run/server.go:523 +0xd0
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/cmd/influxd/run.(*Server).startServerReporting(0x358c320)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: goroutine 2915 [select]:
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/services/retention/service.go:51 +0x130
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: created by github.com/influxdata/influxdb/services/retention.(*Service).Open
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/services/retention/service.go:51 +0x50
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/services/retention.(*Service).Open.func1(0x37668d0)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/services/retention/service.go:78 +0x77c
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/services/retention.(*Service).run(0x37668d0)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: goroutine 2914 [select]:
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/services/precreator/service.go:54 +0x164
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: created by github.com/influxdata/influxdb/services/precreator.(*Service).Open
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/services/precreator/service.go:76 +0xc8
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/services/precreator.(*Service).runPrecreation(0x37665a0)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: goroutine 2893 [select]:
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/services/continuous_querier/service.go:133 +0xf0
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: created by github.com/influxdata/influxdb/services/continuous_querier.(*Service).Open
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/services/continuous_querier/service.go:215 +0x114
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/services/continuous_querier.(*Service).backgroundLoop(0x375e120)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: goroutine 2848 [select]:
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/engine.go:429 +0x114
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: created by github.com/influxdata/influxdb/tsdb/engine/tsm1.(*Engine).enableLevelCompactions
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/engine.go:429 +0x50
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*Engine).enableLevelCompactions.func1(0x14336670, 0x5ee8600)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/engine.go:2093 +0xf0
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*Engine).compact(0x5ee8600, 0x14336670)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: goroutine 2646 [select]:
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/monitor/service.go:126 +0x278
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: created by github.com/influxdata/influxdb/monitor.(*Monitor).Open
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/monitor/service.go:434 +0x578
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/monitor.(*Monitor).storeStatistics(0x36fbc20)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: goroutine 2876 [select]:
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/usr/local/go/src/net/http/client.go:320 +0x210
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: created by net/http.setRequestCancel
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/usr/local/go/src/net/http/client.go:321 +0x78
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: net/http.setRequestCancel.func3(0x0, 0x143ec400, 0x143ea270, 0x14328f68, 0x4d91480)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: goroutine 2919 [select]:
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/cmd/influxd/run/command.go:155 +0x8d8
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: created by github.com/influxdata/influxdb/cmd/influxd/run.(*Command).Run
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/cmd/influxd/run/command.go:174 +0x134
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/cmd/influxd/run.(*Command).monitorServerErrors(0x34a5860)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: goroutine 2916 [select]:
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/cmd/influxd/run/server.go:395 +0x1f0
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: created by github.com/influxdata/influxdb/cmd/influxd/run.(*Server).Open
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tcp/mux.go:75 +0x64
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/tcp.(*Mux).Serve(0x37089c0, 0x1ec3ff0, 0x36f72a0, 0x36f72a0, 0x0)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/usr/local/go/src/net/tcpsock.go:261 +0x3c
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: net.(*TCPListener).Accept(0x36f72a0, 0x0, 0x0, 0x0, 0x0)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/usr/local/go/src/net/tcpsock_posix.go:139 +0x20
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: net.(*TCPListener).accept(0x36f72a0, 0x37089c0, 0x40000000, 0x0)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/usr/local/go/src/net/fd_unix.go:238 +0x20
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: net.(*netFD).accept(0x358ab90, 0x0, 0xa8001, 0x0)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/usr/local/go/src/internal/poll/fd_unix.go:384 +0x1a8
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: internal/poll.(*FD).Accept(0x358ab90, 0x0, 0x0, 0x0, 0x0, 0x0, 0x0, 0x0)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/usr/local/go/src/internal/poll/fd_poll_runtime.go:92
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: internal/poll.(*pollDesc).waitRead(...)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/usr/local/go/src/internal/poll/fd_poll_runtime.go:87 +0x30
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: internal/poll.(*pollDesc).wait(0x358aba4, 0x72, 0x0, 0x0, 0xfe25d8)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/usr/local/go/src/runtime/netpoll.go:184 +0x44
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: internal/poll.runtime_pollWait(0x66cf5fa0, 0x72, 0x0)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: goroutine 19 [IO wait, 2 minutes]:
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/vendor/go.opencensus.io/stats/view/worker.go:32 +0x48
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: created by github.com/influxdata/influxdb/vendor/go.opencensus.io/stats/view.init.0
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/vendor/go.opencensus.io/stats/view/worker.go:154 +0xb0
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/vendor/go.opencensus.io/stats/view.(*worker).start(0x36a06c0)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: goroutine 18 [select]:
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/usr/local/go/src/os/signal/signal_unix.go:29 +0x30
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: created by os/signal.init.0
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/usr/local/go/src/os/signal/signal_unix.go:23 +0x14
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: os/signal.loop()
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/usr/local/go/src/runtime/sigqueue.go:147 +0x130
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: os/signal.signal_recv(0x0)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: goroutine 6 [syscall, 2 minutes]:
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/cmd/influxd/main.go:45 +0x140
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: main.main()
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/cmd/influxd/main.go:90 +0x228
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: main.(*Main).Run(0x3677f8c, 0x340a068, 0x2, 0x3, 0x2b7a8f8, 0x3492030)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: goroutine 1 [chan receive]:
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/engine.go:2178 +0xf4
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: created by github.com/influxdata/influxdb/tsdb/engine/tsm1.(*Engine).compactHiPriorityLevel
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/usr/local/go/src/runtime/asm_arm.s:868 +0x4 fp=0x3893fdc sp=0x3893fdc pc=0x73610
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: runtime.goexit()
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/engine.go:2183 +0xd8 fp=0x3893fdc sp=0x3893f54 pc=0xd18dd4
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*Engine).compactHiPriorityLevel.func1(0x14336670, 0x5ee8600, 0x1, 0x14358dc0)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/engine.go:2266 +0x2c fp=0x3893f54 sp=0x3893f20 pc=0xcce0d0
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*compactionStrategy).Apply(0x14358dc0)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/engine.go:2289 +0xfdc fp=0x3893f20 sp=0x389391c pc=0xccf0ec
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*compactionStrategy).compactGroup(0x14358dc0)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/compact.go:971 +0x110 fp=0x389391c sp=0x38938a0 pc=0xcadbf0
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*Compactor).CompactFull(0x4d31440, 0x14358cc0, 0x8, 0x8, 0x0, 0x0, 0x0, 0x0, 0x0)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/compact.go:953 +0x4a0 fp=0x38938a0 sp=0x3893824 pc=0xcada54
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*Compactor).compact(0x4d31440, 0x14358c00, 0x14358cc0, 0x8, 0x8, 0x0, 0x0, 0x0, 0x0, 0x0)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/compact.go:1045 +0x11c fp=0x3893824 sp=0x38937cc pc=0xcae2ac
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*Compactor).writeNewFiles(0x4d31440, 0x19, 0x2, 0x14358cc0, 0x8, 0x8, 0x1ec9988, 0x147540a0, 0x1, 0x1ec9988, ...)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/compact.go:1141 +0x150 fp=0x38937cc sp=0x3893710 pc=0xcae7b8
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*Compactor).write(0x4d31440, 0x52cd9f0, 0x49, 0x1ec9988, 0x147540a0, 0x3753c01, 0x0, 0x0)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/compact.go:1833 +0x10c fp=0x3893710 sp=0x38935d4 pc=0xcaf9bc
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*tsmBatchKeyIterator).Next(0x147540a0, 0x350437)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/compact.go:1850 +0x40 fp=0x38935d4 sp=0x389358c pc=0xcb0b7c
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*tsmBatchKeyIterator).merge(0x147540a0)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/compact.gen.go:1282 +0x24c fp=0x389358c sp=0x3893574 pc=0xca23f0
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*tsmBatchKeyIterator).mergeInteger(0x147540a0)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/compact.gen.go:1411 +0xe3c fp=0x3893574 sp=0x38934c0 pc=0xca3378
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*tsmBatchKeyIterator).combineInteger(0x147540a0, 0x22bdd000, 0x8, 0x22bdd0a0, 0x76fb1008)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/array_encoding.go:68 +0x12c fp=0x38934c0 sp=0x3893474 pc=0xc955cc
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/tsdb/engine/tsm1.DecodeIntegerArrayBlock(0x7d1f7964, 0x18, 0x33bf1d, 0x3893544, 0x0, 0x0)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/batch_integer.go:150 +0x78 fp=0x3893474 sp=0x3893444 pc=0xc993b0
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/tsdb/engine/tsm1.IntegerArrayDecodeAll(0x7d1f7971, 0xb, 0x33bf10, 0x0, 0x0, 0x0, 0x237fdc00, 0x72, 0x72, 0x0, ...)

Wat er in 1/100 seconde allemaal niet kan gebeuren _O-

Elga | Valliant eco TEC plus VHR 30-34/5-5L | Kamstrup 602 |Nodo OTGW | Raspberry Pi 3B+/4B+|RFXcom rfxtrx433xl | UniFi netwerk | PVoutput 8.625 kWp


  • rvk
  • Registratie: Mei 2011
  • Laatst online: 28-03 00:45
Copitano schreef op donderdag 16 februari 2023 @ 14:10:
[...]
Dan is dit het hele verhaal
[...]
Wat er in 1/100 seconde allemaal niet kan gebeuren _O-
Ik had wel verwacht dat binnen die 300 regels iets van Influx zelf naar voren zou komen. Maar dit is nog steeds allemaal de afhandeling van de fatal error (in go). Maar waarschijnlijk zal niet ver hieronder (tussen regel 300 en 400) wel staan dat Influx bezig was met compacting en dat er een fatal error was.

Kunt ook zoeken op "fatal error" want ik denk dat ie daar echt niet meer van terug komt en dus crasht.
tac /var/log/daemon.log | grep -m1 -A33 -i " fatal error: out of memory"
Maar het blijft natuurlijk duidelijk een geheugen probleem.
(Ik ben blij dat die van mij op 4GB draait.)

[Voor 20% gewijzigd door rvk op 16-02-2023 15:19]


  • rvk
  • Registratie: Mei 2011
  • Laatst online: 28-03 00:45
Ik krijg hem hier wel weer in de lucht met een
rm -rf /var/lib/influxdb/data/_internal/

(niet gekeken of je dan iets mist want dit was geen productie-versie)

(Maar het feit dat ie op momenten crasht is natuurlijk niet zo goed)

Hij trekt zo'n Pi met 1GB wel lekker vol. 176.2% CPU. Ook knap :+

code:
1
2
3
PID USER      PR  NI    VIRT    RES    SHR S  %CPU  %MEM     TIME+ COMMAND
29410 influxdb  20   0 1551676 654172  28120 S 176.2  69.2   3:58.51 influxd
  531 root      20   0  242688  33036   3928 S   0.0   3.5  13:45.38 node

[Voor 40% gewijzigd door rvk op 16-02-2023 15:32]


  • Copitano
  • Registratie: Februari 2018
  • Laatst online: 23:51
rvk schreef op donderdag 16 februari 2023 @ 15:14:
[...]

Ik had wel verwacht dat binnen die 300 regels iets van Influx zelf naar voren zou komen. Maar dit is nog steeds allemaal de afhandeling van de fatal error (in go). Maar waarschijnlijk zal niet ver hieronder (tussen regel 300 en 400) wel staan dat Influx bezig was met compacting en dat er een fatal error was.

Kunt ook zoeken op "fatal error" want ik denk dat ie daar echt niet meer van terug komt en dus crasht.
tac /var/log/daemon.log | grep -m1 -A33 -i " fatal error: out of memory"
Maar het blijft natuurlijk duidelijk een geheugen probleem.
(Ik ben blij dat die van mij op 4GB draait.)
code:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
pi@raspberrypi:~ $ tac /var/log/daemon.log | grep -m1 -A33 -i " fatal error: out of memory"                                                                                                                                                  Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: fatal error: out of memory
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: runtime: out of memory: cannot allocate 8192-byte block (539164672 in use)
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: fatal error: out of memory
Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: runtime: out of memory: cannot allocate 8192-byte block (539164672 in use)
Feb 16 12:38:12 raspberrypi influxd-systemd-start.sh[32047]: [httpd] 192.168.2.36 - - [16/Feb/2023:12:38:12 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML, like Gecko) Chrome/53.0.13228.0 Safari/601.36" 64da63de-adee-11ed-8015-b827eb8b83c2 30590
Feb 16 12:38:11 raspberrypi influxd-systemd-start.sh[32047]: [httpd] 192.168.2.36 - - [16/Feb/2023:12:38:11 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML, like Gecko) Chrome/53.0.13228.0 Safari/601.36" 6487d654-adee-11ed-8014-b827eb8b83c2 11030
Feb 16 12:38:10 raspberrypi influxd-systemd-start.sh[32047]: [httpd] 192.168.2.36 - - [16/Feb/2023:12:38:10 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML, like Gecko) Chrome/53.0.13228.0 Safari/601.36" 63d9a9be-adee-11ed-8013-b827eb8b83c2 110248
Feb 16 12:38:10 raspberrypi influxd-systemd-start.sh[32047]: ts=2023-02-16T11:38:10.643159Z lvl=info msg="Cache snapshot (start)" log_id=0g2VzxRG000 engine=tsm1 trace_id=0g2W7cKl000 op_name=tsm1_cache_snapshot op_event=start
Feb 16 12:38:10 raspberrypi influxd-systemd-start.sh[32047]: ts=2023-02-16T11:38:10.643084Z lvl=info msg="Error writing snapshot" log_id=0g2VzxRG000 engine=tsm1 error="cannot allocate memory"
Feb 16 12:38:10 raspberrypi influxd-systemd-start.sh[32047]: ts=2023-02-16T11:38:10.642976Z lvl=info msg="Cache snapshot (end)" log_id=0g2VzxRG000 engine=tsm1 trace_id=0g2W7JqW000 op_name=tsm1_cache_snapshot op_event=end op_elapsed=4988.524ms
Feb 16 12:38:10 raspberrypi influxd-systemd-start.sh[32047]: ts=2023-02-16T11:38:10.642602Z lvl=info msg="Error adding new TSM files from snapshot. Removing temp files." log_id=0g2VzxRG000 engine=tsm1 trace_id=0g2W7JqW000 op_name=tsm1_cache_snapshot error="cannot allocate memory"
Feb 16 12:38:09 raspberrypi influxd-systemd-start.sh[32047]: [httpd] 192.168.2.36 - - [16/Feb/2023:12:38:09 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML, like Gecko) Chrome/53.0.13228.0 Safari/601.36" 63323139-adee-11ed-8012-b827eb8b83c2 49845
Feb 16 12:38:09 raspberrypi influxd-systemd-start.sh[32047]: [httpd] 192.168.2.36 - - [16/Feb/2023:12:38:09 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML, like Gecko) Chrome/53.0.13228.0 Safari/601.36" 62dd9cdb-adee-11ed-8011-b827eb8b83c2 35744
Feb 16 12:38:08 raspberrypi influxd-systemd-start.sh[32047]: [httpd] 192.168.2.36 - - [16/Feb/2023:12:38:08 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML, like Gecko) Chrome/53.0.13228.0 Safari/601.36" 62830fc5-adee-11ed-8010-b827eb8b83c2 63582
Feb 16 12:38:07 raspberrypi influxd-systemd-start.sh[32047]: [httpd] 192.168.2.36 - - [16/Feb/2023:12:38:07 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML, like Gecko) Chrome/53.0.13228.0 Safari/601.36" 622c3f40-adee-11ed-800f-b827eb8b83c2 42876
Feb 16 12:38:07 raspberrypi influxd-systemd-start.sh[32047]: [httpd] 192.168.2.36 - - [16/Feb/2023:12:38:07 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML, like Gecko) Chrome/53.0.13228.0 Safari/601.36" 61cea2d2-adee-11ed-800e-b827eb8b83c2 68907
Feb 16 12:38:06 raspberrypi influxd-systemd-start.sh[32047]: [httpd] 192.168.2.36 - - [16/Feb/2023:12:38:06 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML, like Gecko) Chrome/53.0.13228.0 Safari/601.36" 61780e35-adee-11ed-800d-b827eb8b83c2 34556
Feb 16 12:38:06 raspberrypi influxd-systemd-start.sh[32047]: [httpd] 192.168.2.36 - - [16/Feb/2023:12:38:05 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML, like Gecko) Chrome/53.0.13228.0 Safari/601.36" 60ffb229-adee-11ed-800c-b827eb8b83c2 176062
Feb 16 12:38:05 raspberrypi influxd-systemd-start.sh[32047]: [httpd] 192.168.2.132 - - [16/Feb/2023:12:38:05 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML, like Gecko) Chrome/53.0.32971.0 Safari/601.36" 60ade411-adee-11ed-800b-b827eb8b83c2 242448
Feb 16 12:38:05 raspberrypi influxd-systemd-start.sh[32047]: ts=2023-02-16T11:38:05.654459Z lvl=info msg="Cache snapshot (start)" log_id=0g2VzxRG000 engine=tsm1 trace_id=0g2W7JqW000 op_name=tsm1_cache_snapshot op_event=start
Feb 16 12:38:05 raspberrypi influxd-systemd-start.sh[32047]: ts=2023-02-16T11:38:05.654352Z lvl=info msg="Error writing snapshot" log_id=0g2VzxRG000 engine=tsm1 error="cannot allocate memory"
Feb 16 12:38:05 raspberrypi influxd-systemd-start.sh[32047]: ts=2023-02-16T11:38:05.654212Z lvl=info msg="Cache snapshot (end)" log_id=0g2VzxRG000 engine=tsm1 trace_id=0g2W72v0000 op_name=tsm1_cache_snapshot op_event=end op_elapsed=4333.649ms
Feb 16 12:38:05 raspberrypi influxd-systemd-start.sh[32047]: ts=2023-02-16T11:38:05.653757Z lvl=info msg="Error adding new TSM files from snapshot. Removing temp files." log_id=0g2VzxRG000 engine=tsm1 trace_id=0g2W72v0000 op_name=tsm1_cache_snapshot error="cannot allocate memory"
Feb 16 12:38:05 raspberrypi influxd-systemd-start.sh[32047]: [httpd] 192.168.2.36 - - [16/Feb/2023:12:38:03 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML, like Gecko) Chrome/53.0.13228.0 Safari/601.36" 5f8a4de9-adee-11ed-8008-b827eb8b83c2 1840423
Feb 16 12:38:04 raspberrypi influxd-systemd-start.sh[32047]: [httpd] 192.168.2.132 - - [16/Feb/2023:12:38:04 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML, like Gecko) Chrome/53.0.32971.0 Safari/601.36" 6059fb6c-adee-11ed-800a-b827eb8b83c2 32537
Feb 16 12:38:04 raspberrypi influxd-systemd-start.sh[32047]: [httpd] 192.168.2.132 - - [16/Feb/2023:12:38:04 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML, like Gecko) Chrome/53.0.32971.0 Safari/601.36" 60076703-adee-11ed-8009-b827eb8b83c2 9813
Feb 16 12:38:02 raspberrypi influxd-systemd-start.sh[32047]: [httpd] 192.168.2.36 - - [16/Feb/2023:12:38:02 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML, like Gecko) Chrome/53.0.13228.0 Safari/601.36" 5f33d95f-adee-11ed-8007-b827eb8b83c2 54170
Feb 16 12:38:02 raspberrypi influxd-systemd-start.sh[32047]: [httpd] 192.168.2.36 - - [16/Feb/2023:12:38:02 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML, like Gecko) Chrome/53.0.13228.0 Safari/601.36" 5ed0ab1f-adee-11ed-8006-b827eb8b83c2 76365
Feb 16 12:38:01 raspberrypi influxd-systemd-start.sh[32047]: ts=2023-02-16T11:38:01.320547Z lvl=info msg="Cache snapshot (start)" log_id=0g2VzxRG000 engine=tsm1 trace_id=0g2W72v0000 op_name=tsm1_cache_snapshot op_event=start
Feb 16 12:38:01 raspberrypi influxd-systemd-start.sh[32047]: ts=2023-02-16T11:38:01.318751Z lvl=info msg="Error writing snapshot" log_id=0g2VzxRG000 engine=tsm1 error="cannot allocate memory"
Feb 16 12:38:01 raspberrypi influxd-systemd-start.sh[32047]: ts=2023-02-16T11:38:01.316589Z lvl=info msg="Cache snapshot (end)" log_id=0g2VzxRG000 engine=tsm1 trace_id=0g2W6ln0000 op_name=tsm1_cache_snapshot op_event=end op_elapsed=4636.054ms
Feb 16 12:38:01 raspberrypi influxd-systemd-start.sh[32047]: ts=2023-02-16T11:38:01.314395Z lvl=info msg="Error adding new TSM files from snapshot. Removing temp files." log_id=0g2VzxRG000 engine=tsm1 trace_id=0g2W6ln0000 op_name=tsm1_cache_snapshot error="cannot allocate memory"
Feb 16 12:37:59 raspberrypi influxd-systemd-start.sh[32047]: [httpd] 192.168.2.36 - - [16/Feb/2023:12:37:59 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML, like Gecko) Chrome/53.0.13228.0 Safari/601.36" 5ced62e9-adee-11ed-8005-b827eb8b83c2 57355
Feb 16 12:37:58 raspberrypi influxd-systemd-start.sh[32047]: [httpd] 192.168.2.36 - - [16/Feb/2023:12:37:58 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML, like Gecko) Chrome/53.0.13228.0 Safari/601.36" 5c9c2501-adee-11ed-8004-b827eb8b83c2 11918


Ik had van vanmorgeniddag ook nog de SHOW DIAGNOSTICS uit influx van net nadat ik de boel weer aan de gang had.
code:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
pi@raspberrypi:~ $ influx
Connected to http://localhost:8086 version 1.8.10
InfluxDB shell version: 1.8.10
> SHOW DIAGNOSTICS
name: build
Branch Build Time Commit       Version
------ ---------- ------       -------
1.8               688e697c51fd 1.8.10

name: config
bind-address   reporting-disabled
------------   ------------------
127.0.0.1:8088 false

name: config-coordinator
log-queries-after max-concurrent-queries max-select-buckets max-select-point max-select-series query-timeout write-timeout
----------------- ---------------------- ------------------ ---------------- ----------------- ------------- -------------
0s                0                      0                  0                0                 0s            10s

name: config-cqs
enabled query-stats-enabled run-interval
------- ------------------- ------------
true    false               1s

name: config-data
cache-max-memory-size cache-snapshot-memory-size cache-snapshot-write-cold-duration compact-full-write-cold-duration dir                    max-concurrent-compactions max-index-log-file-size max-series-per-database max-values-per-tag series-file-max-concurrent-compactions series-id-set-cache-size strict-error-handling wal-dir               wal-fsync-delay
--------------------- -------------------------- ---------------------------------- -------------------------------- ---                    -------------------------- ----------------------- ----------------------- ------------------ -------------------------------------- ------------------------ --------------------- -------               ---------------
536870912             26214400                   10m0s                              4h0m0s                           /var/lib/influxdb/data 0                          1048576                 1000000                 100000             0                                      100                      false                 /var/lib/influxdb/wal 0s

name: config-httpd
access-log-path bind-address enabled https-enabled max-connection-limit max-row-limit
--------------- ------------ ------- ------------- -------------------- -------------
                :8086        true    false         0                    0

name: config-meta
dir
---
/var/lib/influxdb/meta

name: config-monitor
store-database store-enabled store-interval
-------------- ------------- --------------
_internal      true          10s

name: config-precreator
advance-period check-interval enabled
-------------- -------------- -------
30m0s          10m0s          true

name: config-retention
check-interval enabled
-------------- -------
30m0s          true

name: config-subscriber
enabled http-timeout write-buffer-size write-concurrency
------- ------------ ----------------- -----------------
true    30s          1000              40

name: network
hostname
--------
raspberrypi

name: runtime
GOARCH GOMAXPROCS GOOS  version
------ ---------- ----  -------
arm    4          linux go1.13.8

name: system
PID  currentTime                    started                        uptime
---  -----------                    -------                        ------
1862 2023-02-16T11:54:05.242626081Z 2023-02-16T11:38:14.090205532Z 15m51.152420549s
>

Elga | Valliant eco TEC plus VHR 30-34/5-5L | Kamstrup 602 |Nodo OTGW | Raspberry Pi 3B+/4B+|RFXcom rfxtrx433xl | UniFi netwerk | PVoutput 8.625 kWp


  • Copitano
  • Registratie: Februari 2018
  • Laatst online: 23:51
rvk schreef op donderdag 16 februari 2023 @ 15:28:
Ik krijg hem hier wel weer in de lucht met een
rm -rf /var/lib/influxdb/data/_internal/

(niet gekeken of je dan iets mist want dit was geen productie-versie)

(Maar het feit dat ie op momenten crasht is natuurlijk niet zo goed)

Hij trekt zo'n Pi met 1GB wel lekker vol. 176.2% CPU. Ook knap :+

code:
1
2
3
PID USER      PR  NI    VIRT    RES    SHR S  %CPU  %MEM     TIME+ COMMAND
29410 influxdb  20   0 1551676 654172  28120 S 176.2  69.2   3:58.51 influxd
  531 root      20   0  242688  33036   3928 S   0.0   3.5  13:45.38 node
Als ik het goed zie gooi je daar mee '/var/lib/influxdb/data/_internal' weg?
Net zoiets als de 'wal' weggooien?


Ik zie het al. Hier hebben ze ook zoiets.

Ik ga ook maar een Pi 4 bestellen met 8 GB geheugen als die al weer ergens te krijgen is tegen een fatsoenlijke prijs. Heb er wel een gevonden, maar bij navraag kom je dan in de wachtrij. Dat is dan dus nog maar afwachten wanneer dat ding eens binnen gaat komen. En dan maar meteen met een SSD

[Voor 6% gewijzigd door Copitano op 16-02-2023 16:32]

Elga | Valliant eco TEC plus VHR 30-34/5-5L | Kamstrup 602 |Nodo OTGW | Raspberry Pi 3B+/4B+|RFXcom rfxtrx433xl | UniFi netwerk | PVoutput 8.625 kWp


  • rvk
  • Registratie: Mei 2011
  • Laatst online: 28-03 00:45
Copitano schreef op donderdag 16 februari 2023 @ 16:24:
[...]
Als ik het goed zie gooi je daar mee '/var/lib/influxdb/data/_internal' weg?
Net zoiets als de 'wal' weggooien?
Het is de interne statistieken tabel.
Als je die gebruikt dan moet die natuurlijk niet weg.
Maar bij mij liep ie wel weer daarna.
Internal monitoring
InfluxDB also writes statistical and diagnostic information to database named _internal, which records metrics on the internal runtime and service performance. The _internal database can be queried and manipulated like any other InfluxDB database. Check out the monitor service README and the internal monitoring blog post for more detail.
The internal database
All this statistical information is very useful, but is reset when the system restarts. What if we want to analyze the performance of our system over time? Of course, InfluxDB is a time series database, built especially for storing this kind of data. So the system periodically writes all statistical data to a special database called _internal, which allows you to use the full power of InfluxQL to analyze the system itself.
https://www.influxdata.co...base-to-monitor-influxdb/

Schijnbaar is dat ook heel veel informatie.
(Bij mij 272MB van de 1.5GB)

Overigens wordt die info toch na 168 uur weggegooid.

code:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
> use _internal
Using database _internal
> show measurements
name: measurements
name
----
cq
database
httpd
queryExecutor
runtime
shard
subscriber
tsm1_cache
tsm1_engine
tsm1_filestore
tsm1_wal
write
> show retention policies
name    duration shardGroupDuration replicaN default
----    -------- ------------------ -------- -------
monitor 168h0m0s 24h0m0s            1        true
Copitano schreef op donderdag 16 februari 2023 @ 16:24:
[...]
Ik ga ook maar een Pi 4 bestellen met 8 GB geheugen als die al weer ergens te krijgen is tegen een fatsoenlijke prijs. Heb er wel een gevonden, maar bij navraag kom je dan in de wachtrij. Dat is dan dus nog maar afwachten wanneer dat ding eens binnen gaat komen. En dan maar meteen met een SSD
Ik denk niet dat er aan te komen is. Of tegen belachelijke prijzen.
Er zijn natuurlijk wel alternatieve boardjes. Maar daar heb ik geen ervaring mee.

  • Copitano
  • Registratie: Februari 2018
  • Laatst online: 23:51
rvk schreef op donderdag 16 februari 2023 @ 16:57:
[...]

Het is de interne statistieken tabel.
Als je die gebruikt dan moet die natuurlijk niet weg.
Maar bij mij liep ie wel weer daarna.
Heb ik met sudo rm -rf /var/lib/influxdb/data/_internal weg geknikkerd, maar influxdb maakt het bestand zelf weer opnieuw aan. Dat zal dus geen probleem geven denk ik.
Ik denk niet dat er aan te komen is. Of tegen belachelijke prijzen.
Tsja, dat zal voor veel vergelijkbare bordjes ook wel gelden. Een compleet starterkit incl. voeding, SD card en koeling wordt aangeboden voor ongeveer € 140. Zou half maart leverbaar zijn, maar heb niet zoveel zin om vooruit te betalen voor onzekeren levering.

Ontopic: Toch weer tweevier stops vandaag. De laatste handmatig.
code:
1
2
3
4
5
pi@raspberrypi:~ $ sudo tac /var/log/daemon.log | grep -i "Stopped influxDB" | head -n10
Feb 17 21:15:47 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database.
Feb 17 21:02:19 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database.
Feb 17 19:58:07 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database.
Feb 17 08:49:52 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database.

Een net voor negen vanmorgen en een net voor negen uur vanavond. Het geheugengebruik begon na de laatste ook weer heel hard op te lopen. Heb influxdb handmatig gestopt en weer gestart en voilá geheugen pruttelt weer stabiel op een aceptabel niveau zonder dataverlies.

Zoiets zou ook moeten kunnen met een cronjob, bijvoorbeeld dagelijks om 00:15 uur

[Voor 28% gewijzigd door Copitano op 17-02-2023 23:48]

Elga | Valliant eco TEC plus VHR 30-34/5-5L | Kamstrup 602 |Nodo OTGW | Raspberry Pi 3B+/4B+|RFXcom rfxtrx433xl | UniFi netwerk | PVoutput 8.625 kWp


  • rvk
  • Registratie: Mei 2011
  • Laatst online: 28-03 00:45
Copitano schreef op vrijdag 17 februari 2023 @ 23:38:
[...]
Ontopic: Toch weer tweevier stops vandaag. De laatste handmatig.
Was dit voor of na het verwijderen van _internal?
Het klopt inderdaad dat deze weer aangemaakt wordt maar hij was bij mij wel >270MB.
En dat moet wel verwerkt worden bij het opstarten wat ook veel geheugen kost.
Copitano schreef op vrijdag 17 februari 2023 @ 23:38:
Heb influxdb handmatig gestopt en weer gestart en voilá geheugen pruttelt weer stabiel op een aceptabel niveau zonder dataverlies.
De vraag is wel of dat nu gebeurd bij het "compacten". Want als dat zo is, en je herstart influx, dan kan het dus zijn dat die nooit aan het compacten toekomt. En dat kan op termijn natuurlijk ook voor problemen zorgen. Vandaar dat het van belang is dat je kijkt wat voor regels hij echt vastloopt (met grep -B200, of grep -A200 bij tac).
Copitano schreef op vrijdag 17 februari 2023 @ 23:38:
Zoiets zou ook moeten kunnen met een cronjob, bijvoorbeeld dagelijks om 00:15 uur
Dat zou kunnen met crontab (onder root)

sudo crontab -e
code:
1
2
3
4
#  m  h  dom mon dow   command

# restart influx
# 15  0    *   *   *   service influxdb restart >> /dev/null 2>&1


Maar of dat echt aan te bevelen valt :?

  • Copitano
  • Registratie: Februari 2018
  • Laatst online: 23:51
rvk schreef op zaterdag 18 februari 2023 @ 13:29:
[...]

Was dit voor of na het verwijderen van _internal?
Beiden volgens mij. Kijk ik nog ff na.
De vraag is wel of dat nu gebeurd bij het "compacten". Want als dat zo is, en je herstart influx, dan kan het dus zijn dat die nooit aan het compacten toekomt. En dat kan op termijn natuurlijk ook voor problemen zorgen. Vandaar dat het van belang is dat je kijkt wat voor regels hij echt vastloopt (met grep -B200, of grep -A200 bij tac).
Ik ga daar nog eens goed naar kijken bij de volgende crash. Voorlopig draait het nog zonder hiccups
Dat zou kunnen met crontab (onder root)

sudo crontab -e
code:
1
2
3
4
#  m  h  dom mon dow   command

# restart influx
# 15  0    *   *   *   service influxdb restart >> /dev/null 2>&1


Maar of dat echt aan te bevelen valt :?
Die houd ik nog even achter de hand. Het ziet er inderdaad nog niet echt naar uit dat de Pi4 heel snel beschikbaar zal zijn voor transplantatie van de database ;)

Elga | Valliant eco TEC plus VHR 30-34/5-5L | Kamstrup 602 |Nodo OTGW | Raspberry Pi 3B+/4B+|RFXcom rfxtrx433xl | UniFi netwerk | PVoutput 8.625 kWp


  • Copitano
  • Registratie: Februari 2018
  • Laatst online: 23:51
@rvk Influxdb is dus ook nog een keer gestopt na het verwijderen van de _internal.
Om 19:58 is een nieuwe _ internal aangemaakt.
Laatste stops 21:02 en 21:15, dus daarna. Maar die laaste was dus handmatig geforceerd.
code:
1
2
3
4
5
pi@raspberrypi:~ $ sudo tac /var/log/daemon.log | grep -i "Stopped influxDB" | head -n10
Feb 17 21:15:47 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database.
Feb 17 21:02:19 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database.
Feb 17 19:58:07 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database.
Feb 17 08:49:52 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database.


Dit zijn de laagste regels net voor de crash van 19:58.
code:
1
2
3
4
5
6
7
8
Feb 17 19:58:40 raspberrypi influxd-systemd-start.sh[6438]: ts=2023-02-17T18:58:40.341884Z lvl=info msg="failed to store statistics" log_id=0g4BhEeW000 service=monitor error=timeout
Feb 17 19:58:05 raspberrypi influxd-systemd-start.sh[20933]: ts=2023-02-17T18:58:05.241570Z lvl=info msg="Error writing snapshot" log_id=0g3aT2NW000 engine=tsm1 error="compaction in progress: open /var/lib/influxdb/data/_internal/monitor/2453/000004450-000000001.tsm.tmp: no such file or directory"
Feb 17 19:58:05 raspberrypi influxd-systemd-start.sh[20933]: ts=2023-02-17T18:58:05.231641Z lvl=info msg="Error writing snapshot from compactor" log_id=0g3aT2NW000 engine=tsm1 trace_id=0g4BgxDl000 op_name=tsm1_cache_snapshot error="compaction in progress: open /var/lib/influxdb/data/_internal/monitor/2453/000004450-000000001.tsm.tmp: no such file or directory"
Feb 17 19:58:03 raspberrypi influxd-systemd-start.sh[20933]: ts=2023-02-17T18:58:03.025674Z lvl=info msg="Error writing snapshot" log_id=0g3aT2NW000 engine=tsm1 error="compaction in progress: open /var/lib/influxdb/data/_internal/monitor/2453/000004449-000000001.tsm.tmp: no such file or directory"
Feb 17 19:58:03 raspberrypi influxd-systemd-start.sh[20933]: ts=2023-02-17T18:58:03.021950Z lvl=info msg="Error writing snapshot from compactor" log_id=0g3aT2NW000 engine=tsm1 trace_id=0g4BgtJW000 op_name=tsm1_cache_snapshot error="compaction in progress: open /var/lib/influxdb/data/_internal/monitor/2453/000004449-000000001.tsm.tmp: no such file or directory"
Feb 17 19:58:02 raspberrypi influxd-systemd-start.sh[20933]: ts=2023-02-17T18:58:02.181445Z lvl=info msg="Error writing snapshot" log_id=0g3aT2NW000 engine=tsm1 error="compaction in progress: open /var/lib/influxdb/data/_internal/monitor/2453/000004448-000000001.tsm.tmp: no such file or directory"
Feb 17 19:58:02 raspberrypi influxd-systemd-start.sh[20933]: ts=2023-02-17T18:58:02.170558Z lvl=info msg="Error writing snapshot from compactor" log_id=0g3aT2NW000 engine=tsm1 trace_id=0g4BgpP0000 op_name=tsm1_cache_snapshot error="compaction in progress: open /var/lib/influxdb/data/_internal/monitor/2453/000004448-000000001.tsm.tmp: no such file or directory"
Feb 17 19:58:00 raspberrypi influxd-systemd-start.sh[20933]: ts=2023-02-17T18:58:00.802342Z lvl=info msg="Error writing snapshot" log_id=0g3aT2NW000 engine=tsm1 error="compaction in progress: open /var/lib/influxdb/data/_internal/monitor/2453/000004447-000000001.tsm.tmp: no such file or directory"


Daar staan fouten met betrekking tot 'compaction'. Maar die lijken te maken te hebben met het verwijderen van _internal.

De laatste foutmeldingen van net voor de crash van 21:02
code:
1
2
3
4
5
6
Feb 17 20:31:39 raspberrypi influxd-systemd-start.sh[6438]: ts=2023-02-17T19:31:39.322388Z lvl=info msg="Error writing snapshot" log_id=0g4BhEeW000 engine=tsm1 error="cannot allocate memory"
Feb 17 20:31:39 raspberrypi influxd-systemd-start.sh[6438]: ts=2023-02-17T19:31:39.320871Z lvl=info msg="Error adding new TSM files from snapshot. Removing temp files." log_id=0g4BhEeW000 engine=tsm1 trace_id=0g4DbwNl000 op_name=tsm1_cache_snapshot error="cannot allocate memory"
Feb 17 20:31:38 raspberrypi influxd-systemd-start.sh[6438]: ts=2023-02-17T19:31:38.463779Z lvl=info msg="Error writing snapshot" log_id=0g4BhEeW000 engine=tsm1 error="cannot allocate memory"
Feb 17 20:31:38 raspberrypi influxd-systemd-start.sh[6438]: ts=2023-02-17T19:31:38.463450Z lvl=info msg="Error adding new TSM files from snapshot. Removing temp files." log_id=0g4BhEeW000 engine=tsm1 trace_id=0g4DbrJ0000 op_name=tsm1_cache_snapshot error="cannot allocate memory"
Feb 17 20:31:36 raspberrypi influxd-systemd-start.sh[6438]: ts=2023-02-17T19:31:36.931159Z lvl=info msg="Error writing snapshot" log_id=0g4BhEeW000 engine=tsm1 error="cannot allocate memory"
Feb 17 20:31:36 raspberrypi influxd-systemd-start.sh[6438]: ts=2023-02-17T19:31:36.930918Z lvl=info msg="Error adding new TSM files from snapshot. Removing temp files." log_id=0g4BhEeW000 engine=tsm1 trace_id=0g4DbnOl000 op_name=tsm1_cache_snapshot error="cannot allocate memory"


Ook kom ik deze fouten rond die tijd tegen in het log "Error writing snapshot" en "Error adding new TSM files from snapshot. Removing temp files."
code:
1
2
3
4
5
6
7
8
9
10
11
12
13
Feb 17 20:32:02 raspberrypi influxd-systemd-start.sh[6438]: ts=2023-02-17T19:32:02.163862Z lvl=info msg="Cache snapshot (start)" log_id=0g4BhEeW000 engine=tsm1 trace_id=0g4DdNxl000 op_name=tsm1_cache_snapshot op_event=start
Feb 17 20:32:02 raspberrypi influxd-systemd-start.sh[6438]: [httpd] 192.168.2.36 - - [17/Feb/2023:20:32:02 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML,$
Feb 17 20:32:02 raspberrypi influxd-systemd-start.sh[6438]: [httpd] 192.168.2.132 - - [17/Feb/2023:20:32:02 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$
Feb 17 20:32:03 raspberrypi influxd-systemd-start.sh[6438]: [httpd] 192.168.2.132 - - [17/Feb/2023:20:32:03 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$
Feb 17 20:32:03 raspberrypi influxd-systemd-start.sh[6438]: ts=2023-02-17T19:32:03.243899Z lvl=info msg="Error adding new TSM files from snapshot. Removing temp files." log_id=0g4BhEeW000 engine=tsm1 trace_id=0g4DdNxl000 op_name=tsm1_ca$
Feb 17 20:32:03 raspberrypi influxd-systemd-start.sh[6438]: ts=2023-02-17T19:32:03.244110Z lvl=info msg="Cache snapshot (end)" log_id=0g4BhEeW000 engine=tsm1 trace_id=0g4DdNxl000 op_name=tsm1_cache_snapshot op_event=end op_elapsed=1080.$
Feb 17 20:32:03 raspberrypi influxd-systemd-start.sh[6438]: ts=2023-02-17T19:32:03.244188Z lvl=info msg="Error writing snapshot" log_id=0g4BhEeW000 engine=tsm1 error="cannot allocate memory"
Feb 17 20:32:03 raspberrypi influxd-systemd-start.sh[6438]: ts=2023-02-17T19:32:03.244254Z lvl=info msg="Cache snapshot (start)" log_id=0g4BhEeW000 engine=tsm1 trace_id=0g4DdSB0000 op_name=tsm1_cache_snapshot op_event=start
Feb 17 20:32:03 raspberrypi influxd-systemd-start.sh[6438]: [httpd] 192.168.2.132 - - [17/Feb/2023:20:32:03 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$
Feb 17 20:32:03 raspberrypi influxd-systemd-start.sh[6438]: ts=2023-02-17T19:32:03.990401Z lvl=info msg="Error adding new TSM files from snapshot. Removing temp files." log_id=0g4BhEeW000 engine=tsm1 trace_id=0g4DdSB0000 op_name=tsm1_ca$
Feb 17 20:32:03 raspberrypi influxd-systemd-start.sh[6438]: ts=2023-02-17T19:32:03.990578Z lvl=info msg="Cache snapshot (end)" log_id=0g4BhEeW000 engine=tsm1 trace_id=0g4DdSB0000 op_name=tsm1_cache_snapshot op_event=end op_elapsed=746.3$
Feb 17 20:32:03 raspberrypi influxd-systemd-start.sh[6438]: ts=2023-02-17T19:32:03.990656Z lvl=info msg="Error writing snapshot" log_id=0g4BhEeW000 engine=tsm1 error="cannot allocate memory"
Feb 17 20:32:04 raspberrypi influxd-systemd-start.sh[6438]: ts=2023-02-17T19:32:04.164403Z lvl=info msg="Cache snapshot (start)" log_id=0g4BhEeW000 engine=tsm1 trace_id=0g4DdVm0000 op_name=tsm1_cache_snapshot op_event=start

en
code:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
Feb 17 21:02:17 raspberrypi influxd-systemd-start.sh[6438]: [httpd] 192.168.2.132 - - [17/Feb/2023:21:02:17 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$
Feb 17 21:02:17 raspberrypi influxd-systemd-start.sh[6438]: ts=2023-02-17T20:02:17.955188Z lvl=info msg="Error adding new TSM files from snapshot. Removing temp files." log_id=0g4BhEeW000 engine=tsm1 trace_id=0g4FN9nl000 op_name=tsm1_ca$
Feb 17 21:02:17 raspberrypi influxd-systemd-start.sh[6438]: ts=2023-02-17T20:02:17.956636Z lvl=info msg="Cache snapshot (end)" log_id=0g4BhEeW000 engine=tsm1 trace_id=0g4FN9nl000 op_name=tsm1_cache_snapshot op_event=end op_elapsed=792.7$
Feb 17 21:02:17 raspberrypi influxd-systemd-start.sh[6438]: ts=2023-02-17T20:02:17.957356Z lvl=info msg="Error writing snapshot" log_id=0g4BhEeW000 engine=tsm1 error="cannot allocate memory"
Feb 17 21:02:18 raspberrypi influxd-systemd-start.sh[6438]: ts=2023-02-17T20:02:18.164056Z lvl=info msg="Cache snapshot (start)" log_id=0g4BhEeW000 engine=tsm1 trace_id=0g4FNDhl000 op_name=tsm1_cache_snapshot op_event=start
Feb 17 21:02:18 raspberrypi influxd-systemd-start.sh[6438]: [httpd] 192.168.2.132 - - [17/Feb/2023:21:02:18 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$
Feb 17 21:02:18 raspberrypi influxd-systemd-start.sh[6438]: [httpd] 192.168.2.36 - - [17/Feb/2023:21:02:18 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML,$
Feb 17 21:02:18 raspberrypi influxd-systemd-start.sh[6438]: runtime: out of memory: cannot allocate 4210688-byte block (648347648 in use)
Feb 17 21:02:18 raspberrypi influxd-systemd-start.sh[6438]: fatal error: out of memory
Feb 17 21:02:18 raspberrypi influxd-systemd-start.sh[6438]: runtime stack:
Feb 17 21:02:18 raspberrypi influxd-systemd-start.sh[6438]: runtime.throw(0xfebdde, 0xd)
Feb 17 21:02:18 raspberrypi influxd-systemd-start.sh[6438]: #011/usr/local/go/src/runtime/panic.go:774 +0x5c
Feb 17 21:02:18 raspberrypi influxd-systemd-start.sh[6438]: runtime.largeAlloc(0x403000, 0x4d50101, 0x3f584)
Feb 17 21:02:18 raspberrypi influxd-systemd-start.sh[6438]: #011/usr/local/go/src/runtime/malloc.go:1140 +0x124

[Voor 95% gewijzigd door Copitano op 18-02-2023 17:44]

Elga | Valliant eco TEC plus VHR 30-34/5-5L | Kamstrup 602 |Nodo OTGW | Raspberry Pi 3B+/4B+|RFXcom rfxtrx433xl | UniFi netwerk | PVoutput 8.625 kWp


  • rvk
  • Registratie: Mei 2011
  • Laatst online: 28-03 00:45
Uiteraard kun je na een crash eens de verify laten lopen:
sudo influx_inspect verify -dir /var/lib/influxdb

Gewoon om even te kijken of je data wel intact is.

Ik weet dus niet wanneer de levels van compacting daadwerkelijk plaatsvinden.
Maar als dat process niet gebeurd, dan werkt influx natuurlijk niet optimaal.
Kans bestaat ook als je die compacting wel goed laat verlopen, het geheugengebruik ook naar beneden gaat (omdat bepaalde dingen weer meer optimaal zijn). Maar dat weet ik niet zeker. Nog veel te leren over Influx :*)

(Ik weet bijvoorbeeld niet of een handmatige compaction kan helpen:
https://docs.influxdata.c...tion/compact-series-file/)

Over Compacting:

Compactions

Compactions are recurring processes that migrate data stored in a write-optimized format into a more read-optimized format. There are a number of stages of compaction that take place while a shard is hot for writes:
  • Snapshots - Values in the Cache and WAL must be converted to TSM files to free memory and disk space used by the WAL segments. These compactions occur based on the cache memory and time thresholds.
  • Level Compactions - Level compactions (levels 1-4) occur as the TSM files grow. TSM files are compacted from snapshots to level 1 files. Multiple level 1 files are compacted to produce level 2 files. The process continues until files reach level 4 (full compaction) and the max size for a TSM file. They will not be compacted further unless deletes, index optimization compactions, or full compactions need to run. Lower level compactions use strategies that avoid CPU-intensive activities like decompressing and combining blocks. Higher level (and thus less frequent) compactions will re-combine blocks to fully compact them and increase the compression ratio.
  • Index Optimization - When many level 4 TSM files accumulate, the internal indexes become larger and more costly to access. An index optimization compaction splits the series and indices across a new set of TSM files, sorting all points for a given series into one TSM file. Before an index optimization, each TSM file contained points for most or all series, and thus each contains the same series index. After an index optimization, each TSM file contains points from a minimum of series and there is little series overlap between files. Each TSM file thus has a smaller unique series index, instead of a duplicate of the full series list. In addition, all points from a particular series are contiguous in a TSM file rather than spread across multiple TSM files.
  • Full Compactions - Full compactions (level 4 compactions) run when a shard has become cold for writes for long time, or when deletes have occurred on the shard. Full compactions produce an optimal set of TSM files and include all optimizations from Level and Index Optimization compactions. Once a shard is fully compacted, no other compactions will run on it unless new writes or deletes are stored.

  • rvk
  • Registratie: Mei 2011
  • Laatst online: 28-03 00:45
De Pi 3B heeft toch 4 cores?
In de config staat dit:
code:
1
max-concurrent-compactions = 0

Dan wordt de helft van de cores gepakt voor compacting.

Je zou eens dit kunnen doen:
code:
1
max-concurrent-compactions = 1


Dan wordt er maar 1 core gepakt en dat zou ook aan geheugen kunnen schelen.
max-concurrent-compactions = 0
The maximum number of concurrent full and level compactions that can run at one time. The default value of 0 results in 50% of the CPU cores being used at runtime for compactions. If explicitly set, the number of cores used for compaction is limited to the specified value.
Ook hier geadviseerd: https://community.influxd...moving-to-tsi-index/12801

Die zou ik nu dus gelijk eens even lager zetten en influx weer restarten.

[Voor 6% gewijzigd door rvk op 18-02-2023 18:52]


  • Thralas
  • Registratie: December 2002
  • Laatst online: 23:40
Het is me een raadsel waarom je 30 posts verder nog steeds loopt te klooien met allerlei niet-werkende workarounds en de daadwerkelijke oplossing negeert.

Thralas in "Na 5 jaar vlekkeloos werken crashed Influxdb nu regelmatig"

Gebruik de patched branch (al lijkt die niet voor iedereen te werken) of de enige echte oplossing: een 64-bits build op een 64-bits kernel. Voor die laatste kun je Raspberry Pi OS herinstalleren of enkel de 64-bits kernel enablen op je huidige installatie en kijken of je de aarch64 .deb van InfluxDB ook kunt installeren op een 32-bits userspace.

Zonde van m'n tijd, maar hij komt wel steeds terug onder actieve topics zo

[Voor 4% gewijzigd door Thralas op 18-02-2023 19:08]


  • Copitano
  • Registratie: Februari 2018
  • Laatst online: 23:51
rvk schreef op zaterdag 18 februari 2023 @ 18:42:
Uiteraard kun je na een crash eens de verify laten lopen:
sudo influx_inspect verify -dir /var/lib/influxdb

Gewoon om even te kijken of je data wel intact is.
Nu >24 uur zonder errors :*)
Er is een nieuw log bestand gestart. Misschien dat dat voor dit moment net voldoende geheugenruimte scheelt.
sudo influx_inspect verify -dir /var/lib/influxdb geeft:
code:
1
/var/lib/influxdb/data/_internal/monitor/2454/000000073-000000001.tsm: healthy

En dat geldt voor alle regels daarvoor ook. Dat lijkt dus prima.

Elga | Valliant eco TEC plus VHR 30-34/5-5L | Kamstrup 602 |Nodo OTGW | Raspberry Pi 3B+/4B+|RFXcom rfxtrx433xl | UniFi netwerk | PVoutput 8.625 kWp


  • Copitano
  • Registratie: Februari 2018
  • Laatst online: 23:51
rvk schreef op zaterdag 18 februari 2023 @ 18:50:
De Pi 3B heeft toch 4 cores?
In de config staat dit:
code:
1
max-concurrent-compactions = 0

Dan wordt de helft van de cores gepakt voor compacting.

Je zou eens dit kunnen doen:
code:
1
max-concurrent-compactions = 1


Dan wordt er maar 1 core gepakt en dat zou ook aan geheugen kunnen schelen.


[...]


Ook hier geadviseerd: https://community.influxd...moving-to-tsi-index/12801

Die zou ik nu dus gelijk eens even lager zetten en influx weer restarten.
Heeft inderdaad 4 cores. Bij de volgende crash zal ik de max-concurrent-compactions eens op 1 zetten.

Elga | Valliant eco TEC plus VHR 30-34/5-5L | Kamstrup 602 |Nodo OTGW | Raspberry Pi 3B+/4B+|RFXcom rfxtrx433xl | UniFi netwerk | PVoutput 8.625 kWp


  • Copitano
  • Registratie: Februari 2018
  • Laatst online: 23:51
Thralas schreef op zaterdag 18 februari 2023 @ 19:07:
Het is me een raadsel waarom je 30 posts verder nog steeds loopt te klooien met allerlei niet-werkende workarounds en de daadwerkelijke oplossing negeert.

Thralas in "Na 5 jaar vlekkeloos werken crashed Influxdb nu regelmatig"

Gebruik de patched branch (al lijkt die niet voor iedereen te werken) of de enige echte oplossing: een 64-bits build op een 64-bits kernel. Voor die laatste kun je Raspberry Pi OS herinstalleren of enkel de 64-bits kernel enablen op je huidige installatie en kijken of je de aarch64 .deb van InfluxDB ook kunt installeren op een 32-bits userspace.
Er wordt niets genegeerd. Dat heb ik zeker allemaal doorgelezen.
Maar het roept bij mij een aantal vragen op omdat het om een bestaande instllatie draait bijvoorbeeld:
  • Kan ik het Raspberry Pi OS gewoorn over de bestaande installatie heen zetten of helemaal schoon?
  • Hoe installeer ik een 64-bits kernel op een bestaand 32 bits-systeem?
  • 64-bits build idem?
Wel nog ook dit gevonden over 64-bit OS. Maar met mijn (nog) zeer beperkte linux kennis durf ik het gewoon nog niet aan. Bang dat ik de hele installatie om zeep help en met vallen en opstaan opgebouwde functies om zeep help. Ben daar dus gewoon (misschien te) voorzichtig mee.
Zonde van m'n tijd, maar hij komt wel steeds terug onder actieve topics zo
Met de geduldige en begrijpende reacties van @rvk ben ik heel blij. Al héél veel van geleerd in korte tijd. Daar is dit platform toch ook voor bedoeld lijkt mij, om van elkaar te leren. Voor mij dus zeker geen zonde van mijn tijd ;)

[Voor 3% gewijzigd door Copitano op 19-02-2023 03:03]

Elga | Valliant eco TEC plus VHR 30-34/5-5L | Kamstrup 602 |Nodo OTGW | Raspberry Pi 3B+/4B+|RFXcom rfxtrx433xl | UniFi netwerk | PVoutput 8.625 kWp

Pagina: 1 2 Laatste


Tweakers maakt gebruik van cookies

Tweakers plaatst functionele en analytische cookies voor het functioneren van de website en het verbeteren van de website-ervaring. Deze cookies zijn noodzakelijk. Om op Tweakers relevantere advertenties te tonen en om ingesloten content van derden te tonen (bijvoorbeeld video's), vragen we je toestemming. Via ingesloten content kunnen derde partijen diensten leveren en verbeteren, bezoekersstatistieken bijhouden, gepersonaliseerde content tonen, gerichte advertenties tonen en gebruikersprofielen opbouwen. Hiervoor worden apparaatgegevens, IP-adres, geolocatie en surfgedrag vastgelegd.

Meer informatie vind je in ons cookiebeleid.

Sluiten

Toestemming beheren

Hieronder kun je per doeleinde of partij toestemming geven of intrekken. Meer informatie vind je in ons cookiebeleid.

Functioneel en analytisch

Deze cookies zijn noodzakelijk voor het functioneren van de website en het verbeteren van de website-ervaring. Klik op het informatie-icoon voor meer informatie. Meer details

janee

    Relevantere advertenties

    Dit beperkt het aantal keer dat dezelfde advertentie getoond wordt (frequency capping) en maakt het mogelijk om binnen Tweakers contextuele advertenties te tonen op basis van pagina's die je hebt bezocht. Meer details

    Tweakers genereert een willekeurige unieke code als identifier. Deze data wordt niet gedeeld met adverteerders of andere derde partijen en je kunt niet buiten Tweakers gevolgd worden. Indien je bent ingelogd, wordt deze identifier gekoppeld aan je account. Indien je niet bent ingelogd, wordt deze identifier gekoppeld aan je sessie die maximaal 4 maanden actief blijft. Je kunt deze toestemming te allen tijde intrekken.

    Ingesloten content van derden

    Deze cookies kunnen door derde partijen geplaatst worden via ingesloten content. Klik op het informatie-icoon voor meer informatie over de verwerkingsdoeleinden. Meer details

    janee