Elga | Valliant eco TEC plus VHR 30-34/5-5L | Kamstrup 602 |Nodo OTGW | Raspberry Pi 3B+/4B+|RFXcom rfxtrx433xl | UniFi netwerk | PVoutput 8.625 kWp
Vraag
Alle reacties
Duct tape can't fix stupid, but it can muffle the sound.
Ben zo al een paar keer mijn domoticz installatie kwijtgeraakt. Sindsdien een SanDisk kaartje er in en dat draait alweer een paar jaar zonder problemen

Heb je naast domoticz nog meer op je pi draaien?
Al is het nieuws nog zo slecht, het wordt leuker als je het op zijn Brabants zegt :)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
| Feb 10 04:59:33 raspberrypi influxd-systemd-start.sh[589]: ts=2023-02-10T03:59:33.622014Z lvl=info msg="Cache snapshot (start)" log_id=0fuQyrQW000 engine=tsm1 trace_id=0fvNVUyG000 op_name=tsm1_cache_snapshot op_event=start Feb 10 04:59:34 raspberrypi influxd-systemd-start.sh[589]: [httpd] 192.168.2.36 - - [10/Feb/2023:04:59:34 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/602.36 (KHTML, $ Feb 10 04:59:34 raspberrypi influxd-systemd-start.sh[589]: ts=2023-02-10T03:59:34.371237Z lvl=info msg="Error adding new TSM files from snapshot. Removing temp files." log_id=0fuQyrQW000 engine=tsm1 trace_id=0fvNVUyG000 op_name=tsm1_cac$ Feb 10 04:59:34 raspberrypi influxd-systemd-start.sh[589]: ts=2023-02-10T03:59:34.371412Z lvl=info msg="Cache snapshot (end)" log_id=0fuQyrQW000 engine=tsm1 trace_id=0fvNVUyG000 op_name=tsm1_cache_snapshot op_event=end op_elapsed=749.42$ Feb 10 04:59:34 raspberrypi influxd-systemd-start.sh[589]: ts=2023-02-10T03:59:34.371491Z lvl=info msg="Error writing snapshot" log_id=0fuQyrQW000 engine=tsm1 error="cannot allocate memory" Feb 10 04:59:34 raspberrypi influxd-systemd-start.sh[589]: ts=2023-02-10T03:59:34.621925Z lvl=info msg="Cache snapshot (start)" log_id=0fuQyrQW000 engine=tsm1 trace_id=0fvNVYsG000 op_name=tsm1_cache_snapshot op_event=start Feb 10 04:59:35 raspberrypi influxd-systemd-start.sh[589]: ts=2023-02-10T03:59:35.613552Z lvl=info msg="Error adding new TSM files from snapshot. Removing temp files." log_id=0fuQyrQW000 engine=tsm1 trace_id=0fvNVYsG000 op_name=tsm1_cac$ Feb 10 04:59:35 raspberrypi influxd-systemd-start.sh[589]: ts=2023-02-10T03:59:35.613841Z lvl=info msg="Cache snapshot (end)" log_id=0fuQyrQW000 engine=tsm1 trace_id=0fvNVYsG000 op_name=tsm1_cache_snapshot op_event=end op_elapsed=991.94$ Feb 10 04:59:35 raspberrypi influxd-systemd-start.sh[589]: ts=2023-02-10T03:59:35.613962Z lvl=info msg="Error writing snapshot" log_id=0fuQyrQW000 engine=tsm1 error="cannot allocate memory" Feb 10 04:59:35 raspberrypi influxd-systemd-start.sh[589]: ts=2023-02-10T03:59:35.622866Z lvl=info msg="Cache snapshot (start)" log_id=0fuQyrQW000 engine=tsm1 trace_id=0fvNVbmW000 op_name=tsm1_cache_snapshot op_event=start Feb 10 04:59:35 raspberrypi influxd-systemd-start.sh[589]: [httpd] 192.168.2.36 - - [10/Feb/2023:04:59:35 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/602.36 (KHTML, $ Feb 10 04:59:36 raspberrypi influxd-systemd-start.sh[589]: [httpd] 192.168.2.36 - - [10/Feb/2023:04:59:36 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/602.36 (KHTML, $ Feb 10 04:59:36 raspberrypi influxd-systemd-start.sh[589]: ts=2023-02-10T03:59:36.812082Z lvl=info msg="Error adding new TSM files from snapshot. Removing temp files." log_id=0fuQyrQW000 engine=tsm1 trace_id=0fvNVbmW000 op_name=tsm1_cac$ Feb 10 04:59:36 raspberrypi influxd-systemd-start.sh[589]: ts=2023-02-10T03:59:36.815774Z lvl=info msg="Cache snapshot (end)" log_id=0fuQyrQW000 engine=tsm1 trace_id=0fvNVbmW000 op_name=tsm1_cache_snapshot op_event=end op_elapsed=1192.9$ Feb 10 04:59:36 raspberrypi influxd-systemd-start.sh[589]: ts=2023-02-10T03:59:36.817264Z lvl=info msg="Error writing snapshot" log_id=0fuQyrQW000 engine=tsm1 error="cannot allocate memory" Feb 10 04:59:36 raspberrypi influxd-systemd-start.sh[589]: ts=2023-02-10T03:59:36.819261Z lvl=info msg="Cache snapshot (start)" log_id=0fuQyrQW000 engine=tsm1 trace_id=0fvNVgSl000 op_name=tsm1_cache_snapshot op_event=start Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: [httpd] 192.168.2.36 - - [10/Feb/2023:04:59:37 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/602.36 (KHTML, $ Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: runtime: out of memory: cannot allocate 4210688-byte block (539099136 in use) Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: fatal error: out of memory Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: runtime stack: Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: runtime.throw(0xfebdde, 0xd) Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/usr/local/go/src/runtime/panic.go:774 +0x5c Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: runtime.largeAlloc(0x403000, 0x3580101, 0x71968) Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/usr/local/go/src/runtime/malloc.go:1140 +0x124 Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: runtime.mallocgc.func1() Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/usr/local/go/src/runtime/malloc.go:1033 +0x38 Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: runtime.systemstack(0x3c5e1e0) Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/usr/local/go/src/runtime/asm_arm.s:354 +0x84 Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: runtime.mstart() Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/usr/local/go/src/runtime/proc.go:1146 Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: goroutine 2311654 [running]: Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: runtime.systemstack_switch() Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/usr/local/go/src/runtime/asm_arm.s:298 +0x4 fp=0xb82fb64 sp=0xb82fb60 pc=0x718d8 Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: runtime.mallocgc(0x403000, 0xe1f330, 0x1, 0x20000000) Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/usr/local/go/src/runtime/malloc.go:1032 +0x8d0 fp=0xb82fbcc sp=0xb82fb64 pc=0x1bb70 Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: runtime.makeslice(0xe1f330, 0x403000, 0x403000, 0x78e1ae50) Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/usr/local/go/src/runtime/slice.go:49 +0x6c fp=0xb82fbe0 sp=0xb82fbcc pc=0x5928c Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: bytes.makeSlice(0x403000, 0x0, 0x0, 0x0) Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/usr/local/go/src/bytes/buffer.go:229 +0x60 fp=0xb82fc14 sp=0xb82fbe0 pc=0x128214 Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: bytes.(*Buffer).grow(0x9d8ecc0, 0x1000, 0x1007) Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/usr/local/go/src/bytes/buffer.go:142 +0x138 fp=0xb82fc38 sp=0xb82fc14 pc=0x127bac Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: bytes.(*Buffer).Write(0x9d8ecc0, 0x143f3000, 0x1000, 0x1000, 0x91, 0x1c, 0x23a0f200) Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/usr/local/go/src/bytes/buffer.go:172 +0xd0 fp=0xb82fc4c sp=0xb82fc38 pc=0x127e88 Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: bufio.(*Writer).Flush(0x9d8ece0, 0x23a0f200, 0x1b) Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/usr/local/go/src/bufio/bufio.go:593 +0x60 fp=0xb82fc78 sp=0xb82fc4c pc=0x14aa08 Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: bufio.(*Writer).Write(0x9d8ece0, 0x23a0f200, 0x1c, 0x1c, 0x23a0f200, 0x1c, 0x1c) Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/usr/local/go/src/bufio/bufio.go:629 +0xec fp=0xb82fca8 sp=0xb82fc78 pc=0x14ac88 Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*indexEntries).WriteTo(0x7be6a60, 0x1eb2100, 0x9d8ece0, 0x3, 0x3, 0x0, 0x0) Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/reader.go:1589 +0xd4 fp=0xb82fd18 sp=0xb82fca8 pc=0xd00758 Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*directIndex).flush(0x1fde42d0, 0x1eb2100, 0x9d8ece0, 0x20d1dd10, 0xed, 0xf0, 0xffffffff) Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/writer.go:479 +0x350 fp=0xb82fd90 sp=0xb82fd18 pc=0xd0fe40 Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*directIndex).Add(0x1fde42d0, 0x20d1dd10, 0xed, 0xf0, 0x1, 0x1451e000, 0x17425623, 0x819d6800, 0x1742572c, 0x39162, ...) Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/writer.go:314 +0x32c fp=0xb82fe28 sp=0xb82fd90 pc=0xd0f06c Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*tsmWriter).WriteBlock(0x1fde4300, 0x20d1dd10, 0xed, 0xf0, 0x1451e000, 0x17425623, 0x819d6800, 0x1742572c, 0x239b4d80, 0x18, ...) Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/writer.go:686 +0x1bc fp=0xb82fe68 sp=0xb82fe28 pc=0xd111d8 Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*Compactor).write(0x7414720, 0x5023cc0, 0x49, 0x1ec9938, 0x9ce98c0, 0x1fdff101, 0x0, 0x0) Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/compact.go:1162 +0x218 fp=0xb82ff24 sp=0xb82fe68 pc=0xcae880 Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*Compactor).writeNewFiles(0x7414720, 0xeb3, 0x1, 0x0, 0x0, 0x0, 0x1ec9938, 0x9ce98c0, 0x1, 0x0, ...) Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/usr/local/go/src/runtime/proc.go:1146 Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: goroutine 2311654 [running]: Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: runtime.systemstack_switch() Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/usr/local/go/src/runtime/asm_arm.s:298 +0x4 fp=0xb82fb64 sp=0xb82fb60 pc=0x718d8 Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: runtime.mallocgc(0x403000, 0xe1f330, 0x1, 0x20000000) Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/usr/local/go/src/runtime/malloc.go:1032 +0x8d0 fp=0xb82fbcc sp=0xb82fb64 pc=0x1bb70 Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: runtime.makeslice(0xe1f330, 0x403000, 0x403000, 0x78e1ae50) Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/usr/local/go/src/runtime/slice.go:49 +0x6c fp=0xb82fbe0 sp=0xb82fbcc pc=0x5928c Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: bytes.makeSlice(0x403000, 0x0, 0x0, 0x0) Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/usr/local/go/src/bytes/buffer.go:229 +0x60 fp=0xb82fc14 sp=0xb82fbe0 pc=0x128214 Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: bytes.(*Buffer).grow(0x9d8ecc0, 0x1000, 0x1007) Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/usr/local/go/src/bytes/buffer.go:142 +0x138 fp=0xb82fc38 sp=0xb82fc14 pc=0x127bac Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: bytes.(*Buffer).Write(0x9d8ecc0, 0x143f3000, 0x1000, 0x1000, 0x91, 0x1c, 0x23a0f200) Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/usr/local/go/src/bytes/buffer.go:172 +0xd0 fp=0xb82fc4c sp=0xb82fc38 pc=0x127e88 Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: bufio.(*Writer).Flush(0x9d8ece0, 0x23a0f200, 0x1b) Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/usr/local/go/src/bufio/bufio.go:593 +0x60 fp=0xb82fc78 sp=0xb82fc4c pc=0x14aa08 Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: bufio.(*Writer).Write(0x9d8ece0, 0x23a0f200, 0x1c, 0x1c, 0x23a0f200, 0x1c, 0x1c) Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/usr/local/go/src/bufio/bufio.go:629 +0xec fp=0xb82fca8 sp=0xb82fc78 pc=0x14ac88 Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*indexEntries).WriteTo(0x7be6a60, 0x1eb2100, 0x9d8ece0, 0x3, 0x3, 0x0, 0x0) Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/reader.go:1589 +0xd4 fp=0xb82fd18 sp=0xb82fca8 pc=0xd00758 Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*directIndex).flush(0x1fde42d0, 0x1eb2100, 0x9d8ece0, 0x20d1dd10, 0xed, 0xf0, 0xffffffff) Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/writer.go:479 +0x350 fp=0xb82fd90 sp=0xb82fd18 pc=0xd0fe40 Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*directIndex).Add(0x1fde42d0, 0x20d1dd10, 0xed, 0xf0, 0x1, 0x1451e000, 0x17425623, 0x819d6800, 0x1742572c, 0x39162, ...) Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/writer.go:314 +0x32c fp=0xb82fe28 sp=0xb82fd90 pc=0xd0f06c Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*tsmWriter).WriteBlock(0x1fde4300, 0x20d1dd10, 0xed, 0xf0, 0x1451e000, 0x17425623, 0x819d6800, 0x1742572c, 0x239b4d80, 0x18, ...) Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/writer.go:686 +0x1bc fp=0xb82fe68 sp=0xb82fe28 pc=0xd111d8 Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*Compactor).write(0x7414720, 0x5023cc0, 0x49, 0x1ec9938, 0x9ce98c0, 0x1fdff101, 0x0, 0x0) Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/compact.go:1162 +0x218 fp=0xb82ff24 sp=0xb82fe68 pc=0xcae880 Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*Compactor).writeNewFiles(0x7414720, 0xeb3, 0x1, 0x0, 0x0, 0x0, 0x1ec9938, 0x9ce98c0, 0x1, 0x0, ...) Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/compact.go:1045 +0x11c fp=0xb82ff7c sp=0xb82ff24 pc=0xcae2ac Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*Compactor).WriteSnapshot.func1(0x79ee000, 0x7414720, 0x1fe005fa, 0x9ce9880, 0x7e4c700) Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/compact.go:860 +0x94 fp=0xb82ffd4 sp=0xb82ff7c pc=0xd13914 Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: runtime.goexit() Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/usr/local/go/src/runtime/asm_arm.s:868 +0x4 fp=0xb82ffd4 sp=0xb82ffd4 pc=0x73610 Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: created by github.com/influxdata/influxdb/tsdb/engine/tsm1.(*Compactor).WriteSnapshot Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/compact.go:858 +0x16c Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: goroutine 1 [chan receive, 1057 minutes]: Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: main.(*Main).Run(0x3a75f8c, 0x389a108, 0x2, 0x3, 0x2b7a8f8, 0x3896030) Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/go/src/github.com/influxdata/influxdb/cmd/influxd/main.go:90 +0x228 Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: main.main() Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/go/src/github.com/influxdata/influxdb/cmd/influxd/main.go:45 +0x140 Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: goroutine 18 [syscall, 1057 minutes]: Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: os/signal.signal_recv(0x0) Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/usr/local/go/src/runtime/sigqueue.go:147 +0x130 Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: os/signal.loop() Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/usr/local/go/src/os/signal/signal_unix.go:23 +0x14 Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: created by os/signal.init.0 Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/usr/local/go/src/os/signal/signal_unix.go:29 +0x30 Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: goroutine 37 [select]: Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: github.com/influxdata/influxdb/vendor/go.opencensus.io/stats/view.(*worker).start(0x3a99cc0) Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/go/src/github.com/influxdata/influxdb/vendor/go.opencensus.io/stats/view/worker.go:154 +0xb0 Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: created by github.com/influxdata/influxdb/vendor/go.opencensus.io/stats/view.init.0 Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/go/src/github.com/influxdata/influxdb/vendor/go.opencensus.io/stats/view/worker.go:32 +0x48 Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: goroutine 38 [IO wait, 115 minutes]: Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: internal/poll.runtime_pollWait(0x66c98240, 0x72, 0x0) Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/usr/local/go/src/runtime/netpoll.go:184 +0x44 Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: internal/poll.(*pollDesc).wait(0x38db964, 0x72, 0x0, 0x0, 0xfe25d8) Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/usr/local/go/src/internal/poll/fd_poll_runtime.go:87 +0x30 Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/compact.go:1045 +0x11c fp=0xb82ff7c sp=0xb82ff24 pc=0xcae2ac Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*Compactor).WriteSnapshot.func1(0x79ee000, 0x7414720, 0x1fe005fa, 0x9ce9880, 0x7e4c700) Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/compact.go:860 +0x94 fp=0xb82ffd4 sp=0xb82ff7c pc=0xd13914 Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: runtime.goexit() Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/usr/local/go/src/runtime/asm_arm.s:868 +0x4 fp=0xb82ffd4 sp=0xb82ffd4 pc=0x73610 Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: created by github.com/influxdata/influxdb/tsdb/engine/tsm1.(*Compactor).WriteSnapshot Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/compact.go:858 +0x16c Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: goroutine 1 [chan receive, 1057 minutes]: Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: main.(*Main).Run(0x3a75f8c, 0x389a108, 0x2, 0x3, 0x2b7a8f8, 0x3896030) Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/go/src/github.com/influxdata/influxdb/cmd/influxd/main.go:90 +0x228 Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: main.main() Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/go/src/github.com/influxdata/influxdb/cmd/influxd/main.go:45 +0x140 Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: goroutine 18 [syscall, 1057 minutes]: Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: os/signal.signal_recv(0x0) Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/usr/local/go/src/runtime/sigqueue.go:147 +0x130 Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: os/signal.loop() Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/usr/local/go/src/os/signal/signal_unix.go:23 +0x14 Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: created by os/signal.init.0 Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/usr/local/go/src/os/signal/signal_unix.go:29 +0x30 Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: goroutine 37 [select]: Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: github.com/influxdata/influxdb/vendor/go.opencensus.io/stats/view.(*worker).start(0x3a99cc0) Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/go/src/github.com/influxdata/influxdb/vendor/go.opencensus.io/stats/view/worker.go:154 +0xb0 Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: created by github.com/influxdata/influxdb/vendor/go.opencensus.io/stats/view.init.0 Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/go/src/github.com/influxdata/influxdb/vendor/go.opencensus.io/stats/view/worker.go:32 +0x48 Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: goroutine 38 [IO wait, 115 minutes]: Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: internal/poll.runtime_pollWait(0x66c98240, 0x72, 0x0) Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/usr/local/go/src/runtime/netpoll.go:184 +0x44 Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: internal/poll.(*pollDesc).wait(0x38db964, 0x72, 0x0, 0x0, 0xfe25d8) Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/usr/local/go/src/internal/poll/fd_poll_runtime.go:87 +0x30 Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: internal/poll.(*pollDesc).waitRead(...) Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/usr/local/go/src/internal/poll/fd_poll_runtime.go:92 Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: internal/poll.(*FD).Accept(0x38db950, 0x0, 0x0, 0x0, 0x0, 0x0, 0x0, 0x0) Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/usr/local/go/src/internal/poll/fd_unix.go:384 +0x1a8 Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: net.(*netFD).accept(0x38db950, 0x2b8c240, 0x0, 0x0) Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/usr/local/go/src/net/fd_unix.go:238 +0x20 Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: net.(*TCPListener).accept(0x3ae3e40, 0x3993758, 0x399375c, 0xc) Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/usr/local/go/src/net/tcpsock_posix.go:139 +0x20 Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: net.(*TCPListener).Accept(0x3ae3e40, 0x1cd44e4, 0x3abffc0, 0x1ed0a38, 0x7b6e4e0) Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/usr/local/go/src/net/tcpsock.go:261 +0x3c Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: github.com/influxdata/influxdb/tcp.(*Mux).Serve(0x3abffc0, 0x1ec3ff0, 0x3ae3e40, 0x3ae3e40, 0x0) Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/go/src/github.com/influxdata/influxdb/tcp/mux.go:75 +0x64 Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: created by github.com/influxdata/influxdb/cmd/influxd/run.(*Server).Open Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/go/src/github.com/influxdata/influxdb/cmd/influxd/run/server.go:395 +0x1f0 Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: goroutine 2888 [select, 1057 minutes]: Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: github.com/influxdata/influxdb/cmd/influxd/run.(*Server).startServerReporting(0x38f66e0) Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/go/src/github.com/influxdata/influxdb/cmd/influxd/run/server.go:523 +0xd0 Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: created by github.com/influxdata/influxdb/cmd/influxd/run.(*Server).Open Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/go/src/github.com/influxdata/influxdb/cmd/influxd/run/server.go:468 +0xb8c Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: goroutine 2914 [IO wait]: Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: internal/poll.runtime_pollWait(0x66c981bc, 0x72, 0x0) Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/usr/local/go/src/runtime/netpoll.go:184 +0x44 Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: internal/poll.(*pollDesc).wait(0x38dadd4, 0x72, 0x0, 0x0, 0xfe25d8) Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/usr/local/go/src/internal/poll/fd_poll_runtime.go:87 +0x30 Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: internal/poll.(*pollDesc).waitRead(...) Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/usr/local/go/src/internal/poll/fd_poll_runtime.go:92 Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: internal/poll.(*FD).Accept(0x38dadc0, 0x0, 0x0, 0x0, 0x0, 0x0, 0x0, 0x0) Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: #011/usr/local/go/src/internal/poll/fd_unix.go:384 +0x1a8 Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: net.(*netFD).accept(0x38dadc0, 0x2b8c380, 0x0, 0x1) |
Elga | Valliant eco TEC plus VHR 30-34/5-5L | Kamstrup 602 |Nodo OTGW | Raspberry Pi 3B+/4B+|RFXcom rfxtrx433xl | UniFi netwerk | PVoutput 8.625 kWp
Ja Pi3B+ met een eMMC module. Dus geen SD kaartjeDukeBox schreef op zaterdag 11 februari 2023 @ 16:26:
Draai je dat op je Pi? Zo ja, vanaf SD?
Elga | Valliant eco TEC plus VHR 30-34/5-5L | Kamstrup 602 |Nodo OTGW | Raspberry Pi 3B+/4B+|RFXcom rfxtrx433xl | UniFi netwerk | PVoutput 8.625 kWp
Nee, draait op een eMMC module.Dogooder schreef op zaterdag 11 februari 2023 @ 16:27:
Ik zie dat je op een Pi draait. Gaat de data naar een SD? Zou de SD slechte stukken kunnen hebben?
Elga | Valliant eco TEC plus VHR 30-34/5-5L | Kamstrup 602 |Nodo OTGW | Raspberry Pi 3B+/4B+|RFXcom rfxtrx433xl | UniFi netwerk | PVoutput 8.625 kWp
Verder zie ik een out of memory error. Hoeveel ram zit er in en verbruik je, ook qua swap naar disk?
Al is het nieuws nog zo slecht, het wordt leuker als je het op zijn Brabants zegt :)
Welke module is dat dan? Zover ik weet is er geen eMMC support op die BCM2837B0Copitano schreef op zaterdag 11 februari 2023 @ 16:29:
Ja Pi3B+ met een eMMC module. Dus geen SD kaartje
Overigens kan een eMMC ook stuk gaan, zeker als deze niet al te groot is.
[Voor 25% gewijzigd door DukeBox op 11-02-2023 16:39]
Duct tape can't fix stupid, but it can muffle the sound.
Nee, geen SD kaart maar een eMMC module.The Eagle schreef op zaterdag 11 februari 2023 @ 16:28:
Je draait hem op een pi. Ik neem aan met een sd kaartje? Check dat kaartje eens op errors, die dingen hebben qua io meestal niet het eeuwige leven. Zeker de noname dingen willen nog wel eens disk errors geven.
Ben zo al een paar keer mijn domoticz installatie kwijtgeraakt. Sindsdien een SanDisk kaartje er in en dat draait alweer een paar jaar zonder problemen
Heb je naast domoticz nog meer op je pi draaien?
Wat er op draait is Buster, Domotica, Influxdb, Grafana, Monit, Mosquitto. En verder het standaard spul wat bij de oerinstallatie is meegekomen.
Elga | Valliant eco TEC plus VHR 30-34/5-5L | Kamstrup 602 |Nodo OTGW | Raspberry Pi 3B+/4B+|RFXcom rfxtrx433xl | UniFi netwerk | PVoutput 8.625 kWp
Waar staan die verwijzingen precies? Het begint er al mee dat ik nergens twee minuten aan logs zie.The Eagle schreef op zaterdag 11 februari 2023 @ 16:30:
In twee minuten tijd 3x de verwijzing naar de sd kaart. Die zou ik sowieso checken.
Met verwijzingen doelde ik op forumpostsfopjurist schreef op zaterdag 11 februari 2023 @ 16:36:
[...]
Waar staan die verwijzingen precies? Het begint er al mee dat ik nergens twee minuten aan logs zie.

Al is het nieuws nog zo slecht, het wordt leuker als je het op zijn Brabants zegt :)
Dat zijn nogal wat dingen om op één Pi te draaien, lijkt me logisch dat het geheel gewoon uit geheugen raakt.Copitano schreef op zaterdag 11 februari 2023 @ 16:36:
[...]
Nee, geen SD kaart maar een eMMC module.
Wat er op draait is Buster, Domotica, Influxdb, Grafana, Monit, Mosquitto. En verder het standaard spul wat bij de oerinstallatie is meegekomen.
Geen SD kaart dus maar eMMC. Draait hier al twee jaar zonder probleem sinds ik afscheid genomen heb van de SD kaartjes.The Eagle schreef op zaterdag 11 februari 2023 @ 16:30:
In twee minuten tijd 3x de verwijzing naar de sd kaart. Die zou ik sowieso checken.
Verder zie ik een out of memory error. Hoeveel ram zit er in en verbruik je, ook qua swap naar disk?
Elga | Valliant eco TEC plus VHR 30-34/5-5L | Kamstrup 602 |Nodo OTGW | Raspberry Pi 3B+/4B+|RFXcom rfxtrx433xl | UniFi netwerk | PVoutput 8.625 kWp
normaal zit het geheugengebruik zo rond 40%. Lijkt mij niet buitensporig. Maar midden in de nacht schiet dat soms in een keer omhoog naar 80% of 90%. Ook dat was eigenlijk nooit een probleem, tot nu danOon schreef op zaterdag 11 februari 2023 @ 16:39:
[...]
Dat zijn nogal wat dingen om op één Pi te draaien, lijkt me logisch dat het geheel gewoon uit geheugen raakt.

Elga | Valliant eco TEC plus VHR 30-34/5-5L | Kamstrup 602 |Nodo OTGW | Raspberry Pi 3B+/4B+|RFXcom rfxtrx433xl | UniFi netwerk | PVoutput 8.625 kWp
Wat ik meen te bespeuren is dat ie tempfiles probeert te appenden aan andere bestanden. Dat loopt mis, dus gooit ie de tempfiles mis.
Ik ben wel benieuwd naar het schrijfgedrag van de influx richting disk. Als in: wanneer flusht / schrijft de db naar disk (en wanneer niet).
Edit: dit zal helpen bij de analyse wat er exact gebeurt: https://docs.influxdata.c...internals/storage-engine/
[Voor 17% gewijzigd door The Eagle op 11-02-2023 16:50]
Al is het nieuws nog zo slecht, het wordt leuker als je het op zijn Brabants zegt :)
eMMC is ook gewoon flashgeheugen wat net zoals een SD kaartje kapot kan gaan.Copitano schreef op zaterdag 11 februari 2023 @ 16:42:
[...]
Geen SD kaart dus maar eMMC. Draait hier al twee jaar zonder probleem sinds ik afscheid genomen heb van de SD kaartjes.
Het is dus zaak om nu te gaan kijken welk proces ervoor zorgt dat het geheugen volloopt. Je kan 's nachts in een `screen` sessie het volgende commando draaien:
1
| top -o '%MEM' -d 2 -b >> /tmp/psoutput |
De volgende dag kijken wanneer influxdb gecrasht is en dat tijdstip opzoeken in de net aangemaakte file en checken welk proces het geheugen vol laat lopen.
1700X@3,9GHZ - Asus Crosshair VI Hero - 32GB Corsair LPX - GTX 1070Ti
iPhone 13 Pro Max - Macbook Pro 16" M1 Pro
Nee, recentelijk niets toegevoegd. Dit draait eigenlijk al 2 jaar zo op de eMMC en daarvoor al 3 jaar op een 64GB kwaliteit SD kaart. Toegevoegd is er de laatste twee jaar eigenlijk niets.The Eagle schreef op zaterdag 11 februari 2023 @ 16:49:
Heb je recentelijk meerdere sensoren toegevoegd?
Wat ik meen te bespeuren is dat ie tempfiles probeert te appenden aan andere bestanden. Dat loopt mis, dus gooit ie de tempfiles mis.
Ik ben wel benieuwd naar het schrijfgedrag van de influx richting disk. Als in: wanneer flusht / schrijft de db naar disk (en wanneer niet).
Edit: dit zal helpen bij de analyse wat er exact gebeurt: https://docs.influxdata.c...internals/storage-engine/
Elga | Valliant eco TEC plus VHR 30-34/5-5L | Kamstrup 602 |Nodo OTGW | Raspberry Pi 3B+/4B+|RFXcom rfxtrx433xl | UniFi netwerk | PVoutput 8.625 kWp
Dat is wel iets om uit te zoeken. Weet je ook welke processen het dan om gaat?Copitano schreef op zaterdag 11 februari 2023 @ 16:45:
[...]
normaal zit het geheugengebruik zo rond 40%. Lijkt mij niet buitensporig. Maar midden in de nacht schiet dat soms in een keer omhoog naar 80% of 90%. Ook dat was eigenlijk nooit een probleem, tot nu dan
https://gathering.tweaker...message/74426956#74426956TommieW schreef op zaterdag 11 februari 2023 @ 16:53:
[...]
eMMC is ook gewoon flashgeheugen wat net zoals een SD kaartje kapot kan gaan.
Het is dus zaak om nu te gaan kijken welk proces ervoor zorgt dat het geheugen volloopt. Je kan 's nachts in een `screen` sessie het volgende commando draaien:
code:
1 top -o '%MEM' -d 2 -b >> /tmp/psoutput
De volgende dag kijken wanneer influxdb gecrasht is en dat tijdstip opzoeken in de net aangemaakte file en checken welk proces het geheugen vol laat lopen.
Dit had ik al een beetje bekeken. De grote boosdoener lijkt Influxdb zelf te zijn. Maar ik ga jou suggestie zeker opvolgen.
Elga | Valliant eco TEC plus VHR 30-34/5-5L | Kamstrup 602 |Nodo OTGW | Raspberry Pi 3B+/4B+|RFXcom rfxtrx433xl | UniFi netwerk | PVoutput 8.625 kWp
Vermoedelijk Influxdb zelf https://gathering.tweaker...message/74426956#74426956Oon schreef op zaterdag 11 februari 2023 @ 16:55:
[...]
Dat is wel iets om uit te zoeken. Weet je ook welke processen het dan om gaat?
Elga | Valliant eco TEC plus VHR 30-34/5-5L | Kamstrup 602 |Nodo OTGW | Raspberry Pi 3B+/4B+|RFXcom rfxtrx433xl | UniFi netwerk | PVoutput 8.625 kWp

Influx heeft een WAL en een cache (kopie van de wal). Wat je ziet aan errors is dat ie de cache probeert weg te schrijven. Dat lukt niet (TSM faalt). Dus het spul in het geheugen blijft ook staan. En dat wordt meer en meer totdat het vol zit.
Omdat de cache en de wal in sync moeten lopen, gooi je met het weggooien van de wal in principe ook je cache leeg. Dan kan ie weer ff, tot ie zijn cache files niet meer kan schrijven.
Dus ergens zit het hem toch in de storage. Die tsm files staan ook ergens. Toevallig nog iets toch op je sd kaartje staan, /tmp ofzo?
Verder zou ik echt eens een fsck op je storage uitvoeren. Er moet een reden zijn waarom de disk io mis gaat.
Al is het nieuws nog zo slecht, het wordt leuker als je het op zijn Brabants zegt :)
Er is niets dat op problemen met je eMMC kaartje wijst. Het kan interessant zijn om te bekijken hoeveel data je dagelijks wegschrijft en in te schatten hoeveel jaar het kaartje het uit zou moeten halen, maar dat helpt niet bij de crashes die je nu ondervindt.Copitano schreef op zaterdag 11 februari 2023 @ 16:54:
[...]
Nee, recentelijk niets toegevoegd. Dit draait eigenlijk al 2 jaar zo op de eMMC en daarvoor al 3 jaar op een 64GB kwaliteit SD kaart. Toegevoegd is er de laatste twee jaar eigenlijk niets.
Je grafieken laten zien dat het geheugengebruik rond 1:10 uur omhoog gaat en dan maar langzaam afneemt. Welke versie van Go gebruik je? Go versie 1.12 t/m 1.16 maakt gebruikt van MADV_FREE zodat het daadwerkelijke geheugengebruik lager is dan wat je in de grafiek ziet (hier wordt MADV_FREE uitgebreider uitgelegd). In dat geval kun je een andere versie van Go of de optie madvdontneed=1 gebruiken om nauwkeurige geheugengrafieken te maken.
De logbestanden die je hebt gepost laten zien dat het even voor 5 uur 's nachts fout gaat. Draait er rond die tijd een cronjob?
Dus veel schrijven naar zo'n ding is funest.
Dat betekent
Het gebeurt
Dit verandert
Wat bepaalt
Dat het geheugengebruik rond 5 uur wel eens flink oploopt had ik al eens eerder opgemerkt en gekeken of er een of andere cronjob zou kunnen draaien waar ik niet van weet.fopjurist schreef op zaterdag 11 februari 2023 @ 17:13:
[...]
Er is niets dat op problemen met je eMMC kaartje wijst. Het kan interessant zijn om te bekijken hoeveel data je dagelijks wegschrijft en in te schatten hoeveel jaar het kaartje het uit zou moeten halen, maar dat helpt niet bij de crashes die je nu ondervindt.
Je grafieken laten zien dat het geheugengebruik rond 1:10 uur omhoog gaat en dan maar langzaam afneemt. Welke versie van Go gebruik je? Go versie 1.12 t/m 1.16 maakt gebruikt van MADV_FREE zodat het daadwerkelijke geheugengebruik lager is dan wat je in de grafiek ziet (hier wordt MADV_FREE uitgebreider uitgelegd). In dat geval kun je een andere versie van Go of de optie madvdontneed=1 gebruiken om nauwkeurige geheugengrafieken te maken.
De logbestanden die je hebt gepost laten zien dat het even voor 5 uur 's nachts fout gaat. Draait er rond die tijd een cronjob?
Maar voor zover ik met met crontab -e en sudo crontab -e kan zien niet. Zijn er nog meer?
Wat is Go?
Oh ja, en eerder draaide mijn backup naar een USB stick wel via een cronjob. Maar die starte altijd precies om 01:00 en duurde ongeveer 5 minuten op kortstondig op 80% en het geheugengebruik nam dan af naar 30% om dan weer langzaam naar de 40% te gaan. Dat gaf eigenlijk nooit een probleem.
[Voor 8% gewijzigd door Copitano op 11-02-2023 17:26]
Elga | Valliant eco TEC plus VHR 30-34/5-5L | Kamstrup 602 |Nodo OTGW | Raspberry Pi 3B+/4B+|RFXcom rfxtrx433xl | UniFi netwerk | PVoutput 8.625 kWp
In /etc/crontab en onder /etc/cron.d/ kunnen nog meer crons staan. Go is de programmeertaal waarin Influxdb is geschreven. Met "dpkg -l" kun je de versie zien.Copitano schreef op zaterdag 11 februari 2023 @ 17:20:
[...]
Dat het geheugengebruik rond 5 uur wel eens flink oploopt had ik al eens eerder opgemerkt en gekeken of er een of andere cronjob zou kunnen draaien waar ik niet van weet.
Maar voor zover ik met met crontab -e en sudo crontab -e kan zien niet. Zijn er nog meer?
Wat is Go?
dan is het dezefopjurist schreef op zaterdag 11 februari 2023 @ 17:25:
[...]
In /etc/crontab en onder /etc/cron.d/ kunnen nog meer crons staan. Go is de programmeertaal waarin Influxdb is geschreven. Met "dpkg -l" kun je de versie zien.
1
| rc golang-go 2:1.7~5 armhf Go programming language compiler, linker, compiled stdlib |
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
| # /etc/crontab: system-wide crontab # Unlike any other crontab you don't have to run the `crontab' # command to install the new version when you edit this file # and files in /etc/cron.d. These files also have username fields, # that none of the other crontabs do. SHELL=/bin/sh PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin # m h dom mon dow user command 17 * * * * root cd / && run-parts --report /etc/cron.hourly 25 6 * * * root test -x /usr/sbin/anacron || ( cd / && run-parts --report /etc/cron.daily ) 47 6 * * 7 root test -x /usr/sbin/anacron || ( cd / && run-parts --report /etc/cron.weekly ) 52 6 1 * * root test -x /usr/sbin/anacron || ( cd / && run-parts --report /etc/cron.monthly ) #0 5 * * * root reboot #0 17 * * * root reboot # |
de crontab.d is leeg
[Voor 48% gewijzigd door Copitano op 11-02-2023 17:37]
Elga | Valliant eco TEC plus VHR 30-34/5-5L | Kamstrup 602 |Nodo OTGW | Raspberry Pi 3B+/4B+|RFXcom rfxtrx433xl | UniFi netwerk | PVoutput 8.625 kWp
Ehhh, bedoel je fdisk?The Eagle schreef op zaterdag 11 februari 2023 @ 17:04:
Verder zou ik echt eens een fsck op je storage uitvoeren. Er moet een reden zijn waarom de disk io mis gaat.
En ja, als ik verder omhoog scroll kom ik die cache melding vaker tegen in aanloop naar de crash.
[Voor 16% gewijzigd door Copitano op 11-02-2023 17:43]
Elga | Valliant eco TEC plus VHR 30-34/5-5L | Kamstrup 602 |Nodo OTGW | Raspberry Pi 3B+/4B+|RFXcom rfxtrx433xl | UniFi netwerk | PVoutput 8.625 kWp
Je gebruikt Go 1.7 uit 2016. Nieuwere versies hebben allerlei verbeteringen waaronder op het gebied van geheugengebruik. Via "apt update" en "dist-upgrade" kun je raspbian updaten. Je moet dist-upgrade mogelijk meerdere keren draaien om bij de laatste versie uit te komen.
sudo apt-get update && sudo apt-get upgrade of sudo apt update && sudo apt upgrade doe ik regelmatig dus ik ga nu eens de dist-upgrade proberenfopjurist schreef op zaterdag 11 februari 2023 @ 18:19:
Er is geen cron die specifiek rond 5.00 draait.
Je gebruikt Go 1.7 uit 2016. Nieuwere versies hebben allerlei verbeteringen waaronder op het gebied van geheugengebruik. Via "apt update" en "dist-upgrade" kun je raspbian updaten. Je moet dist-upgrade mogelijk meerdere keren draaien om bij de laatste versie uit te komen.

Moet ik net als bij apt ook nog eerst dist-update doen voor dist upgrade?
[Voor 5% gewijzigd door Copitano op 11-02-2023 18:25]
Elga | Valliant eco TEC plus VHR 30-34/5-5L | Kamstrup 602 |Nodo OTGW | Raspberry Pi 3B+/4B+|RFXcom rfxtrx433xl | UniFi netwerk | PVoutput 8.625 kWp
Lees dit als: Oh f*k ik moet een file system check doenCopitano schreef op zaterdag 11 februari 2023 @ 17:41:
[...]
Ehhh, bedoel je fdisk?
En ja, als ik verder omhoog scroll kom ik die cache melding vaker tegen in aanloop naar de crash.


Fdisk kan ook, maar dat lijkt me in de verkeerde handen wat rigoreus

Al is het nieuws nog zo slecht, het wordt leuker als je het op zijn Brabants zegt :)
Okeeeee, jargon is nog niet mijn sterkste kantbiomass schreef op zaterdag 11 februari 2023 @ 18:41:
[...]
Lees dit als: Oh f*k ik moet een file system check doen

Ik stam nog uit het MS DOS 5 tijdperk en daarna helemaal verpest door het gemak van Windows 3.0

Ehhh en verder

Elga | Valliant eco TEC plus VHR 30-34/5-5L | Kamstrup 602 |Nodo OTGW | Raspberry Pi 3B+/4B+|RFXcom rfxtrx433xl | UniFi netwerk | PVoutput 8.625 kWp
1
2
3
4
5
6
7
8
9
10
11
12
| pi@raspberrypi:~ $ fsck fsck from util-linux 2.33.1 e2fsck 1.44.5 (15-Dec-2018) /dev/mmcblk0p2 is aangekoppeld. **WAARSCHUWING**!!! Het bestandssysteem is aangekoppeld! Als u doorgaat **ZAL** dit tot **ZWARE** beschadigingen leiden. Wilt u echt doorgaan<n>? |
Elga | Valliant eco TEC plus VHR 30-34/5-5L | Kamstrup 602 |Nodo OTGW | Raspberry Pi 3B+/4B+|RFXcom rfxtrx433xl | UniFi netwerk | PVoutput 8.625 kWp
Ja, makkelijkst is als single user starten zonder mounts.biomass schreef op zaterdag 11 februari 2023 @ 19:15:
..zou het ook gewoon met je PI moeten kunnen.
Duct tape can't fix stupid, but it can muffle the sound.
Er is niets dat wijst op issues met storage. Als je kernel/filesystem driver niet klaagt over een corrupt filesystem dan is een fsck meestal ook zinloos.The Eagle schreef op zaterdag 11 februari 2023 @ 17:04:
Verder zou ik echt eens een fsck op je storage uitvoeren. Er moet een reden zijn waarom de disk io mis gaat.
Je ziet over 't hoofd dat InfluxDB als third party binary wordt gedistribueerd, de versie van de golang toolchain op *bian zegt dus niets - naar alle waarschijnlijkheid gebruiken ze bij Influx een relatief recente golang-versie.fopjurist schreef op zaterdag 11 februari 2023 @ 18:19:
Je gebruikt Go 1.7 uit 2016.
@Copitano Misschien kan ik gewoon goed Googlen, maar ik vind met één goede zoekactie legio issues op Influx's GitHub die wijzen op databaselimieten op 32 bits OS'es.
Large database support for 32bit systems
Compaction crash loops and data loss on Raspberry Pi 3 B+ under minimal load
Tijd voor een 64-bits kernel, of deze patched branch bouwen.Currently, influx memory maps all TSM files into its userland address space. On 64 bit architectures, this not a problem because the userland address space is huge. On 32 bit architectures, it can be between 2 and 3.4 GB, depending on the system. When the TSM files approach this limit, Influx fails with "Cannot allocate memory" errors.
[Voor 4% gewijzigd door Thralas op 11-02-2023 19:55]
1
2
3
4
5
6
7
8
9
10
11
12
| Search "error" (10 hits in 1 file of 1 searched) new 15 (10 hits) Line 3: Feb 10 04:59:34 raspberrypi influxd-systemd-start.sh[589]: ts=2023-02-10T03:59:34.371237Z lvl=info msg="Error adding new TSM files from snapshot. Removing temp files." log_id=0fuQyrQW000 engine=tsm1 trace_id=0fvNVUyG000 op_name=tsm1_cac$ Line 5: Feb 10 04:59:34 raspberrypi influxd-systemd-start.sh[589]: ts=2023-02-10T03:59:34.371491Z lvl=info msg="Error writing snapshot" log_id=0fuQyrQW000 engine=tsm1 error="cannot allocate memory" Line 5: Feb 10 04:59:34 raspberrypi influxd-systemd-start.sh[589]: ts=2023-02-10T03:59:34.371491Z lvl=info msg="Error writing snapshot" log_id=0fuQyrQW000 engine=tsm1 error="cannot allocate memory" Line 7: Feb 10 04:59:35 raspberrypi influxd-systemd-start.sh[589]: ts=2023-02-10T03:59:35.613552Z lvl=info msg="Error adding new TSM files from snapshot. Removing temp files." log_id=0fuQyrQW000 engine=tsm1 trace_id=0fvNVYsG000 op_name=tsm1_cac$ Line 9: Feb 10 04:59:35 raspberrypi influxd-systemd-start.sh[589]: ts=2023-02-10T03:59:35.613962Z lvl=info msg="Error writing snapshot" log_id=0fuQyrQW000 engine=tsm1 error="cannot allocate memory" Line 9: Feb 10 04:59:35 raspberrypi influxd-systemd-start.sh[589]: ts=2023-02-10T03:59:35.613962Z lvl=info msg="Error writing snapshot" log_id=0fuQyrQW000 engine=tsm1 error="cannot allocate memory" Line 13: Feb 10 04:59:36 raspberrypi influxd-systemd-start.sh[589]: ts=2023-02-10T03:59:36.812082Z lvl=info msg="Error adding new TSM files from snapshot. Removing temp files." log_id=0fuQyrQW000 engine=tsm1 trace_id=0fvNVbmW000 op_name=tsm1_cac$ Line 15: Feb 10 04:59:36 raspberrypi influxd-systemd-start.sh[589]: ts=2023-02-10T03:59:36.817264Z lvl=info msg="Error writing snapshot" log_id=0fuQyrQW000 engine=tsm1 error="cannot allocate memory" Line 15: Feb 10 04:59:36 raspberrypi influxd-systemd-start.sh[589]: ts=2023-02-10T03:59:36.817264Z lvl=info msg="Error writing snapshot" log_id=0fuQyrQW000 engine=tsm1 error="cannot allocate memory" Line 19: Feb 10 04:59:37 raspberrypi influxd-systemd-start.sh[589]: fatal error: out of memory |
Het influxd-systemd-start.sh script klaagt dat een aaneengesloten vrij blok van 4210688 bytes (4.02 MB) niet gevonden kon worden. Het influxdb proces was toen 514.125 MB groot. Switchen naar een bredere architectuur lijkt me niet de directe oplossing, tenzij die x64 builds netter omgaan met geheugengebruik. Door de combinatie van applicaties kan het geheugen blijkbaar zo gefragmenteerd worden dat je geen vrije blokken van 4MB meer kan vinden. Upgraden van alle software naar de laatste versies op 32 bit zou al moeten helpen, en anders kan je natuurlijk altijd naar een PI gaan met meer geheugen... (kuch, nou misschien niet in Q1 2023)
Ik vrees dat je fout zit.biomass schreef op zaterdag 11 februari 2023 @ 20:12:
Switchen naar een bredere architectuur lijkt me niet de directe oplossing, tenzij die x64 builds netter omgaan met geheugengebruik. Door de combinatie van applicaties kan het geheugen blijkbaar zo gefragmenteerd worden dat je geen vrije blokken van 4MB meer kan vinden.
Fysieke pages zijn (meestal) 4k en kunnen best gefragmenteerd zijn, dat is nu juist de truuk van virtual memory - het lijkt aaneengesloten voor de gebruiker maar dat is het fysiek niet.
Het feit dat zelfs 4 MB alloceren niet meer lukt is nu juist een aanwijzing dat er iets anders aan de hand is.
Als het systeem oom ging, dan was influx allang opgeofferd door de OOM killer. Kan geen kwaad voor TS om dat alsnog te controleren in de kernel logs, maar ten tijde van de screenshots is er nog ruim 900 MB vrij (incl. swap).
Wat gaat er wel fout? Precies wat in de eerder gelinkte issues staat: tijdens compaction memory mapt Influx alle TSM files. Je kunt ook in de screenshots terugzien dat hij 2 GB+ gemapped heeft (zie VIRT) en dat is niet eens tijdens compaction.
Een 32-bits systeem kan 4 GB addresseren, waarvan een gedeelte voor de kernel is gereserveerd. Meer dan 3 GB address space heb je niet, en dat is wat er hier waarschijnlijk op raakt waardoor je ook je 4 MB 'regulier' geheugen niet meer kan mappen.
Dat vind ik niet erg hoor, het ging mij er meer om dat zelfs als je van 32 bit naar 64 bit gaat, je het met dezelfde hoeveelheid RAM moet doen. De allocatie problemen zullen wel verdwijnen, maar je gaat steeds meer in swap stoppen zo. En dan moet je ook echt de flashdisks die je gebruikt in de gaten houden. Ik weet wel dat het knap vervelend is om een apparaat compleet nieuw in te stellen als je allerlei smarthome regeltjes in dat device hebt gestopt..

Ik zal morgen even de log bekijken.
Maar die "cannot allocate memory" lijkt me wel duidelijk.
Misschien is het een optie om de index-version van inmem naar tsi1 te zetten. Dan wordt de cache niet in geheugen gehouden maar op disk geschreven. Dan moet die disk wel stabiel en betrouwbaar zijn maar dan krijg je wel weer meer geheugen vrij.
https://docs.influxdata.c...administration/upgrading/
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
| pi@raspberrypi:~ $ systemctl status influxdb * influxdb.service - InfluxDB is an open-source, distributed, time series databa Loaded: loaded (/lib/systemd/system/influxdb.service; enabled; vendor preset: Active: activating (start) since Sun 2023-02-12 11:42:39 CET; 50s ago Docs: https://docs.influxdata.com/influxdb/ Cntrl PID: 1608 (influxd-systemd) Tasks: 15 (limit: 2164) CGroup: /system.slice/influxdb.service |-1608 /bin/bash -e /usr/lib/influxdb/scripts/influxd-systemd-start.s |-1609 /usr/bin/influxd -config /etc/influxdb/influxdb.conf `-2317 sleep 1 feb 12 11:43:28 raspberrypi influxd-systemd-start.sh[1608]: ts=2023-02-12T10:43: feb 12 11:43:29 raspberrypi influxd-systemd-start.sh[1608]: ts=2023-02-12T10:43: feb 12 11:43:29 raspberrypi influxd-systemd-start.sh[1608]: InfluxDB API unavail feb 12 11:43:29 raspberrypi influxd-systemd-start.sh[1608]: ts=2023-02-12T10:43: feb 12 11:43:29 raspberrypi influxd-systemd-start.sh[1608]: ts=2023-02-12T10:43: feb 12 11:43:29 raspberrypi influxd-systemd-start.sh[1608]: ts=2023-02-12T10:43: feb 12 11:43:29 raspberrypi influxd-systemd-start.sh[1608]: ts=2023-02-12T10:43: feb 12 11:43:30 raspberrypi influxd-systemd-start.sh[1608]: ts=2023-02-12T10:43: feb 12 11:43:30 raspberrypi influxd-systemd-start.sh[1608]: InfluxDB API unavail feb 12 11:43:30 raspberrypi influxd-systemd-start.sh[1608]: ts=2023-02-12T10:43: feb 12 11:43:30 raspberrypi influxd-systemd-start.sh[1608]: ts=2023-02-12T10:43: lines 1-22/22 (END)...skipping... * influxdb.service - InfluxDB is an open-source, distributed, time series database Loaded: loaded (/lib/systemd/system/influxdb.service; enabled; vendor preset: enabled) Active: activating (start) since Sun 2023-02-12 11:42:39 CET; 50s ago Docs: https://docs.influxdata.com/influxdb/ Cntrl PID: 1608 (influxd-systemd) Tasks: 15 (limit: 2164) CGroup: /system.slice/influxdb.service |-1608 /bin/bash -e /usr/lib/influxdb/scripts/influxd-systemd-start.sh |-1609 /usr/bin/influxd -config /etc/influxdb/influxdb.conf `-2317 sleep 1 feb 12 11:43:28 raspberrypi influxd-systemd-start.sh[1608]: ts=2023-02-12T10:43:28.832137Z lvl=info msg="Reading file" log_id=0fyJM_nG000 engine feb 12 11:43:29 raspberrypi influxd-systemd-start.sh[1608]: ts=2023-02-12T10:43:29.018163Z lvl=info msg="Reading file" log_id=0fyJM_nG000 engine feb 12 11:43:29 raspberrypi influxd-systemd-start.sh[1608]: InfluxDB API unavailable after 47 attempts... feb 12 11:43:29 raspberrypi influxd-systemd-start.sh[1608]: ts=2023-02-12T10:43:29.203105Z lvl=info msg="Reading file" log_id=0fyJM_nG000 engine feb 12 11:43:29 raspberrypi influxd-systemd-start.sh[1608]: ts=2023-02-12T10:43:29.394602Z lvl=info msg="Reading file" log_id=0fyJM_nG000 engine feb 12 11:43:29 raspberrypi influxd-systemd-start.sh[1608]: ts=2023-02-12T10:43:29.610753Z lvl=info msg="Reading file" log_id=0fyJM_nG000 engine feb 12 11:43:29 raspberrypi influxd-systemd-start.sh[1608]: ts=2023-02-12T10:43:29.811418Z lvl=info msg="Reading file" log_id=0fyJM_nG000 engine feb 12 11:43:30 raspberrypi influxd-systemd-start.sh[1608]: ts=2023-02-12T10:43:30.005960Z lvl=info msg="Reading file" log_id=0fyJM_nG000 engine feb 12 11:43:30 raspberrypi influxd-systemd-start.sh[1608]: InfluxDB API unavailable after 48 attempts... feb 12 11:43:30 raspberrypi influxd-systemd-start.sh[1608]: ts=2023-02-12T10:43:30.194426Z lvl=info msg="Reading file" log_id=0fyJM_nG000 engine feb 12 11:43:30 raspberrypi influxd-systemd-start.sh[1608]: ts=2023-02-12T10:43:30.416784Z lvl=info msg="Reading file" log_id=0fyJM_nG000 engine ~ ~ ~ ~ enz. |
En ik heb het even tijd gegeven maar er lijkt nog weinig te zijn gebeurd.
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
| pi@raspberrypi:~ $ systemctl status influxdb * influxdb.service - InfluxDB is an open-source, distributed, time series database Loaded: loaded (/lib/systemd/system/influxdb.service; enabled; vendor preset: enabled) Active: activating (start) since Sun 2023-02-12 12:23:21 CET; 1min 6s ago Docs: https://docs.influxdata.com/influxdb/ Cntrl PID: 3846 (influxd-systemd) Tasks: 14 (limit: 2164) CGroup: /system.slice/influxdb.service |-3846 /bin/bash -e /usr/lib/influxdb/scripts/influxd-systemd-start.sh |-3847 /usr/bin/influxd -config /etc/influxdb/influxdb.conf `-4799 sleep 1 feb 12 12:24:25 raspberrypi influxd-systemd-start.sh[3846]: ts=2023-02-12T11:24:25.703893Z lvl=info msg="Reading file" log_id=0fyLga00000 engine feb 12 12:24:25 raspberrypi influxd-systemd-start.sh[3846]: ts=2023-02-12T11:24:25.901922Z lvl=info msg="Reading file" log_id=0fyLga00000 engine feb 12 12:24:26 raspberrypi influxd-systemd-start.sh[3846]: ts=2023-02-12T11:24:26.105940Z lvl=info msg="Reading file" log_id=0fyLga00000 engine feb 12 12:24:26 raspberrypi influxd-systemd-start.sh[3846]: ts=2023-02-12T11:24:26.317127Z lvl=info msg="Reading file" log_id=0fyLga00000 engine feb 12 12:24:26 raspberrypi influxd-systemd-start.sh[3846]: ts=2023-02-12T11:24:26.523621Z lvl=info msg="Reading file" log_id=0fyLga00000 engine feb 12 12:24:26 raspberrypi influxd-systemd-start.sh[3846]: ts=2023-02-12T11:24:26.731423Z lvl=info msg="Reading file" log_id=0fyLga00000 engine feb 12 12:24:26 raspberrypi influxd-systemd-start.sh[3846]: InfluxDB API unavailable after 62 attempts... feb 12 12:24:26 raspberrypi influxd-systemd-start.sh[3846]: ts=2023-02-12T11:24:26.919782Z lvl=info msg="Reading file" log_id=0fyLga00000 engine feb 12 12:24:27 raspberrypi influxd-systemd-start.sh[3846]: ts=2023-02-12T11:24:27.104390Z lvl=info msg="Reading file" log_id=0fyLga00000 engine feb 12 12:24:27 raspberrypi influxd-systemd-start.sh[3846]: ts=2023-02-12T11:24:27.289718Z lvl=info msg="Reading file" log_id=0fyLga00000 engine feb 12 12:24:27 raspberrypi influxd-systemd-start.sh[3846]: ts=2023-02-12T11:24:27.514553Z lvl=info msg="Reading file" log_id=0fyLga00000 engine lines 1-22/22 (END) |
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
| pi@raspberrypi:~ $ sudo service influxdb restart Job for influxdb.service failed because a timeout was exceeded. See "systemctl status influxdb.service" and "journalctl -xe" for details. pi@raspberrypi:~ $ systemctl status influxdb.service * influxdb.service - InfluxDB is an open-source, distributed, time series database Loaded: loaded (/lib/systemd/system/influxdb.service; enabled; vendor preset: enabled) Active: activating (start) since Sun 2023-02-12 12:33:25 CET; 15s ago Docs: https://docs.influxdata.com/influxdb/ Cntrl PID: 12048 (influxd-systemd) Tasks: 15 (limit: 2164) CGroup: /system.slice/influxdb.service |-12048 /bin/bash -e /usr/lib/influxdb/scripts/influxd-systemd-start.sh |-12049 /usr/bin/influxd -config /etc/influxdb/influxdb.conf `-12267 sleep 1 feb 12 12:33:30 raspberrypi influxd-systemd-start.sh[12048]: InfluxDB API unavailable after 6 attempts... feb 12 12:33:31 raspberrypi influxd-systemd-start.sh[12048]: InfluxDB API unavailable after 7 attempts... feb 12 12:33:32 raspberrypi influxd-systemd-start.sh[12048]: InfluxDB API unavailable after 8 attempts... feb 12 12:33:34 raspberrypi influxd-systemd-start.sh[12048]: InfluxDB API unavailable after 9 attempts... feb 12 12:33:35 raspberrypi influxd-systemd-start.sh[12048]: InfluxDB API unavailable after 10 attempts... feb 12 12:33:35 raspberrypi influxd-systemd-start.sh[12048]: ts=2023-02-12T11:33:35.798229Z lvl=info msg="Reading file" log_id=0fyMGSYG000 engin feb 12 12:33:36 raspberrypi influxd-systemd-start.sh[12048]: InfluxDB API unavailable after 11 attempts... feb 12 12:33:37 raspberrypi influxd-systemd-start.sh[12048]: InfluxDB API unavailable after 12 attempts... feb 12 12:33:38 raspberrypi influxd-systemd-start.sh[12048]: InfluxDB API unavailable after 13 attempts... feb 12 12:33:39 raspberrypi influxd-systemd-start.sh[12048]: InfluxDB API unavailable after 14 attempts... |
Uit de /tmp/ psoutput
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
| top - [b]01:59:45[/b] up 1 day, 14:37, 2 users, load average: 1,23, 1,18, 1,00 Tasks: 177 total, 1 running, 176 sleeping, 0 stopped, 0 zombie %Cpu(s): 2,2 us, 6,7 sy, 0,0 ni, 91,0 id, 0,0 wa, 0,0 hi, 0,0 si, 0,0 st MiB Mem : 966,8 total, 357,9 free, 328,6 used, 280,4 buff/cache MiB Swap: 1064,0 total, 818,1 free, 245,9 used. 661,8 avail Mem PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND 20936 influxdb 20 0 2067460 217364 22416 S 0,0 22,0 132:43.83 influxd 693 root 20 0 374088 50620 12532 S 0,0 5,1 775:46.89 domoticz 571 grafana 20 0 972124 20688 11712 S 0,0 2,1 8:56.94 grafana-s+ top - [b]03:31:09[/b] up 1 day, 16:08, 1 user, load average: 2,06, 2,19, 2,66 Tasks: 179 total, 1 running, 178 sleeping, 0 stopped, 0 zombie %Cpu(s): 53,6 us, 8,7 sy, 0,0 ni, 37,7 id, 0,0 wa, 0,0 hi, 0,0 si, 0,0 st MiB Mem : 966,8 total, 175,2 free, 363,5 used, 428,1 buff/cache MiB Swap: 1064,0 total, 837,6 free, 226,4 used. 540,6 avail Mem PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND 11690 influxdb 20 0 2068212 389904 124092 S 171,6 39,4 1:21.20 influxd 693 root 20 0 365892 44908 9428 S 50,0 4,5 804:32.00 domoticz top - [b]05:01:48[/b] up 1 day, 17:39, 1 user, load average: 2,03, 2,33, 2,36 Tasks: 178 total, 1 running, 177 sleeping, 0 stopped, 0 zombie %Cpu(s): 46,4 us, 5,8 sy, 0,0 ni, 47,6 id, 0,0 wa, 0,0 hi, 0,1 si, 0,0 st MiB Mem : 966,8 total, 110,5 free, 409,8 used, 446,5 buff/cache MiB Swap: 1064,0 total, 837,8 free, 226,2 used. 494,5 avail Mem PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND 22210 influxdb 20 0 2069108 448380 122168 S 165,3 45,3 1:41.44 influxd 693 root 20 0 365776 45092 9840 S 26,7 4,6 833:13.68 domoticz top - [b]06:32:15[/b] up 1 day, 19:10, 1 user, load average: 2,31, 2,35, 2,36 Tasks: 177 total, 2 running, 175 sleeping, 0 stopped, 0 zombie %Cpu(s): 26,0 us, 1,0 sy, 0,0 ni, 72,6 id, 0,1 wa, 0,0 hi, 0,2 si, 0,0 st MiB Mem : 966,8 total, 152,2 free, 394,4 used, 420,3 buff/cache MiB Swap: 1064,0 total, 844,6 free, 219,4 used. 496,0 avail Mem PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND 32639 influxdb 20 0 2068468 409432 123016 R 100,0 41,4 1:38.60 influxd 693 root 20 0 364120 42592 9512 S 0,0 4,3 861:45.77 domoticz top - [b]08:02:58[/b] up 1 day, 20:40, 1 user, load average: 2,27, 2,53, 2,43 Tasks: 178 total, 1 running, 177 sleeping, 0 stopped, 0 zombie %Cpu(s): 32,7 us, 6,4 sy, 0,0 ni, 59,3 id, 1,5 wa, 0,0 hi, 0,1 si, 0,0 st MiB Mem : 966,8 total, 27,6 free, 489,8 used, 449,4 buff/cache MiB Swap: 1064,0 total, 841,4 free, 222,6 used. 407,0 avail Mem PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND 9198 influxdb 20 0 2070652 503764 122824 S 95,0 50,9 2:01.74 influxd 693 root 20 0 364624 44980 9880 S 42,6 4,5 889:47.50 domoticz top - 09:33:32 up 1 day, 22:11, 1 user, load average: 2,44, 2,35, 2,41 Tasks: 180 total, 3 running, 177 sleeping, 0 stopped, 0 zombie %Cpu(s): 41,2 us, 10,4 sy, 0,0 ni, 47,1 id, 0,2 wa, 0,0 hi, 1,0 si, 0,0 st MiB Mem : 966,8 total, 27,3 free, 523,8 used, 415,7 buff/cache MiB Swap: 1064,0 total, 844,1 free, 219,9 used. 384,5 avail Mem PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND 693 root 20 0 367620 57176 9852 S 36,0 5,8 919:36.66 domoticz 21442 influxdb 20 0 885592 23712 18916 R 5,4 2,4 0:00.11 influxd |
Elga | Valliant eco TEC plus VHR 30-34/5-5L | Kamstrup 602 |Nodo OTGW | Raspberry Pi 3B+/4B+|RFXcom rfxtrx433xl | UniFi netwerk | PVoutput 8.625 kWp
Welke versie van influx draai je overigens?
influx --version
(ik wilde even dezelfde versie hier op een oude pi met 1GB zetten en kijken of omschakelen naar tsi1 helpt)
Verder is output van SHOW DIAGNOSTICS handig.
(daar staan ook de config waardes in)
De cache-max-memory-size zou natuurlijk niet op 1 GB mogen staan want dat heeft je RPI niet eens.
[Voor 23% gewijzigd door rvk op 12-02-2023 13:12]
https://community.influxd...t-on-raspberry-pi/12591/2
Als dat niet werkt kun je die inmem naar tsi1 veranderen, maar dan moet je volgens mij nog wat extra stappen doen zoals de index opnieuw opbouwen.
Het is versie 1.8.10rvk schreef op zondag 12 februari 2023 @ 13:11:
Dan vraag ik me af of je nu bij het opstarten (en tijdens het verwerken van de wal) op een gegeven moment memory problemen krijgt.
Welke versie van influx draai je overigens?
influx --version
(ik wilde even dezelfde versie hier op een oude pi met 1GB zetten en kijken of omschakelen naar tsi1 helpt)
Verder is output van SHOW DIAGNOSTICS handig.
(daar staan ook de config waardes in)
De cache-max-memory-size zou natuurlijk niet op 1 GB mogen staan want dat heeft je RPI niet eens.
Heb zojuist ook even de laaste 1000 regels van daemon.log er uit gehaald. Maar lijkt te groot om hier toe te voegen. Krijg een Error bij verzenden
Elga | Valliant eco TEC plus VHR 30-34/5-5L | Kamstrup 602 |Nodo OTGW | Raspberry Pi 3B+/4B+|RFXcom rfxtrx433xl | UniFi netwerk | PVoutput 8.625 kWp
voor SHOW DIAGNOSTICS moet ik toch influx kunnen benaderen in de CLI. Ik heb nog even gewacht met weggooien van 'wal' en kom er dus nog niet in.rvk schreef op zondag 12 februari 2023 @ 13:11:
Dan vraag ik me af of je nu bij het opstarten (en tijdens het verwerken van de wal) op een gegeven moment memory problemen krijgt.
Welke versie van influx draai je overigens?
influx --version
(ik wilde even dezelfde versie hier op een oude pi met 1GB zetten en kijken of omschakelen naar tsi1 helpt)
Verder is output van SHOW DIAGNOSTICS handig.
(daar staan ook de config waardes in)
De cache-max-memory-size zou natuurlijk niet op 1 GB mogen staan want dat heeft je RPI niet eens.
Weggooien?
Elga | Valliant eco TEC plus VHR 30-34/5-5L | Kamstrup 602 |Nodo OTGW | Raspberry Pi 3B+/4B+|RFXcom rfxtrx433xl | UniFi netwerk | PVoutput 8.625 kWp
Elga | Valliant eco TEC plus VHR 30-34/5-5L | Kamstrup 602 |Nodo OTGW | Raspberry Pi 3B+/4B+|RFXcom rfxtrx433xl | UniFi netwerk | PVoutput 8.625 kWp
Ik dacht eraan om influxd handmatig te runnen en zijn werk te laten doen.
Maar we kunnen ook de timeout aanpassen.
Heb je ergens onderin de sudo service influxdb status staan dat er een timeout is?
Mijn probleem vorige week op een oude PI was dit:
1
2
3
4
5
6
7
| Feb 5 15:00:43 space44 influxd-systemd-start.sh[454]: InfluxDB API unavailable after 79 attempts... Feb 5 15:00:44 space44 influxd-systemd-start.sh[454]: InfluxDB API unavailable after 80 attempts... Feb 5 15:00:44 space44 systemd[1]: influxdb.service: start operation timed out. Terminating. Feb 5 15:00:44 space44 systemd[1]: influxdb.service: Failed with result 'timeout'. Feb 5 15:00:44 space44 systemd[1]: Failed to start InfluxDB is an open-source, distributed, time series database. Feb 5 15:00:44 space44 systemd[1]: influxdb.service: Consumed 1min 41.657s CPU time. Feb 5 15:00:44 space44 systemd[1]: Reached target Multi-User System. |
Je kunt dan de regel TimeoutStartSec=120 toevoegen aan de service.
Nu probeert het service-systeem influx te starten maar de standaard timeout hiervoor is 60 seconden.
Dit is te kort voor influx om de wal te lezen. Ik zou hem dan ook gewoon eens op 120 of zelfs 300 zetten en zijn werk te laten doen.
Wel zou ik ook nog even die cache-max-memory-size op "512m" zetten want die 1GB is echt teveel.
nano /etc/influxdb/influxdb.conf
1
2
| # cache-max-memory-size = "1g" cache-max-memory-size = "512m" |
CTRL+X en opslaan
nano /etc/systemd/system/influxd.service
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
| # If you modify this, please also make sure to edit init.sh [Unit] Description=InfluxDB is an open-source, distributed, time series database Documentation=https://docs.influxdata.com/influxdb/ After=network-online.target [Service] User=influxdb Group=influxdb LimitNOFILE=65536 EnvironmentFile=-/etc/default/influxdb ExecStart=/usr/lib/influxdb/scripts/influxd-systemd-start.sh KillMode=control-group Restart=on-failure Type=forking PIDFile=/var/lib/influxdb/influxd.pid TimeoutStartSec=300 [Install] WantedBy=multi-user.target Alias=influxd.service |
CTRL+X en opslaan
Je moet daarna een reload doen
sudo systemctl daemon-reload
sudo service influxdb start
En dan met sudo service influxdb status kijken tot hoever hij loopt.
(of met tail -n100 daemon.log)
(nu even mijn middagwandelingetje maken

[Voor 19% gewijzigd door rvk op 12-02-2023 13:47]
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
| pi@raspberrypi:/ $ sudo service influxdb status * influxdb.service - InfluxDB is an open-source, distributed, time series database Loaded: loaded (/lib/systemd/system/influxdb.service; enabled; vendor preset: enabled) Active: activating (start) since Sun 2023-02-12 13:48:26 CET; 1min 10s ago Docs: https://docs.influxdata.com/influxdb/ Cntrl PID: 12559 (influxd-systemd) Tasks: 14 (limit: 2164) CGroup: /system.slice/influxdb.service |-12559 /bin/bash -e /usr/lib/influxdb/scripts/influxd-systemd-start.sh |-12560 /usr/bin/influxd -config /etc/influxdb/influxdb.conf `-13556 sleep 1 feb 12 13:49:35 raspberrypi influxd-systemd-start.sh[12559]: ts=2023-02-12T12:49:35.053122Z lvl=info msg="Reading file" log_id=0fyQZDOW000 engin feb 12 13:49:35 raspberrypi influxd-systemd-start.sh[12559]: ts=2023-02-12T12:49:35.235679Z lvl=info msg="Reading file" log_id=0fyQZDOW000 engin feb 12 13:49:35 raspberrypi influxd-systemd-start.sh[12559]: InfluxDB API unavailable after 65 attempts... feb 12 13:49:35 raspberrypi influxd-systemd-start.sh[12559]: ts=2023-02-12T12:49:35.425506Z lvl=info msg="Reading file" log_id=0fyQZDOW000 engin feb 12 13:49:35 raspberrypi influxd-systemd-start.sh[12559]: ts=2023-02-12T12:49:35.617658Z lvl=info msg="Reading file" log_id=0fyQZDOW000 engin feb 12 13:49:35 raspberrypi influxd-systemd-start.sh[12559]: ts=2023-02-12T12:49:35.803291Z lvl=info msg="Reading file" log_id=0fyQZDOW000 engin feb 12 13:49:35 raspberrypi influxd-systemd-start.sh[12559]: ts=2023-02-12T12:49:35.991377Z lvl=info msg="Reading file" log_id=0fyQZDOW000 engin feb 12 13:49:36 raspberrypi influxd-systemd-start.sh[12559]: ts=2023-02-12T12:49:36.179517Z lvl=info msg="Reading file" log_id=0fyQZDOW000 engin feb 12 13:49:36 raspberrypi influxd-systemd-start.sh[12559]: ts=2023-02-12T12:49:36.392077Z lvl=info msg="Reading file" log_id=0fyQZDOW000 engin feb 12 13:49:36 raspberrypi influxd-systemd-start.sh[12559]: InfluxDB API unavailable after 66 attempts... feb 12 13:49:36 raspberrypi influxd-systemd-start.sh[12559]: ts=2023-02-12T12:49:36.655279Z lvl=info msg="Reading file" log_id=0fyQZDOW000 engin lines 1-22/22 (END) |
Elga | Valliant eco TEC plus VHR 30-34/5-5L | Kamstrup 602 |Nodo OTGW | Raspberry Pi 3B+/4B+|RFXcom rfxtrx433xl | UniFi netwerk | PVoutput 8.625 kWp
De vraag is of die op een gegeven moment klaar is of dat de service de start hard afbreekt omdat de timeout van 60 seconden bereikt is. Vandaar die timeout override van 300/5 minuten. Hopelijk kan influx die wal in 5 minuten wel inlezen (en als de cache_max dan ook op 512 staat hoop ik dat de memory problemen verleden tijd zijn).
(Zoniet dan ga ik die inmem/tsi1 even uitzoeken)
[Voor 6% gewijzigd door rvk op 12-02-2023 13:56]
Ga eerst lekker je wandeling maken. Bij mij loopt op dit moment het diskimage proces naar de reserve eMMC. Je weet maar nooit waar het goed voor isrvk schreef op zondag 12 februari 2023 @ 13:54:
Ja, maar dan loopt ie nu nog.
De vraag is of die op een gegeven moment klaar is of dat de service de start hard afbreekt omdat de timeout van 60 seconden bereikt is. Vandaar die timeout override van 300/5 minuten. Hopelijk kan influx die wal in 5 minuten wel inlezen (en als de cache_max dan ook op 512 staat hoop ik dat de memory problemen verleden tijd zijn).

Zodra die klaar is ga ik de aanpassingen maken.
Elga | Valliant eco TEC plus VHR 30-34/5-5L | Kamstrup 602 |Nodo OTGW | Raspberry Pi 3B+/4B+|RFXcom rfxtrx433xl | UniFi netwerk | PVoutput 8.625 kWp
Die is het in ieder geval niet. De status "rc" geeft aan dat deze Removed is maar de Configuratie is nog aanwezig op je system. Was het een geinstalleerd package dan was de status "ii" geweest.Copitano schreef op zaterdag 11 februari 2023 @ 17:31:
[...]
dan is het deze
code:
1 rc golang-go 2:1.7~5 armhf Go programming language compiler, linker, compiled stdlib
dan moet er dus ook een andere (nieuwere) zijn?ninjazx9r98 schreef op zondag 12 februari 2023 @ 14:22:
[...]
Die is het in ieder geval niet. De status "rc" geeft aan dat deze Removed is maar de Configuratie is nog aanwezig op je system. Was het een geinstalleerd package dan was de status "ii" geweest.
Elga | Valliant eco TEC plus VHR 30-34/5-5L | Kamstrup 602 |Nodo OTGW | Raspberry Pi 3B+/4B+|RFXcom rfxtrx433xl | UniFi netwerk | PVoutput 8.625 kWp
Thralas in "Na 5 jaar vlekkeloos werken crashed Influxdb nu regelmatig"
Daar staat de vermoedelijke oorzaak van je probleem, en als bonus staat er ook nog waarom de versie van de go compiler niet relevant is.
Ik heb het opgelost door een default retention policy van 4 weken in te stellen. Oude data verdwijnt dan. Ik kijk eigenlijk nooit verder dan 7 dagen terug dus prima.
Ik archiveer alle data in csv bestanden, mocht ik ze nodig hebben...
Je kan ook nog Continuous Queries gebruiken om bv seconden waarden samen te vatten per 5 minuten (of uur ofzo) dat scheelt ook heel veel data opslag.
[Voor 26% gewijzigd door Kalentum op 12-02-2023 14:54]
Backup klaar. Aanpassingen gedaan. Influxdb is opgestart. Influxdb was er om 03:14 mee gestopt kennelijk. Dat moet ik dan nog even navlooiten in de daemon.log. Maar het draait voorlopig weer. Deze keer zonder de 'wal' weg te gooienrvk schreef op zondag 12 februari 2023 @ 13:43:
Nee nog even niet.
Ik dacht eraan om influxd handmatig te runnen en zijn werk te laten doen.
Maar we kunnen ook de timeout aanpassen.
Heb je ergens onderin de sudo service influxdb status staan dat er een timeout is?
Mijn probleem vorige week op een oude PI was dit:
code:
1 2 3 4 5 6 7 Feb 5 15:00:43 space44 influxd-systemd-start.sh[454]: InfluxDB API unavailable after 79 attempts... Feb 5 15:00:44 space44 influxd-systemd-start.sh[454]: InfluxDB API unavailable after 80 attempts... Feb 5 15:00:44 space44 systemd[1]: influxdb.service: start operation timed out. Terminating. Feb 5 15:00:44 space44 systemd[1]: influxdb.service: Failed with result 'timeout'. Feb 5 15:00:44 space44 systemd[1]: Failed to start InfluxDB is an open-source, distributed, time series database. Feb 5 15:00:44 space44 systemd[1]: influxdb.service: Consumed 1min 41.657s CPU time. Feb 5 15:00:44 space44 systemd[1]: Reached target Multi-User System.
Je kunt dan de regel TimeoutStartSec=120 toevoegen aan de service.
Nu probeert het service-systeem influx te starten maar de standaard timeout hiervoor is 60 seconden.
Dit is te kort voor influx om de wal te lezen. Ik zou hem dan ook gewoon eens op 120 of zelfs 300 zetten en zijn werk te laten doen.
Wel zou ik ook nog even die cache-max-memory-size op "512m" zetten want die 1GB is echt teveel.
nano /etc/influxdb/influxdb.conf
code:
1 2 # cache-max-memory-size = "1g" cache-max-memory-size = "512m"
CTRL+X en opslaan
nano /etc/systemd/system/influxd.service
code:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 # If you modify this, please also make sure to edit init.sh [Unit] Description=InfluxDB is an open-source, distributed, time series database Documentation=https://docs.influxdata.com/influxdb/ After=network-online.target [Service] User=influxdb Group=influxdb LimitNOFILE=65536 EnvironmentFile=-/etc/default/influxdb ExecStart=/usr/lib/influxdb/scripts/influxd-systemd-start.sh KillMode=control-group Restart=on-failure Type=forking PIDFile=/var/lib/influxdb/influxd.pid TimeoutStartSec=300 [Install] WantedBy=multi-user.target Alias=influxd.service
CTRL+X en opslaan
Je moet daarna een reload doen
sudo systemctl daemon-reload
sudo service influxdb start
En dan met sudo service influxdb status kijken tot hoever hij loopt.
(of met tail -n100 daemon.log)
(nu even mijn middagwandelingetje maken)

Nu eens kijken wat er de komende nacht gaat gebeuren.
Elga | Valliant eco TEC plus VHR 30-34/5-5L | Kamstrup 602 |Nodo OTGW | Raspberry Pi 3B+/4B+|RFXcom rfxtrx433xl | UniFi netwerk | PVoutput 8.625 kWp
Ging zelfs nog wat vlotterrvk schreef op zondag 12 februari 2023 @ 13:54:
Ja, maar dan loopt ie nu nog.
De vraag is of die op een gegeven moment klaar is of dat de service de start hard afbreekt omdat de timeout van 60 seconden bereikt is. Vandaar die timeout override van 300/5 minuten. Hopelijk kan influx die wal in 5 minuten wel inlezen (en als de cache_max dan ook op 512 staat hoop ik dat de memory problemen verleden tijd zijn).
(Zoniet dan ga ik die inmem/tsi1 even uitzoeken)

Elga | Valliant eco TEC plus VHR 30-34/5-5L | Kamstrup 602 |Nodo OTGW | Raspberry Pi 3B+/4B+|RFXcom rfxtrx433xl | UniFi netwerk | PVoutput 8.625 kWp
Fijn, hopelijk doet die cache-max-memory-size zijn werk om influxdb in de lucht te houden. En zorgt de Timeoutverhoging ervoor dat als je hem opnieuw start dat het inlezen van de wal genoeg tijd heeft.Copitano schreef op zondag 12 februari 2023 @ 15:27:
[...]
Backup klaar. Aanpassingen gedaan. Influxdb is opgestart. Influxdb was er om 03:14 mee gestopt kennelijk. Dat moet ik dan nog even navlooiten in de daemon.log. Maar het draait voorlopig weer. Deze keer zonder de 'wal' weg te gooienZal nu echt wel weer even een paar uur doorlopen.
Mocht ie nog vastlopen dan hebben we weer het deel uit daemon.log nodig van voor tot moment van crash.
Yep en is wellicht de suggestie van @Thralas ook nog een optie. Eerst de komende nacht maar eens afwachten en duimen dat de boel overeind blijftrvk schreef op zondag 12 februari 2023 @ 15:31:
[...]
Fijn, hopelijk doet die cache-max-memory-size zijn werk om influxdb in de lucht te houden. En zorgt de Timeoutverhoging ervoor dat als je hem opnieuw start dat het inlezen van de wal genoeg tijd heeft.
Mocht ie nog vastlopen dan hebben we weer het deel uit daemon.log nodig van voor tot moment van crash.

Zover enorm bedankt voor je constructieve hulp!

[Voor 4% gewijzigd door Copitano op 12-02-2023 15:35]
Elga | Valliant eco TEC plus VHR 30-34/5-5L | Kamstrup 602 |Nodo OTGW | Raspberry Pi 3B+/4B+|RFXcom rfxtrx433xl | UniFi netwerk | PVoutput 8.625 kWp
What are the odds?

Al is het nieuws nog zo slecht, het wordt leuker als je het op zijn Brabants zegt :)
En een relatief trage pi en een eMMC module zijn natuurlijk geen van beiden echt snelheidsmonsters.
Al is het nieuws nog zo slecht, het wordt leuker als je het op zijn Brabants zegt :)
Ik kreeg ook "cannot allocate memory" en uiteindelijk "systemd[1]: Stopped InfluxDB"
Zelfs met cache-max-memory-size op 512m.
Daarna heb ik de cache-max-memory-size op 256m gezet.
Ik heb nog wel "Error writing snapshot" met "cannot allocate memory" maar hij blijft wel draaien.
Geen idee of jij nog errors in daemon.log hebt.
cat /var/log/daemon.log | grep -i "cannot allocate memory"
cat /var/log/daemon.log | grep -i "Stopped influxDB"
Ja ik zie ze nog wel en ook hier en daar wordt een waarde gemist, maar het draait nog steeds wel.rvk schreef op zondag 12 februari 2023 @ 19:19:
PS Ik heb hier even getest op een oude PI met 1GB.
Ik kreeg ook "cannot allocate memory" en uiteindelijk "systemd[1]: Stopped InfluxDB"
Zelfs met cache-max-memory-size op 512m.
Daarna heb ik de cache-max-memory-size op 256m gezet.
Ik heb nog wel "Error writing snapshot" met "cannot allocate memory" maar hij blijft wel draaien.
Geen idee of jij nog errors in daemon.log hebt.
cat /var/log/daemon.log | grep -i "cannot allocate memory"
cat /var/log/daemon.log | grep -i "Stopped influxDB"
met 'top'
1
2
3
4
5
6
7
8
9
10
| Tasks: 178 total, 1 running, 177 sleeping, 0 stopped, 0 zombie %Cpu(s): 12,8 us, 1,5 sy, 0,0 ni, 85,5 id, 0,1 wa, 0,0 hi, 0,1 si, 0,0 st MiB Mem : 966,8 total, 163,2 free, 346,0 used, 457,6 buff/cache MiB Swap: 1064,0 total, 876,7 free, 187,2 used. 645,6 avail Mem PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND 28159 influxdb 20 0 2022520 209996 23932 S 42,4 21,2 19:31.69 influxd 2065 root 20 0 374984 61844 11172 S 9,9 6,2 84:36.61 domoticz 580 mosquit+ 20 0 9404 2792 2664 S 0,7 0,3 0:39.73 mosquitto 31745 pi 20 0 6608 3084 2460 R 0,7 0,3 0:00.27 top |
en
in de daemon.log ongeveer op het moment dat ook een meting ontbreekt in Grafana
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
| Feb 12 16:11:28 raspberrypi influxd-systemd-start.sh[24666]: ts=2023-02-12T15:11:28.451131Z lvl=info msg="Cache snapshot (start)" log_id=0fyYcEM0000 engine=tsm1 trace_id=0fyYjzll000 op_name=tsm1_cache_snapshot op_event=start Feb 12 16:11:28 raspberrypi influxd-systemd-start.sh[24666]: [httpd] 192.168.2.36 - - [12/Feb/2023:16:11:28 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$ Feb 12 16:11:29 raspberrypi influxd-systemd-start.sh[24666]: [httpd] 192.168.2.36 - - [12/Feb/2023:16:11:29 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$ Feb 12 16:11:29 raspberrypi influxd-systemd-start.sh[24666]: [httpd] 192.168.2.36 - - [12/Feb/2023:16:11:29 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$ Feb 12 16:11:30 raspberrypi influxd-systemd-start.sh[24666]: ts=2023-02-12T15:11:30.390896Z lvl=info msg="Error adding new TSM files from snapshot. Removing temp files." log_id=0fyYcEM0000 engine=tsm1 trace_id=0fyYjzll000 op_name=tsm1_c$ Feb 12 16:11:30 raspberrypi influxd-systemd-start.sh[24666]: ts=2023-02-12T15:11:30.400517Z lvl=info msg="Cache snapshot (end)" log_id=0fyYcEM0000 engine=tsm1 trace_id=0fyYjzll000 op_name=tsm1_cache_snapshot op_event=end op_elapsed=1949$ Feb 12 16:11:30 raspberrypi influxd-systemd-start.sh[24666]: ts=2023-02-12T15:11:30.401808Z lvl=info msg="Error writing snapshot" log_id=0fyYcEM0000 engine=tsm1 error="cannot allocate memory" Feb 12 16:11:30 raspberrypi influxd-systemd-start.sh[24666]: ts=2023-02-12T15:11:30.403105Z lvl=info msg="Cache snapshot (start)" log_id=0fyYcEM0000 engine=tsm1 trace_id=0fyYk6Ol000 op_name=tsm1_cache_snapshot op_event=start Feb 12 16:11:30 raspberrypi influxd-systemd-start.sh[24666]: [httpd] 192.168.2.36 - - [12/Feb/2023:16:11:30 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$ Feb 12 16:11:30 raspberrypi influxd-systemd-start.sh[24666]: [httpd] 192.168.2.36 - - [12/Feb/2023:16:11:30 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$ Feb 12 16:11:31 raspberrypi influxd-systemd-start.sh[24666]: [httpd] 192.168.2.36 - - [12/Feb/2023:16:11:31 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$ Feb 12 16:11:32 raspberrypi influxd-systemd-start.sh[24666]: ts=2023-02-12T15:11:32.244648Z lvl=info msg="Error adding new TSM files from snapshot. Removing temp files." log_id=0fyYcEM0000 engine=tsm1 trace_id=0fyYk6Ol000 op_name=tsm1_c$ Feb 12 16:11:32 raspberrypi influxd-systemd-start.sh[24666]: [httpd] 192.168.2.36 - - [12/Feb/2023:16:11:32 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$ Feb 12 16:11:32 raspberrypi influxd-systemd-start.sh[24666]: ts=2023-02-12T15:11:32.245006Z lvl=info msg="Cache snapshot (end)" log_id=0fyYcEM0000 engine=tsm1 trace_id=0fyYk6Ol000 op_name=tsm1_cache_snapshot op_event=end op_elapsed=1841$ Feb 12 16:11:32 raspberrypi influxd-systemd-start.sh[24666]: ts=2023-02-12T15:11:32.245127Z lvl=info msg="Error writing snapshot" log_id=0fyYcEM0000 engine=tsm1 error="cannot allocate memory" Feb 12 16:11:32 raspberrypi influxd-systemd-start.sh[24666]: ts=2023-02-12T15:11:32.245269Z lvl=info msg="Cache snapshot (start)" log_id=0fyYcEM0000 engine=tsm1 trace_id=0fyYkDaG000 op_name=tsm1_cache_snapshot op_event=start Feb 12 16:11:32 raspberrypi influxd-systemd-start.sh[24666]: [httpd] 192.168.2.36 - - [12/Feb/2023:16:11:32 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$ Feb 12 16:11:33 raspberrypi influxd-systemd-start.sh[24666]: runtime: out of memory: cannot allocate 8192-byte block (539099136 in use) Feb 12 16:11:33 raspberrypi influxd-systemd-start.sh[24666]: fatal error: out of memory Feb 12 16:11:33 raspberrypi influxd-systemd-start.sh[24666]: runtime: out of memory: cannot allocate 8192-byte block (539099136 in use) Feb 12 16:11:33 raspberrypi influxd-systemd-start.sh[24666]: fatal error: out of memory Feb 12 16:11:33 raspberrypi influxd-systemd-start.sh[24666]: runtime: out of memory: cannot allocate 8192-byte block (539099136 in use) Feb 12 16:11:33 raspberrypi influxd-systemd-start.sh[24666]: fatal error: out of memory Feb 12 16:11:33 raspberrypi influxd-systemd-start.sh[24666]: goroutine 6412 [running]: Feb 12 16:11:33 raspberrypi influxd-systemd-start.sh[24666]: runtime.throw(0xfebdde, 0xd) |
Het lijkt er alleen op dat influxdb zichzelf hersteld door opnieuw te starten (regel 30).
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
| Feb 12 16:10:05 raspberrypi influxd-systemd-start.sh[24666]: ts=2023-02-12T15:10:05.798385Z lvl=info msg="Listening for signals" log_id=0fyYcEM0000 Feb 12 16:10:05 raspberrypi influxd-systemd-start.sh[24666]: [httpd] 192.168.2.36 - - [12/Feb/2023:16:10:05 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$ Feb 12 16:10:06 raspberrypi influxd-systemd-start.sh[24666]: [httpd] ::1 - - [12/Feb/2023:16:10:06 +0100] "GET /health HTTP/1.1" 200 107 "-" "curl/7.64.0" 552c4957-aae7-11ed-8002-b827eb8b83c2 232 Feb 12 16:10:06 raspberrypi influxd-systemd-start.sh[24666]: InfluxDB started Feb 12 16:10:06 raspberrypi systemd[1]: Started InfluxDB is an open-source, distributed, time series database. Feb 12 16:10:06 raspberrypi influxd-systemd-start.sh[24666]: ts=2023-02-12T15:10:06.307840Z lvl=info msg="Sending usage statistics to usage.influxdata.com" log_id=0fyYcEM0000 Feb 12 16:10:06 raspberrypi influxd-systemd-start.sh[24666]: [httpd] 192.168.2.36 - - [12/Feb/2023:16:10:06 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$ Feb 12 16:10:06 raspberrypi influxd-systemd-start.sh[24666]: [httpd] 192.168.2.132 - - [12/Feb/2023:16:10:06 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTM$ Feb 12 16:10:06 raspberrypi influxd-systemd-start.sh[24666]: ts=2023-02-12T15:10:06.768298Z lvl=info msg="Cache snapshot (start)" log_id=0fyYcEM0000 engine=tsm1 trace_id=0fyYe~h0000 op_name=tsm1_cache_snapshot op_event=start Feb 12 16:11:33 raspberrypi influxd-systemd-start.sh[24666]: #011/usr/local/go/src/runtime/asm_arm.s:868 +0x4 fp=0x22ce7fdc sp=0x22ce7fdc pc=0x73610 Feb 12 16:11:33 raspberrypi influxd-systemd-start.sh[24666]: created by github.com/influxdata/influxdb/tsdb/engine/tsm1.(*cacheKeyIterator).encode Feb 12 16:11:33 raspberrypi influxd-systemd-start.sh[24666]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/compact.go:1965 +0x80 Feb 12 16:11:33 raspberrypi systemd[1]: influxdb.service: Main process exited, code=exited, status=2/INVALIDARGUMENT Feb 12 16:11:33 raspberrypi systemd[1]: influxdb.service: Failed with result 'exit-code'. Feb 12 16:11:33 raspberrypi systemd[1]: influxdb.service: Service RestartSec=100ms expired, scheduling restart. Feb 12 16:11:33 raspberrypi systemd[1]: influxdb.service: Scheduled restart job, restart counter is at 20. Feb 12 16:11:33 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database. Feb 12 16:11:33 raspberrypi systemd[1]: Starting InfluxDB is an open-source, distributed, time series database... Feb 12 16:11:34 raspberrypi influxd-systemd-start.sh[26210]: ts=2023-02-12T15:11:34.336886Z lvl=info msg="InfluxDB starting" log_id=0fyYkLl0000 version=1.8.10 branch=1.8 commit=688e697c51fd Feb 12 16:11:34 raspberrypi influxd-systemd-start.sh[26210]: ts=2023-02-12T15:11:34.339237Z lvl=info msg="Go runtime" log_id=0fyYkLl0000 version=go1.13.8 maxprocs=4 Feb 12 16:11:34 raspberrypi influxd-systemd-start.sh[26210]: Merging with configuration at: /etc/influxdb/influxdb.conf Feb 12 16:11:34 raspberrypi influxd-systemd-start.sh[26210]: Merging with configuration at: /etc/influxdb/influxdb.conf Feb 12 16:12:17 raspberrypi influxd-systemd-start.sh[26210]: ts=2023-02-12T15:12:17.192873Z lvl=info msg="Starting retention policy enforcement service" log_id=0fyYkLl0000 service=retention check_interval=30m Feb 12 16:12:17 raspberrypi influxd-systemd-start.sh[26210]: ts=2023-02-12T15:12:17.194700Z lvl=info msg="Listening for signals" log_id=0fyYkLl0000 Feb 12 16:12:17 raspberrypi influxd-systemd-start.sh[26210]: ts=2023-02-12T15:12:17.195122Z lvl=info msg="Storing statistics" log_id=0fyYkLl0000 service=monitor db_instance=_internal db_rp=monitor interval=10s Feb 12 16:12:17 raspberrypi influxd-systemd-start.sh[26210]: [httpd] 192.168.2.36 - - [12/Feb/2023:16:12:17 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$ Feb 12 16:12:17 raspberrypi influxd-systemd-start.sh[26210]: [httpd] ::1 - - [12/Feb/2023:16:12:17 +0100] "GET /health HTTP/1.1" 200 107 "-" "curl/7.64.0" a3564187-aae7-11ed-8002-b827eb8b83c2 405 Feb 12 16:12:17 raspberrypi influxd-systemd-start.sh[26210]: InfluxDB started Feb 12 16:12:17 raspberrypi systemd[1]: Started InfluxDB is an open-source, distributed, time series database. Feb 12 16:12:17 raspberrypi influxd-systemd-start.sh[26210]: [httpd] 192.168.2.132 - - [12/Feb/2023:16:12:17 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTM$ Feb 12 16:12:17 raspberrypi influxd-systemd-start.sh[26210]: ts=2023-02-12T15:12:17.726137Z lvl=info msg="Sending usage statistics to usage.influxdata.com" log_id=0fyYkLl0000 |
Op dit moment ziet het er wel gezond uit volgens mij
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
| Feb 12 18:47:06 raspberrypi influxd-systemd-start.sh[28157]: [httpd] 192.168.2.36 - - [12/Feb/2023:18:47:06 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$ Feb 12 18:47:07 raspberrypi influxd-systemd-start.sh[28157]: [httpd] 192.168.2.36 - - [12/Feb/2023:18:47:07 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$ Feb 12 18:47:07 raspberrypi influxd-systemd-start.sh[28157]: [httpd] 192.168.2.36 - - [12/Feb/2023:18:47:07 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$ Feb 12 18:47:08 raspberrypi influxd-systemd-start.sh[28157]: [httpd] 192.168.2.36 - - [12/Feb/2023:18:47:08 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$ Feb 12 18:47:08 raspberrypi influxd-systemd-start.sh[28157]: [httpd] 192.168.2.132 - - [12/Feb/2023:18:47:08 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTM$ Feb 12 18:47:09 raspberrypi influxd-systemd-start.sh[28157]: [httpd] 192.168.2.132 - - [12/Feb/2023:18:47:09 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTM$ Feb 12 18:47:12 raspberrypi influxd-systemd-start.sh[28157]: [httpd] 192.168.2.36 - - [12/Feb/2023:18:47:12 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$ Feb 12 18:47:15 raspberrypi influxd-systemd-start.sh[28157]: [httpd] 192.168.2.36 - - [12/Feb/2023:18:47:15 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$ Feb 12 18:47:15 raspberrypi influxd-systemd-start.sh[28157]: [httpd] 192.168.2.36 - - [12/Feb/2023:18:47:15 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$ Feb 12 18:47:17 raspberrypi influxd-systemd-start.sh[28157]: [httpd] 192.168.2.36 - - [12/Feb/2023:18:47:17 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$ Feb 12 18:47:17 raspberrypi influxd-systemd-start.sh[28157]: [httpd] 192.168.2.36 - - [12/Feb/2023:18:47:17 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$ Feb 12 18:47:18 raspberrypi influxd-systemd-start.sh[28157]: [httpd] 192.168.2.36 - - [12/Feb/2023:18:47:18 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$ Feb 12 18:47:18 raspberrypi influxd-systemd-start.sh[28157]: [httpd] 192.168.2.132 - - [12/Feb/2023:18:47:18 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTM$ Feb 12 18:47:19 raspberrypi influxd-systemd-start.sh[28157]: [httpd] 192.168.2.132 - - [12/Feb/2023:18:47:19 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTM$ Feb 12 18:47:19 raspberrypi influxd-systemd-start.sh[28157]: [httpd] 192.168.2.132 - - [12/Feb/2023:18:47:19 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTM$ Feb 12 18:47:20 raspberrypi influxd-systemd-start.sh[28157]: [httpd] 192.168.2.36 - - [12/Feb/2023:18:47:20 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$ Feb 12 18:47:20 raspberrypi influxd-systemd-start.sh[28157]: [httpd] 192.168.2.36 - - [12/Feb/2023:18:47:20 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$ Feb 12 18:47:21 raspberrypi influxd-systemd-start.sh[28157]: [httpd] 192.168.2.36 - - [12/Feb/2023:18:47:21 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$ Feb 12 18:47:22 raspberrypi influxd-systemd-start.sh[28157]: [httpd] 192.168.2.36 - - [12/Feb/2023:18:47:22 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$ Feb 12 18:47:22 raspberrypi influxd-systemd-start.sh[28157]: [httpd] 192.168.2.36 - - [12/Feb/2023:18:47:22 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$ Feb 12 18:47:23 raspberrypi influxd-systemd-start.sh[28157]: [httpd] 192.168.2.36 - - [12/Feb/2023:18:47:23 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$ Feb 12 18:47:24 raspberrypi influxd-systemd-start.sh[28157]: [httpd] 192.168.2.36 - - [12/Feb/2023:18:47:24 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$ Feb 12 18:47:27 raspberrypi influxd-systemd-start.sh[28157]: [httpd] 192.168.2.36 - - [12/Feb/2023:18:47:27 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$ Feb 12 18:47:28 raspberrypi influxd-systemd-start.sh[28157]: [httpd] 192.168.2.132 - - [12/Feb/2023:18:47:28 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTM$ Feb 12 18:47:28 raspberrypi influxd-systemd-start.sh[28157]: [httpd] 192.168.2.36 - - [12/Feb/2023:18:47:28 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$ Feb 12 18:47:29 raspberrypi influxd-systemd-start.sh[28157]: [httpd] 192.168.2.132 - - [12/Feb/2023:18:47:28 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTM$ Feb 12 18:47:29 raspberrypi influxd-systemd-start.sh[28157]: [httpd] 192.168.2.36 - - [12/Feb/2023:18:47:29 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$ Feb 12 18:47:29 raspberrypi influxd-systemd-start.sh[28157]: [httpd] 192.168.2.132 - - [12/Feb/2023:18:47:29 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTM$ Feb 12 18:47:30 raspberrypi influxd-systemd-start.sh[28157]: [httpd] 192.168.2.36 - - [12/Feb/2023:18:47:29 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$ Feb 12 18:47:30 raspberrypi influxd-systemd-start.sh[28157]: [httpd] 192.168.2.36 - - [12/Feb/2023:18:47:30 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$ |
Iets eerder kom ik dan deze ook nog tegen

1
2
3
4
5
6
7
8
9
| Feb 12 18:38:01 raspberrypi influxd-systemd-start.sh[28157]: [httpd] 192.168.2.36 - - [12/Feb/2023:18:38:01 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$ Feb 12 18:38:01 raspberrypi systemd[1]: Starting Daily apt download activities... Feb 12 18:38:01 raspberrypi influxd-systemd-start.sh[28157]: [httpd] 192.168.2.36 - - [12/Feb/2023:18:38:01 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$ Feb 12 18:38:02 raspberrypi influxd-systemd-start.sh[28157]: [httpd] 192.168.2.36 - - [12/Feb/2023:18:38:02 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$ Feb 12 18:38:03 raspberrypi influxd-systemd-start.sh[28157]: [httpd] 192.168.2.36 - - [12/Feb/2023:18:38:03 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$ Feb 12 18:38:04 raspberrypi influxd-systemd-start.sh[28157]: [httpd] 192.168.2.36 - - [12/Feb/2023:18:38:04 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$ Feb 12 18:38:04 raspberrypi influxd-systemd-start.sh[28157]: [httpd] 192.168.2.36 - - [12/Feb/2023:18:38:04 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$ Feb 12 18:38:05 raspberrypi systemd[1]: apt-daily.service: Succeeded. Feb 12 18:38:05 raspberrypi systemd[1]: Started Daily apt download activities. |
cat /var/log/daemon.log | grep -i "Stopped influxDB" Dat zijn de laatste die ik te zien krijg.
1
2
3
| Feb 12 14:32:21 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database. Feb 12 14:33:51 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database. Binair bestand (standaardinvoer) bevat de gezochte tekst. |
cat /var/log/daemon.log | grep -i "cannot allocate memory" Dit zijn ook de laatste. Precies het moment waarop de boel afgelopen nacht plat ging

1
2
3
4
5
| che_snapshot error="cannot allocate memory" Feb 12 03:13:36 raspberrypi influxd-systemd-start.sh[20928]: ts=2023-02-12T02:13:36.581149Z lvl=info msg="Error writing snapshot" log_id=0fwsajtW000 engine=tsm1 error="cannot allocate memory" Feb 12 03:13:37 raspberrypi influxd-systemd-start.sh[20928]: ts=2023-02-12T02:13:37.599969Z lvl=info msg="Error adding new TSM files from snapshot. Removing temp files." log_id=0fwsajtW000 engine=tsm1 trace_id=0fxrEMyl000 op_name=tsm1_cache_snapshot error="cannot allocate memory" Feb 12 03:13:37 raspberrypi influxd-systemd-start.sh[20928]: ts=2023-02-12T02:13:37.600435Z lvl=info msg="Error writing snapshot" log_id=0fwsajtW000 engine=tsm1 error="cannot allocate memory" Binair bestand (standaardinvoer) bevat de gezochte tekst. |
[Voor 85% gewijzigd door Copitano op 12-02-2023 20:28]
Elga | Valliant eco TEC plus VHR 30-34/5-5L | Kamstrup 602 |Nodo OTGW | Raspberry Pi 3B+/4B+|RFXcom rfxtrx433xl | UniFi netwerk | PVoutput 8.625 kWp

Kan een stabiele situatie opleveren, maar eigenlijk verplaats je gewoon je bottleneck

[Voor 12% gewijzigd door The Eagle op 12-02-2023 19:53]
Al is het nieuws nog zo slecht, het wordt leuker als je het op zijn Brabants zegt :)
Je zegt dat dit: cat /var/log/daemon.log | grep -i "Stopped influxDB"
aangeeft dat om 14:33 de laatste Stopped is van influx:
Feb 12 14:33:51 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database
Maar in de log daarboven zie ik deze regels:
Feb 12 16:11:33 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database.
Feb 12 16:11:33 raspberrypi systemd[1]: Starting InfluxDB is an open-source, distributed, time series database...
Dat is dus een crash en restart om 16:11:33.
In ieder geval gaat door het verhogen van de timeout de restart nu wel goed.
Maar elke restarten lijkt me niet zo handig.
Je kunt de max_cache nog even op 256m proberen en kijken of er geen restarts meer zijn.
Blijkbaar zit ie nu op 539.099.136 (=514MB) en komt ie nog net wat te kort. 256m zou dan wel moeten werken.
Maar ik hield nog wel wat memory allocation errors, maar hij bleef dus lopen.
Edit:
O, ik zie dat er binary text in de log staat. Misschien stopt ie daar dan op.
Je zou dat omgekeerd kunnen zoeken met tac.
# geeft de laatste 10 restarts - nieuwste bovenaan, oudste onderaan
tac /var/log/daemon.log | grep -i "Stopped influxDB" | head -n10
PPS: Ik weet niet hoe stabiel die eMMC'tjes zijn. Ik gebruik hier zo'n externe USB Harddisk voor. Misschien minder snel maar volgens mij heel wat minder gevoelig voor schrijf problemen op termijn. Maar ik kan ernaast zitten. Als ik zie wat Influx allemaal naar de log's knikkert... dat is heel wat.
[Voor 22% gewijzigd door rvk op 12-02-2023 22:53]
Ja dat was voor de herstart, dus zeg maar in de periode dat de grafiek een wit stuk presenteert (geen data).rvk schreef op zondag 12 februari 2023 @ 22:42:
Hee, dat is raar.
Je zegt dat dit: cat /var/log/daemon.log | grep -i "Stopped influxDB"
aangeeft dat om 14:33 de laatste Stopped is van influx:
Feb 12 14:33:51 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database
Dat is overigens 1 regel van een hele batterij elke 1 à 2 minuten. Dat lijkt dus opgelost met het verhogen van de timeout.
Dat was ook mijn conclusieMaar in de log daarboven zie ik deze regels:
Feb 12 16:11:33 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database.
Feb 12 16:11:33 raspberrypi systemd[1]: Starting InfluxDB is an open-source, distributed, time series database...
Dat is dus een crash en restart om 16:11:33.
Overigens had ik rond die tijd ook een hele batterij foutmeldingen in het log van domoticz. Hieronder twee regels van veel tussen ongeveer 16:09 en 16:15. Daarna zijn en blijven ze voorlopig weg

1
2
| 2023-02-12 16:14:34.765 Error: InfluxLink: Error sending data to InfluxDB server! (check address/port/database/username/password) 2023-02-12 16:14:38.268 Error: InfluxLink: Error sending data to InfluxDB server! (check address/port/database/username/password) |
Komende nacht laat ik het zo even gaan. Heb ik weer een crash dan terug naar 256m of misschien eerst nog 384m (3/4 ipv 1/2)In ieder geval gaat door het verhogen van de timeout de restart nu wel goed.
Maar elke restarten lijkt me niet zo handig.
Je kunt de max_cache nog even op 256m proberen en kijken of er geen restarts meer zijn.
Blijkbaar zit ie nu op 539.099.136 (=514MB) en komt ie nog net wat te kort. 256m zou dan wel moeten werken.
Maar ik hield nog wel wat memory allocation errors, maar hij bleef dus lopen.
Inmiddels ben ik ook heel veel sensoren van 'direct' (1 x per minuut) naar influxdb pushen naar 'Als de waarde veranderd' aan het zetten. Uiteraard doe ik dat niet bij sensoren waarvan ik weet dat ze binnen 1 minuut vaker van waarde veranderen. Dan laat ik ze op direct staan. Ik hoop dan op minder verkeer en voor de grafieken maakt het niets uit.
[Voor 6% gewijzigd door Copitano op 12-02-2023 23:07]
Elga | Valliant eco TEC plus VHR 30-34/5-5L | Kamstrup 602 |Nodo OTGW | Raspberry Pi 3B+/4B+|RFXcom rfxtrx433xl | UniFi netwerk | PVoutput 8.625 kWp
rvk schreef op zondag 12 februari 2023 @ 22:42:
Edit:
O, ik zie dat er binary text in de log staat. Misschien stopt ie daar dan op.
Je zou dat omgekeerd kunnen zoeken met tac.
# geeft de laatste 10 restarts - nieuwste bovenaan, oudste onderaan
tac /var/log/daemon.log | grep -i "Stopped influxDB" | head -n10
PPS: Ik weet niet hoe stabiel die eMMC'tjes zijn. Ik gebruik hier zo'n externe USB Harddisk voor. Misschien minder snel maar volgens mij heel wat minder gevoelig voor schrijf problemen op termijn. Maar ik kan ernaast zitten. Als ik zie wat Influx allemaal naar de log's knikkert... dat is heel wat.
1
2
3
4
5
6
7
8
9
10
11
| pi@raspberrypi:~ $ sudo tac /var/log/daemon.log | grep -i "Stopped influxDB" | head -n10 Feb 12 16:14:24 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database. Feb 12 16:12:46 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database. Feb 12 16:11:33 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database. Feb 12 16:09:20 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database. Feb 12 15:41:44 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database. Feb 12 15:13:36 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database. Feb 12 15:12:06 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database. Feb 12 15:10:36 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database. Feb 12 15:09:06 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database. Feb 12 15:07:35 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database. |
De eerste is net na de handmatige herstart vanmiddag de tweede van het laatste uur. Ik zie het geheugengebruik zelfs teruglopen. Kijken hoe het zich ontwikkeld

Het zijn er dus 4 stop/starts sinds de handmatige herstart. Ook te zien in de grafiek van de defrost van mijn WP
Ik overweg om ook weer van de eMMC af te stappen en de hele handel inclusief het besturingssysteem op een SSD te zetten. Bijvoorbeeld deze of deze.Maar moet nog even uitvogelen of dat makelijk gaat met een Rpi3B+.
[Voor 11% gewijzigd door Copitano op 12-02-2023 23:39]
Elga | Valliant eco TEC plus VHR 30-34/5-5L | Kamstrup 602 |Nodo OTGW | Raspberry Pi 3B+/4B+|RFXcom rfxtrx433xl | UniFi netwerk | PVoutput 8.625 kWp
Ga zo nog eens in de daemon.log grasduinen.
Blijf het wel bijzonder dat het altijd rond de zelfde tijd gebeurd
[Voor 12% gewijzigd door Copitano op 13-02-2023 16:42]
Elga | Valliant eco TEC plus VHR 30-34/5-5L | Kamstrup 602 |Nodo OTGW | Raspberry Pi 3B+/4B+|RFXcom rfxtrx433xl | UniFi netwerk | PVoutput 8.625 kWp
Het zijn inderdaad stop/start momenten al klopt de exacte tijd niet 100%. De laatste in detail:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
| Feb 13 04:03:44 raspberrypi influxd-systemd-start.sh[28157]: ts=2023-02-13T03:03:44.535081Z lvl=info msg="Error adding new TSM files from snapshot. Removing temp files." log_id=0fyYujKW000 engine=tsm1 trace_id=0fzBVL40000 op_name=tsm1_c$ Feb 13 04:03:44 raspberrypi influxd-systemd-start.sh[28157]: ts=2023-02-13T03:03:44.535280Z lvl=info msg="Cache snapshot (end)" log_id=0fyYujKW000 engine=tsm1 trace_id=0fzBVL40000 op_name=tsm1_cache_snapshot op_event=end op_elapsed=902.$ Feb 13 04:03:44 raspberrypi influxd-systemd-start.sh[28157]: ts=2023-02-13T03:03:44.535383Z lvl=info msg="Error writing snapshot" log_id=0fyYujKW000 engine=tsm1 error="cannot allocate memory" Feb 13 04:03:44 raspberrypi influxd-systemd-start.sh[28157]: ts=2023-02-13T03:03:44.633144Z lvl=info msg="Cache snapshot (start)" log_id=0fyYujKW000 engine=tsm1 trace_id=0fzBVOzG000 op_name=tsm1_cache_snapshot op_event=start Feb 13 04:09:01 raspberrypi influxd-systemd-start.sh[28157]: [httpd] 192.168.2.36 - - [13/Feb/2023:04:09:01 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$ Feb 13 04:09:01 raspberrypi systemd[1]: Starting Clean php session files... Feb 13 04:09:01 raspberrypi influxd-systemd-start.sh[28157]: [httpd] 192.168.2.36 - - [13/Feb/2023:04:09:01 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$ Feb 13 04:09:02 raspberrypi influxd-systemd-start.sh[28157]: [httpd] 192.168.2.132 - - [13/Feb/2023:04:09:02 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTM$ Feb 13 04:09:02 raspberrypi systemd[1]: phpsessionclean.service: Succeeded. Feb 13 04:09:02 raspberrypi systemd[1]: Started Clean php session files. Feb 13 04:09:02 raspberrypi influxd-systemd-start.sh[28157]: [httpd] 192.168.2.36 - - [13/Feb/2023:04:09:02 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$ Feb 13 04:10:39 raspberrypi influxd-systemd-start.sh[28157]: [httpd] 192.168.2.36 - - [13/Feb/2023:04:10:39 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$ Feb 13 04:10:39 raspberrypi influxd-systemd-start.sh[28157]: ts=2023-02-13T03:10:39.797051Z lvl=info msg="Error adding new TSM files from snapshot. Removing temp files." log_id=0fyYujKW000 engine=tsm1 trace_id=0fzBtfBl000 op_name=tsm1_c$ Feb 13 04:10:39 raspberrypi influxd-systemd-start.sh[28157]: ts=2023-02-13T03:10:39.797399Z lvl=info msg="Cache snapshot (end)" log_id=0fyYujKW000 engine=tsm1 trace_id=0fzBtfBl000 op_name=tsm1_cache_snapshot op_event=end op_elapsed=1157$ Feb 13 04:10:39 raspberrypi influxd-systemd-start.sh[28157]: ts=2023-02-13T03:10:39.797547Z lvl=info msg="Error writing snapshot" log_id=0fyYujKW000 engine=tsm1 error="cannot allocate memory" Feb 13 04:10:39 raspberrypi influxd-systemd-start.sh[28157]: ts=2023-02-13T03:10:39.797645Z lvl=info msg="Cache snapshot (start)" log_id=0fyYujKW000 engine=tsm1 trace_id=0fzBtjiG000 op_name=tsm1_cache_snapshot op_event=start Feb 13 04:10:40 raspberrypi influxd-systemd-start.sh[28157]: [httpd] 192.168.2.36 - - [13/Feb/2023:04:10:40 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$ Feb 13 04:10:40 raspberrypi influxd-systemd-start.sh[28157]: runtime: out of memory: cannot allocate 4210688-byte block (534839296 in use) Feb 13 04:10:40 raspberrypi influxd-systemd-start.sh[28157]: fatal error: out of memory Feb 13 04:10:40 raspberrypi influxd-systemd-start.sh[28157]: runtime stack: Feb 13 04:10:40 raspberrypi influxd-systemd-start.sh[28157]: runtime.throw(0xfebdde, 0xd) Feb 13 04:10:40 raspberrypi influxd-systemd-start.sh[28157]: #011/usr/local/go/src/runtime/panic.go:774 +0x5c Feb 13 04:10:40 raspberrypi influxd-systemd-start.sh[28157]: runtime.largeAlloc(0x403000, 0x37000101, 0x71968) Feb 13 04:10:40 raspberrypi influxd-systemd-start.sh[28157]: #011/usr/local/go/src/runtime/malloc.go:1140 +0x124 Feb 13 04:10:40 raspberrypi influxd-systemd-start.sh[28157]: runtime.mallocgc.func1() Feb 13 04:10:40 raspberrypi influxd-systemd-start.sh[28157]: #011/usr/local/go/src/runtime/malloc.go:1033 +0x38 Feb 13 04:10:40 raspberrypi influxd-systemd-start.sh[28157]: runtime.systemstack(0x717d0) Feb 13 04:10:40 raspberrypi influxd-systemd-start.sh[28157]: #011/usr/local/go/src/runtime/asm_arm.s:354 +0x84 Feb 13 04:10:40 raspberrypi influxd-systemd-start.sh[28157]: runtime.mstart() Feb 13 04:10:40 raspberrypi influxd-systemd-start.sh[28157]: #011/usr/local/go/src/runtime/proc.go:1146 Feb 13 04:10:41 raspberrypi influxd-systemd-start.sh[28157]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/engine.go:508 +0xfc Feb 13 04:10:41 raspberrypi systemd[1]: influxdb.service: Main process exited, code=exited, status=2/INVALIDARGUMENT Feb 13 04:10:41 raspberrypi systemd[1]: influxdb.service: Failed with result 'exit-code'. Feb 13 04:10:41 raspberrypi systemd[1]: influxdb.service: Service RestartSec=100ms expired, scheduling restart. Feb 13 04:10:41 raspberrypi systemd[1]: influxdb.service: Scheduled restart job, restart counter is at 23. Feb 13 04:10:41 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database. Feb 13 04:10:41 raspberrypi systemd[1]: Starting InfluxDB is an open-source, distributed, time series database... Feb 13 04:10:42 raspberrypi influxd-systemd-start.sh[2059]: Merging with configuration at: /etc/influxdb/influxdb.conf Feb 13 04:12:42 raspberrypi influxd-systemd-start.sh[2059]: ts=2023-02-13T03:12:42.544206Z lvl=info msg="Listening on HTTP" log_id=0fzBturW000 service=httpd addr=[::]:8086 https=false Feb 13 04:12:42 raspberrypi influxd-systemd-start.sh[2059]: ts=2023-02-13T03:12:42.544944Z lvl=info msg="Starting retention policy enforcement service" log_id=0fzBturW000 service=retention check_interval=30m Feb 13 04:12:42 raspberrypi influxd-systemd-start.sh[2059]: ts=2023-02-13T03:12:42.545938Z lvl=info msg="Listening for signals" log_id=0fzBturW000 Feb 13 04:12:42 raspberrypi influxd-systemd-start.sh[2059]: [httpd] 192.168.2.132 - - [13/Feb/2023:04:12:42 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$ Feb 13 04:12:42 raspberrypi influxd-systemd-start.sh[2059]: [httpd] ::1 - - [13/Feb/2023:04:12:42 +0100] "GET /health HTTP/1.1" 200 107 "-" "curl/7.64.0" 47c8a3c8-ab4c-11ed-8002-b827eb8b83c2 344 Feb 13 04:12:42 raspberrypi influxd-systemd-start.sh[2059]: InfluxDB started Feb 13 04:12:42 raspberrypi systemd[1]: Started InfluxDB is an open-source, distributed, time series database. Feb 13 04:12:43 raspberrypi influxd-systemd-start.sh[2059]: [httpd] 192.168.2.36 - - [13/Feb/2023:04:12:43 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML,$ Feb 13 04:12:43 raspberrypi influxd-systemd-start.sh[2059]: ts=2023-02-13T03:12:43.054516Z lvl=info msg="Sending usage statistics to usage.influxdata.com" log_id=0fzBturW000 Feb 13 05:09:00 raspberrypi influxd-systemd-start.sh[2059]: ts=2023-02-13T04:09:00.896326Z lvl=info msg="Cache snapshot (start)" log_id=0fzBturW000 engine=tsm1 trace_id=0fzFEQt0000 op_name=tsm1_cache_snapshot op_event=start Feb 13 05:09:01 raspberrypi influxd-systemd-start.sh[2059]: [httpd] 192.168.2.36 - - [13/Feb/2023:05:09:01 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML,$ Feb 13 05:09:01 raspberrypi systemd[1]: Starting Clean php session files... Feb 13 05:09:02 raspberrypi influxd-systemd-start.sh[2059]: ts=2023-02-13T04:09:02.084969Z lvl=info msg="Error adding new TSM files from snapshot. Removing temp files." log_id=0fzBturW000 engine=tsm1 trace_id=0fzFEQt0000 op_name=tsm1_ca$ Feb 13 05:09:02 raspberrypi influxd-systemd-start.sh[2059]: ts=2023-02-13T04:09:02.085181Z lvl=info msg="Cache snapshot (end)" log_id=0fzBturW000 engine=tsm1 trace_id=0fzFEQt0000 op_name=tsm1_cache_snapshot op_event=end op_elapsed=1188.$ Feb 13 05:09:02 raspberrypi influxd-systemd-start.sh[2059]: ts=2023-02-13T04:09:02.085265Z lvl=info msg="Error writing snapshot" log_id=0fzBturW000 engine=tsm1 error="cannot allocate memory" Feb 13 05:09:02 raspberrypi influxd-systemd-start.sh[2059]: ts=2023-02-13T04:09:02.085350Z lvl=info msg="Cache snapshot (start)" log_id=0fzBturW000 engine=tsm1 trace_id=0fzFEVXG000 op_name=tsm1_cache_snapshot op_event=start Feb 13 05:09:02 raspberrypi influxd-systemd-start.sh[2059]: [httpd] 192.168.2.36 - - [13/Feb/2023:05:09:02 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML,$ Feb 13 05:09:02 raspberrypi systemd[1]: phpsessionclean.service: Succeeded. Feb 13 05:09:02 raspberrypi systemd[1]: Started Clean php session files. Feb 13 05:09:02 raspberrypi influxd-systemd-start.sh[2059]: ts=2023-02-13T04:09:02.849375Z lvl=info msg="Error adding new TSM files from snapshot. Removing temp files." log_id=0fzBturW000 engine=tsm1 trace_id=0fzFEVXG000 op_name=tsm1_ca$ Feb 13 05:09:02 raspberrypi influxd-systemd-start.sh[2059]: ts=2023-02-13T04:09:02.850284Z lvl=info msg="Cache snapshot (end)" log_id=0fzBturW000 engine=tsm1 trace_id=0fzFEVXG000 op_name=tsm1_cache_snapshot op_event=end op_elapsed=764.9$ Feb 13 04:12:42 raspberrypi influxd-systemd-start.sh[2059]: ts=2023-02-13T03:12:42.544206Z lvl=info msg="Listening on HTTP" log_id=0fzBturW000 service=httpd addr=[::]:8086 https=false Feb 13 05:10:03 raspberrypi influxd-systemd-start.sh[2059]: [httpd] 192.168.2.36 - - [13/Feb/2023:05:10:03 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML,$ Feb 13 05:10:03 raspberrypi influxd-systemd-start.sh[2059]: runtime: out of memory: cannot allocate 4210688-byte block (539197440 in use) Feb 13 05:10:03 raspberrypi influxd-systemd-start.sh[2059]: fatal error: out of memory Feb 13 05:10:03 raspberrypi influxd-systemd-start.sh[2059]: runtime stack: Feb 13 05:10:03 raspberrypi influxd-systemd-start.sh[2059]: runtime.throw(0xfebdde, 0xd) Feb 13 05:10:03 raspberrypi influxd-systemd-start.sh[2059]: #011/usr/local/go/src/runtime/panic.go:774 +0x5c Feb 13 05:10:03 raspberrypi influxd-systemd-start.sh[2059]: runtime.largeAlloc(0x403000, 0x38f0101, 0x176b7) Feb 13 05:10:03 raspberrypi influxd-systemd-start.sh[2059]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/compact.go:1965 +0x80 Feb 13 05:10:04 raspberrypi systemd[1]: influxdb.service: Main process exited, code=exited, status=2/INVALIDARGUMENT Feb 13 05:10:04 raspberrypi systemd[1]: influxdb.service: Failed with result 'exit-code'. Feb 13 05:10:04 raspberrypi systemd[1]: influxdb.service: Service RestartSec=100ms expired, scheduling restart. Feb 13 05:10:04 raspberrypi systemd[1]: influxdb.service: Scheduled restart job, restart counter is at 24. Feb 13 05:10:04 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database. Feb 13 05:10:04 raspberrypi systemd[1]: Starting InfluxDB is an open-source, distributed, time series database... Feb 13 05:10:04 raspberrypi influxd-systemd-start.sh[12226]: Merging with configuration at: /etc/influxdb/influxdb.conf Feb 13 05:10:04 raspberrypi influxd-systemd-start.sh[12226]: ts=2023-02-13T04:10:04.730783Z lvl=info msg="InfluxDB starting" log_id=0fzFIKEW000 version=1.8.10 branch=1.8 commit=688e697c51fd Feb 13 05:10:04 raspberrypi influxd-systemd-start.sh[12226]: ts=2023-02-13T04:10:04.731021Z lvl=info msg="Go runtime" log_id=0fzFIKEW000 version=go1.13.8 maxprocs=4 Feb 13 05:10:04 raspberrypi influxd-systemd-start.sh[12226]: Merging with configuration at: /etc/influxdb/influxdb.conf Feb 13 05:11:34 raspberrypi influxd-systemd-start.sh[12226]: ts=2023-02-13T04:11:34.542451Z lvl=info msg="Starting retention policy enforcement service" log_id=0fzFIKEW000 service=retention check_interval=30m Feb 13 05:11:34 raspberrypi influxd-systemd-start.sh[12226]: ts=2023-02-13T04:11:34.543728Z lvl=info msg="Listening for signals" log_id=0fzFIKEW000 Feb 13 05:11:34 raspberrypi influxd-systemd-start.sh[12226]: [httpd] ::1 - - [13/Feb/2023:05:11:34 +0100] "GET /health HTTP/1.1" 200 107 "-" "curl/7.64.0" 80e4bcea-ab54-11ed-8001-b827eb8b83c2 15147 Feb 13 05:11:34 raspberrypi influxd-systemd-start.sh[12226]: InfluxDB started Feb 13 05:11:34 raspberrypi systemd[1]: Started InfluxDB is an open-source, distributed, time series database. Feb 13 05:11:35 raspberrypi influxd-systemd-start.sh[12226]: ts=2023-02-13T04:11:35.038569Z lvl=info msg="Sending usage statistics to usage.influxdata.com" log_id=0fzFIKEW000 Feb 13 05:11:35 raspberrypi influxd-systemd-start.sh[12226]: [httpd] 192.168.2.36 - - [13/Feb/2023:05:11:35 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$ Feb 13 05:11:35 raspberrypi influxd-systemd-start.sh[12226]: ts=2023-02-13T04:11:35.506384Z lvl=info msg="TSM compaction (start)" log_id=0fzFIKEW000 engine=tsm1 tsm1_strategy=full tsm1_optimize=false trace_id=0fzFNrpW000 op_name=tsm1_co$ Feb 13 05:11:35 raspberrypi influxd-systemd-start.sh[12226]: ts=2023-02-13T04:11:35.506481Z lvl=info msg="Beginning compaction" log_id=0fzFIKEW000 engine=tsm1 tsm1_strategy=full tsm1_optimize=false trace_id=0fzFNrpW000 op_name=tsm1_comp$ Feb 13 05:31:33 raspberrypi influxd-systemd-start.sh[12226]: ts=2023-02-13T04:31:33.629281Z lvl=info msg="Error adding new TSM files from snapshot. Removing temp files." log_id=0fzFIKEW000 engine=tsm1 trace_id=0fzGWu6G000 op_name=tsm1_c$ Feb 13 05:31:33 raspberrypi influxd-systemd-start.sh[12226]: ts=2023-02-13T04:31:33.640593Z lvl=info msg="Cache snapshot (end)" log_id=0fzFIKEW000 engine=tsm1 trace_id=0fzGWu6G000 op_name=tsm1_cache_snapshot op_event=end op_elapsed=1519$ Feb 13 05:31:33 raspberrypi influxd-systemd-start.sh[12226]: ts=2023-02-13T04:31:33.643290Z lvl=info msg="Error writing snapshot" log_id=0fzFIKEW000 engine=tsm1 error="cannot allocate memory" Feb 13 05:31:33 raspberrypi influxd-systemd-start.sh[12226]: ts=2023-02-13T04:31:33.644958Z lvl=info msg="Cache snapshot (start)" log_id=0fzFIKEW000 engine=tsm1 trace_id=0fzGW~30000 op_name=tsm1_cache_snapshot op_event=start Feb 13 05:31:34 raspberrypi influxd-systemd-start.sh[12226]: [httpd] 192.168.2.36 - - [13/Feb/2023:05:31:34 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$ Feb 13 05:31:34 raspberrypi influxd-systemd-start.sh[12226]: [httpd] 192.168.2.132 - - [13/Feb/2023:05:31:34 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTM$ Feb 13 05:31:35 raspberrypi influxd-systemd-start.sh[12226]: [httpd] 192.168.2.36 - - [13/Feb/2023:05:31:35 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$ Feb 13 05:31:35 raspberrypi influxd-systemd-start.sh[12226]: ts=2023-02-13T04:31:35.178586Z lvl=info msg="Error adding new TSM files from snapshot. Removing temp files." log_id=0fzFIKEW000 engine=tsm1 trace_id=0fzGW~30000 op_name=tsm1_c$ Feb 13 05:31:35 raspberrypi influxd-systemd-start.sh[12226]: ts=2023-02-13T04:31:35.179869Z lvl=info msg="Cache snapshot (end)" log_id=0fzFIKEW000 engine=tsm1 trace_id=0fzGW~30000 op_name=tsm1_cache_snapshot op_event=end op_elapsed=1534$ Feb 13 05:31:35 raspberrypi influxd-systemd-start.sh[12226]: ts=2023-02-13T04:31:35.200141Z lvl=info msg="Error writing snapshot" log_id=0fzFIKEW000 engine=tsm1 error="cannot allocate memory" Feb 13 05:31:35 raspberrypi influxd-systemd-start.sh[12226]: ts=2023-02-13T04:31:35.201174Z lvl=info msg="Cache snapshot (start)" log_id=0fzFIKEW000 engine=tsm1 trace_id=0fzGX58G000 op_name=tsm1_cache_snapshot op_event=start Feb 13 05:31:36 raspberrypi influxd-systemd-start.sh[12226]: runtime: out of memory: cannot allocate 8192-byte block (539394048 in use) Feb 13 05:31:36 raspberrypi influxd-systemd-start.sh[12226]: fatal error: out of memory Feb 13 05:31:36 raspberrypi influxd-systemd-start.sh[12226]: runtime: out of memory: cannot allocate 8192-byte block (539394048 in use) Feb 13 05:31:36 raspberrypi influxd-systemd-start.sh[12226]: fatal error: out of memory Feb 13 05:31:36 raspberrypi influxd-systemd-start.sh[12226]: runtime: out of memory: cannot allocate 8192-byte block (539394048 in use) Feb 13 05:31:36 raspberrypi influxd-systemd-start.sh[12226]: #011/usr/local/go/src/net/http/server.go:2928 +0x2e4 Feb 13 05:31:37 raspberrypi systemd[1]: influxdb.service: Main process exited, code=exited, status=2/INVALIDARGUMENT Feb 13 05:31:37 raspberrypi systemd[1]: influxdb.service: Failed with result 'exit-code'. Feb 13 05:31:37 raspberrypi systemd[1]: influxdb.service: Service RestartSec=100ms expired, scheduling restart. Feb 13 05:31:37 raspberrypi systemd[1]: influxdb.service: Scheduled restart job, restart counter is at 25. Feb 13 05:31:37 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database. Feb 13 05:31:37 raspberrypi systemd[1]: Starting InfluxDB is an open-source, distributed, time series database... Feb 13 05:31:37 raspberrypi influxd-systemd-start.sh[27687]: Merging with configuration at: /etc/influxdb/influxdb.conf Feb 13 05:32:10 raspberrypi influxd-systemd-start.sh[27687]: ts=2023-02-13T04:32:10.652686Z lvl=info msg="Listening for signals" log_id=0fzGXFal000 Feb 13 05:32:10 raspberrypi influxd-systemd-start.sh[27687]: ts=2023-02-13T04:32:10.652876Z lvl=info msg="Storing statistics" log_id=0fzGXFal000 service=monitor db_instance=_internal db_rp=monitor interval=10s Feb 13 05:32:11 raspberrypi influxd-systemd-start.sh[27687]: ts=2023-02-13T04:32:11.141100Z lvl=info msg="Sending usage statistics to usage.influxdata.com" log_id=0fzGXFal000 Feb 13 05:32:11 raspberrypi influxd-systemd-start.sh[27687]: [httpd] ::1 - - [13/Feb/2023:05:32:11 +0100] "GET /health HTTP/1.1" 200 107 "-" "curl/7.64.0" 621b0b3b-ab57-11ed-8001-b827eb8b83c2 4149 Feb 13 05:32:11 raspberrypi influxd-systemd-start.sh[27687]: InfluxDB started Feb 13 05:32:11 raspberrypi systemd[1]: Started InfluxDB is an open-source, distributed, time series database. Feb 13 05:32:11 raspberrypi influxd-systemd-start.sh[27687]: ts=2023-02-13T04:32:11.622847Z lvl=info msg="TSM compaction (start)" log_id=0fzGXFal000 engine=tsm1 tsm1_strategy=full tsm1_optimize=false trace_id=0fzGZJPW000 op_name=tsm1_co$ Feb 13 05:32:11 raspberrypi influxd-systemd-start.sh[27687]: ts=2023-02-13T04:32:11.624333Z lvl=info msg="Beginning compaction" log_id=0fzGXFal000 engine=tsm1 tsm1_strategy=full tsm1_optimize=false trace_id=0fzGZJPW000 op_name=tsm1_comp$ Feb 13 05:39:01 raspberrypi influxd-systemd-start.sh[27687]: ts=2023-02-13T04:39:01.830289Z lvl=info msg="Error replacing new TSM files" log_id=0fzGXFal000 engine=tsm1 tsm1_strategy=full tsm1_optimize=false trace_id=0fzGxDG0000 op_name=$ Feb 13 05:39:01 raspberrypi influxd-systemd-start.sh[27687]: [httpd] 192.168.2.36 - - [13/Feb/2023:05:39:01 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$ Feb 13 05:39:01 raspberrypi systemd[1]: Starting Clean php session files... Feb 13 05:39:02 raspberrypi influxd-systemd-start.sh[27687]: [httpd] 192.168.2.36 - - [13/Feb/2023:05:39:02 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$ Feb 13 05:39:02 raspberrypi systemd[1]: phpsessionclean.service: Succeeded. Feb 13 05:39:02 raspberrypi systemd[1]: Started Clean php session files. Feb 13 05:39:02 raspberrypi influxd-systemd-start.sh[27687]: ts=2023-02-13T04:39:02.836576Z lvl=info msg="TSM compaction (end)" log_id=0fzGXFal000 engine=tsm1 tsm1_strategy=full tsm1_optimize=false trace_id=0fzGxDG0000 op_name=tsm1_comp$ Feb 13 05:39:03 raspberrypi influxd-systemd-start.sh[27687]: [httpd] 192.168.2.132 - - [13/Feb/2023:05:39:03 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTM$ Feb 13 05:39:03 raspberrypi influxd-systemd-start.sh[27687]: ts=2023-02-13T04:39:03.651010Z lvl=info msg="TSM compaction (start)" log_id=0fzGXFal000 engine=tsm1 tsm1_strategy=full tsm1_optimize=false trace_id=0fzGxStW000 op_name=tsm1_co$ Feb 13 05:39:03 raspberrypi influxd-systemd-start.sh[27687]: ts=2023-02-13T04:39:03.652115Z lvl=info msg="Beginning compaction" log_id=0fzGXFal000 engine=tsm1 tsm1_strategy=full tsm1_optimize=false trace_id=0fzGxStW000 op_name=tsm1_comp$ Feb 13 06:17:29 raspberrypi influxd-systemd-start.sh[27224]: ts=2023-02-13T05:17:29.825069Z lvl=info msg="Error adding new TSM files from snapshot. Removing temp files." log_id=0fzJ5j8l000 engine=tsm1 trace_id=0fzJ94w0000 op_name=tsm1_c$ Feb 13 06:17:29 raspberrypi influxd-systemd-start.sh[27224]: ts=2023-02-13T05:17:29.826794Z lvl=info msg="Cache snapshot (end)" log_id=0fzJ5j8l000 engine=tsm1 trace_id=0fzJ94w0000 op_name=tsm1_cache_snapshot op_event=end op_elapsed=2165$ Feb 13 06:17:29 raspberrypi influxd-systemd-start.sh[27224]: ts=2023-02-13T05:17:29.828033Z lvl=info msg="Error writing snapshot" log_id=0fzJ5j8l000 engine=tsm1 error="cannot allocate memory" Feb 13 06:17:29 raspberrypi influxd-systemd-start.sh[27224]: ts=2023-02-13T05:17:29.829234Z lvl=info msg="Cache snapshot (start)" log_id=0fzJ5j8l000 engine=tsm1 trace_id=0fzJ9DPG000 op_name=tsm1_cache_snapshot op_event=start Feb 13 06:17:30 raspberrypi influxd-systemd-start.sh[27224]: [httpd] 192.168.2.36 - - [13/Feb/2023:06:17:29 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$ Feb 13 06:17:30 raspberrypi influxd-systemd-start.sh[27224]: fatal error: runtime: cannot allocate memory Feb 13 06:17:30 raspberrypi influxd-systemd-start.sh[27224]: goroutine 3807 [running]: Feb 13 06:17:30 raspberrypi influxd-systemd-start.sh[27224]: runtime.throw(0x100f881, 0x1f) Feb 13 06:17:30 raspberrypi influxd-systemd-start.sh[27224]: #011/usr/local/go/src/runtime/panic.go:774 +0x5c fp=0x3087288 sp=0x3087274 pc=0x41644 Feb 13 06:17:30 raspberrypi influxd-systemd-start.sh[27224]: #011/usr/local/go/src/net/http/transport.go:1581 +0x90c Feb 13 06:17:30 raspberrypi systemd[1]: influxdb.service: Main process exited, code=exited, status=2/INVALIDARGUMENT Feb 13 06:17:30 raspberrypi systemd[1]: influxdb.service: Failed with result 'exit-code'. Feb 13 06:17:30 raspberrypi systemd[1]: influxdb.service: Service RestartSec=100ms expired, scheduling restart. Feb 13 06:17:30 raspberrypi systemd[1]: influxdb.service: Scheduled restart job, restart counter is at 30. Feb 13 06:17:30 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database. Feb 13 06:17:30 raspberrypi systemd[1]: Starting InfluxDB is an open-source, distributed, time series database... Feb 13 06:17:30 raspberrypi influxd-systemd-start.sh[28031]: Merging with configuration at: /etc/influxdb/influxdb.conf Feb 13 06:18:00 raspberrypi influxd-systemd-start.sh[28031]: ts=2023-02-13T05:18:00.515650Z lvl=info msg="Sending usage statistics to usage.influxdata.com" log_id=0fzJ9Gk0000 Feb 13 06:18:00 raspberrypi influxd-systemd-start.sh[28031]: [httpd] ::1 - - [13/Feb/2023:06:18:00 +0100] "GET /health HTTP/1.1" 200 107 "-" "curl/7.64.0" c8c155a5-ab5d-11ed-8001-b827eb8b83c2 513 Feb 13 06:18:00 raspberrypi influxd-systemd-start.sh[28031]: InfluxDB started Feb 13 06:18:00 raspberrypi systemd[1]: Started InfluxDB is an open-source, distributed, time series database. Feb 13 06:18:01 raspberrypi influxd-systemd-start.sh[28031]: ts=2023-02-13T05:18:01.009854Z lvl=info msg="TSM compaction (start)" |
EDIT:
Hmmm, het zijn er geen 4 maar 8. 4 zijn dus niet te zien in de grafieken.
1
2
3
4
5
6
7
8
9
10
| pi@raspberrypi:~ $ sudo tac /var/log/daemon.log | grep -i "Stopped influxDB" | head -n10 Feb 13 06:17:30 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database. Feb 13 06:16:32 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database. Feb 13 06:14:07 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database. Feb 13 06:13:33 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database. Feb 13 05:55:12 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database. Feb 13 05:31:37 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database. Feb 13 05:10:04 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database. Feb 13 04:10:41 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database. Feb 12 16:14:24 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database. Feb 12 16:12:46 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database. |
EDIT: De cache-max-memory-size op heb ik nu op 384m gezet. Es kijken of dat de komende nacht nog uit maakt.
[Voor 5% gewijzigd door Copitano op 13-02-2023 16:41]
Elga | Valliant eco TEC plus VHR 30-34/5-5L | Kamstrup 602 |Nodo OTGW | Raspberry Pi 3B+/4B+|RFXcom rfxtrx433xl | UniFi netwerk | PVoutput 8.625 kWp
Ik ben ook benieuwd naar vannacht.Copitano schreef op maandag 13 februari 2023 @ 11:05:
EDIT: De cache-max-memory-size op heb ik nu op 384m gezet. Es kijken of dat de komende nacht nog uit maakt.
Mocht de "Stopped" niet meer voorkomen moet je wel even controleren of de "allocate memory" error ook niet meer voorkomt.
cat /var/log/daemon.log | grep -i "Stopped influxDB"
cat /var/log/daemon.log | grep -i "cannot allocate memory"
Helaas toch nog 1 stop, maar loopt verder wel gewoon door:rvk schreef op maandag 13 februari 2023 @ 22:07:
[...]
Ik ben ook benieuwd naar vannacht.
Mocht de "Stopped" niet meer voorkomen moet je wel even controleren of de "allocate memory" error ook niet meer voorkomt.
cat /var/log/daemon.log | grep -i "Stopped influxDB"
cat /var/log/daemon.log | grep -i "cannot allocate memory"
1
2
3
4
| pi@raspberrypi:~ $ sudo tac /var/log/daemon.log | grep -i "Stopped influxDB" | head -n3 Feb 14 06:20:44 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database. Feb 13 06:17:30 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database. Feb 13 06:16:32 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database. |
1
2
3
4
5
| pi@raspberrypi:~ $ sudo tac /var/log/daemon.log | grep -i "cannot allocate memory" | head -n100 Feb 14 06:20:39 raspberrypi influxd-systemd-start.sh[28031]: ts=2023-02-14T05:20:39.177686Z lvl=info msg="Error replacing new TSM files" log_id=0fzJ9Gk0000 engine=tsm1 tsm1_level=1 tsm1_strategy=level trace_id=0f~aisN0000 op_name=tsm1_compact_group db_shard_id=2450 error="cannot allocate memory" Feb 14 06:20:32 raspberrypi influxd-systemd-start.sh[28031]: ts=2023-02-14T05:20:32.061970Z lvl=info msg="Error replacing new TSM files" log_id=0fzJ9Gk0000 engine=tsm1 tsm1_level=1 tsm1_strategy=level trace_id=0f~aiS10000 op_name=tsm1_compact_group db_shard_id=2450 error="cannot allocate memory" Feb 14 06:20:30 raspberrypi influxd-systemd-start.sh[28031]: ts=2023-02-14T05:20:30.116194Z lvl=info msg="Error replacing new TSM files" log_id=0fzJ9Gk0000 engine=tsm1 tsm1_strategy=full tsm1_optimize=false trace_id=0f~ahV3l000 op_name=tsm1_compact_group db_shard_id=2448 error="cannot allocate memory" Feb 14 06:20:24 raspberrypi influxd-systemd-start.sh[28031]: ts=2023-02-14T05:20:24.865051Z lvl=info msg="Error replacing new TSM files" log_id=0fzJ9Gk0000 engine=tsm1 tsm1_level=1 tsm1_strategy=level trace_id=0f~ahxn0000 op_name=tsm1_compact_group db_shard_id=2450 error="cannot allocate memory" |
En dat begint dan om 05:10
1
2
| Feb 14 05:10:23 raspberrypi influxd-systemd-start.sh[28031]: ts=2023-02-14T04:10:23.561498Z lvl=info msg="Error replacing new TSM files" log_id=0fzJ9Gk0000 engine=tsm1 tsm1_strategy=full tsm1_optimize=false trace_id=0f~Xh100000 op_name=tsm1_compact_group db_shard_id=2448 error="cannot allocate memory" Feb 14 05:10:07 raspberrypi influxd-systemd-start.sh[28031]: ts=2023-02-14T04:10:07.460013Z lvl=info msg="Error replacing new TSM files" log_id=0fzJ9Gk0000 engine=tsm1 tsm1_strategy=full tsm1_optimize=false trace_id=0f~XfzbG000 op_name=tsm1_compact_group db_shard_id=2448 error="cannot allocate memory" |
Heb ook nog de oplossingsrichting van @Thralas doorgelezen. Durf alleen de installatie nog niet uit te voeren omdat mij niet helemaal duidelijk is of ik die gewoon over de bestaande installatie heen kan installeren.
Ga nu eerst voor de komende nacht de cache-max-memory-size een zetten op = "256m".
En als dat niet werkt eerst maar weer een image draaien en dan die fix installeren denk ik.
Elga | Valliant eco TEC plus VHR 30-34/5-5L | Kamstrup 602 |Nodo OTGW | Raspberry Pi 3B+/4B+|RFXcom rfxtrx433xl | UniFi netwerk | PVoutput 8.625 kWp
Ja, die oplossing heeft ook de index-version = "tsi1" in zich (die ik ook al noemde). Dat scheelt ook veel geugen. Ik dacht dat er mijn linkjes wel stond dat je de index dan opnieuw op moest bouwen maar heb er geen ervaring mee.Copitano schreef op dinsdag 14 februari 2023 @ 11:10:
[...]
Heb ook nog de oplossingsrichting van @Thralas doorgelezen. Durf alleen de installatie nog niet uit te voeren omdat mij niet helemaal duidelijk is of ik die gewoon over de bestaande installatie heen kan installeren.
Het is in ieder geval al een heel stuk beter en wel duidelijk dat het ligt aan het beperkte geheugen.
Is tevens de enige hardwarematige aanpassing die je kunt doen denk ik. Op een Pi de CPU of hoeveelheid RAM aanpassen wordt zonder soldeerbout een uitdaging

Al is het nieuws nog zo slecht, het wordt leuker als je het op zijn Brabants zegt :)
Die SSD gaat er sowieso komen zodra ik uitgevogeld heb hoe ik dan de boel kan overzetten van de eMMC en ook vanaf SSD kan starten en het besturingssysteem kan draaien.The Eagle schreef op dinsdag 14 februari 2023 @ 14:47:
En toch he...ik vraag me af wat er gebeurt als je ipv een "trage" eMMC module er een SSD in zou zetten. Dan is ineens je storage geen bottleneck meer, en zou je dus zeggen dan je de cache ook niet echt meer hoeft te tunen.
Is tevens de enige hardwarematige aanpassing die je kunt doen denk ik. Op een Pi de CPU of hoeveelheid RAM aanpassen wordt zonder soldeerbout een uitdaging
Dat wordt voor mij als niet deskundige een uitdaging want dat gaat volgens mij niet simpelweg met een image

EDIT: Het lijkt met een Pi 3B+ wel zo simpel te zijn https://www.raspberrypi.c...tml#usb-mass-storage-boot

Een soldeerbout heb ik hier overigens wel liggen, maar ik denk dat ik dan zoiets nodig zou hebben


[Voor 16% gewijzigd door Copitano op 15-02-2023 02:56]
Elga | Valliant eco TEC plus VHR 30-34/5-5L | Kamstrup 602 |Nodo OTGW | Raspberry Pi 3B+/4B+|RFXcom rfxtrx433xl | UniFi netwerk | PVoutput 8.625 kWp
Ja. Ik boot 2 Pi's (allebei Pi 4's) van externe USB HDD en 2 andere (Pi 3's) direct van USB stick.Copitano schreef op dinsdag 14 februari 2023 @ 15:25:
[...]
EDIT: Het lijkt met een Pi 3B+ wel zo simpel te zijn https://www.raspberrypi.c...tml#usb-mass-storage-boot
Alleen een Pi 2 heeft een SD-kaartje nodig (waar ik alleen bootcode.bin op heb staan waarna deze ook van USB stick start).
Kan ik dan gewoon een image maken en op de SSD wegschrijven, eMMC er uit en opstarten van SSD?rvk schreef op woensdag 15 februari 2023 @ 10:38:
[...]
Ja. Ik boot 2 Pi's (allebei Pi 4's) van externe USB HDD en 2 andere (Pi 3's) direct van USB stick.
Alleen een Pi 2 heeft een SD-kaartje nodig (waar ik alleen bootcode.bin op heb staan waarna deze ook van USB stick start).
Dat zou mooi zijn.
Overigens toch nog vier stops afgelopen nacht met 256m maar loopt verder wel door.
1
2
3
4
5
| pi@raspberrypi:~ $ sudo tac /var/log/daemon.log | grep -i "Stopped influxDB" | head -n10 Feb 15 05:27:18 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database. Feb 15 05:24:19 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database. Feb 15 05:10:01 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database. Feb 15 04:13:21 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database. |
[Voor 43% gewijzigd door Copitano op 15-02-2023 11:40]
Elga | Valliant eco TEC plus VHR 30-34/5-5L | Kamstrup 602 |Nodo OTGW | Raspberry Pi 3B+/4B+|RFXcom rfxtrx433xl | UniFi netwerk | PVoutput 8.625 kWp
Eerst moet je de Pi instrueren dat ie op kan start van SSD.Copitano schreef op woensdag 15 februari 2023 @ 11:23:
[...]
Kan ik dan gewoon een image maken en op de SSD wegschrijven, eMMC er uit en opstarten van SSD?
Dat zou mooi zijn.
Stappen staan hier (de Raspberry Pi imager kan hiervoor een sd-card aanmaken waarmee je op moet starten): https://www.tomshardware.com/how-to/boot-raspberry-pi-4-usb
Volgens die stappen zou je daarna inderdaad een image van je eMMC naar SSD kunnen schrijven. Ik dacht dat je nog andere aanpassingen zou moeten doen (cmdline.txt) maar volgens die site hoeft dat niet. (Het werkt met de root=PARTUUID=xx schijnbaar gelijk goed, je kunt de eMMC en SSD dan alleen niet tegelijk mounten maar die eMMC heb je dan toch niet meer nodig)
Wel kan het zijn dat je na het starten de partitie moet vergroten (want na het maken van een image zal de SSD net zo groot zijn als de eMMC terwijl je wel alle ruimte wilt gebruiken). Maar kijk eerst maar of die wil booten

Uit deze instructie https://www.raspberrypi.c...tml#usb-mass-storage-bootrvk schreef op woensdag 15 februari 2023 @ 12:15:
[...]
Eerst moet je de Pi instrueren dat ie op kan start van SSD.
lijk ik te begrijpen dat het voor de RPi 3B+ nog makkelijker is. The Raspberry Pi 3B+ supports USB mass storage boot out of the box. Als ik daar dan gewoon een image op kan zetten en bij voorkeur aansluit met een eigen voeding (via mijn USB HUB met eigenvoeding) zou het met de eMMC eruit en de SSD erin direct moeten werken. Het lijkt in ieder geval simpeler dan ik aanvankelijk dachtRaspberry Pi 4B and Raspberry Pi 400
The bootloader in Raspberry Pi 400 and newer Raspberry Pi 4B boards support USB boot by default, although the BOOT_ORDER bootloader configuration may need to be modified. On earlier Raspberry Pi 4B boards, or to select alternate boot modes, the bootloader must be updated.
See:-
Instructions for changing the boot mode via the Raspberry Pi Imager.
Instructions for changing the boot mode via the raspi-config.
The bootloader configuration page for other boot configuration options.
Compute Module 4
Please see the Flashing the Compute Module eMMC for bootloader update instructions.
Raspberry Pi 3B+
The Raspberry Pi 3B+ supports USB mass storage boot out of the box.
Raspberry Pi 2B, 3A+, 3B, CM3, CM3+, Zero 2 W
On the Raspberry Pi 2B v1.2, 3A+, 3B, Zero 2 W, and Compute Module 3, 3+ you must first enable USB host boot mode. This is to allow USB mass storage boot, and network boot. Note that network boot is not supported on the Raspberry Pi 3A+ or Zero 2 W.
To enable USB host boot mode, the Raspberry Pi needs to be booted from an SD card with a special option to set the USB host boot mode bit in the one-time programmable (OTP) memory. Once this bit has been set, the SD card is no longer required.

Eerst maar eens een SSD met een mooie behuizing bestellen

Elga | Valliant eco TEC plus VHR 30-34/5-5L | Kamstrup 602 |Nodo OTGW | Raspberry Pi 3B+/4B+|RFXcom rfxtrx433xl | UniFi netwerk | PVoutput 8.625 kWp
1
2
3
4
5
6
| pi@raspberrypi:~ $ influx Connected to http://localhost:8086 version 1.8.10 InfluxDB shell version: 1.8.10 > show databases ERR: Post http://localhost:8086/query?chunked=true&db=&epoch=ns&q=show+databases: dial tcp [::1]:8086: connect: connection refused > |
Dit heb ik drie keer achter elkaar geprobeerd.
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
| pi@raspberrypi:~ $ sudo tac /var/log/daemon.log | grep -i "Stopped influxDB" | head -n100 Feb 16 11:35:24 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database. Feb 16 11:33:12 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database. Feb 16 11:30:53 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database. Feb 16 11:28:30 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database. Feb 16 11:26:14 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database. Feb 16 11:23:56 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database. Feb 16 11:21:42 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database. Feb 16 11:19:19 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database. Feb 16 11:17:03 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database. Feb 16 11:14:40 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database. Feb 16 11:12:20 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database. Feb 16 11:10:05 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database. Feb 16 11:07:48 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database. Feb 16 11:05:33 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database. Feb 16 11:03:19 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database. Feb 16 11:00:57 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database. Feb 16 10:58:32 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database. Feb 16 10:56:12 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database. Feb 16 10:53:49 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database. Feb 16 10:51:22 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database. Feb 16 10:49:10 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database. Feb 16 10:46:51 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database. Feb 16 10:44:37 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database. Feb 16 10:42:10 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database. Feb 16 10:39:54 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database. Feb 16 10:37:41 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database. Feb 16 10:35:21 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database. Feb 16 10:33:06 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database. Feb 16 10:30:52 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database. Feb 16 10:28:37 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database. Feb 16 10:26:09 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database. Feb 16 04:01:48 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database. Feb 15 05:27:18 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database. Feb 15 05:24:19 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database. Feb 15 05:10:01 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database. Feb 15 04:13:21 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database. Feb 14 06:20:44 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database. |
Ga nu proberen de TimeoutStartSec=300 nog verder te verhogen.
Elga | Valliant eco TEC plus VHR 30-34/5-5L | Kamstrup 602 |Nodo OTGW | Raspberry Pi 3B+/4B+|RFXcom rfxtrx433xl | UniFi netwerk | PVoutput 8.625 kWp
Je kunt in daemon.log zien of Influxdb nog bezig is met het lezen op moment dat de timeout afloopt. Want dan wordt het process hard uit de lucht gehaald. Verhogen is dus inderdaad dan een optie.Copitano schreef op donderdag 16 februari 2023 @ 11:42:
Ga nu proberen de TimeoutStartSec=300 nog verder te verhogen.
Je kunt de laatste regels zien met cat /var/log/daemon.log
Doorlopend in de gaten houden kan met tail -f daemon.log (ververst elke keer met laatste regels).
Het kan zijn dat de wal nu dusdanig is gegroeid dat ie het nét niet meer kan verwerken in die tijd.
Maar het kan ook zijn dat er tijdens het inlezen al memory allocation errors komen.
Bij dat laatste heb je geen andere keuze om toch iets aan het geheugen te doen (of door tsi1 te gebruiken of door iets anders uit het geheugen te donderen).
Met dit kun je de regels voor Stopped zien (bijvoorbeeld 20 regels):
cat /var/log/daemon.log | grep -B20 -i "Stopped influxDB"
Je zou dan even kunnen zien of bij de laatste Stopped, influx nog bezig was met het verwerken van de wal.
runtime: out of memory: cannot allocate 24576-byte block (539295744 in use)
Je kunt zien of je in een startup loop zit door dit te doen:
cat /var/log/daemon.log | grep -i "restart counter"
Als je dan 220 regels ervoor pakt kun je terug scrollen om te zien wat het probleem precies is:
cat /var/log/daemon.log | grep -B220 -i "restart counter"
bv:
1
2
3
4
5
6
7
8
9
10
| Feb 16 12:14:09 keuken influxd-systemd-start.sh[28132]: ts=2023-02-16T11:14:09.476314Z lvl=info msg="Compacting file" log_id=0g2U_x50000 engine=tsm1 tsm1_strategy=full tsm1_optimize=false trace_id=0g2Ukem0000 op_name=tsm1_compact_group db_shard_id=1150 tsm1_index=2 tsm1_file=/var/lib/influxdb/data/telegraf/autogen/1150/000000012-000000001.tsm Feb 16 12:14:10 keuken influxd-systemd-start.sh[28132]: runtime: out of memory: cannot allocate 24576-byte block (539295744 in use) Feb 16 12:14:10 keuken influxd-systemd-start.sh[28132]: fatal error: out of memory Feb 16 12:14:14 keuken influxd-systemd-start.sh[28132]: runtime: out of memory: cannot allocate 8192-byte block (539295744 in use) Feb 16 12:14:14 keuken influxd-systemd-start.sh[28132]: fatal error: out of memory Feb 16 12:14:14 keuken influxd-systemd-start.sh[28132]: runtime: out of memory: cannot allocate 8192-byte block (539295744 in use) Feb 16 12:14:14 keuken influxd-systemd-start.sh[28132]: fatal error: out of memory Feb 16 12:14:14 keuken influxd-systemd-start.sh[28132]: goroutine 7958 [running]: Feb 16 12:14:14 keuken influxd-systemd-start.sh[28132]: runtime.throw(0xfebdde, 0xd) Feb 16 12:14:14 keuken influxd-systemd-start.sh[28132]: #011/usr/local/go/src/runtime/panic.go:774 +0x5c fp=0x45c5364 sp=0x45c5350 pc=0x41644 |
met
cat /var/log/daemon.log | grep -i "restart counter"
of
cat /var/log/daemon.log | grep -B220 -i "restart counter"
krijg ik alleen nog regels te zien van Feb 12 ......... waar in niet verder omhoog of omlaag kan scrollen.
1
2
3
4
5
| che_snapshot error="cannot allocate memory" Feb 12 03:13:36 raspberrypi influxd-systemd-start.sh[20928]: ts=2023-02-12T02:13:36.581149Z lvl=info msg="Error writing snapshot" log_id=0fwsajtW000 engine=tsm1 error="cannot allocate memory" Feb 12 03:13:37 raspberrypi influxd-systemd-start.sh[20928]: ts=2023-02-12T02:13:37.599969Z lvl=info msg="Error adding new TSM files from snapshot. Removing temp files." log_id=0fwsajtW000 engine=tsm1 trace_id=0fxrEMyl000 op_name=tsm1_cache_snapshot error="cannot allocate memory" Feb 12 03:13:37 raspberrypi influxd-systemd-start.sh[20928]: ts=2023-02-12T02:13:37.600435Z lvl=info msg="Error writing snapshot" log_id=0fwsajtW000 engine=tsm1 error="cannot allocate memory" Binair bestand (standaardinvoer) bevat de gezochte tekst. |
met tac in plaats van cat zelfde resultaat. Alleen 12 februari.
overigens zie ik dan wel de recentere data voorbij flitsen.
Wachten is nu natuurlijk op de volgende crash

Als je naar de plaatjes kijkt die ik nu weer kan zien in grafana ziet het er zo uit:
Het lijkt er dus op dat het heel even draait na een start commando om vervolgens meteen weer te stoppen.
Misschien is 256m dan net iets te krap. De timeout heb ik op 600 en zelfs op 900 gehad, maar dat maakte niet uit.
[Voor 24% gewijzigd door Copitano op 16-02-2023 13:37]
Elga | Valliant eco TEC plus VHR 30-34/5-5L | Kamstrup 602 |Nodo OTGW | Raspberry Pi 3B+/4B+|RFXcom rfxtrx433xl | UniFi netwerk | PVoutput 8.625 kWp
Ja, je zit elke keer met die binaire tekst in je log waar die op stuk loopt.Copitano schreef op donderdag 16 februari 2023 @ 13:27:
Binair bestand (standaardinvoer) bevat de gezochte tekst.
(misschien moet je je logs eens door rollen

Of je moet dan toch met tac werken (ipv cat), maar dan -B veranderen in -A
bv (-m1 geeft alleen de 'laatste' weer)
tac /var/log/daemon.log | grep -m1 -A300 -i "restart counter"
Hier krijg ik hem op een test-pi (met 1GB) ook niet meer aan de praat.
Ook niet als ik omschakel naar tsi1

Dan is dit het hele verhaalrvk schreef op donderdag 16 februari 2023 @ 13:45:
[...]
Ja, je zit elke keer met die binaire tekst in je log waar die op stuk loopt.
(misschien moet je je logs eens door rollen)
Of je moet dan toch met tac werken (ipv cat), maar dan -B veranderen in -A
bv (-m1 geeft alleen de 'laatste' weer)
tac /var/log/daemon.log | grep -m1 -A300 -i "restart counter"
Hier krijg ik hem op een test-pi (met 1GB) ook niet meer aan de praat.
Ook niet als ik omschakel naar tsi1
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
| pi@raspberrypi:~ $ sudo tac /var/log/daemon.log | grep -m1 -A300 -i "restart counter" Feb 16 12:38:13 raspberrypi systemd[1]: influxdb.service: Scheduled restart job, restart counter is at 93. Feb 16 12:38:13 raspberrypi systemd[1]: influxdb.service: Service RestartSec=100ms expired, scheduling restart. Feb 16 12:38:13 raspberrypi systemd[1]: influxdb.service: Failed with result 'exit-code'. Feb 16 12:38:13 raspberrypi systemd[1]: influxdb.service: Main process exited, code=exited, status=2/INVALIDARGUMENT Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/compact.go:1965 +0x80 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: created by github.com/influxdata/influxdb/tsdb/engine/tsm1.(*cacheKeyIterator).encode Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/usr/local/go/src/runtime/asm_arm.s:868 +0x4 fp=0x1846bfdc sp=0x1846bfdc pc=0x73610 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: runtime.goexit() Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/compact.go:2005 +0x764 fp=0x1846bfdc sp=0x1846bda8 pc=0xd14240 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*cacheKeyIterator).encode.func1(0x16f4d6f8, 0x1, 0x31df, 0x1434e200) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/encoding.go:637 +0x214 fp=0x1846bda8 sp=0x1846bd50 pc=0xcbf744 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/tsdb/engine/tsm1.encodeIntegerBlockUsing(0x0, 0x0, 0x0, 0xeccf000, 0x1e2, 0x200, 0x1ec0f50, 0x36f9880, 0x2b356f, 0x0, ...) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/int.go:92 +0xc8 fp=0x1846bd50 sp=0x1846bd34 pc=0xceb12c Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*IntegerEncoder).Bytes(0x1846bdcc, 0x5c94aa0, 0x49, 0x49, 0x0, 0x0) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/int.go:127 +0x94 fp=0x1846bd34 sp=0x1846bd04 pc=0xceb3c4 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*IntegerEncoder).encodePacked(0x1846bdcc, 0x49, 0x0, 0x0, 0xd00d8c, 0x4f82aa0) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/usr/local/go/src/runtime/slice.go:49 +0x6c fp=0x1846bd04 sp=0x1846bcf0 pc=0x5928c Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: runtime.makeslice(0xe1f330, 0x319, 0x319, 0x191a2008) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/usr/local/go/src/runtime/malloc.go:1022 +0x7a0 fp=0x1846bcf0 sp=0x1846bc88 pc=0x1ba40 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: runtime.mallocgc(0x380, 0xe1f330, 0xe01, 0x191a2ef8) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/usr/local/go/src/runtime/malloc.go:854 +0x7c fp=0x1846bc88 sp=0x1846bc68 pc=0x1b0f4 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: runtime.(*mcache).nextFree(0x76fb16d0, 0x1526e53d, 0x1bcb7b, 0x5bcbc, 0x0) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/usr/local/go/src/runtime/mcache.go:140 +0xfc fp=0x1846bc68 sp=0x1846bc54 pc=0x262ec Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: runtime.(*mcache).refill(0x76fb16d0, 0x3d) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/usr/local/go/src/runtime/panic.go:774 +0x5c fp=0x1846bc54 sp=0x1846bc40 pc=0x41644 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: runtime.throw(0xfebdde, 0xd) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: goroutine 3578 [running]: Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/compact.go:1965 +0x80 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: created by github.com/influxdata/influxdb/tsdb/engine/tsm1.(*cacheKeyIterator).encode Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/compact.go:2005 +0x764 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*cacheKeyIterator).encode.func1(0x16f4d6f8, 0x1, 0x31df, 0x1434e200) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/encoding.go:627 +0xe8 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/tsdb/engine/tsm1.encodeIntegerBlockUsing(0x0, 0x0, 0x0, 0xd6d1000, 0x1e2, 0x200, 0x1ec0f50, 0x36f98c0, 0x0, 0x0, ...) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/timestamp.go:81 +0xb4 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*encoder).Write(0x36f98c0, 0xf1e18800, 0x17444319) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: goroutine 3579 [runnable]: Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/compact.go:1965 +0x80 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: created by github.com/influxdata/influxdb/tsdb/engine/tsm1.(*cacheKeyIterator).encode Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/compact.go:2005 +0x764 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*cacheKeyIterator).encode.func1(0x16f4d6f8, 0x1, 0x31df, 0x1434e200) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/encoding.go:632 +0x1e0 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/tsdb/engine/tsm1.encodeIntegerBlockUsing(0x0, 0x0, 0x0, 0x120be000, 0x1e2, 0x200, 0x1ec0f50, 0x36f9860, 0x0, 0x0, ...) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/timestamp.go:138 +0xec Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*encoder).Bytes(0x36f9860, 0x5d211c00, 0x17444ac9, 0x1, 0x0, 0x4f82801) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/timestamp.go:145 +0xf8 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*encoder).encodePacked(0x36f9860, 0x540be400, 0x2, 0x370c000, 0x1e2, 0x3e8, 0x370c000, 0x1e2, 0x3e8, 0xffffffff, ...) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/vendor/github.com/jwilder/encoding/simple8b/encoding.go:76 +0x130 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/vendor/github.com/jwilder/encoding/simple8b.(*Encoder).Write(0x3706090, 0x1, 0x0, 0x2, 0x1) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: goroutine 3577 [runnable]: Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/compact.go:1965 +0x80 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: created by github.com/influxdata/influxdb/tsdb/engine/tsm1.(*cacheKeyIterator).encode Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/compact.go:2005 +0x764 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*cacheKeyIterator).encode.func1(0x16f4d6f8, 0x1, 0x31df, 0x1434e200) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/encoding.go:627 +0xe8 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/tsdb/engine/tsm1.encodeIntegerBlockUsing(0x0, 0x0, 0x0, 0x10586000, 0x1e2, 0x200, 0x1ec0f50, 0x36f98a0, 0x0, 0x0, ...) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/timestamp.go:81 +0xb4 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*encoder).Write(0x36f98a0, 0x6f8400, 0x1744439a) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: goroutine 3580 [runnable]: Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/usr/local/go/src/net/http/transport.go:1581 +0x90c Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: created by net/http.(*Transport).dialConn Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/usr/local/go/src/net/http/transport.go:2210 +0xc0 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: net/http.(*persistConn).writeLoop(0x358c0a0) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: goroutine 2928 [select]: Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/compact.go:1965 +0x80 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: created by github.com/influxdata/influxdb/tsdb/engine/tsm1.(*cacheKeyIterator).encode Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011goroutine running on other thread; stack unavailable Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: goroutine 3578 [running]: Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/compact.go:858 +0x16c Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: created by github.com/influxdata/influxdb/tsdb/engine/tsm1.(*Compactor).WriteSnapshot Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/compact.go:860 +0x94 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*Compactor).WriteSnapshot.func1(0x437f480, 0x4d31440, 0x161620c5, 0x5c91000, 0x4695a00) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/compact.go:1045 +0x11c Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*Compactor).writeNewFiles(0x4d31440, 0x1f, 0x1, 0x0, 0x0, 0x0, 0x1ec9938, 0x1434e200, 0x1, 0x0, ...) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/compact.go:1141 +0x150 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*Compactor).write(0x4d31440, 0x52cc500, 0x49, 0x1ec9938, 0x1434e200, 0x1749c001, 0x0, 0x0) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/compact.go:2050 +0xe8 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*cacheKeyIterator).Next(0x1434e200, 0x14077f) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: goroutine 3511 [chan receive]: Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/services/httpd/service.go:194 +0x45c Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: created by github.com/influxdata/influxdb/services/httpd.(*Service).Open Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/services/httpd/service.go:252 +0x2c Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/services/httpd.(*Service).serveTCP(0x3477420) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/services/httpd/service.go:264 +0x34 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/services/httpd.(*Service).serve(0x3477420, 0x1ec3ff0, 0x4c0cf40) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/usr/local/go/src/net/http/server.go:2896 +0x214 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: net/http.(*Server).Serve(0x3477450, 0x1ec3ff0, 0x4c0cf40, 0x0, 0x0) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/usr/local/go/src/net/tcpsock.go:261 +0x3c Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: net.(*TCPListener).Accept(0x4c0cf40, 0x4027edc, 0xc, 0x3401b20, 0x347b5c) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/usr/local/go/src/net/tcpsock_posix.go:139 +0x20 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: net.(*TCPListener).accept(0x4c0cf40, 0x1a1fe040, 0xee15a400, 0x4b074) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/usr/local/go/src/net/fd_unix.go:238 +0x20 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: net.(*netFD).accept(0x34c1130, 0x2b8c7a0, 0x0, 0x1) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/usr/local/go/src/internal/poll/fd_unix.go:384 +0x1a8 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: internal/poll.(*FD).Accept(0x34c1130, 0x0, 0x0, 0x0, 0x0, 0x0, 0x0, 0x0) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/usr/local/go/src/internal/poll/fd_poll_runtime.go:92 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: internal/poll.(*pollDesc).waitRead(...) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/usr/local/go/src/internal/poll/fd_poll_runtime.go:87 +0x30 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: internal/poll.(*pollDesc).wait(0x34c1144, 0x72, 0x0, 0x0, 0xfe25d8) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/usr/local/go/src/runtime/netpoll.go:184 +0x44 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: internal/poll.runtime_pollWait(0x66cf5f1c, 0x72, 0x0) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: goroutine 2913 [IO wait]: Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/engine.go:508 +0xfc Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: created by github.com/influxdata/influxdb/tsdb/engine/tsm1.(*Engine).enableSnapshotCompactions Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/engine.go:508 +0x48 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*Engine).enableSnapshotCompactions.func1(0x14336b00, 0x3a72a80) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/engine.go:2044 +0xe4 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*Engine).compactCache(0x3a72a80) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: goroutine 2863 [select]: Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/store.go:229 +0x218 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: created by github.com/influxdata/influxdb/tsdb.(*Store).Open Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/store.go:231 +0x38 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/tsdb.(*Store).Open.func1(0x3590140) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/store.go:1984 +0x118 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/tsdb.(*Store).monitorShards(0x3590140) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: goroutine 2873 [select]: Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/services/subscriber/service.go:100 +0x160 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: created by github.com/influxdata/influxdb/services/subscriber.(*Service).Open Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/services/subscriber/service.go:102 +0x50 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/services/subscriber.(*Service).Open.func2(0x35b6e00) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/services/subscriber/service.go:165 +0x8c Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/services/subscriber.(*Service).waitForMetaUpdates(0x35b6e00) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: goroutine 2875 [select]: Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/services/snapshotter/service.go:76 +0x74 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: created by github.com/influxdata/influxdb/services/snapshotter.(*Service).Open Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/services/snapshotter/service.go:102 +0x5c Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/services/snapshotter.(*Service).serve(0x3766600) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tcp/mux.go:240 +0xe0 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/tcp.(*listener).Accept(0x3766900, 0x0, 0x0, 0x0, 0x0) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: goroutine 2894 [select]: Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/engine.go:508 +0xfc Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: created by github.com/influxdata/influxdb/tsdb/engine/tsm1.(*Engine).enableSnapshotCompactions Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/engine.go:508 +0x48 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*Engine).enableSnapshotCompactions.func1(0x14336660, 0x5ee8600) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/engine.go:2053 +0x20c Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*Engine).compactCache(0x5ee8600) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/engine.go:1961 +0x2c4 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*Engine).WriteSnapshot(0x5ee8600, 0x0, 0x0) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/engine.go:2001 +0x70 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*Engine).writeSnapshotAndCommit(0x5ee8600, 0x1d58f470, 0x1c6d5000, 0x174, 0x200, 0x4695a00, 0x0, 0x0) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/compact.go:869 +0x278 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*Compactor).WriteSnapshot(0x4d31440, 0x4695a00, 0x3faf067c, 0x13340, 0x25ea5196, 0x63ee15a3, 0x25ea5196) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: goroutine 2645 [chan receive]: Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/services/subscriber/service.go:96 +0x144 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: created by github.com/influxdata/influxdb/services/subscriber.(*Service).Open Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/services/subscriber/service.go:98 +0x50 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/services/subscriber.(*Service).Open.func1(0x35b6e00) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/services/subscriber/service.go:239 +0x1f0 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/services/subscriber.(*Service).run(0x35b6e00) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: goroutine 2874 [select]: Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/engine.go:429 +0x114 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: created by github.com/influxdata/influxdb/tsdb/engine/tsm1.(*Engine).enableLevelCompactions Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/engine.go:429 +0x50 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*Engine).enableLevelCompactions.func1(0x14336b10, 0x3a72a80) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/engine.go:2093 +0xf0 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*Engine).compact(0x3a72a80, 0x14336b10) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: goroutine 2864 [select]: Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/usr/local/go/src/net/http/transport.go:1580 +0x8f0 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: created by net/http.(*Transport).dialConn Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/usr/local/go/src/net/http/transport.go:1911 +0x178 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: net/http.(*persistConn).readLoop(0x358c0a0) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/usr/local/go/src/bufio/bufio.go:138 +0x38 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: bufio.(*Reader).Peek(0x19f8a8a0, 0x1, 0x2, 0x0, 0x0, 0x461cf00, 0x0) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/usr/local/go/src/bufio/bufio.go:100 +0x108 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: bufio.(*Reader).fill(0x19f8a8a0) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/usr/local/go/src/net/http/transport.go:1758 +0x164 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: net/http.(*persistConn).Read(0x358c0a0, 0x1a028000, 0x1000, 0x1000, 0x70df8, 0x14369ef4, 0x2) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/usr/local/go/src/crypto/tls/conn.go:1255 +0x13c Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: crypto/tls.(*Conn).Read(0x4502600, 0x1a028000, 0x1000, 0x1000, 0x0, 0x0, 0x0) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/usr/local/go/src/crypto/tls/conn.go:577 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: crypto/tls.(*Conn).readRecord(...) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/usr/local/go/src/crypto/tls/conn.go:609 +0x104 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: crypto/tls.(*Conn).readRecordOrCCS(0x4502600, 0x0, 0x0, 0x2) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/usr/local/go/src/crypto/tls/conn.go:802 +0xc4 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: crypto/tls.(*Conn).readFromUntil(0x4502600, 0x1eb5808, 0x14332a98, 0x5, 0x14332a98, 0xa3) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/usr/local/go/src/bytes/buffer.go:204 +0xa4 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: bytes.(*Buffer).ReadFrom(0x4502760, 0x1eb2238, 0x1a292620, 0x2d, 0x29bd1c, 0xe589c8, 0xfbde28) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/usr/local/go/src/crypto/tls/conn.go:780 +0x78 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: crypto/tls.(*atLeastReader).Read(0x1a292620, 0x3538480, 0x1a13, 0x1a13, 0x1857c, 0x29d260, 0x1eb5808) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/usr/local/go/src/net/net.go:184 +0x58 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: net.(*conn).Read(0x14332a98, 0x3538480, 0x1a13, 0x1a13, 0x0, 0x0, 0x0) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/usr/local/go/src/net/fd_unix.go:202 +0x38 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: net.(*netFD).Read(0x34c1630, 0x3538480, 0x1a13, 0x1a13, 0x62, 0x1be04, 0x1a292620) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/usr/local/go/src/internal/poll/fd_unix.go:169 +0x178 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: internal/poll.(*FD).Read(0x34c1630, 0x3538480, 0x1a13, 0x1a13, 0x0, 0x0, 0x0) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/usr/local/go/src/internal/poll/fd_poll_runtime.go:92 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: internal/poll.(*pollDesc).waitRead(...) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/usr/local/go/src/internal/poll/fd_poll_runtime.go:87 +0x30 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: internal/poll.(*pollDesc).wait(0x34c1644, 0x72, 0x1a00, 0x1a13, 0xffffffff) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/usr/local/go/src/runtime/netpoll.go:184 +0x44 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: internal/poll.runtime_pollWait(0x66cf5e14, 0x72, 0xffffffff) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: goroutine 2927 [IO wait]: Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/cmd/influxd/run/server.go:468 +0xb8c Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: created by github.com/influxdata/influxdb/cmd/influxd/run.(*Server).Open Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/cmd/influxd/run/server.go:523 +0xd0 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/cmd/influxd/run.(*Server).startServerReporting(0x358c320) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: goroutine 2915 [select]: Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/services/retention/service.go:51 +0x130 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: created by github.com/influxdata/influxdb/services/retention.(*Service).Open Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/services/retention/service.go:51 +0x50 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/services/retention.(*Service).Open.func1(0x37668d0) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/services/retention/service.go:78 +0x77c Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/services/retention.(*Service).run(0x37668d0) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: goroutine 2914 [select]: Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/services/precreator/service.go:54 +0x164 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: created by github.com/influxdata/influxdb/services/precreator.(*Service).Open Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/services/precreator/service.go:76 +0xc8 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/services/precreator.(*Service).runPrecreation(0x37665a0) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: goroutine 2893 [select]: Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/services/continuous_querier/service.go:133 +0xf0 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: created by github.com/influxdata/influxdb/services/continuous_querier.(*Service).Open Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/services/continuous_querier/service.go:215 +0x114 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/services/continuous_querier.(*Service).backgroundLoop(0x375e120) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: goroutine 2848 [select]: Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/engine.go:429 +0x114 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: created by github.com/influxdata/influxdb/tsdb/engine/tsm1.(*Engine).enableLevelCompactions Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/engine.go:429 +0x50 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*Engine).enableLevelCompactions.func1(0x14336670, 0x5ee8600) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/engine.go:2093 +0xf0 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*Engine).compact(0x5ee8600, 0x14336670) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: goroutine 2646 [select]: Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/monitor/service.go:126 +0x278 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: created by github.com/influxdata/influxdb/monitor.(*Monitor).Open Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/monitor/service.go:434 +0x578 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/monitor.(*Monitor).storeStatistics(0x36fbc20) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: goroutine 2876 [select]: Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/usr/local/go/src/net/http/client.go:320 +0x210 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: created by net/http.setRequestCancel Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/usr/local/go/src/net/http/client.go:321 +0x78 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: net/http.setRequestCancel.func3(0x0, 0x143ec400, 0x143ea270, 0x14328f68, 0x4d91480) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: goroutine 2919 [select]: Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/cmd/influxd/run/command.go:155 +0x8d8 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: created by github.com/influxdata/influxdb/cmd/influxd/run.(*Command).Run Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/cmd/influxd/run/command.go:174 +0x134 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/cmd/influxd/run.(*Command).monitorServerErrors(0x34a5860) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: goroutine 2916 [select]: Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/cmd/influxd/run/server.go:395 +0x1f0 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: created by github.com/influxdata/influxdb/cmd/influxd/run.(*Server).Open Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tcp/mux.go:75 +0x64 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/tcp.(*Mux).Serve(0x37089c0, 0x1ec3ff0, 0x36f72a0, 0x36f72a0, 0x0) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/usr/local/go/src/net/tcpsock.go:261 +0x3c Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: net.(*TCPListener).Accept(0x36f72a0, 0x0, 0x0, 0x0, 0x0) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/usr/local/go/src/net/tcpsock_posix.go:139 +0x20 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: net.(*TCPListener).accept(0x36f72a0, 0x37089c0, 0x40000000, 0x0) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/usr/local/go/src/net/fd_unix.go:238 +0x20 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: net.(*netFD).accept(0x358ab90, 0x0, 0xa8001, 0x0) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/usr/local/go/src/internal/poll/fd_unix.go:384 +0x1a8 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: internal/poll.(*FD).Accept(0x358ab90, 0x0, 0x0, 0x0, 0x0, 0x0, 0x0, 0x0) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/usr/local/go/src/internal/poll/fd_poll_runtime.go:92 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: internal/poll.(*pollDesc).waitRead(...) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/usr/local/go/src/internal/poll/fd_poll_runtime.go:87 +0x30 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: internal/poll.(*pollDesc).wait(0x358aba4, 0x72, 0x0, 0x0, 0xfe25d8) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/usr/local/go/src/runtime/netpoll.go:184 +0x44 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: internal/poll.runtime_pollWait(0x66cf5fa0, 0x72, 0x0) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: goroutine 19 [IO wait, 2 minutes]: Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/vendor/go.opencensus.io/stats/view/worker.go:32 +0x48 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: created by github.com/influxdata/influxdb/vendor/go.opencensus.io/stats/view.init.0 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/vendor/go.opencensus.io/stats/view/worker.go:154 +0xb0 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/vendor/go.opencensus.io/stats/view.(*worker).start(0x36a06c0) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: goroutine 18 [select]: Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/usr/local/go/src/os/signal/signal_unix.go:29 +0x30 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: created by os/signal.init.0 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/usr/local/go/src/os/signal/signal_unix.go:23 +0x14 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: os/signal.loop() Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/usr/local/go/src/runtime/sigqueue.go:147 +0x130 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: os/signal.signal_recv(0x0) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: goroutine 6 [syscall, 2 minutes]: Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/cmd/influxd/main.go:45 +0x140 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: main.main() Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/cmd/influxd/main.go:90 +0x228 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: main.(*Main).Run(0x3677f8c, 0x340a068, 0x2, 0x3, 0x2b7a8f8, 0x3492030) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: goroutine 1 [chan receive]: Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/engine.go:2178 +0xf4 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: created by github.com/influxdata/influxdb/tsdb/engine/tsm1.(*Engine).compactHiPriorityLevel Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/usr/local/go/src/runtime/asm_arm.s:868 +0x4 fp=0x3893fdc sp=0x3893fdc pc=0x73610 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: runtime.goexit() Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/engine.go:2183 +0xd8 fp=0x3893fdc sp=0x3893f54 pc=0xd18dd4 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*Engine).compactHiPriorityLevel.func1(0x14336670, 0x5ee8600, 0x1, 0x14358dc0) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/engine.go:2266 +0x2c fp=0x3893f54 sp=0x3893f20 pc=0xcce0d0 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*compactionStrategy).Apply(0x14358dc0) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/engine.go:2289 +0xfdc fp=0x3893f20 sp=0x389391c pc=0xccf0ec Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*compactionStrategy).compactGroup(0x14358dc0) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/compact.go:971 +0x110 fp=0x389391c sp=0x38938a0 pc=0xcadbf0 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*Compactor).CompactFull(0x4d31440, 0x14358cc0, 0x8, 0x8, 0x0, 0x0, 0x0, 0x0, 0x0) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/compact.go:953 +0x4a0 fp=0x38938a0 sp=0x3893824 pc=0xcada54 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*Compactor).compact(0x4d31440, 0x14358c00, 0x14358cc0, 0x8, 0x8, 0x0, 0x0, 0x0, 0x0, 0x0) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/compact.go:1045 +0x11c fp=0x3893824 sp=0x38937cc pc=0xcae2ac Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*Compactor).writeNewFiles(0x4d31440, 0x19, 0x2, 0x14358cc0, 0x8, 0x8, 0x1ec9988, 0x147540a0, 0x1, 0x1ec9988, ...) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/compact.go:1141 +0x150 fp=0x38937cc sp=0x3893710 pc=0xcae7b8 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*Compactor).write(0x4d31440, 0x52cd9f0, 0x49, 0x1ec9988, 0x147540a0, 0x3753c01, 0x0, 0x0) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/compact.go:1833 +0x10c fp=0x3893710 sp=0x38935d4 pc=0xcaf9bc Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*tsmBatchKeyIterator).Next(0x147540a0, 0x350437) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/compact.go:1850 +0x40 fp=0x38935d4 sp=0x389358c pc=0xcb0b7c Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*tsmBatchKeyIterator).merge(0x147540a0) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/compact.gen.go:1282 +0x24c fp=0x389358c sp=0x3893574 pc=0xca23f0 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*tsmBatchKeyIterator).mergeInteger(0x147540a0) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/compact.gen.go:1411 +0xe3c fp=0x3893574 sp=0x38934c0 pc=0xca3378 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/tsdb/engine/tsm1.(*tsmBatchKeyIterator).combineInteger(0x147540a0, 0x22bdd000, 0x8, 0x22bdd0a0, 0x76fb1008) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/array_encoding.go:68 +0x12c fp=0x38934c0 sp=0x3893474 pc=0xc955cc Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/tsdb/engine/tsm1.DecodeIntegerArrayBlock(0x7d1f7964, 0x18, 0x33bf1d, 0x3893544, 0x0, 0x0) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: #011/go/src/github.com/influxdata/influxdb/tsdb/engine/tsm1/batch_integer.go:150 +0x78 fp=0x3893474 sp=0x3893444 pc=0xc993b0 Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: github.com/influxdata/influxdb/tsdb/engine/tsm1.IntegerArrayDecodeAll(0x7d1f7971, 0xb, 0x33bf10, 0x0, 0x0, 0x0, 0x237fdc00, 0x72, 0x72, 0x0, ...) |
Wat er in 1/100 seconde allemaal niet kan gebeuren

Elga | Valliant eco TEC plus VHR 30-34/5-5L | Kamstrup 602 |Nodo OTGW | Raspberry Pi 3B+/4B+|RFXcom rfxtrx433xl | UniFi netwerk | PVoutput 8.625 kWp
Ik had wel verwacht dat binnen die 300 regels iets van Influx zelf naar voren zou komen. Maar dit is nog steeds allemaal de afhandeling van de fatal error (in go). Maar waarschijnlijk zal niet ver hieronder (tussen regel 300 en 400) wel staan dat Influx bezig was met compacting en dat er een fatal error was.Copitano schreef op donderdag 16 februari 2023 @ 14:10:
[...]
Dan is dit het hele verhaal
[...]
Wat er in 1/100 seconde allemaal niet kan gebeuren
Kunt ook zoeken op "fatal error" want ik denk dat ie daar echt niet meer van terug komt en dus crasht.
tac /var/log/daemon.log | grep -m1 -A33 -i " fatal error: out of memory"
Maar het blijft natuurlijk duidelijk een geheugen probleem.
(Ik ben blij dat die van mij op 4GB draait.)
[Voor 20% gewijzigd door rvk op 16-02-2023 15:19]
rm -rf /var/lib/influxdb/data/_internal/
(niet gekeken of je dan iets mist want dit was geen productie-versie)
(Maar het feit dat ie op momenten crasht is natuurlijk niet zo goed)
Hij trekt zo'n Pi met 1GB wel lekker vol. 176.2% CPU. Ook knap

1
2
3
| PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND 29410 influxdb 20 0 1551676 654172 28120 S 176.2 69.2 3:58.51 influxd 531 root 20 0 242688 33036 3928 S 0.0 3.5 13:45.38 node |
[Voor 40% gewijzigd door rvk op 16-02-2023 15:32]
rvk schreef op donderdag 16 februari 2023 @ 15:14:
[...]
Ik had wel verwacht dat binnen die 300 regels iets van Influx zelf naar voren zou komen. Maar dit is nog steeds allemaal de afhandeling van de fatal error (in go). Maar waarschijnlijk zal niet ver hieronder (tussen regel 300 en 400) wel staan dat Influx bezig was met compacting en dat er een fatal error was.
Kunt ook zoeken op "fatal error" want ik denk dat ie daar echt niet meer van terug komt en dus crasht.
tac /var/log/daemon.log | grep -m1 -A33 -i " fatal error: out of memory"
Maar het blijft natuurlijk duidelijk een geheugen probleem.
(Ik ben blij dat die van mij op 4GB draait.)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
| pi@raspberrypi:~ $ tac /var/log/daemon.log | grep -m1 -A33 -i " fatal error: out of memory" Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: fatal error: out of memory Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: runtime: out of memory: cannot allocate 8192-byte block (539164672 in use) Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: fatal error: out of memory Feb 16 12:38:13 raspberrypi influxd-systemd-start.sh[32047]: runtime: out of memory: cannot allocate 8192-byte block (539164672 in use) Feb 16 12:38:12 raspberrypi influxd-systemd-start.sh[32047]: [httpd] 192.168.2.36 - - [16/Feb/2023:12:38:12 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML, like Gecko) Chrome/53.0.13228.0 Safari/601.36" 64da63de-adee-11ed-8015-b827eb8b83c2 30590 Feb 16 12:38:11 raspberrypi influxd-systemd-start.sh[32047]: [httpd] 192.168.2.36 - - [16/Feb/2023:12:38:11 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML, like Gecko) Chrome/53.0.13228.0 Safari/601.36" 6487d654-adee-11ed-8014-b827eb8b83c2 11030 Feb 16 12:38:10 raspberrypi influxd-systemd-start.sh[32047]: [httpd] 192.168.2.36 - - [16/Feb/2023:12:38:10 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML, like Gecko) Chrome/53.0.13228.0 Safari/601.36" 63d9a9be-adee-11ed-8013-b827eb8b83c2 110248 Feb 16 12:38:10 raspberrypi influxd-systemd-start.sh[32047]: ts=2023-02-16T11:38:10.643159Z lvl=info msg="Cache snapshot (start)" log_id=0g2VzxRG000 engine=tsm1 trace_id=0g2W7cKl000 op_name=tsm1_cache_snapshot op_event=start Feb 16 12:38:10 raspberrypi influxd-systemd-start.sh[32047]: ts=2023-02-16T11:38:10.643084Z lvl=info msg="Error writing snapshot" log_id=0g2VzxRG000 engine=tsm1 error="cannot allocate memory" Feb 16 12:38:10 raspberrypi influxd-systemd-start.sh[32047]: ts=2023-02-16T11:38:10.642976Z lvl=info msg="Cache snapshot (end)" log_id=0g2VzxRG000 engine=tsm1 trace_id=0g2W7JqW000 op_name=tsm1_cache_snapshot op_event=end op_elapsed=4988.524ms Feb 16 12:38:10 raspberrypi influxd-systemd-start.sh[32047]: ts=2023-02-16T11:38:10.642602Z lvl=info msg="Error adding new TSM files from snapshot. Removing temp files." log_id=0g2VzxRG000 engine=tsm1 trace_id=0g2W7JqW000 op_name=tsm1_cache_snapshot error="cannot allocate memory" Feb 16 12:38:09 raspberrypi influxd-systemd-start.sh[32047]: [httpd] 192.168.2.36 - - [16/Feb/2023:12:38:09 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML, like Gecko) Chrome/53.0.13228.0 Safari/601.36" 63323139-adee-11ed-8012-b827eb8b83c2 49845 Feb 16 12:38:09 raspberrypi influxd-systemd-start.sh[32047]: [httpd] 192.168.2.36 - - [16/Feb/2023:12:38:09 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML, like Gecko) Chrome/53.0.13228.0 Safari/601.36" 62dd9cdb-adee-11ed-8011-b827eb8b83c2 35744 Feb 16 12:38:08 raspberrypi influxd-systemd-start.sh[32047]: [httpd] 192.168.2.36 - - [16/Feb/2023:12:38:08 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML, like Gecko) Chrome/53.0.13228.0 Safari/601.36" 62830fc5-adee-11ed-8010-b827eb8b83c2 63582 Feb 16 12:38:07 raspberrypi influxd-systemd-start.sh[32047]: [httpd] 192.168.2.36 - - [16/Feb/2023:12:38:07 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML, like Gecko) Chrome/53.0.13228.0 Safari/601.36" 622c3f40-adee-11ed-800f-b827eb8b83c2 42876 Feb 16 12:38:07 raspberrypi influxd-systemd-start.sh[32047]: [httpd] 192.168.2.36 - - [16/Feb/2023:12:38:07 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML, like Gecko) Chrome/53.0.13228.0 Safari/601.36" 61cea2d2-adee-11ed-800e-b827eb8b83c2 68907 Feb 16 12:38:06 raspberrypi influxd-systemd-start.sh[32047]: [httpd] 192.168.2.36 - - [16/Feb/2023:12:38:06 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML, like Gecko) Chrome/53.0.13228.0 Safari/601.36" 61780e35-adee-11ed-800d-b827eb8b83c2 34556 Feb 16 12:38:06 raspberrypi influxd-systemd-start.sh[32047]: [httpd] 192.168.2.36 - - [16/Feb/2023:12:38:05 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML, like Gecko) Chrome/53.0.13228.0 Safari/601.36" 60ffb229-adee-11ed-800c-b827eb8b83c2 176062 Feb 16 12:38:05 raspberrypi influxd-systemd-start.sh[32047]: [httpd] 192.168.2.132 - - [16/Feb/2023:12:38:05 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML, like Gecko) Chrome/53.0.32971.0 Safari/601.36" 60ade411-adee-11ed-800b-b827eb8b83c2 242448 Feb 16 12:38:05 raspberrypi influxd-systemd-start.sh[32047]: ts=2023-02-16T11:38:05.654459Z lvl=info msg="Cache snapshot (start)" log_id=0g2VzxRG000 engine=tsm1 trace_id=0g2W7JqW000 op_name=tsm1_cache_snapshot op_event=start Feb 16 12:38:05 raspberrypi influxd-systemd-start.sh[32047]: ts=2023-02-16T11:38:05.654352Z lvl=info msg="Error writing snapshot" log_id=0g2VzxRG000 engine=tsm1 error="cannot allocate memory" Feb 16 12:38:05 raspberrypi influxd-systemd-start.sh[32047]: ts=2023-02-16T11:38:05.654212Z lvl=info msg="Cache snapshot (end)" log_id=0g2VzxRG000 engine=tsm1 trace_id=0g2W72v0000 op_name=tsm1_cache_snapshot op_event=end op_elapsed=4333.649ms Feb 16 12:38:05 raspberrypi influxd-systemd-start.sh[32047]: ts=2023-02-16T11:38:05.653757Z lvl=info msg="Error adding new TSM files from snapshot. Removing temp files." log_id=0g2VzxRG000 engine=tsm1 trace_id=0g2W72v0000 op_name=tsm1_cache_snapshot error="cannot allocate memory" Feb 16 12:38:05 raspberrypi influxd-systemd-start.sh[32047]: [httpd] 192.168.2.36 - - [16/Feb/2023:12:38:03 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML, like Gecko) Chrome/53.0.13228.0 Safari/601.36" 5f8a4de9-adee-11ed-8008-b827eb8b83c2 1840423 Feb 16 12:38:04 raspberrypi influxd-systemd-start.sh[32047]: [httpd] 192.168.2.132 - - [16/Feb/2023:12:38:04 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML, like Gecko) Chrome/53.0.32971.0 Safari/601.36" 6059fb6c-adee-11ed-800a-b827eb8b83c2 32537 Feb 16 12:38:04 raspberrypi influxd-systemd-start.sh[32047]: [httpd] 192.168.2.132 - - [16/Feb/2023:12:38:04 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML, like Gecko) Chrome/53.0.32971.0 Safari/601.36" 60076703-adee-11ed-8009-b827eb8b83c2 9813 Feb 16 12:38:02 raspberrypi influxd-systemd-start.sh[32047]: [httpd] 192.168.2.36 - - [16/Feb/2023:12:38:02 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML, like Gecko) Chrome/53.0.13228.0 Safari/601.36" 5f33d95f-adee-11ed-8007-b827eb8b83c2 54170 Feb 16 12:38:02 raspberrypi influxd-systemd-start.sh[32047]: [httpd] 192.168.2.36 - - [16/Feb/2023:12:38:02 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML, like Gecko) Chrome/53.0.13228.0 Safari/601.36" 5ed0ab1f-adee-11ed-8006-b827eb8b83c2 76365 Feb 16 12:38:01 raspberrypi influxd-systemd-start.sh[32047]: ts=2023-02-16T11:38:01.320547Z lvl=info msg="Cache snapshot (start)" log_id=0g2VzxRG000 engine=tsm1 trace_id=0g2W72v0000 op_name=tsm1_cache_snapshot op_event=start Feb 16 12:38:01 raspberrypi influxd-systemd-start.sh[32047]: ts=2023-02-16T11:38:01.318751Z lvl=info msg="Error writing snapshot" log_id=0g2VzxRG000 engine=tsm1 error="cannot allocate memory" Feb 16 12:38:01 raspberrypi influxd-systemd-start.sh[32047]: ts=2023-02-16T11:38:01.316589Z lvl=info msg="Cache snapshot (end)" log_id=0g2VzxRG000 engine=tsm1 trace_id=0g2W6ln0000 op_name=tsm1_cache_snapshot op_event=end op_elapsed=4636.054ms Feb 16 12:38:01 raspberrypi influxd-systemd-start.sh[32047]: ts=2023-02-16T11:38:01.314395Z lvl=info msg="Error adding new TSM files from snapshot. Removing temp files." log_id=0g2VzxRG000 engine=tsm1 trace_id=0g2W6ln0000 op_name=tsm1_cache_snapshot error="cannot allocate memory" Feb 16 12:37:59 raspberrypi influxd-systemd-start.sh[32047]: [httpd] 192.168.2.36 - - [16/Feb/2023:12:37:59 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML, like Gecko) Chrome/53.0.13228.0 Safari/601.36" 5ced62e9-adee-11ed-8005-b827eb8b83c2 57355 Feb 16 12:37:58 raspberrypi influxd-systemd-start.sh[32047]: [httpd] 192.168.2.36 - - [16/Feb/2023:12:37:58 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML, like Gecko) Chrome/53.0.13228.0 Safari/601.36" 5c9c2501-adee-11ed-8004-b827eb8b83c2 11918 |
Ik had van vanmorgeniddag ook nog de SHOW DIAGNOSTICS uit influx van net nadat ik de boel weer aan de gang had.
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
| pi@raspberrypi:~ $ influx Connected to http://localhost:8086 version 1.8.10 InfluxDB shell version: 1.8.10 > SHOW DIAGNOSTICS name: build Branch Build Time Commit Version ------ ---------- ------ ------- 1.8 688e697c51fd 1.8.10 name: config bind-address reporting-disabled ------------ ------------------ 127.0.0.1:8088 false name: config-coordinator log-queries-after max-concurrent-queries max-select-buckets max-select-point max-select-series query-timeout write-timeout ----------------- ---------------------- ------------------ ---------------- ----------------- ------------- ------------- 0s 0 0 0 0 0s 10s name: config-cqs enabled query-stats-enabled run-interval ------- ------------------- ------------ true false 1s name: config-data cache-max-memory-size cache-snapshot-memory-size cache-snapshot-write-cold-duration compact-full-write-cold-duration dir max-concurrent-compactions max-index-log-file-size max-series-per-database max-values-per-tag series-file-max-concurrent-compactions series-id-set-cache-size strict-error-handling wal-dir wal-fsync-delay --------------------- -------------------------- ---------------------------------- -------------------------------- --- -------------------------- ----------------------- ----------------------- ------------------ -------------------------------------- ------------------------ --------------------- ------- --------------- 536870912 26214400 10m0s 4h0m0s /var/lib/influxdb/data 0 1048576 1000000 100000 0 100 false /var/lib/influxdb/wal 0s name: config-httpd access-log-path bind-address enabled https-enabled max-connection-limit max-row-limit --------------- ------------ ------- ------------- -------------------- ------------- :8086 true false 0 0 name: config-meta dir --- /var/lib/influxdb/meta name: config-monitor store-database store-enabled store-interval -------------- ------------- -------------- _internal true 10s name: config-precreator advance-period check-interval enabled -------------- -------------- ------- 30m0s 10m0s true name: config-retention check-interval enabled -------------- ------- 30m0s true name: config-subscriber enabled http-timeout write-buffer-size write-concurrency ------- ------------ ----------------- ----------------- true 30s 1000 40 name: network hostname -------- raspberrypi name: runtime GOARCH GOMAXPROCS GOOS version ------ ---------- ---- ------- arm 4 linux go1.13.8 name: system PID currentTime started uptime --- ----------- ------- ------ 1862 2023-02-16T11:54:05.242626081Z 2023-02-16T11:38:14.090205532Z 15m51.152420549s > |
Elga | Valliant eco TEC plus VHR 30-34/5-5L | Kamstrup 602 |Nodo OTGW | Raspberry Pi 3B+/4B+|RFXcom rfxtrx433xl | UniFi netwerk | PVoutput 8.625 kWp
Als ik het goed zie gooi je daar mee '/var/lib/influxdb/data/_internal' weg?rvk schreef op donderdag 16 februari 2023 @ 15:28:
Ik krijg hem hier wel weer in de lucht met een
rm -rf /var/lib/influxdb/data/_internal/
(niet gekeken of je dan iets mist want dit was geen productie-versie)
(Maar het feit dat ie op momenten crasht is natuurlijk niet zo goed)
Hij trekt zo'n Pi met 1GB wel lekker vol. 176.2% CPU. Ook knap![]()
code:
1 2 3 PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND 29410 influxdb 20 0 1551676 654172 28120 S 176.2 69.2 3:58.51 influxd 531 root 20 0 242688 33036 3928 S 0.0 3.5 13:45.38 node
Net zoiets als de 'wal' weggooien?
Ik zie het al. Hier hebben ze ook zoiets.
Ik ga ook maar een Pi 4 bestellen met 8 GB geheugen als die al weer ergens te krijgen is tegen een fatsoenlijke prijs. Heb er wel een gevonden, maar bij navraag kom je dan in de wachtrij. Dat is dan dus nog maar afwachten wanneer dat ding eens binnen gaat komen. En dan maar meteen met een SSD
[Voor 6% gewijzigd door Copitano op 16-02-2023 16:32]
Elga | Valliant eco TEC plus VHR 30-34/5-5L | Kamstrup 602 |Nodo OTGW | Raspberry Pi 3B+/4B+|RFXcom rfxtrx433xl | UniFi netwerk | PVoutput 8.625 kWp
Het is de interne statistieken tabel.Copitano schreef op donderdag 16 februari 2023 @ 16:24:
[...]
Als ik het goed zie gooi je daar mee '/var/lib/influxdb/data/_internal' weg?
Net zoiets als de 'wal' weggooien?
Als je die gebruikt dan moet die natuurlijk niet weg.
Maar bij mij liep ie wel weer daarna.
Internal monitoring
InfluxDB also writes statistical and diagnostic information to database named _internal, which records metrics on the internal runtime and service performance. The _internal database can be queried and manipulated like any other InfluxDB database. Check out the monitor service README and the internal monitoring blog post for more detail.
https://www.influxdata.co...base-to-monitor-influxdb/The internal database
All this statistical information is very useful, but is reset when the system restarts. What if we want to analyze the performance of our system over time? Of course, InfluxDB is a time series database, built especially for storing this kind of data. So the system periodically writes all statistical data to a special database called _internal, which allows you to use the full power of InfluxQL to analyze the system itself.
Schijnbaar is dat ook heel veel informatie.
(Bij mij 272MB van de 1.5GB)
Overigens wordt die info toch na 168 uur weggegooid.
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
| > use _internal Using database _internal > show measurements name: measurements name ---- cq database httpd queryExecutor runtime shard subscriber tsm1_cache tsm1_engine tsm1_filestore tsm1_wal write > show retention policies name duration shardGroupDuration replicaN default ---- -------- ------------------ -------- ------- monitor 168h0m0s 24h0m0s 1 true |
Ik denk niet dat er aan te komen is. Of tegen belachelijke prijzen.Copitano schreef op donderdag 16 februari 2023 @ 16:24:
[...]
Ik ga ook maar een Pi 4 bestellen met 8 GB geheugen als die al weer ergens te krijgen is tegen een fatsoenlijke prijs. Heb er wel een gevonden, maar bij navraag kom je dan in de wachtrij. Dat is dan dus nog maar afwachten wanneer dat ding eens binnen gaat komen. En dan maar meteen met een SSD
Er zijn natuurlijk wel alternatieve boardjes. Maar daar heb ik geen ervaring mee.
Heb ik met sudo rm -rf /var/lib/influxdb/data/_internal weg geknikkerd, maar influxdb maakt het bestand zelf weer opnieuw aan. Dat zal dus geen probleem geven denk ik.rvk schreef op donderdag 16 februari 2023 @ 16:57:
[...]
Het is de interne statistieken tabel.
Als je die gebruikt dan moet die natuurlijk niet weg.
Maar bij mij liep ie wel weer daarna.
Tsja, dat zal voor veel vergelijkbare bordjes ook wel gelden. Een compleet starterkit incl. voeding, SD card en koeling wordt aangeboden voor ongeveer € 140. Zou half maart leverbaar zijn, maar heb niet zoveel zin om vooruit te betalen voor onzekeren levering.Ik denk niet dat er aan te komen is. Of tegen belachelijke prijzen.
Ontopic: Toch weer tweevier stops vandaag. De laatste handmatig.
1
2
3
4
5
| pi@raspberrypi:~ $ sudo tac /var/log/daemon.log | grep -i "Stopped influxDB" | head -n10 Feb 17 21:15:47 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database. Feb 17 21:02:19 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database. Feb 17 19:58:07 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database. Feb 17 08:49:52 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database. |
Een net voor negen vanmorgen en een net voor negen uur vanavond. Het geheugengebruik begon na de laatste ook weer heel hard op te lopen. Heb influxdb handmatig gestopt en weer gestart en voilá geheugen pruttelt weer stabiel op een aceptabel niveau zonder dataverlies.
Zoiets zou ook moeten kunnen met een cronjob, bijvoorbeeld dagelijks om 00:15 uur
[Voor 28% gewijzigd door Copitano op 17-02-2023 23:48]
Elga | Valliant eco TEC plus VHR 30-34/5-5L | Kamstrup 602 |Nodo OTGW | Raspberry Pi 3B+/4B+|RFXcom rfxtrx433xl | UniFi netwerk | PVoutput 8.625 kWp
Was dit voor of na het verwijderen van _internal?Copitano schreef op vrijdag 17 februari 2023 @ 23:38:
[...]
Ontopic: Toch weer tweevier stops vandaag. De laatste handmatig.
Het klopt inderdaad dat deze weer aangemaakt wordt maar hij was bij mij wel >270MB.
En dat moet wel verwerkt worden bij het opstarten wat ook veel geheugen kost.
De vraag is wel of dat nu gebeurd bij het "compacten". Want als dat zo is, en je herstart influx, dan kan het dus zijn dat die nooit aan het compacten toekomt. En dat kan op termijn natuurlijk ook voor problemen zorgen. Vandaar dat het van belang is dat je kijkt wat voor regels hij echt vastloopt (met grep -B200, of grep -A200 bij tac).Copitano schreef op vrijdag 17 februari 2023 @ 23:38:
Heb influxdb handmatig gestopt en weer gestart en voilá geheugen pruttelt weer stabiel op een aceptabel niveau zonder dataverlies.
Dat zou kunnen met crontab (onder root)Copitano schreef op vrijdag 17 februari 2023 @ 23:38:
Zoiets zou ook moeten kunnen met een cronjob, bijvoorbeeld dagelijks om 00:15 uur
sudo crontab -e
1
2
3
4
| # m h dom mon dow command # restart influx # 15 0 * * * service influxdb restart >> /dev/null 2>&1 |
Maar of dat echt aan te bevelen valt

Beiden volgens mij. Kijk ik nog ff na.rvk schreef op zaterdag 18 februari 2023 @ 13:29:
[...]
Was dit voor of na het verwijderen van _internal?
Ik ga daar nog eens goed naar kijken bij de volgende crash. Voorlopig draait het nog zonder hiccupsDe vraag is wel of dat nu gebeurd bij het "compacten". Want als dat zo is, en je herstart influx, dan kan het dus zijn dat die nooit aan het compacten toekomt. En dat kan op termijn natuurlijk ook voor problemen zorgen. Vandaar dat het van belang is dat je kijkt wat voor regels hij echt vastloopt (met grep -B200, of grep -A200 bij tac).
Die houd ik nog even achter de hand. Het ziet er inderdaad nog niet echt naar uit dat de Pi4 heel snel beschikbaar zal zijn voor transplantatie van de databaseDat zou kunnen met crontab (onder root)
sudo crontab -e
code:
1 2 3 4 # m h dom mon dow command # restart influx # 15 0 * * * service influxdb restart >> /dev/null 2>&1
Maar of dat echt aan te bevelen valt

Elga | Valliant eco TEC plus VHR 30-34/5-5L | Kamstrup 602 |Nodo OTGW | Raspberry Pi 3B+/4B+|RFXcom rfxtrx433xl | UniFi netwerk | PVoutput 8.625 kWp
Om 19:58 is een nieuwe _ internal aangemaakt.
Laatste stops 21:02 en 21:15, dus daarna. Maar die laaste was dus handmatig geforceerd.
1
2
3
4
5
| pi@raspberrypi:~ $ sudo tac /var/log/daemon.log | grep -i "Stopped influxDB" | head -n10 Feb 17 21:15:47 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database. Feb 17 21:02:19 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database. Feb 17 19:58:07 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database. Feb 17 08:49:52 raspberrypi systemd[1]: Stopped InfluxDB is an open-source, distributed, time series database. |
Dit zijn de laagste regels net voor de crash van 19:58.
1
2
3
4
5
6
7
8
| Feb 17 19:58:40 raspberrypi influxd-systemd-start.sh[6438]: ts=2023-02-17T18:58:40.341884Z lvl=info msg="failed to store statistics" log_id=0g4BhEeW000 service=monitor error=timeout Feb 17 19:58:05 raspberrypi influxd-systemd-start.sh[20933]: ts=2023-02-17T18:58:05.241570Z lvl=info msg="Error writing snapshot" log_id=0g3aT2NW000 engine=tsm1 error="compaction in progress: open /var/lib/influxdb/data/_internal/monitor/2453/000004450-000000001.tsm.tmp: no such file or directory" Feb 17 19:58:05 raspberrypi influxd-systemd-start.sh[20933]: ts=2023-02-17T18:58:05.231641Z lvl=info msg="Error writing snapshot from compactor" log_id=0g3aT2NW000 engine=tsm1 trace_id=0g4BgxDl000 op_name=tsm1_cache_snapshot error="compaction in progress: open /var/lib/influxdb/data/_internal/monitor/2453/000004450-000000001.tsm.tmp: no such file or directory" Feb 17 19:58:03 raspberrypi influxd-systemd-start.sh[20933]: ts=2023-02-17T18:58:03.025674Z lvl=info msg="Error writing snapshot" log_id=0g3aT2NW000 engine=tsm1 error="compaction in progress: open /var/lib/influxdb/data/_internal/monitor/2453/000004449-000000001.tsm.tmp: no such file or directory" Feb 17 19:58:03 raspberrypi influxd-systemd-start.sh[20933]: ts=2023-02-17T18:58:03.021950Z lvl=info msg="Error writing snapshot from compactor" log_id=0g3aT2NW000 engine=tsm1 trace_id=0g4BgtJW000 op_name=tsm1_cache_snapshot error="compaction in progress: open /var/lib/influxdb/data/_internal/monitor/2453/000004449-000000001.tsm.tmp: no such file or directory" Feb 17 19:58:02 raspberrypi influxd-systemd-start.sh[20933]: ts=2023-02-17T18:58:02.181445Z lvl=info msg="Error writing snapshot" log_id=0g3aT2NW000 engine=tsm1 error="compaction in progress: open /var/lib/influxdb/data/_internal/monitor/2453/000004448-000000001.tsm.tmp: no such file or directory" Feb 17 19:58:02 raspberrypi influxd-systemd-start.sh[20933]: ts=2023-02-17T18:58:02.170558Z lvl=info msg="Error writing snapshot from compactor" log_id=0g3aT2NW000 engine=tsm1 trace_id=0g4BgpP0000 op_name=tsm1_cache_snapshot error="compaction in progress: open /var/lib/influxdb/data/_internal/monitor/2453/000004448-000000001.tsm.tmp: no such file or directory" Feb 17 19:58:00 raspberrypi influxd-systemd-start.sh[20933]: ts=2023-02-17T18:58:00.802342Z lvl=info msg="Error writing snapshot" log_id=0g3aT2NW000 engine=tsm1 error="compaction in progress: open /var/lib/influxdb/data/_internal/monitor/2453/000004447-000000001.tsm.tmp: no such file or directory" |
Daar staan fouten met betrekking tot 'compaction'. Maar die lijken te maken te hebben met het verwijderen van _internal.
De laatste foutmeldingen van net voor de crash van 21:02
1
2
3
4
5
6
| Feb 17 20:31:39 raspberrypi influxd-systemd-start.sh[6438]: ts=2023-02-17T19:31:39.322388Z lvl=info msg="Error writing snapshot" log_id=0g4BhEeW000 engine=tsm1 error="cannot allocate memory" Feb 17 20:31:39 raspberrypi influxd-systemd-start.sh[6438]: ts=2023-02-17T19:31:39.320871Z lvl=info msg="Error adding new TSM files from snapshot. Removing temp files." log_id=0g4BhEeW000 engine=tsm1 trace_id=0g4DbwNl000 op_name=tsm1_cache_snapshot error="cannot allocate memory" Feb 17 20:31:38 raspberrypi influxd-systemd-start.sh[6438]: ts=2023-02-17T19:31:38.463779Z lvl=info msg="Error writing snapshot" log_id=0g4BhEeW000 engine=tsm1 error="cannot allocate memory" Feb 17 20:31:38 raspberrypi influxd-systemd-start.sh[6438]: ts=2023-02-17T19:31:38.463450Z lvl=info msg="Error adding new TSM files from snapshot. Removing temp files." log_id=0g4BhEeW000 engine=tsm1 trace_id=0g4DbrJ0000 op_name=tsm1_cache_snapshot error="cannot allocate memory" Feb 17 20:31:36 raspberrypi influxd-systemd-start.sh[6438]: ts=2023-02-17T19:31:36.931159Z lvl=info msg="Error writing snapshot" log_id=0g4BhEeW000 engine=tsm1 error="cannot allocate memory" Feb 17 20:31:36 raspberrypi influxd-systemd-start.sh[6438]: ts=2023-02-17T19:31:36.930918Z lvl=info msg="Error adding new TSM files from snapshot. Removing temp files." log_id=0g4BhEeW000 engine=tsm1 trace_id=0g4DbnOl000 op_name=tsm1_cache_snapshot error="cannot allocate memory" |
Ook kom ik deze fouten rond die tijd tegen in het log "Error writing snapshot" en "Error adding new TSM files from snapshot. Removing temp files."
1
2
3
4
5
6
7
8
9
10
11
12
13
| Feb 17 20:32:02 raspberrypi influxd-systemd-start.sh[6438]: ts=2023-02-17T19:32:02.163862Z lvl=info msg="Cache snapshot (start)" log_id=0g4BhEeW000 engine=tsm1 trace_id=0g4DdNxl000 op_name=tsm1_cache_snapshot op_event=start Feb 17 20:32:02 raspberrypi influxd-systemd-start.sh[6438]: [httpd] 192.168.2.36 - - [17/Feb/2023:20:32:02 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML,$ Feb 17 20:32:02 raspberrypi influxd-systemd-start.sh[6438]: [httpd] 192.168.2.132 - - [17/Feb/2023:20:32:02 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$ Feb 17 20:32:03 raspberrypi influxd-systemd-start.sh[6438]: [httpd] 192.168.2.132 - - [17/Feb/2023:20:32:03 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$ Feb 17 20:32:03 raspberrypi influxd-systemd-start.sh[6438]: ts=2023-02-17T19:32:03.243899Z lvl=info msg="Error adding new TSM files from snapshot. Removing temp files." log_id=0g4BhEeW000 engine=tsm1 trace_id=0g4DdNxl000 op_name=tsm1_ca$ Feb 17 20:32:03 raspberrypi influxd-systemd-start.sh[6438]: ts=2023-02-17T19:32:03.244110Z lvl=info msg="Cache snapshot (end)" log_id=0g4BhEeW000 engine=tsm1 trace_id=0g4DdNxl000 op_name=tsm1_cache_snapshot op_event=end op_elapsed=1080.$ Feb 17 20:32:03 raspberrypi influxd-systemd-start.sh[6438]: ts=2023-02-17T19:32:03.244188Z lvl=info msg="Error writing snapshot" log_id=0g4BhEeW000 engine=tsm1 error="cannot allocate memory" Feb 17 20:32:03 raspberrypi influxd-systemd-start.sh[6438]: ts=2023-02-17T19:32:03.244254Z lvl=info msg="Cache snapshot (start)" log_id=0g4BhEeW000 engine=tsm1 trace_id=0g4DdSB0000 op_name=tsm1_cache_snapshot op_event=start Feb 17 20:32:03 raspberrypi influxd-systemd-start.sh[6438]: [httpd] 192.168.2.132 - - [17/Feb/2023:20:32:03 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$ Feb 17 20:32:03 raspberrypi influxd-systemd-start.sh[6438]: ts=2023-02-17T19:32:03.990401Z lvl=info msg="Error adding new TSM files from snapshot. Removing temp files." log_id=0g4BhEeW000 engine=tsm1 trace_id=0g4DdSB0000 op_name=tsm1_ca$ Feb 17 20:32:03 raspberrypi influxd-systemd-start.sh[6438]: ts=2023-02-17T19:32:03.990578Z lvl=info msg="Cache snapshot (end)" log_id=0g4BhEeW000 engine=tsm1 trace_id=0g4DdSB0000 op_name=tsm1_cache_snapshot op_event=end op_elapsed=746.3$ Feb 17 20:32:03 raspberrypi influxd-systemd-start.sh[6438]: ts=2023-02-17T19:32:03.990656Z lvl=info msg="Error writing snapshot" log_id=0g4BhEeW000 engine=tsm1 error="cannot allocate memory" Feb 17 20:32:04 raspberrypi influxd-systemd-start.sh[6438]: ts=2023-02-17T19:32:04.164403Z lvl=info msg="Cache snapshot (start)" log_id=0g4BhEeW000 engine=tsm1 trace_id=0g4DdVm0000 op_name=tsm1_cache_snapshot op_event=start |
en
1
2
3
4
5
6
7
8
9
10
11
12
13
14
| Feb 17 21:02:17 raspberrypi influxd-systemd-start.sh[6438]: [httpd] 192.168.2.132 - - [17/Feb/2023:21:02:17 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$ Feb 17 21:02:17 raspberrypi influxd-systemd-start.sh[6438]: ts=2023-02-17T20:02:17.955188Z lvl=info msg="Error adding new TSM files from snapshot. Removing temp files." log_id=0g4BhEeW000 engine=tsm1 trace_id=0g4FN9nl000 op_name=tsm1_ca$ Feb 17 21:02:17 raspberrypi influxd-systemd-start.sh[6438]: ts=2023-02-17T20:02:17.956636Z lvl=info msg="Cache snapshot (end)" log_id=0g4BhEeW000 engine=tsm1 trace_id=0g4FN9nl000 op_name=tsm1_cache_snapshot op_event=end op_elapsed=792.7$ Feb 17 21:02:17 raspberrypi influxd-systemd-start.sh[6438]: ts=2023-02-17T20:02:17.957356Z lvl=info msg="Error writing snapshot" log_id=0g4BhEeW000 engine=tsm1 error="cannot allocate memory" Feb 17 21:02:18 raspberrypi influxd-systemd-start.sh[6438]: ts=2023-02-17T20:02:18.164056Z lvl=info msg="Cache snapshot (start)" log_id=0g4BhEeW000 engine=tsm1 trace_id=0g4FNDhl000 op_name=tsm1_cache_snapshot op_event=start Feb 17 21:02:18 raspberrypi influxd-systemd-start.sh[6438]: [httpd] 192.168.2.132 - - [17/Feb/2023:21:02:18 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML$ Feb 17 21:02:18 raspberrypi influxd-systemd-start.sh[6438]: [httpd] 192.168.2.36 - - [17/Feb/2023:21:02:18 +0100] "POST /write?db=Kamstrup&precision=s HTTP/1.1 " 204 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/601.36 (KHTML,$ Feb 17 21:02:18 raspberrypi influxd-systemd-start.sh[6438]: runtime: out of memory: cannot allocate 4210688-byte block (648347648 in use) Feb 17 21:02:18 raspberrypi influxd-systemd-start.sh[6438]: fatal error: out of memory Feb 17 21:02:18 raspberrypi influxd-systemd-start.sh[6438]: runtime stack: Feb 17 21:02:18 raspberrypi influxd-systemd-start.sh[6438]: runtime.throw(0xfebdde, 0xd) Feb 17 21:02:18 raspberrypi influxd-systemd-start.sh[6438]: #011/usr/local/go/src/runtime/panic.go:774 +0x5c Feb 17 21:02:18 raspberrypi influxd-systemd-start.sh[6438]: runtime.largeAlloc(0x403000, 0x4d50101, 0x3f584) Feb 17 21:02:18 raspberrypi influxd-systemd-start.sh[6438]: #011/usr/local/go/src/runtime/malloc.go:1140 +0x124 |
[Voor 95% gewijzigd door Copitano op 18-02-2023 17:44]
Elga | Valliant eco TEC plus VHR 30-34/5-5L | Kamstrup 602 |Nodo OTGW | Raspberry Pi 3B+/4B+|RFXcom rfxtrx433xl | UniFi netwerk | PVoutput 8.625 kWp
sudo influx_inspect verify -dir /var/lib/influxdb
Gewoon om even te kijken of je data wel intact is.
Ik weet dus niet wanneer de levels van compacting daadwerkelijk plaatsvinden.
Maar als dat process niet gebeurd, dan werkt influx natuurlijk niet optimaal.
Kans bestaat ook als je die compacting wel goed laat verlopen, het geheugengebruik ook naar beneden gaat (omdat bepaalde dingen weer meer optimaal zijn). Maar dat weet ik niet zeker. Nog veel te leren over Influx

(Ik weet bijvoorbeeld niet of een handmatige compaction kan helpen:
https://docs.influxdata.c...tion/compact-series-file/)
Over Compacting:
Compactions
Compactions are recurring processes that migrate data stored in a write-optimized format into a more read-optimized format. There are a number of stages of compaction that take place while a shard is hot for writes:
- Snapshots - Values in the Cache and WAL must be converted to TSM files to free memory and disk space used by the WAL segments. These compactions occur based on the cache memory and time thresholds.
- Level Compactions - Level compactions (levels 1-4) occur as the TSM files grow. TSM files are compacted from snapshots to level 1 files. Multiple level 1 files are compacted to produce level 2 files. The process continues until files reach level 4 (full compaction) and the max size for a TSM file. They will not be compacted further unless deletes, index optimization compactions, or full compactions need to run. Lower level compactions use strategies that avoid CPU-intensive activities like decompressing and combining blocks. Higher level (and thus less frequent) compactions will re-combine blocks to fully compact them and increase the compression ratio.
- Index Optimization - When many level 4 TSM files accumulate, the internal indexes become larger and more costly to access. An index optimization compaction splits the series and indices across a new set of TSM files, sorting all points for a given series into one TSM file. Before an index optimization, each TSM file contained points for most or all series, and thus each contains the same series index. After an index optimization, each TSM file contains points from a minimum of series and there is little series overlap between files. Each TSM file thus has a smaller unique series index, instead of a duplicate of the full series list. In addition, all points from a particular series are contiguous in a TSM file rather than spread across multiple TSM files.
- Full Compactions - Full compactions (level 4 compactions) run when a shard has become cold for writes for long time, or when deletes have occurred on the shard. Full compactions produce an optimal set of TSM files and include all optimizations from Level and Index Optimization compactions. Once a shard is fully compacted, no other compactions will run on it unless new writes or deletes are stored.
In de config staat dit:
1
| max-concurrent-compactions = 0 |
Dan wordt de helft van de cores gepakt voor compacting.
Je zou eens dit kunnen doen:
1
| max-concurrent-compactions = 1 |
Dan wordt er maar 1 core gepakt en dat zou ook aan geheugen kunnen schelen.
Ook hier geadviseerd: https://community.influxd...moving-to-tsi-index/12801max-concurrent-compactions = 0
The maximum number of concurrent full and level compactions that can run at one time. The default value of 0 results in 50% of the CPU cores being used at runtime for compactions. If explicitly set, the number of cores used for compaction is limited to the specified value.
Die zou ik nu dus gelijk eens even lager zetten en influx weer restarten.
[Voor 6% gewijzigd door rvk op 18-02-2023 18:52]
Thralas in "Na 5 jaar vlekkeloos werken crashed Influxdb nu regelmatig"
Gebruik de patched branch (al lijkt die niet voor iedereen te werken) of de enige echte oplossing: een 64-bits build op een 64-bits kernel. Voor die laatste kun je Raspberry Pi OS herinstalleren of enkel de 64-bits kernel enablen op je huidige installatie en kijken of je de aarch64 .deb van InfluxDB ook kunt installeren op een 32-bits userspace.
Zonde van m'n tijd, maar hij komt wel steeds terug onder actieve topics zo
[Voor 4% gewijzigd door Thralas op 18-02-2023 19:08]
Nu >24 uur zonder errorsrvk schreef op zaterdag 18 februari 2023 @ 18:42:
Uiteraard kun je na een crash eens de verify laten lopen:
sudo influx_inspect verify -dir /var/lib/influxdb
Gewoon om even te kijken of je data wel intact is.

Er is een nieuw log bestand gestart. Misschien dat dat voor dit moment net voldoende geheugenruimte scheelt.
sudo influx_inspect verify -dir /var/lib/influxdb geeft:
1
| /var/lib/influxdb/data/_internal/monitor/2454/000000073-000000001.tsm: healthy |
En dat geldt voor alle regels daarvoor ook. Dat lijkt dus prima.
Elga | Valliant eco TEC plus VHR 30-34/5-5L | Kamstrup 602 |Nodo OTGW | Raspberry Pi 3B+/4B+|RFXcom rfxtrx433xl | UniFi netwerk | PVoutput 8.625 kWp
Heeft inderdaad 4 cores. Bij de volgende crash zal ik de max-concurrent-compactions eens op 1 zetten.rvk schreef op zaterdag 18 februari 2023 @ 18:50:
De Pi 3B heeft toch 4 cores?
In de config staat dit:
code:
1 max-concurrent-compactions = 0
Dan wordt de helft van de cores gepakt voor compacting.
Je zou eens dit kunnen doen:
code:
1 max-concurrent-compactions = 1
Dan wordt er maar 1 core gepakt en dat zou ook aan geheugen kunnen schelen.
[...]
Ook hier geadviseerd: https://community.influxd...moving-to-tsi-index/12801
Die zou ik nu dus gelijk eens even lager zetten en influx weer restarten.
Elga | Valliant eco TEC plus VHR 30-34/5-5L | Kamstrup 602 |Nodo OTGW | Raspberry Pi 3B+/4B+|RFXcom rfxtrx433xl | UniFi netwerk | PVoutput 8.625 kWp
Er wordt niets genegeerd. Dat heb ik zeker allemaal doorgelezen.Thralas schreef op zaterdag 18 februari 2023 @ 19:07:
Het is me een raadsel waarom je 30 posts verder nog steeds loopt te klooien met allerlei niet-werkende workarounds en de daadwerkelijke oplossing negeert.
Thralas in "Na 5 jaar vlekkeloos werken crashed Influxdb nu regelmatig"
Gebruik de patched branch (al lijkt die niet voor iedereen te werken) of de enige echte oplossing: een 64-bits build op een 64-bits kernel. Voor die laatste kun je Raspberry Pi OS herinstalleren of enkel de 64-bits kernel enablen op je huidige installatie en kijken of je de aarch64 .deb van InfluxDB ook kunt installeren op een 32-bits userspace.
Maar het roept bij mij een aantal vragen op omdat het om een bestaande instllatie draait bijvoorbeeld:
- Kan ik het Raspberry Pi OS gewoorn over de bestaande installatie heen zetten of helemaal schoon?
- Hoe installeer ik een 64-bits kernel op een bestaand 32 bits-systeem?
- 64-bits build idem?
Met de geduldige en begrijpende reacties van @rvk ben ik heel blij. Al héél veel van geleerd in korte tijd. Daar is dit platform toch ook voor bedoeld lijkt mij, om van elkaar te leren. Voor mij dus zeker geen zonde van mijn tijdZonde van m'n tijd, maar hij komt wel steeds terug onder actieve topics zo

[Voor 3% gewijzigd door Copitano op 19-02-2023 03:03]
Elga | Valliant eco TEC plus VHR 30-34/5-5L | Kamstrup 602 |Nodo OTGW | Raspberry Pi 3B+/4B+|RFXcom rfxtrx433xl | UniFi netwerk | PVoutput 8.625 kWp