Data encoding issues

[jurriaan]

The JSON files seem to mostly contain UTF-8 strings, however, it seems like some conversion might have introduced mojibake:

$  grep -P '\xc3[\x80-\xbf]' -m2 *.json 

doelzinnen.json:		"title": "Concept - Kerndoel 5 - Artifiële intelligentie (AI)",
doelzinnen.json:		"title": "Concept - Kerndoel 6 - Creëren met digitale technologie",
sets.json: ...   mogelijk te maken – hier en op andere ...
toelichtingen.json:		"description": "Concept - Te denken valt aan aan de hand van oude kaarten en foto’s continuïteit en verandering in de omgeving van de school beschrijven en nadenken over toekomstige ontwikkelingen in de omgeving.",
toelichtingen.json:		"description": "Concept - Te denken valt aanmanieren vergelijken waarop macht wordt uitgeoefend binnen monarchieën, republieken, dictaturen en democratieën.",
uitwerkingen.json:		"description": "Concept - Het gaat hierbij om beschrijven hoe makers van digitale media de aandacht van gebruikers trekken, vasthouden en beïnvloeden met kleurende en sturende technieken."
uitwerkingen.json:		"description": "Concept - Het gaat hierbij om experimenteren met digitale middelen om gedachten, ideeën of gevoelens uit te drukken."

This is also visible in the data browser here: https://opendata.slo.nl/curriculum/2024/api/v1/uuid/50f8ce4d-105f-4cb2-b628-8c29e06b7502/

[Maxic]

We're also trimming extra whitespace and removing double spaces in several places. Would be nice if the data was also sanitized in that regard.

[JurreKoning]

This is a known issue (SLO Issues #47), present on our backlog.

[poef]

I'm not sure where this problem was introduced, it is at least not now a problem with the tools used to edit the data. So I'll try to find an exhaustive list of all entities with encoding issues and see if I can make an automated fix or if it is something small enough to fix manually.

[poef]

The unicode issues should now be resolved. I haven't touched whitespace yet. I will investigate that later.