Blog - Hannes Pries - Webdeveloper Blog - Entwicklung mit Shopware, PHP, HTML5 und JavaScript

Ollame lokal mit Docker

Nachdem ich feststellen musste, dass ChatGPT nur per API nutzbar ist, wenn man dafür bezahlt und sowie es ja problematisch sein kann Daten wie Telefonnummern oder Adressen dahin zu schicken, habe ich mich nach Alternativen umgesehen. Google Gemini kann man ohne Probleme per API nutzen, auch wenn man nicht bezahlt, aber das Datenschutzproblem bleibt. Also wäre eine lokale Lösung sowie so viel besser.

So kam ich zu Ollama. Das kann man ohne Probleme per Docker starten. Ohne GPU-Beschleunigung war es aber doch recht langsam. Zum Glück installiert der Nvidia-Treiber alles mit, um auch unter Windows GPU-Beschleunigung in Docker-Containern nutzen zu können.

Selbst mit einer GTX 970 ist das llama3 Model recht gut nutzbar. Test mit einem separaten Linux-System und Telsa P4 folgen später, wenn die Karte da ist.

Docker-Container starten:

docker run -d -v ollama:/root/.ollama -p 11434:11434 --gpus=all --name ollama_2 ollama/ollama

Ollama CLI Eingabe starten:

docker exec -it ollama_2 ollama run llama3

Abfrage via API:

POST http://localhost:11434/api/generate
Content-Type: application/json

{
"model": "llama3",
"prompt": "write a short poem about a 1HE server.",
"stream": false
}

Datenschutz DSGVO Cookie-Overlay

Meine Seite hat jetzt auch eine Abfrage, ob Cookies angelegt werden dürfen oder nicht. Es wird nicht nur einfach informiert, dass es geschieht oder nach dem Bestätigen geschehen wird. Der Besucher hat auch die Wahl, ob er mit oder ohne Cookies die Seite besuchen möchte. Ich überlege noch ein Belohnungssystem, für Besucher, die die Anzeigen anzeigen lassen (...was für ein komischer Satz...).
Besuchern die Seite zu verwehren halte ich für falsch. Belohnungen sind besser als Strafen.

Hier eine Plain-JavaScript Lösung, bei der man die Ausführung von AdSense oder Analytics per Event triggern kann. Wenn es einmal bestätigt wurde, merkt sich der Browser die Einstellung und behält das Verhalten bei. Es wird im localStorage gespeichert und dort kann man die Auswahl auch wieder löschen.

Vielleicht hilft das ja jemanden :-)

<div id="cookiequestion">
<style type="text/css">
#cookiequestion{
position: fixed;
text-align: center;
font-weight: bold;
left: 0;
bottom: 0;
border: 2px solid #BBB;
background-color: #DDD;
padding: 10px;
border-radius: 5px;
width: 100%;
}
</style>
<script type="text/javascript">
function cookieclose(val){
var storage = window.localStorage;
if(val && val > 0){
storage.setItem("cookiequestion_val", val);
}
else {
val = storage.getItem("cookiequestion_val");
}

if(val && val > 0){
document.getElementById("cookiequestion").style.display="none";

if(val > 1) {
var event = new Event('cookiequestion_clicked', {value: val, overlay: document.getElementById("cookiequestion")});
document.dispatchEvent(event);
//or do other things here
}
}
};

cookieclose(0);
</script>
<p>
Erlauben von Tracking/Cookies?
</p>
<p>
<button onclick="cookieclose(2);">
ja
</button>
<button onclick="cookieclose(1);">
nein
</button>
</p>
</div>

Was für andere Müll ist... Reparieren und Datenschutz

Heute wurde endlich nach langer Zeit das Nexus 7 reaktiviert. Die Geschichte wie wir zu diesem Tablet kamen, ist interessant und was ich dabei über Benutzer Mittleren Alters gelernt habe ist beunruhigend. Es ist auch eine Geschichte über Rohstoffverschwendung und eine absolute Wegwerfgesellschaft, in der Wegwerfen und Neukaufen schon ein Reflex sind und erst einmal Gucken und Nachdenken sehr selten geworden sind.

Vor fast einem Jahr war ich in einem Elektronikmarkt, um dem Amiibo-Sammeln nach zu gehen. Wir holten gerade eine Vorbestellung ab, als ein sehr aufgebrachter Herr im Mittleren Alter den Laden betrat und mit einem Tablet in der Luft herum fuchtelte. Er meinte etwas davon, dass das Tablet nicht mehr angehen würde und ob die das reparieren würden. Das Tablet war aber schon über ein Jahr alt und die hätten es natürlich nicht mehr kostenlos repariert. So wie er aufgebracht und laut herein kam, war im das wohl klar und er wollte wohl Eindruck machen auf die Angestellten, dass die sich eingeschüchtert dazu bereit erklären würden es doch zu reparieren. Freundlich sein hilft bei so etwas immer mehr, als "den Dicken zu markieren".
Er stürzte raus und warf demonstrativ das Tablet in einen Mülleimer.

Ich versteh Leute nicht, die einfach etwas wegwerfen ohne vorher jemanden zu fragen der sich damit auskennt. Mit "auskennen" meine ich nicht gewisse große Elektronik-Märkte, die jeden aus der Werbung bekannt sind. Durch so einen Markt haben wir aber einen 42 Zoll TV bekommen, der ein Totalschaden sein sollte, laut diesem Markt und man mindestens die Platine austauschen müsse damit er wieder angehen würde. Ein Firmware-Download und 10 Minuten später lief er wieder und leistet seit über 2 Jahren gute Dienste.

Also ein Griff in den Mülleimer und Tablet mit genommen. Ich dachte damals noch an einen defekten Akku. Aber da das Tablett gar nicht mehr laden wollte und auch mit Netzteil nicht mehr an ging machte ich mich auf die Suche nach Ersatzteilen. Eine neue USB-Buchse die laut Forenbeiträgen wohl oft das Problem sei kostete 4 Euro. Kam aus China, aber ich hatte ja Zeit.

Ich baute die Buchse ein und nichts änderte sich. So landete das Tablet erst einmal in der Schublade. Heute versuchte ich es nochmal und es tat sich nicht. Ich wollte gerade wieder die Rückseite drauf machen und es wieder weglegen als der Bildschirm kurz flackerte. Da war mein Ehrgeiz wieder geweckt. Mit etwas Feingefühl und einem USB-Ladegerät war 5 Minuten später der Lade-Symbol zu sehen und 2 Stunden später wagte ich es das Tablet dann richtig einzuschalten.

PIN? Nein..einfach entsperren. Das Tablet war in dem Zustand, wie als es sich ausgeschaltet hatte. Apps liefen, Email-Konten und alles war eingeloggt. Ich hatte keine WLAN-Verbindung sonst hätte das Tablet sich gleich die neusten Emails geladen. Wie man schnell sah waren fast alles geschäftliche Emails. Also erst einmal den Akku weiter geladen, damit man das Tablet zurück setzen kann.
Der Zustand war jetzt schon sehr bedenklich. Email-Konten und Facebook und ähnliches wäre sicher auch noch eingeloggt gewesen. Für ein Tablet, dass man nur zu hause verwendet, ist ein PIN nicht so wichtig, aber wenn man es in der Öffentlichkeit weg wirft, sollte man vorher daran gedacht haben.

Nur weil man als normaler Benutzer ein Gerät nicht mehr starten kann, bedeutet es nicht, dass jemand der sich damit auskennt, das Gerät nicht reparieren kann!

Ein durchgeschnittenes Stromkabel erkennen die meisten heute schon als nur kleines Problem, was jemand für sie reparieren kann. Eine verbogene USB-Buchse kann komplexer sein.. muss es aber nicht.

Dann würde es noch schlimmer, als ich das Tablet an den PC anschloss und in einem Order, ganz oben, mich eine Datei mit dem Namen "001_Passwörter.html". Kurz: Es stand alles drin.. Email-Konten, soziale Netzwerke und Online-Banking.

Es gibt tolle Programme wie KeePass mit denen man Passwörter sicher speichern kann. Aber man speichert niemals alle Passwörter zentral und unverschlüsselt in einer Datei.
Wer das macht handelt einfach nur fahrlässig und dem fehlt jedes Gefühl für Sicherheit und Verantwortung.

Ich hab schon Nacktfotos auf Notebook gesehen, wo ich nur ein Programm einrichten sollte und welche wo das Benutzer-Passwort unbekannt was und schon halb als Totalschaden abgestempelt waren und die Daten als verloren galten. Eine Schraube lösen, Festplatte raus ziehen und an den USB-SATA Adapter hängen. Schon waren die Daten wieder da.

Einmal war es wie es sein sollte. Ein Lehrer hatte einen neuen PC gekauft und kam zu mir damit die Festplatte seines alten PCs so formiert wird, dass er den alten PC abgeben könne und niemand die Daten wieder herstellen kann. Es gibt viele Programme, die eine Festplatte mehrmals überschreiben können. Mit so einem Programm war das in zwei Stunden erledigt.
Aber die meisten Benutzer haben nicht so ein Gefühl dafür oder denken einfach nicht daran, dass man Daten sicher löschen sollte.

Wichtig ist sich immer vor Augen zu führen und es auch seinen Eltern und anderen Leuten, sollten sie in so eine Gelegenheit kommen, klar zu machen, dass man fast alles reparieren kann und wenn man doch etwas weg wirft (es jemanden zum reparieren zu geben spart Geld und schon die Umwelt), die Daten sicher löschen zu lassen. Wenn man niemanden findet, hilft auch ein guter Hammer!

Kundendaten zum Testen und Datenschutz

Manchmal gibt es ja Probleme die man nur mit produktiven Daten nachgestellt bekommt. Oder man hat keine gute Möglichkeit vielDaten zu erzeugen um Test mit vielen realistischen Daten durch zu führen. Dann hilft oft eine Kopie der Datenbank des produktivenSystems.
Nur echte Kunden-Daten auf einer Entwickler-Workstation liegen zu haben, ist nicht wirklich toll. Der Datenschutz und so.

Hier hilft es die Datenbank in einer VM zu betreiben und einfach die gesamte VM zu verschlüsseln. Man muss nichts an der Workstationändern und hat trotzdem eine gute Sicherheit für die Daten.

Bei VirtualBox muss man nur das Erweiterungs-Pack downloaden und schon kann man dort eine gesamte VM verschlüsseln.

User	annonyme	Date	2024-10-18 21:39
Tags	ai, api, datenschutz, docker, hannes pries, ki, llama3, ollama

Hannes Pries - Web/Shopware/JavaScript-Developer BlogWeil es immer eine simple Lösung gibt!

Hannes Pries - Web/Shopware/JavaScript-Developer Blog
Weil es immer eine simple Lösung gibt!