MySQL Query: Domain aus URL extrahieren

MySQLMySQL, Queries

SELECT 
    url,
    SUBSTRING_INDEX(SUBSTRING_INDEX(SUBSTRING_INDEX(SUBSTRING_INDEX(url, '/', 3), '://', -1), '/', 1), '?', 1) AS domain,
    SUBSTRING_INDEX(SUBSTRING_INDEX(REPLACE(url, '//', '.'), '/', 1), '.', -2) AS domain2 
FROM ( 
    SELECT       'http://testdomain.com' as url 
    UNION SELECT 'https://testdomain.com' 
    UNION SELECT 'http://testdomain.de/foo.bar/fold-test.html'
    UNION SELECT 'http://testdomain.de/foo' 
    UNION SELECT 'http://testdomain.de/?foo' 
    UNION SELECT 'https://testdomain.de/foo' 
    UNION SELECT 'https://testdomain.de/?foo' 
    UNION SELECT 'http://testdomain.de?http://anotherdomain.de'  
    UNION SELECT 'testdomain.de' 
    UNION SELECT 'testdomain.de/foo'
    UNION SELECT 'testdomain.de/foo/'
    UNION SELECT 'testdomain.de/foo?param=baz'
    UNION SELECT 'testdomain.de/foo/?param=baz'
    UNION SELECT 'testdomain.de/foo/bar'
    UNION SELECT 'testdomain.de/foo/bar/'
    UNION SELECT 'testdomain.de/foo/bar/?param=baz'
    UNION SELECT 'testdomain.de/foo/bar/three'
    UNION SELECT 'testdomain.de/foo/bar/three?u=http://anotherdomain.de'
    UNION SELECT 'http://sub.testdomain.de'
    UNION SELECT 'sub.testdomain.de/foo'
    UNION SELECT 'sub.sub.testdomain.de/foo' ) AS Testtable;

SELECT

url,

SUBSTRING_INDEX(SUBSTRING_INDEX(SUBSTRING_INDEX(SUBSTRING_INDEX(url, '/', 3), '://', -1), '/', 1), '?', 1) AS domain,

SUBSTRING_INDEX(SUBSTRING_INDEX(REPLACE(url, '//', '.'), '/', 1), '.', -2) AS domain2

FROM (

SELECT 'http://testdomain.com' as url

UNION SELECT 'https://testdomain.com'

UNION SELECT 'http://testdomain.de/foo.bar/fold-test.html'

UNION SELECT 'http://testdomain.de/foo'

UNION SELECT 'http://testdomain.de/?foo'

UNION SELECT 'https://testdomain.de/foo'

UNION SELECT 'https://testdomain.de/?foo'

UNION SELECT 'http://testdomain.de?http://anotherdomain.de'

UNION SELECT 'testdomain.de'

UNION SELECT 'testdomain.de/foo'

UNION SELECT 'testdomain.de/foo/'

UNION SELECT 'testdomain.de/foo?param=baz'

UNION SELECT 'testdomain.de/foo/?param=baz'

UNION SELECT 'testdomain.de/foo/bar'

UNION SELECT 'testdomain.de/foo/bar/'

UNION SELECT 'testdomain.de/foo/bar/?param=baz'

UNION SELECT 'testdomain.de/foo/bar/three'

UNION SELECT 'testdomain.de/foo/bar/three?u=http://anotherdomain.de'

UNION SELECT 'http://sub.testdomain.de'

UNION SELECT 'sub.testdomain.de/foo'

UNION SELECT 'sub.sub.testdomain.de/foo' ) AS Testtable;

Weiterlesen →

MySQL RAM Tables

MySQLMySQL, Optimierung, Queries

SELECT TABLE_NAME FROM `information_schema`.`partitions` WHERE `TABLE_SCHEMA` = 'TABLNAME' and `TABLE_NAME` LIKE 'ram_%'

1	SELECT TABLE_NAME FROM `information_schema`.`partitions` WHERE `TABLE_SCHEMA` = 'TABLNAME' and `TABLE_NAME` LIKE 'ram_%'

DROP TABLE IF EXISTS `ram_test`

1	DROP TABLE IF EXISTS `ram_test`

CREATE TABLE `ram_test` (  
  `fieldA` varchar(100) DEFAULT NULL,
  `fieldB` varchar(100) DEFAULT NULL,
) ENGINE=Memory DEFAULT CHARSET=utf8 PACK_KEYS=0 ROW_FORMAT=COMPACT;

CREATE TABLE `ram_test` (

`fieldA` varchar(100) DEFAULT NULL,

`fieldB` varchar(100) DEFAULT NULL,

) ENGINE=Memory DEFAULT CHARSET=utf8 PACK_KEYS=0 ROW_FORMAT=COMPACT;

INSERT INTO `ram_test` SELECT * FROM `test`

1	INSERT INTO `ram_test` SELECT * FROM `test`

Weiterlesen →

MySQL Profiling Syntax

MySQLDatenbanken, Monitoring, MySQL, Profiling

-- Anzeigen wie der Zustand des Profiling ist
SELECT @@profiling;
-- Profiling einschalten
SET profiling = 1;
-- Alle aufgezeichneten Queries anzeigen
SHOW PROFILES;
-- Infos über alle Queries
SHOW PROFILE;
-- Info zu einem bestimmten Query
SHOW PROFILE FOR QUERY 1;

-- Anzeigen wie der Zustand des Profiling ist

SELECT @@profiling;

-- Profiling einschalten

SET profiling = 1;

-- Alle aufgezeichneten Queries anzeigen

SHOW PROFILES;

-- Infos über alle Queries

SHOW PROFILE;

-- Info zu einem bestimmten Query

SHOW PROFILE FOR QUERY 1;

Weiterlesen →

Die CSV Datei des Morphy Vollformenlexikon in MySQL importieren

Datenbanken, Linguistik, MySQLDatenbanken, ETL, Linguistik, Morphy

--
-- morphy_mapping_csv_to_mysql
-- 
-- Import für die Lemmatizer-Daten als CSV-Datei (1,2MB) 
-- Download: http://danielnaber.de/morphologie/
--
--
-- create Table
--
CREATE TABLE IF NOT EXISTS `repository_word_mapping` (
  `field1` varchar(255) DEFAULT NULL,
  `field2` varchar(255) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8 PACK_KEYS=0;

--
-- load fle
--
LOAD DATA LOCAL INFILE 'M:/Datenbanken/dictionary/morphy-mapping-20110717.csv'
REPLACE INTO TABLE repository_word_mapping
FIELDS TERMINATED BY '\t';

-- morphy_mapping_csv_to_mysql

-- Import für die Lemmatizer-Daten als CSV-Datei (1,2MB)

-- Download: http://danielnaber.de/morphologie/

-- create Table

CREATE TABLE IF NOT EXISTS `repository_word_mapping` (

`field1` varchar(255) DEFAULT NULL,

`field2` varchar(255) DEFAULT NULL

) ENGINE=InnoDB DEFAULT CHARSET=utf8 PACK_KEYS=0;

-- load fle

LOAD DATA LOCAL INFILE 'M:/Datenbanken/dictionary/morphy-mapping-20110717.csv'

REPLACE INTO TABLE repository_word_mapping

FIELDS TERMINATED BY '\t';

Importscript für die XML Datei

Weiterlesen →

MySQL Performance Cheat Sheet

Cheat Sheets, MySQLDatenbanken, MySQL, Performance

Allgemein Die Daten so klein wie möglich bekommen. Den jeweils effizientesten (d. h. kleinstmöglichen) Datentyp verwenden. (z.B. ist MEDIUMINT ca. 25% kleiner als INT) Wenn möglich, Spalten als NOT NULL deklarieren. => Spart ein Bit je Spalte Regeln beim Aufbau von SQL Queries Das Sternchen bei SELECT * FROM.. sollte vermieden werden. (mehr infos s.u.) […]

Weiterlesen →

Suchen in MySQL

MySQLDatenbanken, Suchmaschine

http://dev.mysql.com/doc/refman/5.7/en/fulltext-natural-language.html

Weiterlesen →

Ein Überblick der Datenbanksysteme

DatenbankenDatenbanken

Relationale Datenbanken MySQL PostgreSQL MSSQL Semantische Datenbanken Segrada –

Weiterlesen →

Beispieldaten, Demodaten

Datenbanken, VorlagenDaten, Demo

https://de.wikipedia.org/wiki/Portal:Statistik/Datensaetze

Weiterlesen →

Das Morphy Vollformenlexikon in MySQL importieren

Linguistik, MySQLDaten, Linguistik, MySQL

Morphy ist eine Software die schon seit den 1990er existiert. Sie dient zur morphologischen Analyse von deutschen Texten. Da die Software nur unter Windows läuft ist sie leider nicht für jedermann zugänglich. Schon gar nicht für Serveranwendungen und Webseiten. Idealerweise werden auf der Webseite die Stammdaten zum Download angeboten mit dem man seine eigene Lösung erstellen […]

Weiterlesen →

MySQL: Daten per Datei ein- und auslesen

MySQLDatenbanken, MySQL

Einlesen einer Datei im XML, CSV oder Textformat und einfügen in einer MySQL Tabelle Beispiel für eine XML Datei

LOAD XML LOCAL INFILE 'person.xml'
INTO TABLE person
ROWS IDENTIFIED BY '<person>';

LOAD XML LOCAL INFILE 'person.xml'

INTO TABLE person

ROWS IDENTIFIED BY '<person>';

LOAD XML LOCAL INFILE 'D:/Datenbanken/20110722.xml'
REPLACE INTO TABLE import_table
ROWS IDENTIFIED BY '<item>';

LOAD XML LOCAL INFILE 'D:/Datenbanken/20110722.xml'

REPLACE INTO TABLE import_table

ROWS IDENTIFIED BY '<item>';

Beispiel zum einlesen einer Textdatei

LOAD DATA LOCAL INFILE '/pfad/zur/textdatei'
REPLACE INTO TABLE my_table
FIELDS TERMINATED BY '\t';

LOAD DATA LOCAL INFILE '/pfad/zur/textdatei'

REPLACE INTO TABLE my_table

FIELDS TERMINATED BY '\t';

Ausgabe in einer Datei speichern

SELECT * FROM my_table 
GROUP BY word 
ORDER BY word ASC
INTO OUTFILE 'M:\\Datenbanken\\output.txt'

SELECT * FROM my_table

GROUP BY word

ORDER BY word ASC

INTO OUTFILE 'M:\\Datenbanken\\output.txt'

Weiterlesen →

Thomas Eses

WEBDEVELOPER – PHP, JavaScript, Datenbanken…

Kategorie Tags:

Kategorie: Datenbanken

MySQL Query: Domain aus URL extrahieren

MySQL RAM Tables

MySQL Profiling Syntax

Die CSV Datei des Morphy Vollformenlexikon in MySQL importieren

MySQL Performance Cheat Sheet

Suchen in MySQL

Ein Überblick der Datenbanksysteme

Beispieldaten, Demodaten

Das Morphy Vollformenlexikon in MySQL importieren

MySQL: Daten per Datei ein- und auslesen