s4:provision Make setting the domain SID in the self join optional

Fix path to upgradeprovision

s4: Improve updateprovision

* Define a simple upgrade process mode (module storage change, file name change, copy of new file)
  * Move the schema, configuration and current object upgrade into full upgrade mode
  * Added the --full switch to select the full upgrade mode, and made simple upgrade mode the default
  * Make updateprovision works without any switch (update the provision in the default location)
  * Cleanup the messages
  * Create the reference provision in a subdirectory of the updated provision

s4: update What's new and explain how to upgrade a samba4 provision

s4: Rename the script

s3-kerberos: Fix Bug #6929: build with recent heimdal.

Heimdal changed the KRB5_DEPRECATED define (which now may not take an identifier
for activation) in new releases (like 1.3.1).

Guenther

s3-spoolss: use macros to fillup driver levels.

Guenther

s3-smbd: no drsuapi server stubs yet in s3. Fixes the build, sorry.

Guenther

s3-rpc: running minimal_includes.pl on rpc_client and rpc_server.

Guenther

s3-rpc: Avoid including every pipe's client and server stubs everywhere in samba.

Guenther

s3-passdb: move some defines out of rpc headers (they really belong to passdb).

Guenther

s3-winbind: properly include netlogon.idl in wbint.idl.

Guenther

s3-spoolss: pre cosmetics: reorder levels in construct_printer_info levels.

Guenther

tevent: Fix a comment

librpc: rerun "make idl"

metze

pidl:Samba3/ClientNDR: $size can be 'foo / 2' so we need to add '(' and ')'

foo / 5 * sizeof(bar)' isn't the same as
'(foo / 2) * sizeof(bar)'.

metze

pidl:NDR/Parser: $size can be 'foo / 2' so we need to add '(' and ')'

foo / 5 * sizeof(bar)' isn't the same as
'(foo / 2) * sizeof(bar)'.

metze

create-tarball: Make it more comfortable to use the --copy-docs option.

Now you can directly specify the 'make release' output dir without any
modifications.

Karolin

s4:ldap.py - add a test for the enhanced operational attributes check

(Deny creation of entries with operational attributes specified)

s4:objectclass LDB module - Prevent write operations on constructed attributes

s4:operational LDB module - Don't do the write checks here

Let this perform the schema in the "objectclass" module.

s3-kerberos: next step to resolve Bug #6929: build with recent heimdal.

Based on patch from Allan <allan@archlinux.org>.

Also should fix the FreeBSD build on the buildfarm.

Guenther

s4-smbtorture: refactor RPC-SAMR-LARGE-DC test a little more.

Guenther

s4-smbtorture: add torture_samr_context to carry some RPC-SAMR-X specifics.

Guenther

Fix warnings with talloc_asprintf.
Jeremy.

Make us pass RAW-CHKPATH with a case sensitive share.
I know Volker will look at this closely so here's the explaination :-).
Originally on a case-sensitive share we simply did a stat (or lstat)
call and returned success of fail based on the result. However this
failed to take account of incoming paths with a wildcard (which must
always fail, and with different error messages depending on whether
the wildcard is the last component or in the path). Also it failed
to take account of a stat fail with ENOENT due to a missing component
of the path as the last component (which is ok as it could be a new
file)  or if the ENOENT was due to the missing component within
the path (not the last component) - which must return the correct
error. What this means is that with "case sensitive = yes" we do
one more talloc call (to get the parent directory) and one more
stat call (on the parent directory) in the case where the stat
call fails. I think this is an acceptable overhead to enable
case sensitive shares to return the correct error messages for
applications. Volker please examine carefully :-).
Jeremy.

Add RAW-CHKPATH test with case-sensitive share.
Jeremy.

s3-build: try to fix QNX build ("delay" is defined in lib headers).

Guenther

s4/torture: port SMBv1 RAW-LOCK tests to SMBv2

RAW-LOCK ported as:

RAW-LOCK-LOCK, RAW-LOCK-LOCKX -> SMB2-LOCK-LOCK
RAW-PIDHIGH -> removed, no longer relevant
RAW-ASYNC -> SMB2-LOCK-ASYNC, SMB2-LOCK-CANCEL, SMB2-LOCK-CANCEL-TDIS, SMB2-LOCK-CANCEL-LOGOFF
RAW-ERRORCODE -> SMB2-LOCK-ERRORCODE
RAW-CHANGETYPE -> removed, no longer relevant
RAW-ZEROBYTELOCKS -> SMB2-LOCK->ZEROBYTELENGTH
RAW-UNLOCK -> SMB2-LOCK-UNLOCK
RAW-MULTIPLE_UNLOCK -> SMB2-LOCK-MULTIPLE-UNLOCK
RAW-STACKING -> SMB2-LOCK-STACKING

BASE-LOCK ported as:

BASE-LOCK-LOCK1 -> SMB2-LOCK-ERRORCODE, timeout is no longer relevant
BASE-LOCK-LOCK2 -> SMB2-LOCK-CONTEND, SMB2-LOCK-LOCK, SMB2-LOCK-CONTEXT
BASE-LOCK-LOCK3 -> SMB2-LOCK-RANGE
BASE-LOCK-LOCK4 -> SMB2-LOCK-OVERLAP
BASE-LOCK-LOCK5 -> SMB2-LOCK-STACKING
BASE-LOCK-LOCK6 -> SMB2-LOCK-CANCEL, change_locktype no longer relevant
BASE-LOCK-LOCK7 -> SMB2-LOCK-RW-SHARED, SMB2-LOCK-RW-EXCLUSIVE

s4/libcli: rename previously reserved field in SMB2 LOCK struct

The lock.in.reserved field has been renamed lock_sequence in the
SMB 2.1 dialect.  See MS-SMB 2.2.26.

s4/libcli: Initialize client PID for SMB2 connections

Set the SMB pid to the Unix pid of the client process.

s3-registry: fix REG_MULTI_SZ handling in registry_push_value.

Catched by smbconftort test on the buildfarm.

Guenther

s3-kerberos: add check for prerequisite krb5/krb5.h header while checking for krb5/locate_plugin.h.

(Needed for new Heimdal versions).

Guenther

Fix bug 6892 - When a chown operation is issued via Windows Explorer, all ACLS are wiped out.
Merges existing DACLs when a ACL set operation comes in with only owner or group values set.
Jeremy.

Fix crash due to uninitialized pointer (not a problem in 3.4.x or below).
Jeremy.

nsswitch: fix compile of winbind_krb5_locator with recent Heimdal versions.

Guenther

cifs.upcall: 2nd part of fix for Bug #6868: support building with Heimdal we well as with MIT.

Guenther

s3 selftest: Add RAW-SFILEINFO-END-OF-FILE to selftest

s3 setfileinfo: Open with FILE_WRITE_DATA when setting the file size

This matches what is outlined here:
http://msdn.microsoft.com/en-us/library/ms804363.aspx

This is also inline with how winXP/win7 handle this.  See
RAW-SFILEINFO-END-OF-FILE* in smbtorture4.

s4 torture: Change RAW-OPLOCK to use the documented version of SET_END_OF_FILE_INFO

The passtrhough version of SET_END_OF_FILE_INFO is tested in
RAW-SFILEINFO-END-OF-FILE.

Additionally, the first opener is changed to use SHARE_WRITE for the
share mode since SET_END_OF_FILE_INFO actually writes data to the file
via truncating/extending.

s4 torture: Allow onefs to be checked like samba3 and samba4

This is needed for the new RAW-SFILEINFO-END-OF-FILE test to
differentiate what appears to be a windows bug.

s4 torture: Add two new setfileinfo tests

These tests expose a potential bug in winXP, win7, and likely others.
There is also a bug in samba where share modes aren't being enforced
where they should.

For more details see:
http://lists.samba.org/archive/cifs-protocol/2009-November/001130.html

s4 torture: Split up the torture suite setup for RAW-SFILEINFO

A side effect of this change is that RAW-SFILEINFO now runs the whole
suite instead of just the first test.  I changed the name of the first
test to RAW-SFILEINFO-BASE and changed all of the selftest scripts
that call it.

The start of a WHATSNEW for Samba4 alpha9

If you think what you did is missing, please edit.  Release of alpha9
will be this week.

Andrew Bartlett

s4:dsdb Make samba_dsdb easier to use in upgrades - assume default values

s4: update valgrind suppressions for use on build farm

libcli: allow ntstatus.h to be used by openchange

apparently ntstatus.h is used by openchange, but they don't include
replace.h. This makes that possible again.

s4:upgradeschema.py Update to reflect recent change in provision

- define which modules we want to use when loading the ldb
- move partition in sam.ldb.d dir

Changes have been suggested by Andrew Bartlett.

(commit message clarified by Andrew Bartlett)
Signed-off-by: Andrew Bartlett <abartlet@samba.org>

s4:upgradeschema.py Cleanup

- remove some useless comments
- remove hardcoded paths

(commit message clarified by Andrew Bartlett)
Signed-off-by: Andrew Bartlett <abartlet@samba.org>

Remove call into reduce_name if case sensitive. This allows us to pass
RAW-CHKPATH when case sensitive = yes, but isn't the correct way to do
it. I'm testing a larger patch to smbd/filename.c that should fix this
correctly, and will add a torture test to ensure RAW-CHKPATH is run against
a case sensitive share once this is done.
Jeremy.

s4:installmisc - install also the new "domainlevel" tool from the setup dir

s4: Check SUN compiler and remove "-fullwarn" when using it

This option is only supported by "gcc".
For details consider https://bugzilla.samba.org/show_bug.cgi?id=6905

Signed-off-by: Matthias Dieter Wallnöfer <mwallnoefer@yahoo.de>

Allow us to pass RAW-CHKPATH with FILE_FLAG_POSIX_SEMANTICS set or with
wide links = no.
Jeremy.

Fix make test. Only do POSIX case conversion if FILE_FLAG_POSIX_SEMANTICS set. Doh !
Jeremy.

Revert "s4-netlogon: always set the dNSHostName in GetDomainInfo"

This reverts commit 87b6f2e863c6e117643ab6704e50167e849b69cc.

This was the cause of the breakage of the "LogonGetDomainInfo" testsuite. I
think my behaviour is more correct to Windows Server since the test works
against it (at least release 2003 R2).

One problem I discovered is that freshly joined workstations don't get their
DNS name into the directory. Therefore I think also another part (maybe another
RPC call) is able to do this.

s4:ldap.py - fix the schema update test on Windows Server

Apparently Windows Server (2003) doesn't like the comma delimiter here. I got
always error 16 ("LDB_NO_SUCH_ATTRIBUTE"). With this change the test works
again.

s4:libnet_become_dc - fix typo

s3: Always try SamLogonEx

Required for cluster systems working in a Samba domain. With NT4 this won't
work, but real NT4 DCs should not be around in environments that pay big bucks
for a cluster... And if they are, they can always install a Samba DC trusting
that NT4 domain.

s3-spoolss: re-arrange driver info level fillup functions.

Guenther

s3-spoolss: fixes for _spoolss_EnumPrinterKey client and server.

Thanks Metze for review!

Guenther

s3-registry: use push_reg_multi_sz() in registry_push_value().

Guenther

s3-registry: remove reg_pull_multi_sz().

Guenther

s3:torture: use timeval_current/timeval_elapsed instead of start_timer/end_timer

metze

s3:torture/nbio: use timeval_current/timeval_elapsed instead of start_timer/end_timer

metze

s3:dbwrap_torture: use timeval_current/timeval_elapsed instead of start_timer/end_timer

metze

RAW-PING-PONG: use timeval_current/timeval_elapsed instead of start_timer/end_timer

metze

s3:fix the merged build of bin/smbtorture4

Michael

docs: Fix Bug 6922: Add Registry patchfile for Win7 domain join.

Patchfile from SATOH Fumiyasu <fumiyas@osstech.co.jp>.

Thanks!

Guenther

Restore NtCreateX case handling with FILE_FLAG_POSIX_SEMANTICS to the way
it worked in 3.3.x and 3.2.x. UCF_POSIX_PATHNAMES may no longer be needed,
as lp_posix_pathnames() being set isn't the same as case handling from
NtCreateX (lp_posix_pathnames() changes the STAT calls to LSTAT, not
the case semantics).
Jeremy.

s4:param remove reference to private header from source4/param/param.h

source4/param/param.h has a

param.h is a public header (and parmlist isn't, even if the relative path
could work), so I suggest making it a forward declaration in the header, and
including parmlist.h in the implementation.

(commit message included from e-mail by Andrew Bartlett)
Signed-off-by: Andrew Bartlett <abartlet@samba.org>

s4: Fix missing TLS dir when targetdir is not the default one

Remove unused code.
Jeremy.

heimdal Fix invalid format string

s4:dsdb Handle LDAP backends correctly with new samba_dsdb system

The original code had the wrong module names, and use strcasecmp()
incorrectly.

Andrew Bartlett

s4:provision Move exceptions into a new file

This allows provisionbackend and provision to both raise ProvisionException

s4:provision Don't bother with a template for the LDAP backend startup script.

s4:provision Move secrets.ldb over to .c file module lists, like sam.ldb

s4:ldap.py - activate test for operational attributes

Signed-off-by: Andrew Bartlett <abartlet@samba.org>

s4:operational LDB module - Prevent the modification of operational attributes

(merged by Andrew Bartlett)

Signed-off-by: Andrew Bartlett <abartlet@samba.org>

s4:ldap.py Add tests for subSchemaSubEntry

s4:dsdb Use new helper function to obtain CN=Aggregate schema DN in schema_data

s4:dsdb Return the subSchemaSubEntry operational attribute on every object

s4:dsdb Add function to return the CN=Aggregate schema DN

s4:provision Remove 'operational' from secrets.ldb module list

Proper fix for #6898 - Samba duplicates file content on appending. Pointed out by Volker.Restores the pathname handling for FILE_FLAG_POSIX_SEMANTICS but still prevents the O_APPEND problems. Jeremy.

s3: add dbwrap_torture - a tool to stress test tdb transactions through dbwrap

This can be used to also test tdb transactions on clustered installations
throught ctdb. The test is modeled after the ctdb_transaction.c test program
from the ctdb source code. It runs transactions in a tight loop on a test
database called "transactions.tdb" (by default), increasing a counter in each
iteration. In a clustered environment, a counter is maintained for each node.

Michael

s3:torture: move the torture-specific headers to new torture/torture.h

Michael

s3:idmap_ldap: fix indentation: tab/space mixup

Michael

Fix bug #6898 - Samba duplicates file content on appending
Clients using a Windows open call should not be able to set
FILE_FLAG_POSIX_SEMANTICS in an open.
Jeremy.

s3-spoolss: Fix GetPrinter level 101.

Guenther

Revert "s3: Make the implicit reference to Protocol in mask_match() explicit"

This reverts commit e23d8a3d1f558a7e98ef2afd71e1d15c5b3a71bc.

Revert "s3: Make the implicit reference to Protocol in mask_match_list() explicit"

This reverts commit 1e22899d268ae5a089f941a204413c07ee64fc78.

Revert "s3: Make the implicit reference to Protocol in is_in_path() explicit"

This reverts commit f7b4151a64d8c6851e62255a7139fd00a5fc63a3.

Revert "s3: Make the implicit reference to get_Protocol in lp_use_sendfile() explicit"

This reverts commit 6a149022976fe6a5579ec9afc7a4d2dcb44dc8af.

Revert "s3: Move the global variable Protocol to struct smbd_server_connection"

This reverts commit c85a4c9ba4a7de65a7850f6f9708df66bd24deea.

s4:ldap.py - Add a check for the generated "schemaIDGUID"

I've forgotten to add this when checking in the reworked SAMLDB module

s3-winbind: In _wbint_CheckMachineAccount, there is only one child domain ever

s3: Move a variable declaration to its only use

s4:dsdb Move module configuration from each ldb into samba_dsdb.c

This makes getting the module order correct, the obligation of Samba4
developers, and not system administrators.  In particular, once an ldb
is updated to use only the 'samba_dsdb' module, no further changes to the
ldb should be required when upgrading to later Samba4 versions.

(thanks to metze for the suggestion of samba_dsdb as a long-term
stable name for the module)

Andrew Bartlett

s4:provision Simplify the module list

This makes the member server much more like the DC, the objectGUID
module replaces the repl_meta_data module.

We also generally rework the construction of the list, building a full
list in python, and then transforming it into a string, rather than
playing string concatonation games

Andrew Bartlett